Sur le site de Gjirokastër, on a trouvé des traces d'habitations datant du Ier siècle av. J.-C., sur les pentes du Mali i Gjerë. La ville fut probablement construite autour d'un château vers le XIIe siècle. À l'époque byzantine, elle était nommée Argyrópolis (« ville argentée », en grec Αργυρόπολις) ou Argyrókastron (« citadelle argentée », en grec Αργυρόκαστρον).

La ville faisait partie du despotat d'Épire au XIVe siècle avant de passer sous domination ottomane en 1417. Au XVIIe siècle Argyrókastro rayonnait avec son bazar où l'on commerçait broderies, soieries et produits laitiers du pastoralisme. Elle fut prise en 1811 par Ali Pacha de Janina, gouverneur albanais doté d'un grande autonomie, qui développa les défenses de la ville et fit construire un aqueduc de 10 kilomètres de long pour approvisionner en eau potable la citadelle. Cet aqueduc fut démoli en 1932.

À la fin du XIXe siècle, la ville devint un centre de résistance à la domination turque. Habitée par une population mi-albanaise musulmane, mi-grecque orthodoxe, Argyrókastro a été revendiquée par les Grecs dans la première moitié du XXe siècle et au cours de la Première Guerre balkanique (1912-1913). En 1914, Georgios Christakis-Zographos, alors ministre des Affaires étrangères de Grèce, proclama Argyrókastro capitale de la République autonome d'Épire du Nord. Mais pendant la Première Guerre mondiale, celle-ci fut occupée par des troupes françaises avant de revenir à l'Albanie en 1920. Durant la Seconde Guerre mondiale, la ville passa sous contrôle italien en 1939, puis grec en décembre 1940, allemand en 1941, et à nouveau albanais, cette fois communiste, en 1944.

 La maison natale de Enver Hoxha.

Le gouvernement communiste de l'après-guerre interdit toute forme de liberté de culte et culturelle, mais préserva l'architecture traditionnelle parce que Gjirokastër est la ville natale de Enver Hoxha, premier secrétaire du Parti du travail d'Albanie, qui y naquit en 1908. Dans le cadre du culte de la personnalité de Hoxha, Gjirokastër fut élevée par le régime au rang de « ville-musée », ce qui n'empêcha pas de nombreux problèmes économiques, dévoilés par la fin du régime communiste en 1991. Il y eut aussitôt d'importants mouvements d'émigration, principalement vers la Grèce et l'Italie. Le point d'orgue se situa en mars 1997 avec l'effondrement des pyramides spéculatives ou chaîne de Ponzi, sous la présidence de Sali Berisha. S'ensuivirent une grande insécurité et un début de guerre civile. De violentes manifestations anti-gouvernementales surtout dans l'Albanie du sud et particulièrement à Gjirokastër provoquèrent la démission du président. Le 16 décembre 1997, un attentat détruisit la maison natale d'Hoxha, sans que l'on retrouve les auteurs.

Après cette période troublée, un nouveau décollage économique est favorisé par la présence d'une forte minorité grecque et des accords bilatéraux entre l'Albanie et la Grèce, basés sur le « Pacte d'amitié, de coopération, de bon voisinage et de sécurité » signé en 1996. Il s'agit d'un accord de coopération économique, industrielle, technique et scientifique. À titre d'exemple, l'accord en 2004 sur la construction et la mise en service de l'hôpital militaire de Gjirokastër.