Oblasť bola v staroveku osídlená gréckymi kmeňmi Epirótov. Mesto Argyrokastro bolo založené v 12 stor., v byzantskom období. Argyrokastro v gréčtine znamená strieborná pevnosť. Podľa miestnej mytológie, meno pochádza od princeznej menom Argyro. Z Argyrokastra sa stalo dôležité byzantské mesto a v 14. storočí nezávislého gréckeho štátu Epirský despotát.

Počas osmanskej doby to bolo dôležité centrum gréckeho obchodu. V 19. stor. mesto ovládol turecký uzurpátor Ali Paša z Tepeleny. Začiatkom 20. stor. požadovali obyvatelia mesta pričlenenie ku Grécku, čo sa i na istý čas podarilo, keď bola vytvorená grécka autonómna časť Severný Epirus s hlavným mestom v Argyrokastre, no po nástupe komunizmu bola táto autonómia zrušená. Po páde komunizmu v roku 1991 mnoho miestnych Grékov emigrovalo do Grécka. Z Argyrokastru pochádza viacero osobností, mnohí grécki revolucionári z Gréckej vojny za nezávislosť, či jeden zo zakladateľa Albánska, Jani Papadhopulli. Z Argyrokastra pochádzal aj komunistický vládca Albánska Enver Hoxha. Väčšina obyvateľov sú Gréci a mnohí albánski obyvatelia majú grécke priezviská. V meste sídli grécky konzulát. Obyvatelia mesta, Albánci aj Gréci sú prevažne ortodoxní kresťania.

Centrum mesta je ako zvlášť dobre zachované osmanské mesto zapísané na zozname Svetového dedičstva UNESCO.