In alten Zeiten bestand das nördliche Gebiet des heutigen Pakistans aus einer Vielzahl kleiner unabhängiger Staaten. Unter ihnen waren die traditionell konkurrierenden Staaten Hunza und Nagar, die sich an den Ufern des Hunza-Flusses gegenüberlagen. Die Herrscher dieser beiden Staaten, die Thamo / Mirs genannt wurden, errichteten mehrere Befestigungen, um ihrer Macht Ausdruck zu verleihen.
Gemäß historischen Quellen[1] wohnten die Herrscher von Hunza am Anfang im Fort Altit. Infolge eines späteren Konflikts zwischen den beiden Söhnen des herrschenden Sultans, dem älteren Schahs Abbas und dem jüngeren Ali Khan, zog Schah Abbas in die Festung Baltit um. Der Machtkampf der beiden führte zur Niederlage des jüngeren und zu dessen Tod, und die Festung Baltit wurde der Hauptherrschersitz Hunzas.

Das Fort kann auf eine mehr als siebenhundertjährige Geschichte zurückblicken. Ayasho II., Tham/Mir von Hunza heiratete im frühen 15. Jahrhundert die Prinzessin Schah Khatoon (Sha Qhatun) aus Baltistan. Als eine ihrer ersten Handlungen gestaltete sie das Fort Altit und später auch das Fort Baltit um. Baltistan hatte sehr starke kulturelle und ethnische Verbindungen mit Ladakh in Indien. Das Fort Baltit entstand unter dem Einfluss der ladakhisch-tibetischen Architektur und weist daher eine entfernte Ähnlichkeit mit dem Potala-Palast in Lhasa auf. Im Laufe der Jahrhunderte folgten noch etliche Erweiterungen, Renovierungen und Umbauten des Gebäudes durch die Herrscher von Hunza.

Im 19. Jahrhundert verlor die Region einen großen Teil der alten Festungen infolge der Angriffe durch den Maharadscha von Kaschmir. Jedoch gelang es den Bewohnern von Hunza, sich viermal erfolgreich gegen die Invasoren zu verteidigen.

Einer der größten Umbauten des Forts folgte auf die Invasion der Briten im Dezember 1891. Tham/Mir Safdarali Khan, Herrscher von Hunza, und sein Wesir Dadu (Thara Baig III.) flohen nach Kaschgar (China) und baten zusammen mit ihren Gefährten und Familien um politisches Asyl. Mit der Eroberung der Staaten Hunza und Nagar durch die Briten ging die Schleifung der Stadtmauer des alten Dorfes Baltit und der nordwestlich gelegenen Beobachtungstürme des Forts Baltit einher. Die Briten installierten danach den jüngeren Bruder des Tham/Mir, Sir Muhammad Nazeem Khan KCIE, als Herrscher des Staates Hunza.[2]

In seiner Regierungszeit ließ Tham/Mir Nazeem Khan das Fort mehrfach erheblich umbauen. Er riss mehrere Zimmer des dritten Stocks ab und fügte an der Vorderseite einige Zimmer im britischen Kolonialstil mit Fenstern aus farbigem Glas hinzu.

Das Fort Baltit blieb offiziell bis 1945 bewohnt, bis der letzte Herrscher von Hunza, Mir Muhammad Jamal Khan, in einen neuen Palast am Fuß des Hügels zog, in dem zurzeit der Mir von Hunza Ghazanfar Ali Khan (ehemaliger Regierungschef der Nordgebiete, heute Gilgit-Baltistan) und seine Familie wohnt.

Das Fort wurde in den Folgejahren stark vernachlässigt und drohte zur Ruine zu verfallen. Im Anschluss an eine Besichtigung durch die Royal Geographical Society Londons wurde ein Wiederaufbauprogramm begonnen, das durch das Aga-Khan-Programm für historische Städte des Aga Khan Development Network unterstützt wird.

Das restaurierte Fort wurde am 29. September 1996 in Gegenwart von Aga Khan IV. und dem Präsidenten Pakistans Faruk Ahmad Khan Leghari eröffnet. Es wird jetzt vom Baltit Heritage Trust als Museum geführt und ist für Besucher geöffnet.