Le fort est construit au XIVe siècle, en 1372, sous la dynastie Ming[1],[2]. Il a été construit près d'une oasis qui était alors sur le bord extrême ouest de la Chine. À l'extrémité occidentale de la Grande Muraille, le fort constituait le dernier point chinois avant le désert de Gobi et servait de bagne aux bannis par l'Empereur[3].

En 3 siècles d'activité sous la dynastie Ming, autour de 1.000 soldats au total sont estimés avoir occupé le fort. Durant cette période, le peuple ouïghours aurait demandé à s'établir dans le fort. Selon l'historien chinois Luo Zhewen, le fort de Jiayuguan est un des symboles du processus d'unification des ethnies en Chine[2].

En 2013, sa rénovation, qui a nécessité un budget de $290 millions, est achevée. Depuis 2014, le train à grande vitesse connecte Jiayuguan avec la capitale. En octobre 2016, le ministère du tourisme chinois enregistre 442.800 visiteurs venus à Jiayuguan pour la période des fêtes[2].