La città fu fondata nel 1032 e divenne un fiorente centro di commercio dell'impero Tangut nell'XI secolo. Vi sono i resti di mura cittadine alte 10 metri e spesse 4 metri.[1] Le mura esterne corrono per circa 421 metri da est ad ovest, e per 374 metri da nord a sud.[2]

La fortezza fu conquistata una prima volta da Gengis Khan nel 1206[3] ma, contrariamente a quanto si crede, continuò ad essere fiorente anche sotto il dominio mongolo. Al tempo del Kublai Khan la città si espanse raggiungendo una dimensione tre volte superiore a quella dell'impero Tangut. Togoontemur Khan si impegnò per la riconquista della Cina a Khara-Khoto. La città si trovava sull'incrocio delle rotte che univano Karakorum, Xanadu e Kumul.

In Il Milione, Marco Polo descrive la visita effettuata ad una città chiamata Etzina o Edzina,[3] che è stata identificata con Khara-Khoto.[4][5]

Secondo una leggenda della locale popolazione Torghut, nel 1372 un generale mongolo di nome Khara Bator[1] (eroe nero) fu circondato con le sue truppe dall'esercito della dinastia Ming cinese. Deviando il corso del fiume Ejin, la fonte d'acqua della città che scorreva subito fuori dalla fortezza, i cinesi negarono a Khara-Khoto l'acqua per i giardini e i pozzi. Col passare del tempo Khara Bator intuì il proprio destino, uccise la propria famiglia e poi si uccise. Dopo il suo suicidio i soldati aspettarono nella fortezza il decisivo assalto dei Ming, che uccisero gli abitanti rimasti. Un'altra versione della leggenda racconta di Khara Bator che aprì una breccia nell'angolo nord-occidentale delle mura fuggendoci attraverso. I resti della città hanno un'apertura dalla quale poteva passare un cavaliere.

Dopo la sconfitta, e probabilmente a corto d'acqua[3], la città fu abbandonata e lasciata andare in rovina.