La ciutat fou fundada pel rei Salmanasar I, en el segle xiii aC, com un petit centre administratiu sense gran importància, fins que el rei Assurnasirpal II va decidir construir la seva nova capital. La nova ciutat es troba a la vora est del Tigris, de manera que quedava protegida dels atacs dels arameus procedents de l'oest, i al nord del Petit Zab, que la protegia pel sud.

Per a la construcció de la ciutat, s'utilitzaren milers de treballadors que hagueren d'anivellar una extensió de 360 hectàrees, construir una muralla de 7,5 km de llarg i una alçada d'uns 15 metres, i un canal (el qual es va anomenar portador de l'abundància) procedent del riu Zab, per a irrigar la plana dels voltants. Segons una cèlebre inscripció del rei trobada en les ruïnes de la ciutat el 1951, coneguda com l'estel del banquet, quan finalitzà la construcció l'any 879 aC, se celebrà un banquet que va durar deu dies i al qual assistiren 16.000 habitants, 47.000 convidats, 5.000 convidats estrangers, i 1.500 dignataris d'estat.

Als feliços pobles de tots els països, així com a les gents de Kalhu, els vaig festejar durant deu dies, i els vaig oferir vi, els vaig banyar, els vaig ungir i els vaig honorar, i els vaig enviar de volta a casa plens de pau i alegria.

Salmanassar III, fill d'Assurnasirpal II, va fer construir el que es coneix com el Gran Ziggurat, ubicat junt al riu Tigris.

La ciutat fou capital d'Assíria fins a l'any 710 aC, en què Sargon II traslladà la capital a Dur Sharrukin, i els seus successors a Nínive.

Es va mantenir com una de les principals ciutats assíries fins a l'any 612 aC, en què va ser completament destruïda quan Assíria va caure davant la invasió de Babilònia i de Mèdia.