Mesto je bilo prvič omenjeno na ploščici Sargona Akadskega iz 24. stoletja pr. n. št., ko ga je Sargon Akadski naredil za glavno mesto svoje države. Moč in prebivalstvo sta padala naslednjih nekaj stoletij, in mesto je bilo precej nepomembno vse dokler ni postalo glavno mesto Hamurabijevega cesarstva v 18. stoletju pr. n. št. Od tedaj dalje je bilo mesto glavno mesto Babilonije, čeprav se je v času vladavine Kasitov imenovalo Karanduniaš.

Mesto je ležalo ob reki Evfrat oziroma ga je reka delila na pol, ob njej pa so bili strmni nasipi, ki so zadrževali sezonske poplave. V naslednjih letih je Babilon rastel tako po velikosti kot razkošju. Postal je podložen Asiriji. Mesto se je uprlo asirski vladavini v času Mušezib-Marduka in ponovno v času Šamaš-šum-ukina. Obakrat so ga Asirci oblegali in ponovno osvojili, najprej Sanherib in drugič Asurbanipal.

Tekom vladavine Sanheriba se je Babilon neprestano upiral. Upori so bili zadušeni šele, ko je leta 689 pr. n. št. Sanherib naredil kompletno destrukcijo mesta. Vsi zidovi, palače in templji so bili uničeni, ostanki pa vrženi v kanal Arakhtu. Ta dogodek je razburil versko zavest Mezopotamije, kar je imelo verjetno za posledico uboj Sanheriba nedolgo zatem. Njegov naslednik Esarhadon je takoj obnovil staro mesto in se v njem okronal ter v njem tudi del leta živel. Po njegovi smrti je bila Babilonija dana njegovemu najstarejšemu sinu Šamaš-šum-ukinu, ki je kasnije vodil upor proti bratu Asurbanipalu Asirskemu.

Še enkrat se je Babilon znašel pod obleganjem Asircev. Asurbanipal je hitro osvojil mesto, vendar se je po padcu Ninive 612 pr. n. št., Babilon osvobodil od asirske oblasti in postal glavno mesto Novobabilonskega cesarstva. 605 pr. n. št. Babilonci zmagajo nad Egipčani v bitki pri Karkemišu, porušijo Jeruzalem in zajete Jude preselijo v Babilon. V času te neovisnosti pod Nabopolasarjem se je začelo novo obdobje arhitektonskih del, njegov sin Nebukadnezar II. pa je iz mesta naredil čudo antičnega sveta. Nebukadnezar II. je zgradil Ištarina vrata, obnovil tempeljski kompleks Etemenanki in zgradil viseće vrtove Babilona (eno od sedem svetovnih čudes).

Leta 539 pr. n. št. Babilon osvoji Kir Veliki, kralj Ahemenidskega cesarstva, ki je omogočil Judom vrnitev v Jeruzalem. Pod vladavino Kira Velikega in kasneje Dareja Velikega, Babilon postane center znanja in znanstvenega napredka. Babilonski znanstveniki so izdelali zvezdne karte in postavili temelje moderne astronomije in matematike. V času vladavine Dareja III. je Babilon začel stagnirati.

Leta 331 pr. n. št. perzijski kralj Darej III. doživi poraz od makedonskega vladarja Aleksandra Velikega v bitki pri Gaugamelah. V oktobru istega leta Aleksander osvoji Babilon. Pod njegovim vladanjem Babilon ponovo prosperira kot središče znanja in trgovine. Po Aleksandrovi zagonetni smrti 323 pr. n. št., so njegovo cesarstvo razdelili med njegove generale in sledila so desetletja vojskovanj. Zaradi tega je bil Babilon skoraj povsem zapuščen že 275 pr. n. št..