Pierwsza wzmianka o Babilonie pochodzi z czasów panowania Szar-kali-szarri, króla Akadu z XXIII w. p.n.e. W okresie monarchii III dynastii z Ur (2113–2005 p.n.e.) mieściła się tu siedziba ensich – zarządców niewielkiej prowincji. W roku 1894 p.n.e. Sumu-abum (1894–1881 p.n.e.), przywódca jednego z plemion amoryckich, obrał Babilon za swoją siedzibę, zakładając słynną I dynastię z Babilonu. Rola miasta wzrosła znacznie za panowania Hammurabiego (1792–1750 p.n.e.), szóstego władcy z tej dynastii, który stworzył duże imperium ze stolicą w Babilonie. W 1595 r. p.n.e. miasto zostało zdobyte, złupione i spalone przez Mursilisa I, króla hetyckiego, by następnie wpaść w ręce Kasytów, ludu z gór Zagros, którym w XVI w. p.n.e. udało się przejąć kontrolę nad Babilonią i utworzyć tu własne państwo o nazwie Karduniasz. Władali oni Babilonią przez następne 400 lat, a Babilon – stolica ich państwa – przeżywał w tym okresie zmienne koleje losu, m.in. padając dwukrotnie łupem agresorów z zewnątrz. W 1235 r. p.n.e. asyryjski król Tukulti-Ninurta I najechał Babilonię, pojmał jej kasyckiego władcę Kasztiliasza IV i zdobył Babilon, wywożąc z niego liczne skarby, w tym posąg boga Marduka. Ten sam los spotkał Babilon niemal sto lat później, w 1159 r. p.n.e., kiedy Babilonię najechał elamicki władca Szutruk-Nahhunte I, kładąc kres dynastii kasyckiej.

Wieki XI–VIII p.n.e. to okres zamieszania w Babilonii, związany z przybyciem i osiedlaniem się na jej obszarze plemion chaldejskich. Babilonem rządziło kolejno kilka różnych dynastii, których władcy, poza problemami wewnętrznymi, musieli też radzić sobie ze stałym zagrożeniem jakim stała się rosnąca w siłę Asyria. Ok. 730 r. p.n.e. jeden z asyryjskich władców, Tiglat-Pileser III, najechał Babilonię, zdobył Babilon i jako pierwszy z władców asyryjskich przyjął tytuł „króla Babilonu”, tworząc tym samym unię personalną Asyrii i Babilonii. W 689 r. p.n.e. na rozkaz jednego z następców Tiglat-Pilesera III – Sennacheryba wojska asyryjskie zdobyły i splądrowały Babilon, mordując jego mieszkańców i paląc miasto. Babilon odzyskał dawną potęgę w pierwszej połowie VI wieku p.n.e., odbudowany przez Asarhaddona (syna Sennacheryba) i później za panowania dynastii nowobabilońskiej (z tych czasów pochodzą Brama Isztar, zrekonstruowany i powiększony ziggurat E-temenanki czy wiszące ogrody Semiramidy).

Zdobyte w 539 roku p.n.e. przez Persów, miasto powoli traciło na znaczeniu. W roku 482 p.n.e. miasto Babilon zbuntowało się, satrapę Zopyrosa zabito. Następca Dariusza, Kserkses I, za pośrednictwem Megabyzosa zdobył zbuntowane miasto, ograbił je, obłożył wysokimi podatkami. Żołnierzy wcielono do armii asyryjskiej i określano ich Chaldejczykami, gdyż nazwa związana z Babilonią została odtąd urzędowo zakazana[1].

W Babilonie zmarł w 323 roku p.n.e. Aleksander Wielki, który zamierzał uczynić je stolicą swojej uniwersalnej monarchii. Po jego śmierci miasto zaczęło podupadać w wyniku licznych wojen i masowych wywózek ludności (m.in. w roku 275 p.n.e.[2]). Ostateczny upadek miasta dokonał się za czasów panowania Partów w III wieku n.e. Został ponownie odkryty przez niemieckiego archeologa Roberta Koldeweya w 1899 roku.