Manoma, kad Erbilis yra vienas iš seniausių nuolat apgyvendintų miestų pasaulyje. Miestietiškas gyvenimas Erbilyje buvo gyvenamas bent nuo XXIII a. pr. m. e. Manoma, kad miesto pavadinimas kilo iš šumerų kalbos ir reiškia „aukštutinis miestas“. Erbilis minimas šumerų šaltiniuose, kuomet jį nusiaubė Ūro valdovas Amarsinas. Ilgus amžius (nuo 2000 iki 608 m. pr. m. e.) miestas priklausė Asirijai. Manoma, kad Medijos karalius Kiaksaras čia įkurdinęs iranėnų tautą sagartiečius. 547 m. pr. m. e. persų valdovas Kyras Didysis užkariavo Asiriją, o Erbilį pavertė Asirijos satrapijos sostine. Čia gyvenę sagartiečiai nuolat kėlė sukilimus prieš persus. 521 m. pr. m. e. Darijus I atsiuntė armiją numalšinti sukilimo. Pasak Behistuno įrašų, tai buvęs paskutinis Medijos sukilimas.

331 m. pr. m. e. netoli Erbilio įvyko Gaugamelų mūšis, kuriame Aleksandras Makedonietis nugalėjo Darijaus III armiją. I-II a. Erbilis buvo asirų valstybės Adiabenės sostine. Miestas tapo ankstyvuoju sirų krikščionybės centru. 1397 m. miestą suniokojo Timūro antpuolis. Vėliau miestą valdė įvairios arabų bei tiurkų valstybės. Erbilis tapo svarbiu prekybiniu centru tarp Bagdado ir Mosulo. Osmanų laikais ant senovinio piliakalnio (telo) pastatytas fortas.