Одне з найдавніших міст світу. Про історію міста нагадує пагорб Цитаделі, що являє собою залишки колишніх поселень; навколишня його стіна, як вважають, у своїй найдавнішій частині сходить ще до доісламських часів. У ассирійські часи вважався присвяченим богині Іштар. У храмі Іштар був оракул: жриці, в екстазичному стані, давали передбачення; як і у всіх храмах цієї богині, жриці віддавалися храмовій проституції.

За часів перського панування через місто, відоме з грецьких джерел як Арбелі, проходила так звана «Царська дорога», що зв'язує центр Перської держави з Егейським узбережжям. Саме тут збирав свої армії з підвладних народів перський цар Дарій III для відсічі македонцям. Місто прославилося завдяки вирішальній перемозі, яку здобув недалеко від Арбел (точніше, під містечком Гавгамели за 75 км на північний захід від Арбел) в 331 році до н. е. Олександр Македонський над перським царем Дарієм III. Після поразки Дарій утік через це місто, і саме бій античні історики називають Битвою при Арбелі, хоча зараз встановилася географічно точніша назва — Битва при Гавгамелах.

У III ст. до н. е. — III ст. столиця невеликого царства Адіабена, (інакше «Арбелітіда»), підвладного Парфії, потім увійшло як столиця намісництва до складу держави Сасанідів. Адіабена відома в єврейській традиції тим, що її правителі на початку н. е. взяли юдаїзм; але основною релігією населення до кінця античності стало християнство.

З 642 року Ербіль, разом з усією Месопотамією, потрапляє під владу арабів і починає ісламізуватися. У 1144 році тюркський Атабеков Зейнуддін Алі Кучук перетворює Ербіль в центр самостійного емірату. Цей емірат досяг розквіту при емірі Музафар-ед-Діні Гьокбуру (1190–1232), зяті єгипетського султана Салах ад-Діна. У мусульманському світі Музаффар відомий тим, що ввів святкування дня народження пророка Мухаммеда — перше таке свято було влаштоване з великою розкішшю в Ербілі в 1207 році. При Музаффарі було побудовано кілька будівель, що збереглися дотепер, у тому числі друга (після цитаделі) пам'ятка міста — мінарет Музаффарійя (нині більш відомий як «Надламаний мінарет») — 33-метрова вежа, яка колись була частиною комплексу медресе. Музаффар побудував і базар Кайсаром, також зберігся (в перебудованому вигляді).

У 1258 року місто після річної облоги захопили монголи і володіли ним до 1410 року (тобто до смерті Тимура). Потім ним володіли недовговічні держави Кара-Коюнлу і Ак-Коюнлу і шах Ісмаїл Сефевідамі. В останнього місто в 1517 році відняли турки, чия влада зберігалася рівно 400 років. У листопаді 1918 року Ербіль був зайнятий англійцями, які зробили його столицею особливого губернаторства. З 1921 року в складі Іраку.