Fou fundada entre el segle VII i el X i va esdevenir un important nus comercial. Fou part del soldanat d'Ifat. La dinastia Walasma va traslladar la capital a la regió de Harar, se suposa que per escapar del control dels generals que dominaven amb el suport dels danakils i somalis de la costa i que amb Ahmad Grañ havia ocupat el poder com a imam. Els walasma es van establir a Dakar a l'est de Harar, i més tard a la mateixa Harar. L'emigració dels galla (els oromo) va afectar el sud d'Etiòpia. Després del 1555 la regió es va veure envaïda pels guerrers oromo.

El 1559 Harar fou ocupada temporalment. Nur al-Mujtahid (1552-1567) va construir les muralles de 4 m d'alçada i amb cinc portes, conegudes com a Jugol i que es conserven en molt bon estat. Els soldans van encunyar moneda i fou un centre de comerç de les caravanes des del cap a la costa, i centre cultural musulmà. Al segle xviii i XIX el soldanat va encunyar força moneda.

El soldanat va continuar com a soldanat de Harar fins al 1887. El 1875 els egipcis van ocupar el territori, però va recuperar la independència el 1884 quan els egipcis es van retirar. El 1887 l'exèrcit de Menelik II va envair el soldanat i va derrotar les forces locals en la Batalla de Chelengo (6 de gener de 1887); annexionà el territori.

Amb la creació de la línia fèria Addis Ababa-Djibouti la ciutat va perdre importància. La via no va passar per la ciutat com estava inicialment previst, per estalviar diners en la construcció. La fundació de Dire Dawa com a estació del ferrocarril va suposar l'emergència d'una alternativa a Harar.

Sota els emperadors etíops va ser la seu de l'Acadèmia militar imperial. Va arribar a 60.000 habitants vers 1965. A la caiguda de la monarquia fou teatre d'intensos combats entre etíops i el Front d'Alliberament de Somàlia Oriental. De l'octubre del 1977 al gener del 1978 els somalis que ja dominaven el 90% de l'Ogaden van provar d'ocupar Harar, defensada per 40.000 etíops, 1.500 soviètics i 11.000 cubans. Van arribar als afores de la ciutat el novembre, però estaven massa cansats i mancats de material per ocupar-la i es van haver de retirar a l'espera del contraatac etiopcubà.

L'ofensiva etiopcubana es va produir el febrer: d'un costat van atacar les forces somalis a la zona de Harar, però de l'altra van fer un by-pass per Marda (defensat pels somalis) entre Jijiga i la frontera somali, i així van poder atacar els somalis des de dues direccions. Van reconquerir Jijiga on en dos dies van morir 3.000 defensors; la defensa somali es va enfonsar i els etíops i cubans van reconquerir l'Ogaden en les setmanes següents.

El 1995 fou declarada capital de la regió ètnica harari (o hararhi). La ciutat està poblada per nombroses ètnies, principalment oromos, amhares i tigres.

El poble harari (anomenat a si mateix Gey 'Usu o 'poble de la ciutat') és la població autòctona; és un poble semita descendent dels aksumites establerts a la zona en una posició militar; la seva llengua és l'harari o adareñña, l'única llengua semita en un territori rodejat de parlants de llengües cuixites; fa pocs anys l'alfabet ge'ez va substituir l'alfabet àrab que fins aleshores s'utilitzava per a escriure la llengua.