De geschiedenis van Sarajevo gaat terug tot in het stenen tijdperk, toen de Butmircultuur bloeide in de regio. Van deze periode zijn weinig overblijfselen bewaard gebleven, en pas in 1893 werden er ontdekkingen in deze richting gedaan tijdens bouwwerkzaamheden voor de agrarische universiteit van Sarajevo.

In de regio bestonden veel Illyrische nederzettingen. Deze Illyriërs behoorden tot de stam van de Daesitaten, die zich gedurende lange tijd wisten te verzetten tegen de Romeinse bezetting. Hun verzet werd door keizer Tiberius neergeslagen.

Onder de Romeinse heerschappij maakte Sarajevo deel uit van de provincie Dalmatië. De belangrijkste Romeinse stad in de regio werd Aquae Sulphurae, op de plek van het huidige Ilidža.

Meestal wordt 1461 genoemd als het jaar waarin Sarajevo werd gesticht. Daarvoor bestond Sarajevo uit een gemeenschap van dorpen, maar in 1461 voegde de eerste Ottomaanse gouverneur van Bosnië en Herzegovina Isa-beg Ishaković de dorpen samen tot een stad. Hij maakte er bovendien een belangrijke stad van door cruciale bouwwerken neer te zetten, zoals een moskee, een overdekte markt, een badhuis en een kasteel voor zichzelf. Dit kasteel (de Saray) gaf Sarajevo haar huidige naam.

In de 16e eeuw maakte Sarajevo onder Gazi Husrev-beg een periode van grote bloei door. De stad werd een van de modernste steden van Europa. Aan het einde van de 16e eeuw was Sarajevo zelfs de tweede stad van de Balkan, na Istanboel. Het inwoneraantal was tegen die tijd toegenomen tot meer dan 80.000. Het was de Gouden Eeuw van Sarajevo.

In de loop van de 17e eeuw begon echter de eerste aftakeling van het Ottomaanse Rijk. In 1697 werd de stad verwoest tijdens een door prins Eugenius van Savoye geleide veldslag tegen het Ottomaanse Rijk. De stad moest vanaf de eerste steen herbouwd worden, en ook de bestuurlijke structuur was in het ongerede geraakt. Dit laatste had als gevolg dat Sarajevo haar status van hoofdstad van het gebied moest afstaan aan Travnik. Gedurende tien jaren, van 1747 tot 1757, maakte de stad een periode van volledige anarchie door. Aan het einde van de 18e eeuw brak de pest uit in de stad, en in 1788 werd Sarajevo opnieuw getroffen door een grote brand.

In 1878 bepaalde het Verdrag van Berlijn dat Bosnië en Herzegovina deel zou gaan uitmaken van Oostenrijk-Hongarije. Daarmee kwam ook Sarajevo onder Habsburgs gezag te staan. De stad verzette zich hevig tegen deze overdracht, en dat leidde tot gevechten in de stad tussen de burgers en het Oostenrijkse leger. De Oostenrijkers hadden deze gevechten echter al snel de kop ingedrukt.

De overdracht aan Oostenrijk-Hongarije bleek uiteindelijk voornamelijk positieve ontwikkelingen op te leveren op het gebied van industrialisatie, economie en politiek. De stad moest ook letterlijk worden herbouwd naar westers model. Een nieuwe brand in het oude centrum was daarbij van onverwachte dienst, want op de daardoor vrijgekomen plekken konden er gebouwen naar Oostenrijks model worden gebouwd. Dit resulteerde in een mengelmoes van Ottomaanse en Westerse architectuur. Het onderwijs werd op Westerse leest geschoeid, en de bewoners van Sarajevo vervingen het Cyrillische schrift door het Latijnse schrift. Sarajevo werd ook de eerste stad in Europa met een tram.

De belangrijkste gebeurtenis te Sarajevo gedurende de Habsburgse tijd was de moord op Frans Ferdinand. De jonge Servische extremist Gavrilo Princip schoot bij een aanslag op 28 juni 1914 de Oostenrijkse troonopvolger Frans Ferdinand dood tijdens diens bezoek aan de stad. Dit zou leiden tot escalerende diplomatieke spanningen die de aanleiding vormden tot het uitbreken van de Eerste Wereldoorlog, een maand later op 28 juli 1914.

Na de Eerste Wereldoorlog ging Sarajevo met Bosnië en Herzegovina deel uitmaken van het Koninkrijk Joegoslavië. De stad verloor een groot deel van haar glorie, en er werden geen belangrijke bouwwerken toegevoegd aan de stad.

In de Tweede Wereldoorlog ging Sarajevo deel uitmaken van de Onafhankelijke Staat Kroatië, de Duitse satellietstaat onder heerschappij van Tomislav II. De Joodse gemeenschap in Sarajevo werd in die periode welhaast uitgeroeid. Het verzet in Sarajevo werd geleid door de partizaan Vladimir "Valter" Perić. Een groot deel van de burgerbevolking had zich bij dit verzet aangesloten. De legendarische Perić werd gedood tijdens een gevecht op 6 april 1945: de dag dat Sarajevo werd bevrijd.

Na de bevrijding werd Sarajevo de hoofdstad van de Republiek Bosnië en Herzegovina, in de Socialistische Federale Republiek van Joegoslavië. De communisten investeerden enorm in de opbouw en uitbreiding van de stad. Er werden nieuwe wijken gebouwd, de industrie werd ontwikkeld en Sarajevo werd weer een van de belangrijkste steden op de Balkan. De bevolkingsomvang nam toe van 115.000 vlak voor de Tweede Wereldoorlog tot 430.000 aan het einde van het Joegoslavische tijdperk.

Het toppunt van de bloei die Sarajevo in socialistisch Joegoslavië doormaakte werd veroorzaakt door de Olympische winterspelen 1984 die er werden gehouden. Ze brachten een grote opleving van het toerisme, waardoor de jaren tachtig voor de stad de beste jaren van de 20e eeuw werden.

Met het uitroepen van de onafhankelijkheid van Bosnië en Herzegovina op 5 april 1992 brak er voor Sarajevo een ander tijdperk aan. De stad werd de hoofdstad van de nieuwe staat. In de weken voorafgaand aan de onafhankelijkheidsverklaring was Sarajevo het toneel van demonstraties en betogingen, en intussen hadden troepen van het Joegoslavische Volksleger zich in de bergen rond de stad gevestigd.

Op de dag van de onafhankelijkheidsverklaring werd in Sarajevo tijdens een demonstratie de studente Suada Dilberović door een onbekende schutter gedood. Dit incident luidde het begin van jaren van belegering in.

Wat volgde, waren drie jaren waarin de stad werd beschoten en gebombardeerd vanuit de omliggende bergen. De bewoners leefden zonder de gebruikelijke voorzieningen van elektriciteit, verwarming, water en medische zorg, en er was een voortdurend gebrek aan voedsel. Wel werd er een tunnel gegraven waardoor zaken veilig konden worden aangevoerd.

Tijdens de belegering werden naar schatting 12.000 mensen gedood en 50.000 mensen gewond. Ook werden er veel gebouwen en voorwerpen van cultureel belang verwoest. Zo werd op 25 augustus 1992 de bibliotheek van de universiteit verwoest, waardoor een groot deel van de Bosnische geschreven cultuur in vlammen opging. Minstens 700 unieke manuscripten gingen verloren. Gedurende drie jaren vonden er in Sarajevo gemiddeld 329 bominslagen per dag plaats. Het record werd bereikt op 22 juli 1993, toen er 3777 inslagen werden geteld. Na de ondertekening van de Daytonakkoorden in 1995 werd de belegering op 29 februari 1996 officieel ten einde verklaard.

De daarop volgende jaren stonden in het teken van wederopbouw. Haast elk gebouw in de stad had meer of minder ernstige schade geleden. Overal in de stad stonden ruïnes, welhaast alle muren waren getekend door kogelinslagen en ook lagen er landmijnen in en om de stad. In 2003 waren veel van de ruïnes verdwenen. Sarajevo werd weer het toneel van internationale festiviteiten, zoals het Sarajevo Film Festival. De stad kende na 1996 wederom een snelle ontwikkeling. Naar verwachting zal Sarajevo in het jaar 2020 het vooroorlogse inwoneraantal weer bereiken.