Saraxevo fundárona os otománs en 1461 como capital de Bosnia e no século XVI construíuse a maior parte do que hoxe a cidade vella. En 1697 nunha incursión do príncipe Eugène de Savoia a cidade foi destruída e tivo que ser reconstruída máis tarde. En 1878 pasou ao Imperio austrohúngaro.

O 28 de xuño de 1914 o arquiduque Francisco Fernando de Austria e a súa muller foron asasinados mentres visitaban a cidade, o que constituíu a orixe inmediata da primeira guerra mundial, logo da guerra Saraxevo integrouse en Iugoslavia como capital de Drinska banovina. Trala segunda guerra mundial, Saraxevo converteuse nun importante centro industrial. En 1984 foi a sede dos Xogos Olímpicos de Inverno.

Logo da descomposición de Iugoslavia, Saraxevo foi cercada polas forzas serbiobosníacas o 6 de abril de 1992, o que provocou o inicio da guerra de Bosnia e a destrución de gran parte da cidade e dramáticos cambios na composición étnica. En outubro de 1995 rematou a guerra cos acordos de Dayton e comezou a reconstrución da cidade.