במקום בו שוכנת העיר סרייבו, הייתה התיישבות החל מתקופת האבן. במקום היו התיישבויות איליריות אשר נכבשו על ידי האימפריה הרומית בשנת 9 לפנה"ס. בתקופה הרומאית נקראה העיר אקווה סולפורה.

התאריך המקובל של ייסוד העיר הוא 1461, כשהמושל העות'מאני של בוסניה, איסה בק איסקוביק, הפך את הכפר שהיה במקום לעיר הבירה האזורית ובנה בה מסגד, באזאר מקורה וסראייה (ארמון מושל), שעל שמו קרויה העיר. בתקופת המושל גאזי הורסב בק במאה ה-16 גדלה העיר. רוב העיר מתקופה זו השתמר עד ימינו ומהווה את העיר העתיקה של סרייבו. במאה ה-17 הייתה סרייבו העיר השנייה בחשיבותה בבלקנים, אחרי איסטנבול.

בשנת 1697 כבש את העיר הנסיך אויגן מסבויה ושרף אותה. העיר נבנתה מחדש אך לא שבה לגדולתה, ועיר הבירה של בוסניה הועברה לטרבניק. בשנת 1878, סופחה העיר על ידי האימפריה האוסטרו-הונגרית, והחל תהליך תיעושה.

ב-28 ביוני 1914 נרצחו הארכידוכס של אוסטריה פרנץ פרדיננד ואשתו בעת ביקור בסרייבו על ידי הלאומן הסרבי גברילו פרינציפ. "הרצח בסרייבו" היה הניצוץ שהצית את האש במלחמת העולם הראשונה.

לאחר מלחמת העולם, משהוקמה ממלכת יוגוסלביה הפכה סרייבו לבירתה של דרינסקה בנובינה - אחד המחוזות החשובים בממלכה.

לאחר מלחמת העולם השנייה, הפכה סרייבו למרכז תעשייתי עיקרי ביוגוסלביה.

בשנת 1984 נערכו בעיר משחקי החורף האולימפיים. ב-6 באפריל 1992 צרו כוחות סרביים על העיר ותקפו אותה. המצור על העיר נמשך עד שנת 1995 והוביל להרס מרביתה. בשנת 2003 הסתיים שיקומה של העיר, מלבד כמה אתרים קטנים במרכז העיר שטרם שוקמו.