יוהנסבורג נוסדה על ידי מתיישבים בורים בשנת 1886, עם גילוי מרבצי הזהב בריף ה"ויטווטרסראנד" (Witwatersrand). השמועה על גילוי הזהב באזור עשתה כנפיים, ועיירת הכורים הקטנה גדלה במהירות עם הגעתם של רבבות מהגרים משאר אזורי הארץ והעולם במסגרת "בהלת הזהב". יוהנסבורג, כיתר שטחי הבורים, נכבשה על ידי הבריטים במלחמת הבורים השנייה (1899-1902), ונשארה בשליטתם עד שהעניקו הבריטים עצמאות לדרום אפריקה בשנת 1910.

עם קבלת העצמאות, מוסדה ויועלה כריית הזהב תוך התפתחותה והתעשרותה של העיר, ואגב ניצול כוח עבודה שחור שהגיע מכל רחבי המדינה והיבשת. תחת שלטון האפרטהייד, נאסר על כוח העבודה השחור לגור בתחומי העיר, והוקמו עבורם עיירות עובדים בפאתי העיר. הידועה והגדולה בהם סווטו – Soweto, שהייתה לזירת התנגשויות בולטת בין השלטון הלבן לשחורים וחממה לגידול דור ההתנגדות למשטר האפרטהייד, בהם נלסון מנדלה. לאחר סיום האפרטהייד בתחילת שנות ה-90, בוטלה ההפרדה הממוסדת באזורי המגורים, ועיירות השחורים מוזגו לתוך שטח העיר.

אחד התהליכים המאפיינים את דרום אפריקה בכלל ואת יוהנסבורג בפרט, עם תום האפרטהייד, הוא שינוי השמות האפריקאנריים (המנציחים מנהיגי עבר בורים על פי רוב) של מקומות, רחובות, מתקנים ומוסדות ציבור לשמות אפריקאיים, בעיקר בזולו וקוסה שהן שתי השפות הדומיננטיות בקרב השבטים הגדולים של המדינה. אחת הדוגמאות לכך היא שינוי שמו של נמל התעופה הבינלאומי של יוהנסבורג מ"נמל התעופה יאן סמאטס" ל"יוהנסבורג אינטרנשיונל", ולאחרונה שונה שמו שוב והפעם ל"נמל התעופה על שם אוליבר טאמבו". בשנים האחרונות נעשו מאמצים מצד השלטון השחור לשנות את שמה של יוהנסבורג ל"אגולי" (eGoli), שפירושו "עיר של זהב" בשפת זולו.

בשנת 2023 התרחשה בעיר שרפה בבניין מגורים בה נהרגו 88 תושבים.