L'àrea al voltant de Johannesburg ha estat habitada per milions d'anys. Les coves de Sterkfontein al nord-oest són el bressol de l'esquelet més complet d'un homínid amb 3.3 milions d'anys d'antiguitat, així com prop de 700 exemplars d'una espècie estretament relacionada, el Australopithecus africanus, entre altres, Mrs. Ples, que té entre 2,8 i 2,3 milions d'anys.

Es creu que la regió de Johannesburg va ser habitada pel poble nòmada Bushmen fa uns 100.000 anys. Els Bushmen haurien viscut en aquest àrea fins que el poble de llengua bantu va migrar a aquest lloc prop de l'any 1 060 a.d. de C. El poble Bantu pertanyia a l'Edat del Ferro i van domesticar animals, van conrear la terra, van treballar els metalls, van fer ceràmica i van viure en llogarets organitzats.

 Hisenda on va ser descobert or per la primera vegada en 1886.

La ciutat va néixer en 1886 com un més dels nuclis de població bastits entorn dels jaciments sorgits arran de la febre de l'or a la regió del Witwatersrand en 1884,[1] i inicialment no era més que un suburbi de Pretòria. El seu nom prové precisament de l'inspector general de la zona, Johannes Rissik. Es va convertir en una dècada en una ciutat amb més de 100.000 habitants.[2] El lloc sol cridar-se en zulu com eGoli, la terra de l'or, encara que les mines properes ja s'han esgotat.

Inicialment, es va descobrir or una mica a l'est de la ubicació actual de la ciutat, en Barberton. Les estimacions ràpidament van portar a la conclusió que hi havia jaciments més rics en Witwatersrand. El poble en els seus començaments era com qualsevol assentament promissor, però quan es va córrer la veu de l'existència d'or, la gent va acudir en gran nombre a aquest àrea des de moltes altres regions del país, així com de Nord Amèrica, el Regne Unit i la resta d'Europa. A mesura que el valor del control de les terres va augmentar, va viure les tensions entre el govern bòer, que van fundar el poble i en el país del qual (la República de Sud-àfrica -ZAR-)se situava Johannesburg durant el Segle XIX, i els Britànics, culminant en la Segona Guerra Anglo-Boer. Els Boers van perdre la guerra i el control de l'àrea va ser cedit als britànics, on s'havien desplaçat milers de treballadors d'arreu del país.

 Pritchard Street, c. 1910

Quan es va declarar la Unió de Sud-àfrica l'any 1910, es va aplanar el camí per a una estructura més organitzada de la mineria. Més tard, el govern sud-africà va instituir un sever sistema racial, en què negres i indis tenien una gran càrrega tributària, van ser exclosos dels treballs professionals i en conseqüència, forçats a treballar en treballs nòmades en els cultius que proveïen les mines d'or.

 Casa on va viure Nelson Mandela i la seva dona, Winnie, abans del presó.

Johannesburg inclou al sud-oest del terme municipal la famosa àrea residencial de Soweto, establerta pels governs de l'apartheid per allotjar-hi un gran nombre de treballadors immigrants negres, escenari de les protestes contra aquest sistema de govern. Nelson Mandela va passar molts anys vivint en Soweto i la seva casa de Soweto a Orlando actualment és una gran atracció turística.

 Johannesburg en 1970.

La violència a gran escala va esclatar en 1976 quan els Estudiants del Consell Representatiu de Soweto van organitzar protestes en contra de l'ús de l'afrikaans com a idioma primari d'instrucció, que era considerada com la llengua dels opressors, a les escoles per a la població de color. La policia va disparar a una marxa d'estudiants i 1.000 persones van morir els 12 mesos següents en protestar contra el sistema d'apartheid. Una de les víctimes més famoses de la massacre, Hector Pieterson, és recordada amb un gran museu dedicat a la seva memòria en Soweto.

 El Districte Central Financer de Johannesburg en l'actualitat.

Les regulacions de l'apartheid es van abandonar al febrer de 1990 i des de les eleccions de 1994, Johannesburg ha estat lliure de lleis discriminatòries. Els pobles per a la gent de color han estat integrats al sistema de govern municipal i en algunes parts els suburbis s'han convertit en barris multiracials. No obstant això, hi ha hagut una migració a gran escala del comerç i oficines des del Districte de Negocis Central i els suburbis del sud, en favor dels suburbis del nord. Això va ser estimulat per un augment en la taxa de criminalitat, una congestió de tràfic molt seriosa i el transport públic inadequat, així com un marc tributari favorable per a terratinents en els suburbis del nord, creat abans de la integració de la ciutat. Actualment, el Consell Metropolità de Johannesburg està implementant un projecte per reviure el centre de la ciutat, que porti a moltes empreses a moure els seus centres de negocis de tornada a aquest àrea.