La région entourant Johannesburg était à l'origine habitée par des chasseurs-cueilleurs San qui utilisaient des outils en pierre. Il est prouvé qu'ils vivaient là il y a dix siècles. Les ruines aux murs de pierre des villes et villages de Sotho-tswana sont éparpillées autour des parties de l'ancien Transvaal dans lesquelles se trouve Johannesburg.

Vers le milieu du XVIIIe siècle, la région élargie était en grande partie peuplée par diverses communautés sotho-tswana (une branche linguistique de locuteurs du bantou), dont les villages, les villes, les chefferies et les royaumes s'étendent de l'actuel Botswana, à l'ouest de nos jours.

De nombreuses villes et villages sotho-tswana dans les environs de l'emplacement de Johannesburg ont été détruits et leurs habitants massacrées pendant les guerres qui ont éclaté lors de l'expansion du Royaume zoulou (mfecane) au début du XIXe siècle.

À partir de 1835, les premiers Boers, chassés par les Britanniques de la région du Cap qu'ils occupaient depuis le XVIIe siècle commencèrent à affluer lors du Grand Trek.

Période boer  Johannesbourg en 1896.

Un camp de tentes est installé par Ignatius Ferreira dans ce qui deviendra Ferreirasdorp, la plus ancienne partie de la ville, laquelle devient en dix ans la principale zone urbaine du Transvaal. Le développement de Johannesbourg est lié à la découverte d'or en 1886 (d'où son nom zoulou : eGoli signifiant « la cité de l'or »). La ville connaît alors une croissance extrêmement rapide, avec en particulier l'ouverture d'une bourse de valeurs, la bourse de Johannesbourg (Johannesburg Stock Exchange), dès 1887. En une dizaine d'années, la ville de Johannesburg comptait 100 000 habitants.

Comme beaucoup de villes minières de la fin du XIXe siècle, Johannesburg était un lieu rude et désorganisé, peuplé de mineurs blancs de tous les continents, de tribus africaines recrutées pour effectuer des travaux miniers non qualifiés, de brasseurs de bière africains qui cuisinaient et vendaient de la bière aux travailleurs migrants noirs, un très grand nombre de prostituées européennes, de gangsters, de Afrikaners appauvris, de commerçants et de zoulous "AmaWasha", qui ont dominé le travail de blanchisserie. À mesure que la valeur du contrôle de la terre augmentait, des tensions se développèrent entre le gouvernement du Transvaal à Pretoria, dominé par les Boers, et les Britanniques, dont le point culminant fut le Raid Jameson qui aboutit au fiasco de Doornkop en janvier 1896. Au cours de la seconde guerre des Boer (1899–1902) Les forces britanniques commandées par le maréchal Frederick Sleigh Roberts, occupent la ville le 30 mai 1900 après une série de batailles au sud-ouest de ses limites d'alors, près de l'actuel Krugersdorp.

Les combats se sont déroulés au col de Gatsrand (près du parc Zakariyya) le 27 mai, au nord de Vanwyksrust - l'actuel Nancefield, le parc Eldorado et Naturena - le lendemain, aboutissant à une attaque massive d'infanterie sur l'actuelle crête des eaux de Chiawelo et de Senaoane. 29 mai

Pendant la guerre, de nombreux mineurs africains noirs ont quitté Johannesburg, provoquant une pénurie de main-d'œuvre, que les mines ont compensées par une main d'œuvre venue de Chine, en particulier du sud de la Chine. Après la guerre, ils ont été remplacés par des travailleurs noirs, mais de nombreux Chinois sont restés, créant la communauté chinoise de Johannesburg, qui pendant la période de l'apartheid n'était pas légalement classée comme Asiatique, mais comme Coloured. La population en 1904 était de 155 642 habitants, dont 83 363 Blancs (53 %).

Au sein de l'Union sud-africaine  Vue aérienne de Johannesbourg en 1911. En haut de la photo, le Joubert Parc et la gare de Park Station. Pritchard Street vers 1910.

En 1917, Johannesburg devint le siège de la société Anglo American fondée par Ernest Oppenheimer, qui devint finalement l'une des plus grandes sociétés du monde, dominant à la fois les mines d'or et de diamant en Afrique du Sud. D'importants investissements immobiliers ont eu lieu dans les années 1930 (immeubles Art déco), après l'abandon de l'étalon-or. À la fin des années 1940 et au début des années 1950, le quartier d'Hillbrow connu une forte croissance. En 1951, en application des nouvelles lois d'apartheid, le township de Soweto fut conçu pour recevoir des résidents uniquement noirs. De nouvelles autoroutes ont favorisé le développement des banlieues au nord de la ville. À la fin des années 1960 et au début des années 1970, des gratte-ciels (notamment le Carlton Centre et le Southern Life Centre) occupaient l’horizon du quartier central des affaires.

En mars 1960, Johannesburg a été le théâtre de nombreuses manifestations contre l'apartheid en réponse au massacre de Sharpeville. En juillet 1963, la police sud-africaine a perquisitionné une maison dans la banlieue de Johannesburg, à Rivonia, où neuf membres du Congrès national africain (ANC), interdit, ont été arrêtés sous l'inculpation de sabotage. Parmi les neuf personnes arrêtées figuraient un Indo-Sud-Africain, deux Blancs et six Noirs, dont l'un était le futur président Nelson Mandela.

Le 16 juin 1976, des manifestations ont éclaté à Soweto à la suite d'un décret gouvernemental tendant à ce que les écoliers noirs soient éduqués en afrikaans et non en anglais. Après que la police eut tiré sur les manifestations, des émeutes contre l'apartheid ont commencé à Soweto et se sont propagées dans la région de Johannesburg. Environ 575 personnes, en majorité noires, ont été tuées lors des émeutes de Soweto en 1976. Entre 1984 et 1986, l'Afrique du Sud était en proie à une série de manifestations nationales, de grèves et d'émeutes contre l'apartheid, et les townships noirs autour de Johannesburg étaient les scènes des luttes les plus acharnées entre la police et des manifestants anti-apartheid.

Période post-apartheid  Park Station dans le centre-ville en 2009.

Le centre de la ville (Central Business District) commença à décliner dès les années 1980 et 1990, en raison du taux de criminalité élevé, redirigeant les capitaux des spéculateurs immobiliers vers les banlieues. Le centre commercial de Sandton a été ouvert en 1973, suivie du Rosebank Mall en 1976 et de Eastgate en 1979.

Le 28 mars 1994, à l'approche des élections de 1994, une cinquantaine de manifestants du Parti Inkatha de la liberté sont tués par des gardes de l'ANC lors du massacre de Shell House.

Dans les années 2000, le niveau de criminalité à Johannesburg a diminué, l'économie se stabilisant et commençant à croître. Entre 2001 et 2006, 9 milliards de rands (1,2 milliard de dollars américains) ont été investis dans le centre-ville. Des investissements supplémentaires d’environ 10 milliards de rands (1,5 milliard de dollars américains) sont attendus dans le seul centre-ville d’ici à 2010, sans compter les projets de développement directement liés à la Coupe du monde de football 2010. Afin de préparer Johannesburg à la Coupe du Monde de la FIFA 2010, le gouvernement local a fait appel à Rudy Giuliani, ancien maire de New York, pour aider à faire baisser le taux de criminalité, les matchs d'ouverture et de clôture du tournoi ayant eu lieu dans la ville.

Le 12 mai 2008, une série d'émeutes a commencé dans le township d'Alexandra, dans le nord-est de Johannesburg, lorsque des habitants ont attaqué des migrants du Mozambique, du Malawi et du Zimbabwe, faisant deux morts et 40 blessés. Ces émeutes ont déclenché les attaques xénophobes de 2008. De nouvelles émeutes en 2019 étaient de nature et d'origine semblables aux émeutes xénophobes de 2008.