1886年に最初に金脈が発見された農場先史

19世紀半ばまでは、先住民族であるサン人の小さな集落のひとつにすぎなかった。

オランダ人の入植

1853年のトランスヴァール共和国成立以降も、開拓のためオランダ系移民のボーア人が定住したとは言え、大きく変わるものではなかった。しかし、1886年にウィットウォーターズランド（『白水の峰』を意味するアフリカーンス語）の金鉱脈が発見され、アフリカ各地からの移住者が増加した。一方、かねてより自国の南ア拠点であるケープ植民地の勢力伸長を狙っていたイギリスは、この機会をとらえて1890年にセシル・ローズ率いる入植民部隊を南ローデシア（現ジンバブエ）に投入し、金鉱の利権を巡ってボーア人側との緊張を高めていった。

この結果として19世紀末から20世紀初頭にかけて戦われたボーア戦争において、イギリスはボーア人に勝利して金鉱をおさえた。ただ、その後、イギリス人とボーア人は和解し、黒人の権利を踏みにじりつつ鉱山労働などで酷使するアパルトヘイト政策（1948年〜1994年）を施行していった。

アパルトヘイト時代

アパルトヘイト統治時代、市内はアフリカーナー（ボーア人）とイギリス系が住む白人居住区と、アフリカ系やカラードなど有色人種が住む黒人居住区に分断され、黒人の白人居住区への立ち入りを厳しく制限した。殊に、1959年のバントゥー自治促進法の公布にあたっては、ヨハネスブルグにおいてもアフリカ人居住地域ソフィアタウンが取り壊され、約6万人の住民が市域南部のソウェトに強制移住させられた。白人居住区にはさまざまな優遇政策が実施され、ソウェトの住民の不満は高まっていった。1976年に至り、学生を中心としたアフリカ系住民による大規模な暴動であるソウェト蜂起が勃発し、国内外に波紋を投げかけることとなった。この事件をひとつの契機としてアパルトヘイト政策は曲がり角を迎え、1994年にようやく全面廃止されるに至った。

アパルトヘイトの廃止後

この廃止を受けて旧白人・黒人居住区間の移動制限が撤廃されたため、1990年代には職を求めてアフリカーナー居住区に多くのアフリカ系とカラードが移住した。しかし現実には彼らのほとんどは職を得ることができなかったため、失業者による犯罪が多発し、市内の治安が極端に悪化していった。

21世紀 2000年に周辺の自治体と合併し、ヨハネスブルグ市都市圏が発足した。 2002年には「持続可能な開発に関する世界首脳会議」が開催された。これは、1992年にリオデジャネイロで開催された地球サミットを受けたものである。

この国際会議において、「持続可能な開発に関するヨハネスブルグ宣言」が出された。

しかし依然として、金鉱での採掘が難しくなってきたことなどによる経済の悪化や、人口流入や失業者による治安の悪化、さらに、治安の悪化を理由とする富裕層や企業の移転にともなうさらなる経済の悪化といった悪循環が起こってきた。また、犯罪多発とともに、エイズの蔓延の問題も、近代都市・国際都市としてのヨハネスブルグの暗部であり続けている。