Museets grundlæggelse skyldes den energiske skolelærer og lokalhistoriker Peter Holm, der blev opmærksom på, at købmandsgården "Den gamle Borgmestergård" på hjørnet af Immervad og Lille Torv i Aarhus skulle nedrives. Holm fik udvirket, at gården blev genopført som udstillingsbygning ved Landsudstillingen i Aarhus i 1909. Efter udstillingen var lukket, lykkedes det Holm at skaffe midler til at få genopført gården permanent. Aarhus Kommune stillede et stykke jord til rådighed i den tidligere "Det Jyske Haveselskabs Have" nu Botanisk Have. Den 23. juli 1914 åbnede Den Gamle By første gang for publikum. Foruden Borgmestergården var der to bygninger: et lille lysthus fra Vestergade og Frands Hansens Hus fra Mejlgade. Museets udstrækning var beskeden i begyndelsen.

I forbindelse med at Aarhus var valgt som Europæisk kulturhovedstad i 2017 åbnede en ny udstilling kaldet Aarhus Fortæller om byens historie i april måned. Henover påsken besøgte 10.000 personer udstillingen, hvilket var 32 % flere end samme periode året før, og heraf kom 2.900 langfredag, hvilket var den mest besøgte langfredag i museets historie.[1]