Krakau ontstond rond een natuurlijke heuvel, de Wawel. De stad kwam tot ontwikkeling op een kruispunt van oude handelswegen: de Barnsteenroute van de Oostzee naar Rome, en de route van Byzantium naar Neurenberg. Op de Wawel werd een burcht gebouwd, waar gedurende vijf eeuwen de Poolse koningen resideerden. Een van hen was Casimir de Grote, die in 1364 de nog steeds bestaande universiteit stichtte, na die van Praag de oudste in Midden-Europa.

Vóór de 13de eeuw kende Polen geen steden in de toenmalig moderne betekenis. Krakau was een marktplaats bij een vorstelijke residentie. Het verschijnsel van een zichzelf regerende stad met vrije stadsburgers, georganiseerd in gilden van handels- en ambachtslieden, paste niet in de Poolse feodale samenleving waarin alleen de adel een zekere vrijheid bezat en het volk zich in horigheid onder deze kaste moest schikken. De Poolse vorsten zagen echter in dat de primitieve economie van Polen alleen tot bloei zou kunnen komen als ondernemende burgers zich in vrijheid konden ontplooien. De weerstand om de horigen die vrijheid te geven was onder de adel zo groot dat besloten werd om belangrijke marktplaatsen wel tot stad te verheffen, maar voor die nieuwe steden het Poolse recht niet aan te passen. Daarentegen zouden ze volgens buitenlands stadsrecht ingericht moeten worden, recht waarop Polen dan geen beroep zouden kunnen doen, zodat zij zich niet aan het gezag van de adel zouden kunnen onttrekken door naar die steden uit te wijken.

In Midden-Europa was voor dat doel het zogenaamd Duitse stadsrecht voorhanden en in het geval van Krakau werd in 1257 meer specifiek het Maagdenburger, dat wil zeggen aan de stad Maagdenburg ontleende, recht overgenomen. De nieuwe steden waaronder Krakau werden voorlopig bevolkt met buitenlanders, in dit geval afkomstig uit het Duitse Rijk. In de 13de en 14de eeuw was de burgerij dan ook voornamelijk van Duitse afkomst. Pas in de loop der eeuwen verzwakte de tegenstand van de adel en werd ook aan stadsburgerrecht toegestaan aan Polen, die na verloop van tijd de overhand namen. Zo behoorde in Krakau de Mariakerk eerst aan de Duitstalige parochie en werd de St. Barbarakerk voor de Polen gesticht. De Duitse bestuurstaal van de stadsraad en de gilden werd in de 15de eeuw gaandeweg vervangen door de Poolse en in de 16de eeuw zou Krakau ook cultureel een Poolse stad worden. Het stedelijk patriciaat bleef nog wel tot in de 16de eeuw Duits spreken, mede vanwege de onontbeerlijke handelsrelaties tot de steden in het Duitse Rijk.

Op de Wawel bevindt zich als onderdeel van de burcht ook de kathedraal.

Krakau kwam bij de Derde Poolse Deling (1795) aan Oostenrijk, maar werd in 1809 door Napoleon veroverd en bij het door hem ingestelde hertogdom Warschau gevoegd. Dit hertogdom werd na de val van Napoleon ontmanteld en op het Congres van Wenen aan Rusland (Congres-Polen) en Pruisen (Posen) toegekend. Aangezien men het over Krakau niet eens werd, verklaarde men deze stad en de omliggende gebieden tot vrije, onafhankelijke en strikt neutrale stad. Deze Republiek Krakau werd in 1846 door Oostenrijk geannexeerd. Na de Eerste Wereldoorlog werd de stad in 1919 weer Pools.

Tijdens de Tweede Wereldoorlog was Krakau de hoofdstad van het nazi-Duitse General-Gouvernement en woonde Hans Frank in de Wawel.