De kerk was oorspronkelijk een parochiekerk gewijd aan Johannes de Doper. In 942 kwam Transmar, de bisschop van Doornik, de kerk als Sint-Janskerk inwijden.

Keizer Karel V wilde het opstandige Gent een lesje leren door de opstandelingen met een strop om de hals (de stroppendragers) en in nachthemden achter elkaar door de stad te laten gaan. Hij wilde Gent voor altijd onder de knoet houden door op de plaats van de Sint-Baafsabdij (gelegen vlak naast de samenvloeiing van de Leie en de Schelde) het Spanjaardenkasteel op te richten. Hierdoor waren de kanunniken van Sint-Baafs verplicht uit te wijken naar een andere kapittelplaats, die zij in 1539 vonden in de Sint-Janskerk. De kerk werd een collegiale kerk en stond voortaan bekend als de Sint-Baafskerk (zie Bavo). Bij de bisschoppelijke herindeling van de Nederlanden in 1559 werd het bisdom Gent opgericht; de Sint-Baafskerk werd verheven tot kathedraal.

Tot voor enkele jaren was de Sint-Janskerk nog steeds de parochiekerk van de Sint-Jansparochie en tevens van de Sint-Baafskathedraal, de hoofdkerk van het bisdom Gent. Enkele jaren geleden echter werden de parochies Sint-Michiels, Sint-Niklaas en Sint-Baafs samengevoegd, en sedertdien doet de Sint-Michielskerk dienst als parochiekerk voor de drie vroegere parochies. De Sint-Baafskathedraal fungeert nu enkel nog als kathedraal.