De kathedraal werd gebouwd tussen 1282 en 1480 in de nasleep van de - vanuit katholiek gezichtspunt - Albigenzische ketterij van de katharen en de kruistocht daartegen. Deze Albigenzische Kruistocht onder leiding van graaf Simon van Montfort leidde tot het verbranden van 400 katharen en talrijke gevallen van verkrachting en plundering. Het sentiment van de kruistocht wordt weerspiegeld in het devies: Dood hen allen, God zal de zijnen herkennen. Vandaar ook dat de kathedraal oogt als een kasteel en een goed verdedigbaar bouwwerk was. Vlak naast de kathedraal ligt het Palais de Berbie (nu museum voor Toulouse-Lautrec), het aartsbisschoppelijk paleis dat in dezelfde periode werd gebouwd, en door zijn gebrek aan ramen nog meer dan de kerk de indruk van een fort maakt.

Aan het eind van de vijftiende eeuw werd het interieur luxueus verfraaid met een rijk doksaal en uitgebreide fresco's. Ook verrees in 1492 de als een kasteel ogende toren.

In de zeventiende eeuw werd een kapel onder in de toren gebouwd, waarbij een deel van het fresco van het Laatste Oordeel verloren ging. Later werd het flamboyante zuidportaal door een pleisterlaag aan het oog onttrokken. Ten tijde van de Franse Revolutie, in 1792, werd weliswaar de schatkamer van de kathedraal geplunderd, maar een beeldenstorm bleef uit, het interieur werd gespaard, terwijl de meeste kerken in Frankrijk zwaar te lijden hadden van de revolutionairen. Dientengevolge is de kathedraal van Albi een van de weinige grote kerken waarvan het interieur er nog even rijk en weelderig uitziet als rond het jaar 1500.