Gereja dan kediaman uskup pertama yang tercatat dibangun pada akhir abad ke-4, dan diyakini telah terbakar sekitar tahun 666. Yang kedua disebutkan pada tahun 920, dinamai dari Santa Cecilia, seorang wanita bangsawan dan martir Romawi yang kaya, yang juga merupakan pelindung para musisi. Gereja itu adalah bagian dari kompleks bangunan keuskupan, termasuk tempat pembaptisan dan tempat suci yang didedikasikan untuk Santo Petrus. Gereja ketiga, dengan gaya Romawi, dibangun dari batu pada akhir abad ke-12 dan terletak di antara katedral saat ini dan istana uskup. Ini menggabungkan beberapa bangunan batu dari bangunan sebelumnya, dan termasuk sebuah biara di sisi selatan. Beberapa lengkungan biara saat ini ditemukan di taman kota Rochegude di Albi.[1]

Pada abad ke-12, Albi merupakan bagian dari Provinsi Languedoc, yang diperintah oleh Pangeran Toulouse, yang diangkat oleh Raja Prancis. Wilayah ini menjadi medan pertempuran antara gereja mapan dan pengikut gerakan keagamaan pembangkang yang disebut Katarisme. Kaum Cathar memiliki kehadiran yang kuat di Albi sekitar tahun 1165 M.[2] Pada tahun 1208, Paus Inosensius III meluncurkan Perang Salib Albigensian, yang dinamai Albi, untuk menghancurkan kaum Cathar di Prancis selatan.[3] Berakhir pada tahun 1209 dengan kekalahan dan pembantaian kaum Cathar di Carcassonne, dan berakhirnya semi-kemerdekaan negara-negara bagian tersebut dari Languedoc. Pada tahun 1229 Albi berada di bawah pemerintahan bersama Penguasa Castres dan Raja Louis VIII dari Prancis.[4]