De kerk van Sergius en Bacchus lag op de grens tussen de eerste en derde regio van de stad, in een onregelmatig gebied tussen het paleis van Hormisdas (residentie van Justinianus vóór zijn troonsbestijging) en de kerk van Petrus en Paulus, die al in 518 door Justianus was gebouwd, maar nu verwoest is. In die tijd deelden de twee kerken dezelfde narthex, atrium en propyleeën. De kerk van Sergius en Bacchus werd het centrum van het complex en een van de belangrijkste religieuze bouwwerken in Constantinopel.

Sommige wetenschappers vermoeden dat de kerk bedoeld was voor monofysitische monniken die in het paleis van Hormisdas onderdak vonden nadat Justinianus met zijn echtgenote Theodora naar het keizerlijk paleis verhuisd was. Aangezien de monofysieten Sergius en Bacchus vereerden, kan de kerk als een verzoenend gebaar van de keizer naar deze stroming gezien worden. De stelling dat de kerk een kleine versie is van de Hagia Sophia, gebouwd door dezelfde architecten, Isidorus van Milete en Anthemius van Tralles, is tegenwoordig omstreden, omdat er duidelijke architectonische verschillen tussen beide gebouwen bestaan.

In het jaar 551 vond paus Vigilius, die enkele jaren daarvoor door Justinianus naar Constantinopel was geroepen, een schuilplaats in de kerk toen de soldaten van de keizer hem wilden oppakken. Tijdens de iconoclastische periode werd het klooster een van de centra van deze beweging in de stad.

Na de Ottomaanse verovering van Constantinopel in 1453 bleef de kerk in gebruik tot de regering van Bayezid II. Toen maakte het hoofd van de eunuchen Hüseyin Ağa er tussen 1506 en 1513 een moskee van, waarbij de mozaïeken die de kerk versierden, verwijderd werden. De portico en de madrassa dateren uit die tijd.

In 1740 restaureerde de grootvizier Hacı Ahmet Paşa de moskee en bouwde een şadirvan (fontein)[1]. De aardbevingen van 1648 en 1763 veroorzaakten schade die pas in 1831 werd gerepareerd onder het bewind van sultan Mahmut II. In 1762 werd de minaret voor het eerst gebouwd. Deze werd gesloopt in 1940 en opnieuw gebouwd in 1956.

Het tempo van het verval van het gebouw, dat door de eeuwen heen al te lijden had van vocht en aardbevingen, versnelde na de aanleg van de spoorweg waarvoor delen van de kerk van Petrus en Paulus ten zuiden van het gebouw werden afgebroken. Ook de huisvesting van vluchtelingen tijdens de Balkanoorlogen deed het gebouw geen goed.

De bouwkundige staat van de moskee verslechterde zozeer dat het gebouw werd toegevoegd aan de UNESCO-lijst van bedreigde monumenten. Na een uitgebreide restauratie die enkele jaren duurde, opende de moskee in september 2006 haar deuren opnieuw voor het publiek.