Budowę meczetu zarządził namiestnik Egiptu z ramienia Abbasydów, Ahmad Ibn Tulun, który od 868 stał się de facto władcą niezależnym od stolicy w Bagdadzie. Według relacji historyka Al-Makriziego budowę meczetu rozpoczęto w 876. Natomiast na podstawie inskrypcji pozostawionej na jednej z płyt wiadomo, że meczet ukończono w 265 roku hidżry, czyli w roku 879 ery chrześcijańskiej.

Według miejscowej tradycji to właśnie to niewielkie wzgórze, na którym wybudowano meczet, o nazwie „Wzgórze Dziękczynienia”, było miejscem lądowania biblijnej arki Noego po potopie, a nie góra Ararat[1].

Meczet był pomyślany początkowo jako centralny punkt założonej przez Tulunidów stolicy, o nazwie Al-Kata'i (ob. dzielnica Kairu), do której przenieśli się z założonego przez Amra Ibn al-Asa Al-Fustat. Pierwotnie meczet przylegał do pałacu Ibn Tuluna, z którego można się było dostać bezpośrednio do sali modlitewnej przez drzwi umieszczone w pobliżu minbaru. Po zniszczeniu osiedla Al-Kata'i na początku X w. meczet był jedynym ocalałym obiektem.

Meczet kilkakrotnie poddawano generalnemu remontowi. Po raz pierwszy w 1177, na rozkaz wezyra fatymidzkiego Badra al-Dżamali, co zostało upamiętnione inskrypcją na jednej z płyt meczetu, zawierającą szyicką wersję szahady, z dodanymi pod koniec słowami: „(Wierzę, że) [...] a Ali jest namiestnikiem Boga”. Po raz ostatni meczet został odremontowany w 2004 z inicjatywy Najwyższej Rady Egiptu ds. Starożytności.