El sultanato de Ayar fue creado en el siglo X por los sandal una de las confederaciones tuareg. Agadez se convirtió entonces en uno de los principales centros de comercio cultural y religioso entre el norte y el sur, desde Mzab y Fezzan hasta la actual Nigeria y entre el norte y el sur, desde Egipto hasta la actual Malí. Según los informes, el palacio del sultán fue construido frente a la Mezquita de Agadez,[1]​ el palacio fue construido entre 1430 y 1449, con la instalación del sultán Ilisawan, por lo que la construcción de la mezquita es anterior. Se dice que la construcción de la Gran Mezquita fue obra de un cierto Zakariya, que se cree nació en Bagdad y llegó a Agadez entre 1502 y 1515. Parece cierto que un primer monumento fue construido antes de 1450, lo suficientemente grande como para ser una mezquita de los viernes, pero sin un minarete. Luego alrededor de 1515, o 1530, dependiendo de las versiones sobre la vida de Zakariya, el monumento habría sido ampliado o reconstruido, y se construyó un minarete, que luego habría sido reconstruido alrededor de 1847.[2]​