Orașul Agadez a început să se dezvolte în secolul al XIV-lea în urma comerțului dintre triburile tuarege și statele musulmane din Africa de Nord. În anul 1500, orașul, inițial parte al unui sultanat tuareg, a fost cucerit de către Imperiul Songhai. La scurt timp după acest eveniment, în anul 1515, conducătorul noului imperiu din aceea perioadă, Askia Mohammad I, a hotărât construirea unei mari moschei în acest important punct comercial. Moscheea a fost construită în stil sudano-sahelian, caracterizat prin folosirea ca materiale principale a lemnului și argilei. Arhitecții tuaregi au construit edificiul după ce au învățat noi tehnici și s-au documentat vizitând moscheile din Timbuktu.

Marea Moschee din Agadez este principalul loc de cult al orașului. Minaretul ei înalt de 27 de metri este considerat a fi un adevărat far al deșertului , de-a lungul timpului fiind un reper important al orașului pentru comercianții străini. Locașul a fost restaurat parțial în anul 1844, el având nevoie de lucrări anuale de restaurare în urma ploilor sau a altor factori naturali. De asemenea, moscheea a găzduit o importantă școală de învățământ islamic.

În prezent, moscheea din Agadez este o importantă atracție turistică ce atrage mulți vizitatori și este considerată a fi simbolul orașului Agadez și al Nigerului de Nord. În anul 2013, edificiul și vechile clădiri înconjurătoare au fost incluse pe lista Patrimoniului Mondial UNESCO.