Construite entre 1325 et 1327 par Abou Ishaq es-Sahéli sous le règne de l'empereur de Kankan Moussa au retour de son pèlerinage à La Mecque (1324-1325). La mosquée est faite en banco, un matériau fait de terre cuite. Selon Ibn Khaldoun, l'empereur offrit à Sahéli 12 000 mithqals (soit environ 200 kg) de poussière d'or pour sa conception et sa construction. Toutefois on estime aujourd'hui que son rôle dans la construction fut limité[1]. L'historien Francis Simonis estime que la Grand Mosquée de Tombouctou a été construite à la même époque que la Grande Mosquée de Gao et que la salle d'audience "surmontée d'une coupole" du palais de Niani par Mansa Moussa[2].

C'est la plus grande mosquée de Tombouctou. Elle peut accueillir la prière du vendredi qui rassemble jusqu'à 12 000 fidèles.

Elle a été réalisée entièrement en adobe, dans un style architectural soudanais elle est constituée de vingt-cinq files de piliers. Le nombre important de piliers, nécessaires pour limiter la portée des voûtes, ne permet pas d'avoir une vue d'ensemble de la salle. Une fois par an la population participe à la réfection des enduits extérieurs[3].

Elle est inscrite sur la liste du patrimoine mondial en péril depuis 1989 et bénéficie depuis 1996 d'un financement du Fonds du patrimoine mondial de l'UNESCO pour un projet intitulé « Sauvegarde des mosquées de Tombouctou »[4].

Le 26 février 2011, lors de la fête du Mawlid un mouvement de panique blessa au moins 55 fidèles et entraîna la mort de 24 autres[5].

En 2012, cet édifice a été mis sur la liste du patrimoine mondial en péril durant l'insurrection au nord du Mali, les islamistes détruisant le patrimoine culturel de Tombouctou, ne répondant pas, selon eux, aux critères de l'islam rigoriste[3].

Affirmant lutter contre « l’idolâtrie » , le groupe djihadiste Ansar Dine, affilié à Al-Qaida, s’en était alors pris à la pioche à 14 mausolées de saints. Poursuivi par la Cour pénale internationale et sa procureuse Fatou Bensouda, un djihadiste malien, Ahmad Al Faqi Al Mahdi, est reconnu coupable en 2016 d’avoir participé à la destruction des mausolées, la destruction de biens culturels étant considérée pour la première fois comme un crime de guerre par la justice[6].