Son édification est décidée en 1926 par le cheikh Ahmadou Bamba, fondateur du mouridisme. Son fils et premier successeur, Cheikh Mouhamadou Moustapha Mbacké, s'investit avec corps et âme pour la réalisation du projet, malgré un contexte national et international très difficile marqué par la crise économique des années 1930 et la Seconde Guerre mondiale. Malgré l'opposition voilée de l'administration coloniale qui cherchait à contrecarrer le projet en lui imposant les conditions les plus draconiennes, Mouhammadou Moustapha, après avoir obtenu de l'Administration un bail sur 400 hectares, parvint à franchir tous les obstacles dressés devant lui pour poser la première pierre marquant le début effectif des travaux le 4 mars 1932. Un des obstacles majeur auquel il a été confronté fut la non disponibilité de moyens de transport pour acheminer les matériaux de Diourbel où s'arrêtait le train à Touba sur une distance de 45 km. Face à l'exigence des autorités coloniales de payer tous les ouvriers du chantier qui étaient ses adeptes et qui avaient par ailleurs accepté de faire de leur sueur leur participation au projet, Moustapha fixa alors avec les colons la paie journalière de chaque travailleur du chantier mais à son grand étonnement les ouvriers passaient à la caisse pour percevoir et reversaient immédiatement la paie comme contribution. Il entreprit alors de construire les rails sur toute cette distance. À sa disparition en 1945, les travaux furent repris par son successeur Mouhammadou Falilou M'Backé, deuxième fils de Ahmadou Bamba. La mosquée fut inaugurée le vendredi 7 juin 1963 par Mouhammadou Falilou M'Backé.