Secondo la leggenda, nel 1421 un commerciante musulmano di nome Ayuba fece un sogno, in cui gli venne istruito affinché costruisse una moschea. Stranamente, quando si svegliò, trovò che le fondamenta erano già state gettate, perciò procedette nella costruzione, fino al completamento.[1] Si ritiene che i resti di Ayuba siano sepolti sotto un albero di baobab, accanto alla moschea.[1] Quella di Larabanga è una delle otto più venerate moschee del Ghana ed è la più antica. È un luogo di pellegrinaggio, che attira musulmani da tutta l'Africa occidentale.[1]

Nel 1970 una miscela di sabbia e cemento è stata applicata alla facciata esterna della moschea, nel tentativo di interrompere il deterioramento ad opera di vento e pioggia. Tuttavia, questo trattamento ha provocato danni rilevanti all'edificio, l'umidità è rimasta intrappolata all'interno delle pareti in fango e ha accelerato il deterioramento della struttura, mentre le termini hanno infestato i supporti in legno.[2] Ciò ha portato al crollo di parte della moschea e durante i lavori di riparazione ha causato alcune distorsioni degli elementi strutturali e dell'esterno della moschea[2].

A causa degli agenti atmosferici, la moschea ha avuto bisogno di ristrutturazioni e restauri, che negli anni ne hanno modificato il design esterno.[3] Nel settembre 2002 una violenta tempesta ha distrutto il miḥrāb e il minareto. Di conseguenza, il WMF ha inserito la moschea nel monitoraggio del World Monuments Watch,[2] considerando anche i danni seguenti al restauro inadeguato del 1970. Il "Ghana Museum and Monuments Board" ha deciso di ristrutturare completamente la moschea, perciò ha chiesto alla CRAterre, uno studio di architettura con sede a Grenoble, in Francia, con esperienza nella costruzione di strutture in terra.[2] I lavori di restauro sono stati sostenuti dalla WMF, con una fondo di 50.000 dollari concesso dall'American Express[4] e con il supporto della comunità locale.[2] Il processo di conservazione ha comportato la rimozione del precedente intonaco cementizio dalle superfici della moschea, mentre le componenti strutturali in legno sono state sostituite, il minareto e il miḥrāb ricostruiti, il portale rifatto del tutto, infine le superfici interne ed esterne sono state intonacate in modo tradizionale.[2] La ristrutturazione ha comportato la rivalutazione dello stato di conservazione del sito, coinvolgendo un team di artigiani e operai locali. Il contributo del team ha posto particolare enfasi sul rilancio della conoscenza della manutenzione dell'adobe.[2]