Голямата джамия е необичайна сред джамиите в Западна Африка с това, че мястото, на което е построена, преди това не е било свещено, а там е имало дворец. Повечето останали джамии са построени на местата на конични кирпичени или каменни съоръжения, символизиращи духовете на предците. Някои изследователи на ислямската архитектура считат, че впоследствие тези форми са интегрирани в архитектурата на джамиите в Мали, като Голямата джамия е най-известният пример.

На мястото има джамия от построяването на първоначалната сграда, поръчано от Кои Кунборо през 1240 г., още преди разцвета на Джене при империите Мали и Сонгай. Амаду Лобо, който превзема Джене през Тукулорската война, нарежда оригиналната джамия да бъде разрушена през 1834 г. Той счита, че първоначалната сграда, която е преустроен дворец, е прекалено пищна. Единствената оцеляла част е ограденото гробище на местните видни личности. Копие на оригинала е завършено към 1896 г., но впоследствие отново е разрушено, за да бъде построена сегашната сграда.

Строителството на сегашната Голяма джамия започва през 1906 г. и вероятно е завършено през 1907 или 1909 г. Строителството е ръководено от водача на зидарската гилдия в Джене, Исмаила Траоре. По това време Джене е част от колонията Френска Западна Африка и французите вероятно оказват политическа и икономическа подкрепа за строителството, както на джамията, така и на близкото медресе.

В много джамии в Мали са добавени електрическа и водопроводна инсталация. В някои случаи оригиналните стени са покрити с плочки, променяйки историческия вид, а понякога дори е нарушена конструктивната цялост на сградите. Когато Голямата джамия е оборудвана с озвучителна система, гражданите на Джене се противопоставят на модернизацията в полза на историческия вид на сградата.

Голямата джамия е затворена за немюсюлмани след инцидент с модни снимки на покрива и в залата за молитви, приети за нарушение на предишно споразумение с местните лидери.