Już w 1895 r. Komitet ds. Afryki Francuskiej domagał się budowy meczetu na potrzeby rosnącej we Francji społeczności wyznawców islamu. Ich rzecznikiem stała się zwłaszcza gazeta La Revue indigène, która podkreślała zasługi Francji w rozpowszechnianiu tradycji tolerancji i równości wyznania i zarazem uważała projekt budowy meczetu za ich logiczną kontynuację. Uważała również, że budowa meczetu, a zarazem przyjazny gest wobec świata arabskiego, będzie mieć pozytywne skutki polityczne. Mimo tego kampania na rzecz budowy meczetu trwała ponad 20 lat. Szczególnie wyróżniał się w niej autor szeregu artykułów w wymienionej gazecie, Paul Bourdarie.

Ostatecznie pozytywna decyzja o budowie obiektu została wydana w 1916 r. po bitwie pod Verdun, w której zginęło 28 tys. francuskich żołnierzy wiary muzułmańskiej. Meczet miał uczcić żołnierzy z Afryki Północnej (głównie Algierczyków), którzy walczyli i ginęli za Francję w wojnie. Francja całkowicie sfinansowała prace budowlane, które dozorowali architekci z Maroka, a budowali północnoafrykański robotnicy z tradycyjnych materiałów. W 1922 r. oficjalnie rozpoczęto prace na placu w pobliżu Ogrodu Botanicznego, na miejscu dawnego szpitala Miłosierdzia. W 1926 r. rezydent Gaston Domergue dokonał otwarcia obiektu. Meczet stał się oficjalnym centrum ruchu muzułmańskiego we Francji, którym jest po dziś dzień[1][2].

W czasie II wojny światowej w meczecie mieściło się jedno z centrów ruchu oporu, ośrodek działania partyzantów algierskich. Meczet stał się schronieniem kilku tysięcy francuskich Żydów oraz punktem zbornym dla łączników z Wielkiej Brytanii.

Obecnie meczet uczestniczy w programie promowania umiarkowanego islamu, zdecydowanie sprzeciwia się ekstremizmowi[3][4]. Obiekt jest dostępny dla turystów, stanowiąc równolegle ośrodek teologiczny i informacyjny nt. islamu[1].