Eine Legende besagt, die Errichtung der Synagoge gehe auf die Flucht der Hohenpriester nach der Zerstörung des salomonischen Tempels durch die Babylonier unter Nebukadnezar II. im Jahre 586 v. Chr. zurück. Die Hohepriester sollen eine Tür und einen Stein des Altars im zerstörten Tempel mitgebracht haben. Heute können die Besucher einen Stein sehen, der in eines der Gewölbe der Synagoge eingegliedert wurde und der als Bindeglied zwischen Jerusalem und der jüdischen Diaspora angesehen wird.

Auch andere Traditionen versuchen, die Bedeutung und die Heiligkeit der Synagoge zu erklären. Nach einer von ihnen wird die Synagoge in der ersten Hälfte des 19. Jahrhunderts an einer Stelle errichtet, an der zuvor ein junges fremdes Mädchen (ghriba) gelebt hatte, das von den Einwohnern der Insel nicht akzeptiert wurde. Da sie in einem Feuer gestorben sein soll, das wohl ihre Hütte, aber nicht ihren Körper zerstörte, dachten die Juden von Djerba, dass sie heilig gewesen sei, und beschlossen, an diesem Ort eine Synagoge zu errichten. Eine andere Variante erzählt, das Mädchen sei ein jüdischer Flüchtling gewesen und habe sich mit einer Torahrolle und einem Stein des Tempels von Jerusalem nach Djerba gerettet, sei dort jedoch an Erschöpfung gestorben und man habe die Synagoge am Ort ihres Todes erbaut.

1985: Am Simchat-Tora-Fest im Jahre 1985 eröffnete einer der für die Sicherheit der Synagoge verantwortlichen einheimischen Polizisten das Feuer auf die feiernden Juden und tötete dabei drei Menschen, darunter ein Kind.[1]

2002: Am 11. April 2002 wurde ein Anschlag auf Touristen, die die al-Ghriba-Synagoge besuchten, verübt. Dabei fuhr ein Lastwagen, der mit 5000 Litern Flüssiggas beladen war, gegen die Synagoge und explodierte. 19 Touristen starben[2] (14 davon aus Deutschland), weitere rund 30 Personen wurden zum Teil schwer verletzt. Siehe: Anschlag auf die Al-Ghriba-Synagoge 2002.

2023: Während Lag baOmer, wo Hunderte von Juden ihre jährliche Pilgerreise abhielten, verübte am Abend des 9. Mai 2023 ein im Marine-Zentrum der tunesischen Nationalgarde der Hafenstadt Aghir (Djerba) eingesetzter, wegen seiner islamistischen Tendenzen von der Nationalgarde suspendierter tunesischer Marineoffizier, nachdem er einem Polizisten die Waffe abgenommen und diesen getötet hatte, einen Anschlag, bei dem insgesamt mindestens fünf Menschen getötet wurden. Mindestens zehn weitere wurden verletzt.[3] Bei den Opfern unter den Betenden handelte es sich um Adiel Hadad, einen 30-jährigen tunesisch-israelischen Doppelbürger, der in Netivot lebte, und seinen Cousin Benjamin Haddad, einen in Frankreich lebenden jüdischen Geschäftsmann. Des Weiteren wurden zwei Wachmänner getötet sowie der Attentäter selbst bei einem sich anschließenden Feuergefecht.