תולדותיו המסופרות של בית הכנסת מתחילות בערך במאה ה-1, ולפיכך הוא כנראה בית הכנסת העתיק ביותר באפריקה ואחד העתיקים ביותר בעולם. לפי מסורת מתמשכת בעל-פה, הוא נבנה על ידי כהנים שהיגרו לאי מארץ ישראל לאחר חורבן בית ראשון. המבנה הנוכחי נבנה במאה ה-19, על שרידיו של מבנה קדום יותר המתועד מהמאה ה-16. בעקבות עליית רוב יהודי האי לישראל (בעיקר בשנות ה-50 ), לא נותרו כמעט תושבים יהודיים באי, אך בית הכנסת עדיין פעיל עד היום, ומשמש את יהודי האי המעטים בעיקר בשבתות ובחגים. בית הכנסת הוא יעד תיירותי ויהודים רבים ממוצא תוניסאי עולים אליו לרגל, בייחוד בהילולה המתקיימת שם לאחר חג הפסח. בסמוך אליו נמצא גם מלון, המארח עולי רגל בזמן ההילולה.

בית הכנסת נפגע 3 פעמים מפיגועים. במהלך שמיני עצרת (שמחת תורה) תשמ"ו (1985), פתח אחד השוטרים שהיו מופקדים על ביטחון המקום באש על המבקרים שהתכנסו שם, ורצח שלושה מבקרים.

ב-11 באפריל 2002 פוצצה בסמוך לבית הכנסת משאית עמוסה בחומר נפץ. בפיגוע, שאל-קאעידה נטל אחריות עליו, נהרגו 21 מבקרים, וביניהם 14 תיירים מגרמניה.

ב- 9 במאי 2023 אירע פיגוע ירי ובו נרצחו 5 בני אדם - בנימין ואביאל חדד, שהשתתפו בחגיגות ל״ג בעומר במקום, ועוד שלושה אנשי ביטחון שנהרגו בחילופי האש עם המחבל.[1]