1898 wurde mit der Sanierung der verslumten Prager Josefstadt begonnen. Dafür mussten auch drei alte Synagogen weichen: die Zigeunersynagoge, die Großenhof-Synagoge und die Neue Synagoge. Für sie war Ersatz zu schaffen.

Der ursprüngliche Name für das Projekt und die Synagoge war Jubiläumssynagoge, da der Plan zur Errichtung des Gebäudes im Jahr des 50-jährigen Thronjubiläums von Kaiser Franz Joseph I., 1898, gefasst worden war. Um den Bau einer neuen Synagoge zu organisieren, gründete sich noch im gleichen Jahr ein Verein[1], der 1899 als Bauplatz ein abzubrechendes Haus in der Jerusalemer Straße erwarb. In der Folge kam es zu insgesamt drei Entwürfen für den Neubau. Die beiden ersten wurden nicht verwirklicht. Es handelte sich dabei um einen Entwurf im neuromanischen Stil von Alois Richter (1899) und einen im neugotischen Stil von Josef Linhart (1901). Verwirklicht wurde schließlich ein Plan von Wilhelm Stiassny aus Wien, der 1903 einen Bau in maurischen und orientalischen Formen entworfen hatte. 1904–1906 setzte Alois Richter den Plan seines Kollegen aus Wien um. Am 16. September 1906, zu Simchat Tora, wurde die neue Synagoge eingeweiht.[2]

Schon bald wurde das Gotteshaus „Jerusalemsynagoge“, nach dem Namen der Straße, wo es stand, genannt. Der Name der Straße wiederum stammte von einer nicht mehr existierenden barocken Jerusalemkapelle.

Während der deutschen Besetzung und dem Protektorat Böhmen und Mähren trug die Straße die Bezeichnung „Siebenbürgenstraße“. In dieser Zeit war die Jerusalemsynagoge von 1941–45 Sammellager für beschlagnahmten jüdischen Besitz der „Treuhandstelle“ der Zentralstelle für jüdische Auswanderung in Prag (seit 1942: Zentralamt für die Regelung der Judenfrage in Böhmen und Mähren).

Seit 1945 war die Synagoge durchgehend im gottesdienstlichen Gebrauch der Prager jüdischen Kultusgemeinde. Ab 1993 begannen abschnittsweise durchgeführte Innen- und Außenrenovierungen.

Das Gebäude dient weiter dem Gottesdienst, wobei der zentrale Raum nur an hohen Feiertagen genutzt wird. Die Regelgottesddienste finden in einem Nebenraum statt. Die Synagoge ist für Besucher geöffnet, auch wird sie für Konzerte genutzt. Auf der Empore befinden sich zwei Dauerausstellungen, eine zur Geschichte der jüdischen Gemeinde in Prag von 1945 bis heute und eine zweite über jüdische Denkmale in Tschechien und ihre Restaurierung seit 1989.[3]