È stato per oltre 300 anni, a partire dal XV secolo, l'unico luogo dove gli ebrei di Praga potevano seppellire i loro morti. Le dimensioni attuali sono all'incirca quelle medievali e nel tempo si è sopperito alla mancanza di spazio sovrapponendo le tombe, perché il cimitero non poteva espandersi fuori dal perimetro esistente. Durante l'occupazione tedesca, il cimitero fu risparmiato: infatti le autorità tedesche decisero che sarebbe rimasto a testimonianza di un popolo estinto.

In alcuni punti si sono sovrapposti fino a 9 strati di diverse sepolture; le lapidi venivano staccate dal suolo, veniva ammonticchiata della terra per una nuova sepoltura, veniva rimessa la vecchia lapide e in più quella nuova a fianco. Non di tutti rimane una lapide.

La densità di lapidi, tardogotiche, rinascimentali, barocche, l'una quasi contro l'altra, il silenzio del luogo e la scarsa illuminazione (le lapidi sono quasi tutte all'ombra, oscurati dalle fronde degli alti sambuchi che crescono nel cimitero) creano un effetto unico con un'aura spettrale.

Le tombe consistono esclusivamente di una lapide di arenaria o di marmo (quelle più importanti) piantata nella terra. Nessun ritratto, perché la religione ebraica lo vieta. Solo disegni simbolici per indicare la professione o le qualità del defunto: forbici per sarti, pinzette per i medici, mani che benedicono per i sacerdoti e poi tanti animali per chi si chiamava Volpi, Orsi e così via.

Oggi si contano circa 12.000 lapidi, ma si ritiene che vi siano sepolti oltre 100.000 ebrei, la più antica è quella di Avigdor Kara del 1439, l'ultima è quella di Moses Beck del 1787.

La tomba più visitata è quella di Rabbi Löw, dove i visitatori si fermano a pregare e lasciano sulla lapide i tradizionali sassi, oltre a monete e biglietti che esprimono i loro desideri.

Nel muro del cimitero sono inseriti frammenti di lapidi gotiche provenienti da un cimitero ancora più antico, scoperto nella Città Nuova, in via Vladislavova, nel 1866.

 La Sala delle cerimonie, vista dal cimitero ebraico

Tra il 1911 e 1912 fu costruita nei pressi del cimitero la Sala delle cerimonie.

A questo cimitero è dedicato un capitolo del libro di Giuseppe Marcenaro Cimiteri. Storie di rimpianti e di follie e ad esso è altresì intitolato un romanzo di Umberto Eco.