Jerusalén ha estado rodeada por muros para su defensa desde la antigüedad. En la Edad del Bronce, un período también conocido como el período de los Patriarcas, una ciudad llamada Jebús (llamada así por los jebuseos, los primeros habitantes sedentarios de la región) fue construida alrededor del segundo milenio antes de Cristo en el sitio de la Jerusalén actual (al sureste de la ciudad vieja). Esta pequeña ciudad (50.000 metros cuadrados) ya estaba fortificada, los restos de las murallas se encuentran sobre el túnel de Ezequías.[1]​

Según la tradición judía, tal como se expresa en el Tanaj, Jerusalén siguió siendo una ciudad jebusea hasta el advenimiento de David, que conquistó la ciudad alrededor el 1004 a. C. y establece una nueva ciudad en el sitio de los jebuseos. Más tarde, el Rey David extiende la ciudad y las murallas fuera de la actual ciudad vieja. Salomón, hijo de David, construyó el Primer Templo y extiende las murallas de la ciudad para protegerlo.[2]​

Para los arqueólogos, el primer muro es obra del rey Ezequías a fines del siglo VIII a.c.. Las murallas son destruidas durante la conquista babilónica por Nabucodonosor II. Los aqueménidas derrotan a los babilonios y después de 70 años de cautiverio, Ciro el Grande permite a los judíos regresar a Judea; Ezra y Nehemías reconstruyen las murallas y reconstruyen un Segundo Templo alrededor del año 430 a. C..[2]​

La segunda muralla es el trabajo de los asmoneos en la segunda mitad del siglo II a. C., que abarca la totalidad de los montes Sion y del Templo.[2]​

Entre los años 41 y 44, el rey de Judea, Herodes Agripa I, construyó nuevas murallas conocidas como la tercera muralla. En 135, después de la destrucción de Jerusalén por el emperador Adriano, la nueva ciudad romana de Aelia Capitolina se construye en el mismo lugar pero en dimensiones más pequeñas y está rodeada de nuevos muros. Posteriormente fueron desarrollados por orden de la emperatriz bizantina Elia Eudoxia.[2]​

En 1033, la mayoría de los muros construidos fueron destruidos por un terremoto y reconstruidos durante la conquista de los cruzados en 1099.[2]​ La conquista trajo algo de destrucción seguida de reconstrucción, al igual que la reconquista de Saladino en 1187. En 1202 a 1212, el sobrino de Saladino, Al-Malik al-Mu'azzam 'Isa, ordenó la reconstrucción de las murallas de la ciudad, pero más tarde, en 1219, reconsideró la situación después de que se habían construido la mayoría de las torres de vigilancia y se habían derribado las murallas, principalmente porque temía que los cruzados se beneficiaran de las fortificaciones si conseguían reconquistar la ciudad.[3]​

En el siglo XVI, durante el reinado del Imperio Otomano en la región, el sultán Suleiman el Magnífico decidió reconstruir por completo las fortificaciones de la ciudad, en parte sobre los restos de las antiguas murallas. La construcción duró de 1535 a 1538.[3]​

Durante los acuerdos de armisticio árabe-israelí de 1949 que pusieron fin a la guerra de 1948, la frontera entre Israel y Jordania se estableció al pie de las murallas occidental y noroccidental, entre las puertas de Damasco y Sion.

Las murallas de la ciudad vieja y los jardines públicos circundantes han sido clasificadas por las autoridades israelíes como un parque nacional y dependen de la Autoridad de la Naturaleza y Parques de Israel.