La ville de Jérusalem a été entourée par des murs pour sa défense depuis l'Antiquité. A l'âge du bronze, une période aussi connue comme la période des Patriarches, une ville nommée Jébus (du nom des Jébuséens, les premiers habitants sédentaires de la région) est construite vers le IIe millénaire av. J.-C. à l'emplacement de l'actuelle Jérusalem (au Sud-Est de la vieille ville). Cette petite ville (50 000 mètres carrés) était déjà fortifiée, des restes de rempart sont situés au-dessus du tunnel d'Ézéchias[1].

Selon la tradition juive, telle qu'elle est exprimée dans le Tanakh, Jérusalem est restée une ville jébuséenne jusqu'à l'avènement de David, qui conquiert la ville vers 1004 av. J.-C. et établit une nouvelle cité sur le site de la ville jébuséenne. Plus tard le roi David étend la cité et les murs à l'extérieur de l'actuelle vieille ville. Salomon, fils de David, construit le Premier Temple de Salomon et étend les murs de la ville afin de le protéger[2].

Pour les archéologues, le premier rempart est l'œuvre du roi Ézéchias, à la fin du VIIIe siècle av. J.-C. Les murailles en sont détruites lors de la conquête babylonienne par Nabuchodonosor II. Les Achéménides défont les Babyloniens et après une captivité de 70 ans, les Juifs sont autorisés par Cyrus le Grand à regagner la Judée ; Esdras et Néhémie font reconstruire les murailles et rebâtir un Second Temple vers 430 av. J.-C.[2].

Le second rempart est l'œuvre des Hasmonéens dans la deuxième moitié du IIe siècle av. J.-C., englobant l'intégralité des monts Sion et du Temple[2].

Entre 41 et 44, le roi de Judée, Hérode Agrippa Ier, fait construire de nouveaux murs connus sous le nom de troisième rempart. En 135, après la destruction de Jérusalem par l'empereur Hadrien, la nouvelle ville romaine de Ælia Capitolina est construite sur le même lieu mais dans des dimensions plus réduites et est entourée de nouvelles murailles. Elles sont ultérieurement développées sur l'ordre de l'impératrice byzantine Eudoxie Aelia[2].

En 1033, la plupart des murs construits sont détruits par un tremblement de terre et reconstruits lors de la conquête des Croisés en 1099[2]. Lors de la prise de la ville par Saladin, les remparts sont endommagés puis en majorité détruits en 1219[3].

Au XVIe siècle, pendant le règne de l'Empire ottoman dans la région, le sultan Soliman le Magnifique décide de reconstruire entièrement les murs de la ville, en partie sur les vestiges des anciens remparts. La construction a duré de 1535 à 1538[3].

Lors des accords d'armistice israélo-arabes de 1949 qui mettent fin à la guerre de 1948, la frontière entre Israël et la Jordanie est fixée au pied même des murailles Ouest et Nord-Ouest, entre les portes de Damas et de Sion.

Les murailles de la vieille ville et les jardins publics qui les entourent ont été classés par les autorités israéliennes comme parc national et dépendent de la direction de la Nature et des Parcs.