Dans sa forme actuelle, la porte a été construite en 1537 sous le règne de Soliman le Magnifique dans le cadre des réparations des murs de la ville de Jérusalem, alors dominé par l'Empire ottoman.

Sous la porte actuelle, on peut voir les restes d'une porte antérieure, datant de l'époque de l'empereur romain Hadrien , qui a visité la région vers l'an 130-131. Sur la place derrière cette porte se tenait une colonne de victoire romaine surmontée d'une statue de l'empereur Hadrien, comme le montre la Carte de Madaba du 6ᵉ siècle.  Ce détail historique est conservé dans le nom arabe de la porte actuelle, Bab el-Amud, signifiant « porte de la colonne ».  Sur le linteau de la porte du 2ᵉ siècle, qui a été rendue visible par les archéologues sous la porte ottomane d'aujourd'hui, est inscrit le nom romain de la ville après 130 CE, Ælia Capitolina.

La porte romaine d'Hadrien a été construite comme une porte triomphale autonome, et ce n'est que vers la fin du 3ᵉ ou le tout début du 4ᵉ siècle que les Remparts de Jérusalem ont été construits autour de Jérusalem, se connectant à la porte existante.

La porte romaine est restée en service au début de la période musulmane et croisée, mais plusieurs magasins ont été ajoutés par les croisés à l'extérieur de la porte, de sorte que l'accès à la ville n'est devenu possible qu'en passant par ces pièces.  Plusieurs phases de travaux de construction sur la porte ont eu lieu au début du 12ᵉ siècle (premier Royaume de Jérusalem) ; puis au début de la période Ayyoubide (1187-1192).

La porte de Damas est la seule porte de Jérusalem à avoir conservé son nom, Bab al-Amud, depuis au moins le 10e siècle. Le compte daté de 1523 d'une visite à Jérusalem par un voyageur juif de Livourne utilise le nom Bâb el 'Amud et note sa proximité avec la Grotte de Sédécias.