Według świętej księgi żydowskiej Tanach Pierwsza Świątynia zwana też Świątynią Salomona została zbudowana na szczycie Wzgórza Świątynnego w X wieku p.n.e. na którym pełniła swoje funkcje do roku 586 p.n.e. gdy została zburzona przez Babilończyków. W roku 516 p.n.e. w jej miejscu powstała Druga Świątynia. W roku 19 p.n.e. Herod Wielki podjął się jej renowacji i rozbudowy. W tym czasie rozbudowane zostały mury podtrzymujące i umacniające powiększone Wzgórze Świątynne. Dzisiejsza Ściana Zachodnia stanowi fragment murów zbudowanych w tym czasie. W roku 70 n.e. Druga Świątynia została zburzona przez Rzymian po przegranym przez Żydów powstaniu przeciwko Imperium Rzymskiemu

W pierwszych wiekach naszej ery, po stłumieniu przez Rzymian powstania żydowskiego Bar Kochby w 135 roku, Żydom zabroniono wstępu do Jerozolimy. W II i III wieku zakaz ten rozluźnił się nieco, a panujący w tym czasie imperator rzymski zezwalał nielicznym Żydom 9 dnia miesiąca Aw na opłakiwanie i modlitwę na leżącej w pobliżu murów miasta Górze Oliwnej oraz wyjątkowo przeprowadzania obrzędów na Wzgórzu Świątynnym[1][2]. Gdy pod rządami Konstantyna I Wielkiego wzrosło w Cesarstwie Rzymskim znaczenie chrześcijaństwa, Żydzi otrzymali pozwolenie na coroczny, odbywający się w dziewiątym dniu miesiąca Av dostęp do pozostałego po zburzonej Świątyni muru. W dzień ten Żydzi całego świata do dziś wspominają i rozpamiętują zburzenie obydwu stojących niegdyś na Wzgórzu Świątyń. W 425 roku Żydzi z Galilei napisali do władczyni Bizancjum Ateny Eudokii petycję prosząc o pozwolenie na modlitwę przy ruinach Drugiej Świątyni. Pozwolenie zostało udzielone i od tego czasu Żydzi mogli ponownie osiedlać się w Jerozolimie.

W okresie panowania Rzymian znajdujące się wewnątrz muru Wzgórze Świątynne używane było jako miejscowe wysypisko śmieci, a ruiny Drugiej Świątyni przykryła góra odpadków.

Istnieje wielu autorów żydowskich z X i XI wieku (np. Aaron ben Meïr, Samuel ben Paltiel, Solomon ben Judah) opisujących modlitwy Żydów pod Ścianą Płaczu. Issac Cheilo, żydowski podróżnik, w roku 1333 opisał przejęcie Palestyny od Rzymian (których w swoim opisie nazywa chrześcijanami) przez arabskiego władcę Umara z 637 roku. Według jego opisu arabski król przed bitwą złożył przysięgę, że w razie wygranej bitwy oczyści ruiny Świątyni z nagromadzonych tam nieczystości. Po bitwie próbował on znaleźć to miejsce, ukryte ono jednak było pod stosami odpadków. Wtedy podszedł do niego stary Żyd i rzekł: Powiem Ci gdzie leży świątynia, ale najpierw musisz przyrzec, że pozostawisz nam Zachodnią Ścianę. Gdy król obiecał tak uczynić, stary człowiek pokazał mu, gdzie należy szukać pozostałości świątyni i Świętego Wzgórza. Król dotrzymał słowa i nakazał oczyszczenie wzgórza, sam symbolicznie rozpoczynając prace. Aby zaś chronić najświętsze miejsce tego wzgórza Kamień węgielny zbudował przepiękny meczet a Ścianę Zachodnią pozostawił Żydom jak przyrzekł. Chelio napisał również: jest to Zachodnia Ściana, która stoi przed świątynią Umara ibn al-Chattab, a którą zwą Bramą Miłosierdzia[3]. Żydzi zwracają się w jej stronę modląc się, jak przykazał Rabbi Benjamin. Od dzisiaj miejsce to stało się jednym z siedmiu świętych miejsc Jerozolimy.