ローマ帝国皇帝コンスタンティヌス1世は325年頃に、キリストの磔刑の場所、ゴルゴタの丘（『マタイによる福音書』27:33など）に教会堂を建てることを命じた。遺骸がアリマタヤのヨセフらによっていったん葬られ、3日目に復活したという墓もその近くのはずであった（『ヨハネによる福音書』19:41-42）。

エルサレムは2度のユダヤ戦争によって破壊され、135年ごろにはローマ風の都市へと再開発されている。このため、ゴルゴタの位置は分からなくなってしまっていた。

伝えられているところによれば、コンスタンティヌスの母ヘレナが326年にエルサレムを訪れ、当時はヴィーナス神殿となっていたこの地で磔刑に使われた聖十字架と聖釘などの聖遺物を発見したとされ、ゴルゴタと比定した。神殿を取り壊して建てられたのが現在の聖墳墓教会である。教会の中の小さな聖堂がイエスの墓とされている。

この場所はエルサレムの旧城壁内にあるが、処刑場は城壁外にあったのではないかという疑念も出されている（『ヘブライ人への手紙』13:12）。聖墳墓教会とは別に、城壁外に「園の墓」（Garden Tomb）があり、聖公会やプロテスタントの一部教派に支持されている。

聖墳墓教会はイエス・キリストに関わる三つの異なった聖地を連結した教会であった。これはバシリカやアトリウム、「Anastasis」と呼ばれるロタンダを含んだ。このロタンダのドームは4世紀の終わりに完成した。

教会はホスロー2世治下のサーサーン朝軍がエルサレムに侵攻し聖十字架を手にいれた614年に、火災によって損傷した。630年には、東ローマ皇帝ヘラクレイオスがエルサレムに入り、教会を再建するために聖十字架を返還した。イスラム教徒の支配下で教会は一定の自治下にあったが、966年のムスリムによる暴動の後、ドアや屋根が燃やされた。更にファーティマ朝のカリフ、ハーキムはキリスト教会の破壊を命じたため、1009年10月18日には教会そのものが一時的になくなってしまった。

ところが、厳しい状況の下、東ローマ皇帝コンスタンティノス9世モノマコスが1048年に小さな教会を再建した。土地は1099年1月15日の第1回十字軍の騎士によって奪還された（エルサレム攻囲戦）。第1回十字軍は自らを武装した巡礼と見なしており、聖墳墓教会で巡礼者として祈るまで自分たちの遠征が完了したとは考えなかった。十字軍の指導者であるゴドフロワ・ド・ブイヨンは彼の生涯で「王」という称号を使わないことを決め、彼自身を「聖墳墓教会の守護者（Advocatus Sancti Sepulchri）」と宣言した。12世紀の編年史家ギヨーム・ド・ティールは、12世紀半ば十字軍が教会をロマネスク様式で修築し鐘楼を加えたことを記している。