この地域は周の時代には燕の地であり、秦・漢代には遼西郡に属した。背後の燕山が渤海に迫る狭隘なこの地区は、満洲方面から中原に向かう軍は必ず通らなくてはならない交通の要所で、いわゆる「兵家必争之地」であった。満洲の女真に対する防備の要衝であったため古代から城壁が築かれ、漢代は既に臨楡関と称されていた。隋や唐代にも長城の一部として拡張が重ねられ、現在も当時の城壁が残る。明代の洪武14年（1381年）、将軍の徐達が整備を行い、山と海の間にあることから山海衛と命名して永平府の管轄とし、後に山海関と称されるようになった。清代以降は行政区画名は臨楡県と改称されたが、現代では山海関の名称が行政区画名となり現在に至る。

軍事要衝として山海関の防備はきわめて厳重であり、1622年には駐屯する守備隊は兵7万9千8百69人、馬匹1万2千7百60頭の記録が残る。明末はヌルハチ、ホンタイジ率いる満洲族の侵入を阻止し、守将であった呉三桂が清軍に投降するまで不落の要塞だった。軍事的な重要性は近代になっても変わらず、満洲事変以降は満洲国と中華民国の国境となった。1933年（昭和8年）1月に関東軍が山海関を進出、これにより日本軍による北京への東部回廊が確保され、2月に熱河作戦が実施されて熱河省は満洲国に併合された。