청의 황제는 선양(당시의 봉천)에 제사를 지내러 갈 때마다 황제는 요양과 휴식을 위하여 청더에 머물렀다. 청더는 계절과 날씨가 좋고, 자연이 수려하며, 풍경이 아름답기에 황제가 쉴 만한 곳이었던 것이다. 청더에는 온천 등도 있었기 때문에 강희제는 결국 1703년에 청더에 2개의 별궁을 짓기로 결정한다. 이후 옹정제를 거쳐 1741년 건륭제 때 대규모 정비가 이루어져, 준공으로부터 87년이 지난 1790년에 완성하고, 외팔묘를 궁 밖에 짓기 시작한다. 이곳은 청나라 전기의 황제의 여름 집무지로, 정치, 군사, 외교 등의 국가대사에 중요한 역할을 한 곳이다. 이런 이유로 베이징 다음가는 제2의 정치 중심으로 불렸다.

강희제는 매년 입추 이후 목란위장을 찾아 20여일에 걸쳐 사냥을 했으며 피서산장으로 돌아와 쉬었다. 산장 정궁의 오문에 걸려있는 '피서산장'이라는 현판은 강희제가 직접 쓴 것이다. 그는 피서산장에서 북방의 소수민족들과 잦은 만남을 가지며 우호관계를 유지하였다. 열하행궁과 그 주변에 있는 사당에서는 소수민족의 종교적 의식을 거행하였다. 피서산장은 그가 유약하지 않도록 사냥을 함으로 문과 무의 균형을 유지하는 장소였다.

1793년 영국 사절단이 피서산장에 있던 건륭제를 만나기 위하여 도착하였다. 영국 사절단은 텐진과 닝보 그리고 저우산 등을 개항할 것과 광저우 부근의 일부 토지를 거류지로 할양해 줄 것을 요구했으나 건륭제는 모두 거절하였다.

1860년 제2차 아편 전쟁 때 영-프 연합군이 베이징에 난입하여 황제는 이곳으로 피난을 와서 이듬해 피서산장에서 사망하였다. 이후 권력을 잡은 자희태후는 함풍제때 시작된 보수공사를 모두 중지하라고 명하였고, 피서산장 대신에 이화원을 건설하였다.

1933년에는 일본 군대가 이곳에 주둔하고 만주국을 세웠으며, 이곳의 문화재를 약탈해 갔다.

1961년에야 전국중점문물보호단위로 선정되었으며, 1994년에는 외팔묘와 함께 세계문화유산으로 지정되었다.