14世紀半ば、ボヘミア王であり神聖ローマ皇帝にもなったカール4世（ボヘミア王としてはカレル1世）が偶然に温泉を発見したとされる[1]。街の名称も、そのカール4世（カレル1世）にちなんだものである。

18世紀以降、温泉地として急速な発展を遂げていった。ウィーン体制下の1819年には、オーストリアのメッテルニヒによる主導で自由主義運動を抑圧するカールスバート決議がなされた。19世紀になると鉄道の開通により、ウィーンなどから多数の湯治客が訪れるようになり、街はさらに発展した。

第二次世界大戦前までは、住民の大半はドイツ系であった（1939年の時点でドイツ系住民は5万3300人）。1938年には、ナチス・ドイツによるズデーテン地方の併合でドイツ領となったが、第二次世界大戦後、独立を回復したチェコスロバキア政府のベネシュ布告（ドイツ系住民の国籍剥奪と財産没収を規定）により、ドイツ系住民は強制的にカルロヴィ・ヴァリから追われることとなった（ドイツ人追放）。

第一次世界大戦後のチェコスロバキア建国に伴ってオーストリアから切り離されたことにより、ハプスブルク帝国の富裕層のための「リゾートを兼ねた湯治場」としての役割を終え、第二次世界大戦後に住民もほぼ入れ代わったカルロヴィ・ヴァリは以後、映画祭を開催するなどして街の振興に努めている。