El 14 de agosto de 1350, el emperador Carlos IV dio privilegios de ciudad al lugar, pues conocía la leyenda de las fuentes termales y sus supuestos beneficios en la salud. Los primeros asentamientos podrían encontrarse fuera de la ciudad actual.

Gracias a publicaciones de doctores como David Becher y Josef von Löschner, la ciudad se convirtió en un famoso balneario y fue visitada por muchos miembros de la aristocracia europea. Llegó a ser popular después de que se construyeran las líneas de ferrocarril a Eger (Cheb) y Praga en 1870.

El número de visitantes creció desde las 134 familias del año 1756 a 26 000 huéspedes anuales a finales del siglo XIX. En 1911 llegó a los 71 000 visitantes, pero la I Guerra Mundial acabó con el turismo y con el Imperio austrohúngaro en 1918.

La mayoría de la población, de lengua alemana, protestó contra la incorporación a Checoslovaquia por el Tratado de Saint-Germain-en-Laye. Una marcha pacífica tuvo lugar el 4 de marzo de 1919, pero ese mismo mes seis de los participantes en la marcha murieron víctimas de disparos de tropas checas.[1]​

En 1938, la región de los Sudetes —incluyendo Karlovy Vary— fue anexionada por Alemania. Hasta la expulsión de los alemanes, después de la II Guerra Mundial en 1945, la mayoría de la población de la ciudad era de lengua alemana.

Antes de eso, los decretos de Carlsbad de 1819 habían asociado la ciudad con la censura antiliberal dentro de la Confederación Alemana.

 

Vista panorámica del distrito histórico de Karlovy Vary. De izquierda a derecha: el Sprudel (balneario termal de la época soviética), la iglesia de Santa María Magdalena, el Hotel Imperial, la Ópera y el Grandhotel Pupp.