La légende de la ville raconte que le roi de Bohême et empereur Charles IV chassait un cerf dans la grande forêt des alentours. Acculé au bord d'une falaise, l'animal choisit de sauter dans le vide pour échapper aux chasseurs. À l'endroit où il fit son ultime bond jaillit une source thermale qui aurait soigné le chien blessé de Charles IV. Celui-ci s'aperçut ainsi de la richesse de la vallée et décida d'y fonder une ville[1].

Charles IV accorda une charte à la ville le 14 août 1370, qui prit à cette date le nom de son souverain. On utilisa d'abord les sources thermales pour les établissements de bains, puis au XVIe siècle pour débiter une eau minérale. Les premières concessions de sources furent consignées par écrit en 1522.

Au XVIe siècle, le médecin Vaclav Payer préconise l'absorption de cinquante tasses d'eau thermale par jour[1].

Le 9 mai 1582, la ville fut inondée par une crue de la rivière Teplá, et, le 13 août 1604, elle disparut presque entièrement dans un incendie. Largement endommagée au cours de la Guerre de Trente Ans, Carlsbad ne se reconstruisit que très lentement. En 1707, l'empereur Joseph Ier lui accorda tous les privilèges d'une « Ville d'Empire ». Les droits sur les bains furent institués à l'occasion de la visite du tsar Pierre Ier de Russie en 1711 et 1712 (le belvédère porte son nom). La première institution municipale de cure thermale fut édifiée cette même année 1711. Un nouvel incendie en 1759 détruisit à nouveau près de la moitié de la ville. L'intérêt des cures thermales fut établi scientifiquement par les travaux du Dr. David Becher, auteur d'un traité sur l'institution des bains de Carlsbad où il montrait l'intérêt des sels minéraux dans l'eau thermale. L'État autrichien introduisit en 1795 un impôt particulier sur les cures thermales (Kurtaxe), afin d'accélérer la reconstruction de la ville.

La ville s'acquit une triste réputation à l'occasion de la Conférence de Carlsbad, en 1819, conclue entre le chancelier autrichien Metternich et les États de la Confédération germanique : les clauses des décrets de Carlsbad conclus entre les signataires portaient sur la censure de la presse et la répression des manifestations libérales, vivaces dans des pays qui se relevaient d'une guerre de libération contre la France.

 Olympic Palace aujourd'hui exploité comme établissement thermal.

Le thermalisme permit à la ville de prendre enfin son envol. Le nombre de visiteurs passa de 134 familles en 1756 à 26 000 curistes à la fin du XIXe siècle. C'est alors un lieu mondain international, Clemenceau s'y rendant par exemple chaque année. En 1911, ce chiffre était de 71 000. C’est de cette époque dorée que datent la plupart des bâtiments significatifs de la ville tels la colonnade dite « de la source du moulin » conçue par l’architecte Josef Zítek qui avait déjà réalisé le théâtre national de Prague (les architectes Ferdinand Fellner et Hermann Helmer (en) y ont aussi des réalisations[1]), ou encore, le Grandhotel Pupp, une époque marquée également par la présence de nombreux visiteurs russes (Nicolas Gogol et Fiodor Dostoïevski l'évoquent dans leur œuvre[1]) qui firent bâtir une église sur le modèle de la cathédrale Saint-Basile de Moscou.

La Première Guerre mondiale mit brutalement fin au tourisme, crise qui perdura jusqu’à la chute de l’empire austro-hongrois en 1918. Peuplée majoritairement de germanophones, Carlsbad et sa région furent rattachées à la nouvelle Tchécoslovaquie par le Traité de Saint-Germain, ce qui entraîna des troubles entre les populations allemande et tchèque. Le 4 mars 1919, une manifestation allemande se termina par la mort de six Allemands, tués par les soldats tchèques. Cet affrontement larvé entre les communautés ne s’acheva que par l’annexion en 1938 de la région des Sudètes par l’Allemagne nazie et finalement par l’expulsion en 1945 de la majorité de la population germanophone à la suite des décrets Beneš.

Après la Seconde Guerre mondiale, Karlovy Vary retrouva son statut de ville de villégiature, devenant le centre de récréation de la nomenklatura communiste[2]. L’activité thermale reprit ainsi toute l’année. En 1946, fut créé pour la première fois le festival international du film de Karlovy Vary, organisé tous les deux ans[3].