Varaseimad leiud Kalovy Vary aladel pärinevad pronksiaegsest kindlustatud asulast. Pidev inimasustus on seal olnud alates 13. sajandist eKr.

12. ja 13. sajandil asusid piirkonda elama saklastest käsitöölised ja kaevurid ning see muutus valdavalt saksakeelseks. 1325. aastal mainiti praegustel linna aladel asunud Obora küla. Esimene kuurort rajati tõenäoliselt 1358. aastal. Legendi järgi korraldas lähedal asuvas Loketi linnas peatunud Karl IV metsadesse uurimisretke. Jalga vigastanud keiser leidis abi Teplá jõe lähedalt leitud kuumaveeallikast, mille tervendav vesi vigastuse parandas. Allika kohale rajas Karl "Loketi kuumaveekuurorti", mis hiljem nimetati Karlovy Varyks. Linnaõigused andis Karl IV Karlovy Varyle 1370. aasta 14. augustil.[1]

1819. aastal võeti Karlovy Varys toimunud konverentsil vastu Klemens von Metternichi koostatud Karlsbadi dekreedid, mille eesmärk oli piirata vabadusi Saksa Liidus.

19. sajandi keskpaigas arenes linn kiiresti üheks Euroopa suurimaks kuurortlinnaks. Rajatud uued spaad said populaarseks sihtkohaks Euroopa eliidi seas. 1870. aastal avati raudteeliin Praha ja Chebi vahel, mis läbis ka Karlovy Varyt ja parandas oluliselt linnale ligipääsetavust. Külastajate arv kerkis 19. sajandi lõpuks 1756. aastal registreeritud 134 perekonnalt 26 000 külastajani aastas. 1911. aastal külastas linna juba 71 000 turisti.

I maailmasõja järel läks linn Saint-Germaini lepingu jägi vastloodud Tšehhoslovakkia riigi koosseisu. Otsus tekitas pingeid Karlovy Vary valdavalt saksakeelse elanikkonna hulgas. 1919. aasta märtsis toimunud demonstratsioonide käigus tekkis kohalike elanike ja tšehhidest sõdurite vahel konflikt, milles hukkus kuus inimest.

1938. aasta Müncheni kokkuleppe tulemusena liideti saksakeelne Sudeedimaa, mille alla kuulus ka Karlovy Vary, Saksamaaga. II maailmasõja lõppedes oli enamus saksa päritolu inimestest sunnitud Potsdami konverentsi otsuste alusel Tšehhoslovakkiast lahkuma. Beneši dekreetide alusel neile konfiskeeritud vara eest hüvitist ei makstud.

II maailmasõja jägsel perioodil sai Karlovy Varyst populaarne ravi- ja puhkesihtkoht idabloki riikide elanikele. Sametrevolutsiooni järgselt on linn säilitanud oma populaarsuse Vene turistide hulgas. 2011. aastal elas Karlovy Varys hinnangliselt 2000 Vene kodanikku.