És incert quan la regió de Karlovy Vary va ser inicialment poblada, però en tot cas s'han trobat restes d'assentaments prehistòrics, de l'edat del bronze tardana i dels primers assentaments eslaus. El poder curatiu de les aigües termals de Karlovy Vary ja era conegut el s. XIV, prova d'això n'és el fet que el 14 d'agost de 1370 el rei bohemi i emperador del Sacre Imperi Romanogermànic Carles IV de Luxemburg va atorgar el títol de ciutat reial a Karlovy Vary, indret que aleshores s'anomenava tot just Vary (en eslau bany càlid) i que en alemany posteriorment va passar a denominar-se Karlsbad (el bany de Karl), en honor del rei Carles IV.

Inicialment, les fonts d'aigua eren només usades per a banyar-se, però a partir del s.XVI l'aigua va passar a també ser utilitzada com a teràpia curativa. El 1522 es va publicar la primera dissertació escrita sobre les propietats curatives de les fonts.

El 9 de maig de 1582 la ciutat va quedar inundada pels rius i el 13 d'agost un incendi la destruí quasi totalment. D'altra banda, la Guerra dels Trenta Anys va deixar també les seves seqüeles i només a poc a poc la ciutat es va anar recuperant. El 1707 l'emperador Josep I del Sacre Imperi Romanogermànic va atorgar tots els privilegis a Karlovy Vary, que ara va passar a gaudir del títol de Ciutat Reial.

L'explotació de les aigües termals es va anar desenvolupant sobretot gràcies a les visites del tsar Pere I de Rússia els anys 1711 i 1712. Precisament el 1711 va ser també l'any en què es va construir el primer balneari de la ciutat. El 1759 es va introduir una taxa sobre l'ús de les aigües termals, contribució que havia de servir per ajudar a reconstruir la ciutat.