公元823年，“科尔马”作为城市首次出现在了文献记载中[1]，彼时，科尔马为一个区域性的农业中心，在《凡尔登条约》签订后，被划入東法蘭克王國。1106年，一场大火烧毁了科尔马[1]。12世纪末，腓特烈一世决定重建该市，其长子则于1226年将科尔马建立成为了一座“皇家都市”，1278年，在鲁道夫一世的批准下，科尔马成为了帝国自由城市[1]，并在中世纪末期发展为一个商业贸易中心[1]。15至16世纪，科尔马地区多次遭遇了黑死病疫情，人口数量急剧下降，最终失去了帝国自由城市的头衔[2]。三十年战争期间，科尔马附近受到了较为严重的破坏[2]。1648年，根据《威斯特伐利亚和约》，科尔马及其所在的整个上阿尔萨斯地区（法语：Haute-Alsace）[3]（米卢斯（法语：République de Mulhouse）除外）正式划归法兰西王国[2]。17世纪末，根据《吕埃条约（法语：Paix de Rueil）》，科尔马成为了“皇家城市”（ville royale），由法兰西国王派兵直接保护[4]。18世纪时，大批市政设施在科尔马出现[4]，构建了其现代城市的雏形。法国大革命后，科尔马成为了上莱茵省的首府并保持至今[5]。其间，科尔马曾于1870至1919年以及第二次世界大战期间分别被普鲁士王国[5]及纳粹德国占领[6]，並在1944年發生了著名的科爾馬包圍戰。自1948年起，阿尔萨斯红酒集市（法语：Foire aux vins d'Alsace）在科尔马定期举办[7]