Ensimmäinen asiakirjamaininta Colmarista on vuodelta 823 nimellä Columbarium, joka merkitsee latinaksi kyyhkyslakkaa. Vuonna 1226 Pyhään saksalais-roomalaiseen keisarikuntaan kuuluvasta Colmarista tuli vapaa valtakunnankaupunki (freie Reichsstadt). Ludvig XIV:n joukot valtasivat Colmarin 1673, ja Ranskan valta vahvistettiin Nijmegenin rauhassa kuusi vuotta myöhemmin.

Vuosina 1871–1918 Colmar kuului Saksan keisarikuntaan osana Elsass-Lothringenia. Ensimmäisen maailmansodan jälkeen kaupunki liitettiin muun Elsass-Lothringenin tapaan takaisin Ranskaan. Toisessa maailmansodassa Saksa valloitti Colmarin 1940. Liittoutuneet valloittivat kaupungin 2. helmikuuta 1945 käydyssä Colmarin mottitaistelussa, joka oli samalla toisen maailmansodan viimeinen taistelu Ranskan maaperällä.