Oryginalnie zamek został zbudowany X wieku przez w Odona II, władcę Blois w celu ochrony miasta Blois przed atakami z zewnątrz. Say W 1465 roku zamek został spalony na rozkaz króla Francji, Ludwika XI Walezjusza. Zamek został odbudowany w latach 1465-1475 przez hrabiego Charlesa I d'Amboise a następnie w latach 1498-1510 przez jego syna hrabiego Charlesa II d'Amboise.

W 1560 roku Zamek w Chaumont wszedł w posiadanie Katarzyny Medycejskiej. Posiadłość zamku Katarzyna otrzymała rok po śmierci swojego męża króla Francji, Henryka II Walezjusza. W ciągu następnych lat zamek stał miejscem licznych spotkań Katarzyna z jej osobistym doradcą Nostradamusem. W zamku przez krótki okres mieszkała Diana de Poitiers, faworyta Henryka II. Została zmuszona przez Katarzynę Medycejską do zmiany zamku z dawnego Château de Chenonceau na Château de Chaumont.

W 1750 roku zamek został przejęty przez Jacques-Donatien Le Raya który wykupił zamek jako swoją letnią rezydencję położona niedaleko jego fabryki garnków. W celu uzyskania widoku na dolinę Loary z dziedzińca zamku, kazał zburzyć[1] jego północne skrzydło i przylegające krużganki. Zbudował nową klatkę schodową w skrzydle południowym. Le Ray był miłośnikiem Ameryki oraz zwolennikiem rewolucji amerykańskiej. Jego gośćmi na zamku byli liczni członkowie armii rewolucyjnej w tym m.in. Benjamin Franklin.

Po śmierci Le Reya zamek kilka razy zmieniał swojego lokatora. W 1810 roku zamek bierze w dzierżawę Madame de Staël na banicji, podczas gdy syn Reya bawi w Stanach Zjednoczonych. Następnie zamek przechodzi w ręce pewnego baska, Etchegegoyen, a po nim le Comte d'Aramon. Marie-Charlotte Say wpada w posiadanie zamku w 1875 roku. A w następnym roku Say wychodzi za mąż za prawnuka Madame de Staël, księcia Amedée de Broglie, który wykupił zamek. Rodzina de Broglie posiadała zamek do roku 1938, kiedy zamek w Chaumont przeszedł w ręce rządu francuskiego.

Obecnie zamek posiada status muzeum oraz jest miejscem odbywania się Wielkiego Festiwalu który trwa od czerwca aż do października wówczas do zamku zjeżdżają się projektanci ogrodów zamkowych, którzy rywalizują między sobą o zwycięstwo w zawodach na najlepszy projekt ogrodu w stylu angielskim. W stajni zamkowej znajduje się powozownia[2]. Latem jest możliwość przejażdżki powozami po parku.