No século X, Eudes I, Conde de Blois, mandou construir uma fortaleza para proteger a cidade de Blois dos ataques do Condes de Anjou.

Luís XI mandou queimar e arrasar Chaumont, em 1455, para punir Pedro de Amboise por este se ter revoltado contra o poder Real aquando da "Liga do Bem Público". Depois disso, o filho de Pedro, Carlos I de Amboise, procedeu à reconstrução do château entre 1465 e 1475, edificando a ala norte (face ao Loire) actualmente desaparecida.

 Vista parcial do Château de Chaumont-sur-Loire do Loire.

De 1498 a 1510, Carlos II de Chaumont de Amboise, ajudado pelo seu tio, o Cardeal Jorge de Amboise, prosseguiu a reconstrução, num estilo já marcado pelo Renascimento, conservando totalmente a aparência geral fortificada.

Em 1560, o Château de Chaumont-sur-Loire foi comprado por Catarina de Médici, um ano após o falecimento do seu marido, o Rei Henrique II. A Rainha recebeu numerosos astrólogos no palácio, entre os quais Nostradamus. Depois de um curto período, Catarina forçou Diane de Poitiers, amante de Henrique II durante muito tempo, a trocar o Château de Chenonceau pelo Château de Chaumont. No entanto, Diane de Poitiers viveu pouco tempo em Chaumont.

Em 1750, Jacques-Donatien Le Ray comprou o palácio como casa de campo, tendo lá estabelecido uma fábrica de vidros e cerâmicas. Foi considerado o "Pai (francês) da Revolução Americana"), pois adorava a América. Benjamin Franklin chegou a ser um hóspede no Château de Chaumont-sur-Loire. No entanto, em 1789, o Novo Governo Revolucionário da França desapropriou Ray, incluindo o seu amado Château de Chaumont.

Madame de Stael adquiriu o palácio em 1810 e, em 1875, seria a vez de Maria Charlotte Say, herdeira da Fortuna di Açucar Say, se tornar proprietária do edifício. Esta última casou nesse mesmo ano com Amadeu, Príncipe de Broglie (filho de Alberto de Broglie).

Este casal encarregou Ernest Sanson de restaurar o palácio, fez construir luxuosas cavalariças e um magnífico parque paisagístico à inglesa. Sanson optou por um conjunto em tijolo e pedra. As cavalariças de Chaumont são representativas dos edifícios construídos pela aristocracia afortunada, no final do século XIX, para abrigar os seus cavalos. Foram consideradas, à época, como as mais luxuos da Europa, beneficiando então de iluminação eléctrica em arco, ao mesmo tempo que a Ópera Garnier e o Hôtel de Ville de Paris.

Durante quarenta anos, o palácio conheceu uma época faustosa, ao longo da qual os Broglie deram festas e recepções deslumbrantes, levando uma vida digna de uma casa Real. Infelizmente, os reveses da fortuna obrigaram a Princesa de Broglie a vender Chaumont ao estado, em 1938, que o tornaria dependente dos serviços dos Monumentos Históricos.