Le terre su cui è stato eretto il castello appartenevano ai signori di Brézé sin dall'XI secolo. Di questa signoria, che fece numerose donazioni all'abbazia di Fontevraud, nelle vicinanze, fece parte Luigi di Brézé, che sposò Diana di Poitiers.

Nel 1448 Gilles de Maillé Brézé ottiene dal re Renato d'Angiò l'autorizzazione a fortificare il castello e fece scavare i fossati, ricavando anche delle gallerie sotterranee che, tramite delle feritoie aperte sul fossato, contribuivano alla difesa dell'edificio.[1]

Il castello e le dipendenze in stile rinascimentale italiano furono eretti nei primi del Cinquecento su volontà di Arthur de Maillé.[2]

Urbain de Maillé Brézé fu il primo marchese di Brézé, dopo che, nel 1615, Luigi XIII aveva innalzato la zona a marchesato. Sposò Nicole du Plessis, sorella di Richelieu, ed ebbe i figli Armand, Grande Ammiraglio di Francia, morto in Toscana all'età di 27 anni senza lasciare eredi, e Claire-Clémence, che sposò Luigi II di Borbone Condé, a cui passò la tenuta nel 1650.

Il Condé divenne il capo della Fronda che si oppose alle reggenza durante l'inizio del regno del giovane Luigi XIV e, nel 1653, il castello fu occupato dalle truppe reali.

Nel 1682 il Condé scambiò il castello di Brézé con quello di Galissonière, appartenente a Thomas de Dreux.

Nel 1685 Thomas de Dreux, consigliere al Parlamento di Parigi, si fece confermare il titolo di marchese di Brézé dal re Luigi XIV.

Henri Evrard de Dreux-Brézé, gran maestro del cerimoniale di Luigi XVI, estese la parte rinascimentale del castello e suo figlio Pierre, vescovo di Moulins, e suo nipote Henri Simon trasformarono ulteriormente il castello, il cui stile si avvicinerà più al neogotico grazie all'intervento del 1824 dell'architetto angioino René Hodé.[1]