Los orígenes del edificio se remontan a la Edad Media, cuando existía en el lugar la casa-torre del linaje de los Butrón, la cual se fue modificando a lo largo de los siglos y terminó enmascarada bajo la apariencia de una vulgar casa de labriegos. Su aspecto actual responde a una profunda remodelación efectuada en el siglo XIX por el marqués de Cubas.[1]​

Tomando como base los cimientos y parte de las torres cilíndricas existentes, tras eliminarse los añadidos, el actual castillo fue construido combinando, con gran dosis de fantasía, distintas referencias a edificios antiguos, a la manera de los castillos bávaros del siglo XIX, lejos de los prototipos de casas torre y castillos propios de la región. La torre del homenaje es similar a la del alcázar de Segovia. La construcción se concibió más como pasatiempo y atracción visual que con el propósito de albergar un uso concreto; de hecho, es muy incómodo como vivienda, ya que las torres no tienen demasiado espacio útil, y algunas estancias se conectan entre sí mediante pasarelas y escaleras al aire libre.