Początki zamku datuje się na połowę XII w. Pierwsza wzmianka o zamku pojawiła się w dokumentach w 1391, kiedy to członek rodu De Haar otrzymał zamek, który pozostał w rodzinie do wymarcia de Haar w linii męskiej, a następnie przeszedł przez małżeństwo na rodzinę Van Zuylen. Dirk van Zuylen został właścicielem zamku w 1451. Zamek został spalony w 1482 w trakcie konfliktów zbrojnych i częściowo rozebrany. Pozostała część prawdopodobnie została wkomponowana w nową budowlę wzniesioną na początku XVI w. Zamek wzmiankowany jest w dokumencie z 1506 jako należący do Stevena van Zuylena, a w 1536 w wykazie włości lennych w prowincji Utrecht. Najstarszy obraz zamku przedstawia w dużej mierze odrestaurowany kompleks z 1554. Od 1641 ponownie popadał w ruinę po śmierci Johana van Zuylena van de Haara, który nie pozostawił żadnych potomków. Podczas III wojny angielsko-holenderskiej w 1672 został znacznie zniszczony przez wojska francuskie[1].