La història d'aquest castell comença amb el comte Florenci V d'Holanda que va construir un castell de pedra en la desembocadura del riu el 1280, quan va obtenir el control sobre una àrea que formava part de la Seu d'Utrecht.[1] El riu Vecht era la ruta comercial cap a Utrecht, una de les ciutats comercials més importants d'aquesta època i el castell va ser utilitzat per exigir un peatge als comerciants. Les seves dimensions són relativament petites, mesura 32 per 35 metres, amb parets de maó de més d'1,5 metres de gruix i amb un gran fossat que ho envoltava.

El 1297 el castell va ser conquistat per Willem II Berthout, arquebisbe d'Utrecht i cap al 1300, el castell va quedar arrasat.[1]

Cent anys més tard (ca. 1370-1386), Albert I de Wittelsbach, que en aquests moments era comte d'Holanda i Zelanda ho va reconstruir en el mateix lloc i amb les mateixes característiques que l'antic.[1]

Un altre dels propietaris cèlebres del castell va ser Pieter Corneliszoon Hooft (1581-1647), famós poeta i historiador, que era governador i agent judicial de la zona d'Het Gooiland. Durant 39 anys va passar els seus estius al castell on convidava al seu cercle d'amics, escriptors i pintors com Joost van den Vondel, Constantijn Huygens, Gerbrand Bredero, Anna Visscher o Maria Tesselschade Visscher. Aquest grup va arribar a ser conegut com el Muiderkring.[2] També va estendre els jardins i l'hort de pruneres.

A la fi del segle xviii, el castell va ser utilitzat com a presó, i posteriorment va quedar abandonat. La seva ruïna va fer que es posés a la venda el 1825 per a la seva demolició. Només la intervenció de rei Guillem I dels Països Baixos ho va impedir. Van passar altres setanta anys fins que es va reunir suficients diners per a la seva restauració.

El castell és en l'actualitat un museu nacional (Rijksmuseum). L'interior del castell, les seves habitacions i cuines han estat restaurades a l'aparença que tenien al segle xvii i moltes de les habitacions mostren una col·lecció d'armes i armadures.