Wie ooit het kasteel stichtte dat toebehoorde aan de Van Wateringens is niet bekend. Feit is dat het slot in 1299 reeds toebehoorde aan Gerrit van Wateringen.
Zes generaties lang zouden de ambachtsheren van Wateringen in het kasteel blijven wonen. Na het huwelijk van de erfdochter Wilhelmina van Egmond van de Wateringe met Willem III van Naaldwijk kwam het kasteel met alle bezittingen toe aan de Van Naaldwijks, die ambachtsheer van Wateringen werden.
Zij gingen er overigens niet wonen. Het enige wat nog zichtbaar is van de tijd van het kasteel, zijn de omringende twee grachten. Hendrik IV van Naaldwijk schonk het kasteel in 1485 aan de Cisterciënzerorde, die het in gebruik nam als klooster. Dit is echter nooit goed tot bloei gekomen.
De watergeuzen hebben het in 1573 in brand gestoken en daarmee kwam een einde aan het kasteel. De fundamenten zitten hoogstwaarschijnlijk nog in de grond.