Het terrein waar Huis te Dorp heeft gestaan is te bereiken over een lange laan aan de westzijde van de Oostgaag (langs het Dorppoldergemaal).
De motte heeft men opgeworpen op een estuariumrug.
Dit is een rug van vaste grond, in dit geval zand en zavelige klei, gevormd door het slib van een kreek, die in open verbinding stond met de Maasmond.
De rug is één van de eerste bewoonbare plaatsen in deze streek. Ze loopt als een verhoging door de Dorppolder.
Oude kaarten en tekeningen laten duidelijk zien dat Huis te Dorp omringd was door een ronde gracht.
Mogelijk heeft het vele malen afgebeelde kasteel een houten voorganger gehad.
Gezien het formaat van de kloostermoppen, werd het stenen huis in het midden van de 13e eeuw opgetrokken.
Ten zuid-westen van het kasteel stond een boerderij, die de bewoners voorzag van de eerste levensbehoeften.
In de 14e eeuw trouwt Ghisekijn (of Gysbert) Uitterlier met Katharina van Dorp en noemt zich vanaf dat moment Gysbert Uitterlier van Dorp.
Hun kleinzoon Jan krijgt vervolgens door erflating het Huis te Dorp in zijn bezit en gebruikt daarna, evenals alle volgende generaties nog uitsluitend de naam Van Dorp.
In de loop van deze eeuw kreeg de familie van Dorp ook het kasteel Boekestein aan de Burgerdijkseweg in haar bezit.
Het geslacht Van Dorp groeide uit tot één van de belangrijkste families in Holland.
Verschillende Van Dorpen bekleedden hoge posities in de landspolitiek.
In de 16e eeuw verbleven ze meestal in hun huis aan het Noordeinde in Den Haag.
Uit de Tiende Penning van 1561 blijkt dat het kasteel in Schipluiden werd bewoond door een kastelein.
Afbeeldingen uit de 17e eeuw wekken de indruk dat het kasteel in een bouwvallige toestand verkeerde.
In het begin van de 18e eeuw is het niet meer dan een ruïne.
Bron: Publicatie Historische Vereniging Oud-Schipluiden.
