In 1230 werd Floris van der Woerd door de heer van Voorne beleend met het goed De Woerd in Naaldwijk. Het was meer dan 100 ha. groot. Het geslacht De Woerd woonde op de kastelen de Hoge Woerd en de Lage Woerd en verwierf hun inkomsten vooral via het innen van belastingen.
De tienden op de Geest en de tienden van Honselersdijk vormden hier een voorbeeld van. Als ambachtsheer beslisten zij over alle geschillen, behalve als het ging om zware delicten, zoals moord. De betrokkenen betaalden geld aan de Van der Woerds. Verder hadden zij het molenrecht. Iedere bewoner was verplicht om, uiteraard tegen betaling, zijn graan te laten malen bij hen.
Deze familie heeft het diverse keren aan de stok gehad met een andere belangrijke familie: de Van Naaldwijks.
Die conflicten betroffen kerkelijke zaken, en met name het recht over wie de beste plaatsen in de kerk kreeg, wie het eerst mocht voorofferen (offergave brengen bij een officiële plechtigheid) en wie als eerste de ‘vredeskus’ mocht ontvangen.
Deze ‘strijd’ is uiteindelijk gewonnen door de Van Naaldwijks. De Graaf van Holland werd er namelijk bijgehaald en die sprak zich uit ten faveure van de Van Naaldwijks.
Het is onbekend wanneer het kasteel de Hoge Woerd ophield te bestaan. Vermoedelijk is dit kasteel, net als vele anderen, ten prooi gevallen tijdens de Hoekse en Kabeljouwse twisten die in de 14e en 15e eeuw plaatsvonden.