Op de ruïne van het voormalige kasteel/klooster verscheen een buitenplaats voor rijke regenten uit de omliggende steden. Na Jacob van der Dussen, burgemeester van Dordrecht, Joost Brasser, Johan Hallingh en Paulus Hallingh werd het bewoond door een aantal generaties van het geslacht Gael.
In 1803 werd het goed verkocht aan vijf heren uit Delft voor f. 31.000. Die lieten het herenhuis grotendeels slopen. De omringende bossen werden gerooid. Slechts een klein deel van het huis is blijven staan en is de tegenwoordige Hofboerderij.