Nadat het kasteel Patijnenburg verdwenen was, bleef er een boerderij op het perceel achter. Op de kaart van Kruikius is deze te zien aan de zuidwest-kant. In de 16e eeuw was het in gebruik door de kasteleinen (plaatsvervangers van de kasteelheer) van het kasteel te Honselersdijk. In 1652 kocht Dirk Pauw het landgoed en vermaakte het tot een riante buitenplaats. Nadien erfde zijn zoon Johan het goed. Het landgoed bevatte vele siertuinen, dierenverblijven en vijvers. Via het Vreugdenhilse laantje was er een rechtstreekse verbinding met het Marktveld in hartje Naaldwijk.
In 1708 kwam de buitenplaats in handen van de raadspensionaris Simon van Slingelandt. Een raadspensionaris was destijds wat we tegenwoordig de minister-president noemen. Slingelandt woonde doorgaans aan de Koninginnegracht in Den Haag, maar hij verbleef zeer regelmatig in Naaldwijk. Hij ontving er belangrijke ambtenaren, zoals ambassadeurs en diplomaten. De functie van Patijnenburg was dus enigszins te vergelijken met die van het Catshuis op dit moment en dat is af te zien op de kaart.
In 1799 kwam er een einde aan deze buitenplaats. Het werd verkocht en afgebroken. Het land werd in kleinere percelen verkocht.
Aan de ‘s-Gravenzandseweg staat nu, ongeveer op de plek van de ingang van het landgoed, een huis met het opschrift ‘Nieuw Patijnenburg’.
