In 1627 heeft Frederik Hendrik, Prins van Oranje en Heer van Naaldwijk, het hofje gebouwd met twintig huisjes en een ziekenzaal; tien voor mannen en tien voor vrouwen. Hiermee is de vorm van het hofje ontstaan, dat ook nu nog zichtbaar is.
De bewoners en bewoonsters moesten afkomstig zijn uit ’s-Prinsen-heerlijkheden en behoren tot de Hervormde Gemeente. In 1955 ging het beheer over op de gemeente Naaldwijk. Als officiële benaming werd toen gekozen voor Domaniaal Oude Mannen- en Vrouwenhuis Het Heilige Geest Hofje.
In 1961 werd de laatste restauratie uitgevoerd, waarbij de woningen door samenvoeging hun huidige indeling kregen. De vleugels bestaan nu uit respectievelijk zes en zeven woningen, waarvan tien huisjes twee voordeuren bezitten. Inwendig zijn de huisjes nu ruim te noemen, mede dankzij de verdieping. Zij zijn voorzien van modern comfort, maar de oude schouw bleef overal gespaard.