De kapel is in 1641 gebouwd in opdracht van prins Frederik Hendrik, Stadhouder en Heer van Naaldwijk. Met de bouw van deze kapel was het hofje ‘af’. Wekelijks werd er tot rond 1760 door de predikant van de Nederlands Hervormde kerk gepreekt en tot het eind van de achttiende eeuw werden er ook catechisaties gegeven. Daarna raakte de kapel in verval en werd het gebouwtje uiteindelijk te koop aangeboden met de mogelijkheid het af te breken.
De Joodse gemeenschap slaagde er in om de kapel voor een bedrag van 500 gulden over te nemen van de dienst Domeinen, die er eigenaar van was. De Joden werden verplicht om via een zelf te betalen brug via het Potterslaantje naar de synagoge te gaan, maar daar is nooit uitvoering aan gegeven. Door de trek van de Westlandse Joden naar de grote steden, nam het aantal kerkgangers aan het begin van de 20e eeuw snel af en in 1928 is de kapel overgegaan naar de burgerlijke gemeente.
Na een grote restauratie kreeg de kapel in 1935 een nieuwe functie als museum. Vanaf 1991 fungeert de kapel als trouwzaal van de gemeente.