Lange tijd functioneerde het Bonte Huis als herberg. Vooral in het begin van de twintigste eeuw was het een geliefde pleisterplaats voor personen uit Delft. Ook was er een kleine speeltuin. Voor passerende schippers was het Bonte Huis al eeuwen een plaats waar even verpoosd kon worden. Daarnaast werd het pand door het polderbestuur en het Oranjecomité van de buurtschap Sion gebruikt.
Mr. Jan Huygenszoon de Groot, vader van de beroemde Hugo de Groot, was in 1588 eigenaar van de ‘Swetshoeck’, zoals het Bonte Huis toen werd genoemd. De woning was verpacht aan een boerenfamilie. Pieter van de Werve hield hier in 1621 veertien melkkoeien en vier paarden. In de zeventiende eeuw was ‘Swetshouck’ onder meer bezit van de familie Van Wijngaerden en Van Kinschot. De pachtcontracten spreken na 1650 over ‘de hofstede het Bonte Huys’.
In 1770 was jonkvrouwe Jacoba Sara Justina van Hogendorp van buitenplaats Sion eigenaar. Ze verkocht het pand aan Gerrit Tettero, die in 1771 een tapvergunning kreeg. Vanaf dat moment deed het pand dienst als officiële herberg. Het voorhuis werd ingericht als gelagkamer.
Omstreeks 1847 kwam in een deel van de achterkamer een winkeltje, waar levensmiddelen, olie en petroleum werden verkocht. De tuinbouw in Den Hoorn begon zich in die tijd sterk te ontwikkelen. Van 1893-1903 deed het Bonte Huis zelfs dienst als veiling in groenten en fruit.
In 1902 kocht Job van Leeuwen het Bonte Huis. In 1920 werd het ‘koetshuis’ tot woonhuis verbouwd. Al voor de oorlogsjaren stopte het kleine winkeltje en werd de kinderspeeltuin opgeheven. In 1976 sloot de gelagkamer voorgoed haar deuren en in 1994 volgde gedeeltelijke nieuwbouw. Slechts de naam ‘Bonte Huis’ herinnert aan het rijke verleden van deze bijzondere plaats.