Patijnenburg (patijn = klomp) is waarschijnlijk in de negende of tiende eeuw gebouwd en diende destijds als ontginningskern. In die tijd was bescherming nog erg belangrijk dus mogelijk was sprake van een versterkte vesting of kasteel.
De eerste ons bekende, adellijke bewoner van het kasteel komen we rond 1300 tegen en heette Dirc Cottier. Hij was familie van het geslacht Van de Poel, dat op het kasteel de Poel woonde, de latere Baakwoning. Op een kaart van omstreeks 1623 is de kasteelwerf met gracht nog te zien.
Het kasteel was inmiddels vervangen door een boerderij. Er zijn veel bewoners van Patijnenburg bekend, zoals een vrouw met de prachtige naam Aleid van Kijfhoek. Het is niet bekend hoe het kasteel eruit zag en wanneer het gesloopt of verwoest is. Waarschijnlijk is het kasteel tijdens de Hoekse en Kabeljauwse twisten ten onder gegaan, zoals zoveel kastelen.
Ervoor in de plaats is aan het eind van de middeleeuwen een boerderij gebouwd, óf is een reeds bij het kasteel staande boerderij bewaard gebleven. Deze boerderij werd in de 17e eeuw uitgebouwd tot buitenplaats.
