Een grote overstroming in 1134/1135 verdreef de adellijke bewoners uit het gebied Heimond bij Westerlee.
Zij vestigden zich vervolgens, in het midden van de twaalfde eeuw, in een nieuwe nederzetting in het noordoosten van de Oude Lierpolder.
De familie Uyterliere had al vanaf de 12e eeuw een belangrijk aandeel in de ontginning van dit gebied en wist zich hier ondanks de twaalfde eeuwse overstromingen te handhaven. Hiermee is meteen de naam Uitterlier is verklaard.
Hier werd een motte opgeworpen. Een kunstmatige heuvel die omringd werd door een gracht. Bovenop werd een toren gebouwd, waarschijnlijk van hout.
Omstreeks 1250 werd de motte aanzienlijk vergroot. De gracht werd verlegd en verbreed en op de motte werd een stenen ‘kasteel’ en een kapel gebouwd.
Het Vaderlandsch woordenboek uit eind 18e eeuw vermeldt dat het een vrij aanzienlijk gebouw zou zijn geweest, met een fraaie trapgevel en dat ernaast een stenen “bouwhuis” stond, eveneens met trapgevel.
Aangenomen wordt dat het mottekasteel in 1351 tijdens de Hoekse en Kabeljauwse twisten is verwoest.
