Het huis werd rond 1325 door de nieuwe eigenaar Willem van Duvenvoorde tot een groot kasteel verbouwd. Het kasteel zelf bestond uit drie verdiepingen, de toren uit zes.
Het gebied rondom het kasteel was Hollands gebied, terwijl het kasteel zelf op Brabants gebied stond. Uiteindelijk werd Jan van Polanen eigenaar van het kasteel, en daarmee de ook de opvolgende heren van Breda.
Volgens volksverhalen kwam Johanna van Polanen regelmatig hier verblijven om te schrijven of voor andere zaken. Het kasteel werd in de 16e eeuw verwoest tijdens de Tachtigjarige Oorlog. Het kasteel is daarna nooit meer opgebouwd.
De prins van Oranje, Filips Willem, gaf in 1617 toestemming om het puin van de ruïne te hergebruiken. De 25 meter hoge toren is deels bewaard gebleven en staat nog steeds overeind aan de Kasteeldreef in Oosterhout.
De ruïne van de toren, die beschermd wordt met hekken, staat op een eilandje omgeven door sloten dat met een brug verbonden is met de omgeving. De naam Slotbossetoren is te danken aan het eikenbos dat er vroeger omheen lag. De ruïne was tot 15 januari 2016 eigendom van de Staat (Rijksgebouwendienst). Op 15 januari 2016 werd deze overgedragen aan de Nationale Monumentenorganisatie.
De Slotbosse Toren is een overblijfsel van Kasteel Huis ten Strijen. De bouw van het eerste kasteel startte rond 1289, toen Willem IV van Strijen het terrein op de grens van het graafschap Holland en het hertogdom Brabant kocht. De daaropvolgende eigenaar, Willem van Duvenvoorde (1290-1353), was destijds een van de machtigste en rijkste mannen van de Lage Landen. Hij zorgde dat het kasteel werd uitgebreid, er een tweede watergracht kwam, een tuin en zelfs een diergaarde. Over dit stukje rijke Oosterhoutse cultuur en geschiedenis en de plannen om deze glorietijd weer tot leven te brengen, vertellen de mensen van Stichting De Verweesde Toren je ter plaatse graag zelf.
Tijdens de OMD zijn er tal van middeleeuwse activiteiten te beleven voor jong en oud.
