Kasteel de Grote Ruwenberg dateert uit de eerste helft van de veertiende eeuw. In 1852 werd hier het bekende Jongensinternaat de Ruwenberg geopend, Na sluiting van het internaat in 1965 en sloop van het gehele complex met uitzondering van het oude witte kasteeltje in 1988 verrees hier een conferentiecomplex met hotel. Het oude kasteelgedeelte kreeg een nieuwe functie als receptie en ontvangstruimte. In dit gedeelte heeft heemkundevereniging “De Heerlijkheid Herlaar” een kleine expositie ingericht. Bezoekers kunnen tijdens Open Monumentendag een kijkje in het kasteeltje nemen en de expositie bezoeken.