Op de plek van de huidige herensociëteit stond een middeleeuws huis van het kapittel van de St. Mariekerk. In het pand bevinden zich nog tufstenen resten uit de twaalfde eeuw, maar het eigenlijke gebouw dateert uit de 14e-eeuw. In 1530 was de schilder en tevens kanunnik Jan van Scorel een van de bewoners. In 1872 vestigde zich hier een herensociëteit, die nog steeds actief is en het gebouw verschillende keren aanpaste en restaureerde. De sociëteitszaal aan de voorzijde werd rond 1880 gebouwd met neo-classicistische elementen en is in 2021 vernieuwd. Aan de achterzijde was een kegelbaan. In 2014 is hier een nieuwe zaal en een stadstuin gekomen. De Sociëteit bestaat nog steeds en heeft als doel om heren met verschillende opvattingen samen te verbinden.