Sinds 1483 is de ‘Illustere Lieve Vrouwe Broederschap’ (opgericht in 1318) op deze plaats gehuisvest. De bijnaam ‘Zwanenbroeders’ hebben de gezworen leden van de Broederschap gekregen vanwege de traditie daterend uit 1384 om jaarlijks een maaltijd te gebruiken met zwaan op het menu. Het middeleeuwse Zwanenbroedershuis werd in 1846 gesloopt en vervangen door het huidige neogotische pand naar ontwerp van de bouwmeester J.H. Laffertee. Het huidige gebouw is een duidelijk voorbeeld van de 19e-eeuwse neogotiek. Aan de buitenzijde wekt het gebouw de suggestie een kerk te zijn. De gepleisterde voorgevel heeft op de verdieping drie hoge spitsboogvensters, geflankeerd door steunberen. De interieurafwerking van de Grote Zaal op de verdieping is in 1868-1870 door L.C. Hezenmans (restauratiearchitect van de Sint-Jan) ontworpen. De Kleine Zaal aan de voorzijde van het gebouw heeft een fraai stucwerkplafond met hanggewelven.