Rond 1530 was Culemborg een voor die tijd flinke stad van 3500 inwoners. Daarbij paste een groter stadhuis aan de Markt. Met een lening van Anthonis van Lalaing en zijn echtgenote Elisabeth van Culemborg werd in 1534 het nieuwe stadhuis gebouwd in de stijl van de Brabantse gotiek, naar een ontwerp van Rombout II Keldermans, telg uit een vermaard bouwmeestersgeslacht en persoonlijk architect van keizer Karel V. 

De schouw in de Schepenkamer is een gerestaureerde rococo schoorsteenmantel uit de 18^e eeuw met beeldhouwwerk van Walter Pompe.

Aan de rechterkant van het bordes bevindt zich op de hoek de kaak (schandpaal). Hier werden bij voorkeur op drukbezochte marktdagen gestraften ‘aan de kaak gesteld’.

Tot 1519 stonden er visbanken op de Oude Vismarkt. Hier hakten de visvrouwen proost Jan van Buren in mootjes, toen hij met zijn leger op Sint-Emerentiadag (23 januari) in 1428 Culemborg was binnengevallen. Het houtsnijwerk in de zijdeur van het stadhuis aan de Oude Vismarkt 6 herinnert nog aan deze bloedige gebeurtenis.

In 2004 – 2005 is het stadhuis volledig gerestaureerd en in 2010-2011 is ook het interieur opgeknapt. Gelijktijdig werd de vleugel aan de Oude Vismarkt gemoderniseerd. Daarbij is de 15de eeuwse waag weer zichtbaar gemaakt.

Open Monumentendag 2025
Rondleidingen om 11.00, 12.00, 13.00 en 15.00 uur
Belangstellenden kunnen zich melden bij de balie van  van het Toeristisch informatie punt (TIP)