Op de huidige plek van het stadhuis wordt al eeuwenlang de stad bestuurd. Het eerste stadhuis is op deze plek gebouwd in de 13de eeuw toen Breda stadsrechten kreeg. Door de tijden heen is het gebouw regelmatig aangepast, verbouwd en herbouwd . Tijdens stadsbranden in 1490 en 1534 werd vrijwel heel de binnenstad en ook het oude stadhuis op deze plek verwoest. Kort na 1534 vond herbouw plaats. Van de oudste raadshuizen op deze plek is weinig bekend.

Het huidige stadhuis is een samenvoeging van vier losse panden. Aanvankelijk  bestond het stadhuis uit drie huizen, het oude raadhuis en twee huizen, het Cleijne Raedthuis en Huize Vogelsanck. Het vierde pand (Liggend Hert) is er pas veel later (rond 1680) bij gekomen. In het stadhuis is nog duidelijk te zien dat dit een apart woonhuis geweest is met een aparte voordeur .

Aan einde tachtigjarige oorlog was Brabant en Breda een wingewest van Holland geworden . Om deze reden duurde het tot in de 18e eeuw dat Breda een nieuw en sober stadhuis kreeg met een nieuwe voorgevel ontworpen door Philips Willem Schonck waardoor het pand van buiten één geheel lijkt.

Tot de Franse tijd werd er ook recht gesproken in het stadhuis. Aan het eind van de 19de eeuw is het recht verhuisd naar het Gerechtsgebouw Breda aan de Kloosterlaan.

Alle functies – uit het verleden en nu – zijn nog zichtbaar aan en in het stadhuis (bijv het Justitiabeeld (geblinddoekt met weegschaal en zwaard) boven de ingang van het stadhuis wijst op de functie van rechtbank).