Kroonprins Willem verbleef vanaf 1831 vanwege de Tiendaagse Veldtocht regelmatig in zijn hoofdkwartier Tilburg, Hij bewoonde het zogenaamde ‘oude paleis’, een fabrikantenwoning die tot 1873 recht tegenover het huidige Paleis-Raadhuis stond.
Na zijn troonsbestijging als koning Willem II in 1840 werd bij hem de behoefte om een groter en waardiger paleis als zuidelijke residentie te bouwen steeds groter. Grote haast had hij er echter niet mee, want pas in 1847 werd met de bouw begonnen. De vorst zou zelf het basisontwerp hebben bedacht, geïnspireerd door het Strawberry Hill House in Londen, dat uit de vroege achttiende eeuw stamt. Architect was zijn bouwmeester Jan C. Boon. Aannemer was de Tilburgse timmerman Adriaan Goyarts.
De koning heeft het paleis helaas nooit kunnen bewonen. Hij overleed in zijn ‘oude paleis’ in 1849, nog voordat zijn nieuwe onderkomen werd opgeleverd. Het nieuwe paleis werd, behalve door een huisbewaarder met zijn gezin in het souterrain, niet meer bewoond en het bleef leeg staan tot 1864 toen het door de erfgenamen geschonken aan de gemeente Tilburg werd geschonken onder de voorwaarde dat er een Rijks-HBS met de naam Koning Willem II in zou worden gehuisvest.

De Rijks-HBS Koning Willem II zat hier van 1866 tot 1934. Een van de eerste leerlingen was de wereldberoemd geworden schilder Vincent van Gogh, die er van 1866-1868 heeft gestudeerd. Zijn kosthuis bevond zich op het (huidige) Sint Annaplein. In 1934 bepaalde koningin Wilhelmina, in overleg met de overige erfgenamen van koning Willem II, dat het gebouw bestemd mocht worden als representatief stadhuis. De Rijks-HBS is in 1936 door de Nijmeegse architect Oscar Leeuw in art-decostijl verbouwd tot representatief Paleis-Raadhuis. De oprijlaan met vijver zijn verdwenen bij de bouw van de ondergrondse parkeergarage voor het gemeentehuis in 1971. In 2022 werd het paleis met het gemeentehuis verbonden. In het Paleis-Raadhuis hangen vele kunstwerken die een historische relatie met de stad hebben.

In 2009 is in het Paleis-Raadhuis Vincents Tekenlokaal nagebouwd, een onderdeel van Stadsmuseum Tilburg, met als doel talentontwikkeling en tekenplezier te bevorderen. Een jaarlijks terugkerende activiteit is De Nieuwe Vincent, een talentprogramma voor jongeren tussen de 10 en 14 jaar.