Tussen de stadshaven en de Vismarkt stond vanouds het Commiezenhuis, een soort douanekantoor voor goederen die via de haven werden aangevoerd. Aan het begin van de twintigste eeuw werd de stadshaven gedempt, omdat de meeste schepen inmiddels te groot waren om er te kunnen aanmeren. Het Commiezenhuis werd toen gesloopt. Bij de grote restauratie van Heusden verrees een nieuw Commiezenhuis op de oorspronkelijke funderingen. Bij de reconstructie van het gebouw permitteerde stadsarchitect Peetoom zich de nodige vrijheden. Het nieuwe Commiezenhuis kreeg een eenvoudig uiterlijk, waarbij de daklijst iets werd verhoogd en het gebouw werd voorzien van een klein bordes. Voor de bouw, die in 1969 van start ging, werden ijsselsteentjes gebruikt die afkomstig waren van een vervallen boerderij in Waspik. Aanvankelijk werd het Commiezenhuis in gebruik genomen door de gemeente. Stadsarchitect Peetoom hield hier kantoor, en het gebouw diende als informatiecentrum voor de grote restauratie. Later bood het Commiezenhuis onderdak aan de wijnhandel van ‘De Heeren van Heusden’. Aan de achterzijde van het pand is een grote gedenksteen aangebracht ter herinnering aan de opening van de Bergsche Maas door koningin Wilhelmina in 1904.