De gebouwen van het museum vormen een bijzonder historisch geheel: de basis is “Het huis met de Lindeboom’, in 1742 gebouwd als woonhuis in opdracht van Abraham van der Linden, koopman, reder en burgemeester. Een deel van het woonhuis is nog goed te zien met de plafondschildering door Gerard Sanders (1702-1767) en de portretten van de bewoners van dezelfde schilder. Het woonhuis heeft in de loop der jaren ook gediend als huisvesting voor een bank van lening, het kantongerecht, belastingkantoor en postkantoor. In 1907 is het, uitgezonderd de muziekkamer, verbouwd tot postkantoor, door architect en rijksbouwmeester was D.E.C. Knuttel (1857-1926). In 1971 komt het Nationaal Visserijmuseum hier terecht dat in 1962 was gestart in het Reedershuys.

In de loop der jaren is het museum meermaals verbouwd, de meest ingrijpende is de verbouwing van juni 2015 naar ontwerp van Houdijk architecten, waarna het museum werd heropend. Het gebouw is nu een mix van oud en nieuw, een verbinding die je binnen en buiten op meerdere plaatsen kunt bewonderen.

Tijdens het Open Monumentendag weekend van 12 en 13 september is Museum Vlaardingen gratis te bezoeken.