Het Amsterdamse Museum en archief van Tijdmeetkunde (1901) en het Nederlands Waarborgmuseum (1938) in Utrecht werden in 1953 samengevoegd tot het ‘Nederlands Goud-, Zilver- en Klokkenmuseum’. Het werd gevestigd in het Catharijneconvent in Utrecht.
In 1978 verhuisde het museum naar Schoonhoven, waar het werd ondergebracht in de voormalige Havenkazerne. In 2010 werd de naam van het museum gewijzigd naar Nederlands ZILVERMUSEUM Schoonhoven en de collectie klokken werd afgestoten. Men wilde hiermee meer focussen op het zilver en aansluiten bij het imago van Schoonhoven als “Zilverstad”. In 2013 opende een zilversmederij in het museum en in 2014 onderging het museum een grootschalige herinrichting. Het Zilvermuseum wil alle facetten van zilver belichten, inclusief minder bekende toepassingen als in mobiele telefoons en pleisters. Op 5 juni 2014 opende prinses Beatrix de tentoonstelling Koninklijke Cadeaus ter ere van de heropening van het Zilvermuseum.

In 1412 werd aan de Oude Haven het St. Elisabethklooster gebouwd. Het werd verwoest bij de stadsbrand in 1518, maar later weer opgebouwd. Na de reformatie werden katholieke diensten verboden en werd de kerk van het klooster afgebroken, de kloostergebouwen kregen een andere bestemming. In 1627 werd op deze plaats de huidige zuidvleugel gebouwd als arsenaal. Het restant van de voormalige kloostergebouwen werd ingericht als oudevrouwen huis (opgeheven in de 18e eeuw). In 1827 werd in het voormalige arsenaal een opslag voor hennep ingericht en op de bovenverdieping een school.
In 1862 vond een grote verbouwing plaats; onder leiding van architect Oudijk werden de oost- en noordvleugel gebouwd, waardoor een u-vorm ontstond, en kreeg het gebouw een neoclassicistisch uiterlijk. Het werd ingericht als kazerne. De Artillerie Instructie Compagnie kreeg haar plaats in het gebouw, tot zij in 1922 werd opgeheven. Tijdens de verbouwing van het stadhuis in de jaren twintig, was het gemeentebestuur in de kazerne gevestigd. Van 1946 tot 1950 herbergde de kazerne de dienstplichtigen, die weigerden mee te vechten in de oorlog in Indonesië. Vervolgens was van 1950 tot 1966 het regiment Van Heutsz in de kazerne gevestigd.
Sinds 1978 is in de zuidvleugel het Nederlands ZILVERMUSEUM gevestigd. De twee andere vleugels werden in 1984 verbouwd tot appartementen. Het pand is erkend als rijksmonument.

De unieke collectie zilveren objecten van 1600 tot nu wordt vernieuwend gepresenteerd in prikkelende thema’s als ‘leven & dood’, ‘opscheppers’, ‘eeuwige roem’ en ‘man/vrouw’. Een van de hoogtepunten in de wereld van zilver is de langste zilverdoe-tafel ter wereld: een interactieve tafel vol zilververhalen en -opdrachten.
De collectie bestaat uit Nederlands gebruiksvoorwerpen van zilver 1600 tot nu. Zoals: aardappellepels, kaasschaven, geboortelepels en broodmanden. Daarnaast bevat de collectie sieraden, pronkstukken en kerkelijk zilver. Bezoekers worden bovendien verrast door werk van bekende designers zoals de Nederlandse meubelontwerper Piet Hein Eek en objecten uit de zilverfabriek Koninklijke Van Kempen & Begeer.