De eerste vesting werken ter verdediging van de stad dateren uit de 14e eeuw. Ruim 1,5 km stadsmuur met 19 torens, 5 poorten en een gracht. Hiervan resteren nog een deel van de gracht, een stuk stadsmuur en de contouren van een verdedigingstoren. Ook is op diverse plaatsen in de stad de loop van de stadsmuur gemarkeerd.

In het begin van de 16e eeuw werd de stadsmuur aan de rivierzijde gebouwd. Ook deze is zichtbaar gemaakt in de bestrating. In de zelfde eeuw werd Schoonhoven in de 80 jarige oorlog twee maal belegerd en veroverd. Eerst door de Watergeuzen en drie jaar later door de Spanjaarden. De middeleeuwse muren bleken niet bestand tegen kanonvuur en er werden aan de zuidzijde en de oostelijke kant van de stad aarde wallen met bastions met een 45 meter brede gracht aangelegd. Ook werd aan de rivierzijde een nieuwe poort gebouwd. Deze poort, de bastions en de wal zijn nog aanwezig.

Aan de noordzijde waar ooit het kasteel stond en aan de westkant van de stad werden pas een nieuwe wal met bastions aangelegd in het rampjaar van 1672, toen Lodewijk XIV de Nederlanden binnen viel. Vanaf toen was Schoonhoven een vesting in de Oude Hollandse Waterlinie. Een deel van de toen gegraven gracht is nog aanwezig, ook de singels en een stuk wal met bastions.