De poort dankt zijn naam aan de veerverbinding tussen Schoonhoven en Gelkenes aan de overkant van de Lek. Het is de enige overgebleven poort van de stad. Schoonhoven kende voorheen nog vier poorten: de Kruispoort (afgebroken in 1862), de Williger of Langerakkerpoort (gesloopt rond 1590), de Lopikerpoort (afgebroken in 1805) en de Vrouwepoort (afgebroken in 1862).

De poort heeft een rechthoekige, prismatische hoofdvorm en bestaat uit een onderbouw waaraan voor het grootste deel natuursteen is verwerkt en een bakstenen wachtverdieping met hardstenen pilasters, banden, hoekblokken en kruiskozijnen. Een rijzig opgaand, licht ingetogen schilddak geeft de massa een sierlijke bekroning. Voor de poort lag een houten ophaal brug.

De oorspronkelijke Veerpoort werd in de 14e eeuw gebouwd ter hoogte van het kruispunt Veerstraat/Scheepmakershaven. Eind 16e eeuw werd Schoonhoven uitgebreid en werden nieuwe wallen gelegd. De Veerpoort, die daarmee binnen de wallen kwam te liggen, werd gesloopt. In 1601 werd de huidige Veerpoort gebouwd, een stuk verder richting de rivier. In die tijd waren de heren Cluijt en Blockhuijsen burgemeester van de stad, zoals ook blijkt uit het opschrift ANNO DOMINI 1601 – TEMPORE CLVTY BLOCKHVSII CONSVLVM (In het jaar onzes heren 1601 – in de tijd van Clutus en Blockhusus burgemeesters) op het fries aan de Lek kant. In de ruimte boven de poort woonde nog tot 1862 de poortwachter.

De herinnering aan Schoonhoven vestingstad is zichtbaar in de Veerpoort waar de galerie “Meesters van de Zilverstad” is gevestigd, deelnemer aan  het ‘Rondje Kunst Schoonhoven 3’ op de Open Monumentendagen

Even buiten de poort staat sinds 1982 een door Jan van Ipenburg gemaakt bronzen beeld van ontdekkingsreiziger Olivier van Noort, die in Schoonhoven overleed en werd begraven in de Grote of Bartholomeuskerk.