Wie Woudrichem vanaf de rivier binnenkomt of de stad via de rivier verlaat, kan niet om de Gevangenpoort heen. Je moet er altijd onderdoor. Het is de enige van de vier poorten die de stad ooit had. Het is aan de gemeenteraad van Woudrichem te danken dat deze poort er nog is. Toen het Rijk, de Staat der Nederlanden, het nut van de poort niet meer zag zitten, ontstond het plan de poort af te breken. De Woudrichemse raadsleden dachten daar toch anders over. In 1872 besloten ze het zestiende-eeuwse gebouw voor 450 gulden (204 euro) aan te kopen. Overeengekomen werd de betaling over negen jaren uit te smeren door elk jaar 50 gulden te betalen, vermeerderd met rente. Zoals de naam al aangeeft, is de poort als gevangenis in gebruik geweest. Gevangenen kerfden hun naam in de wand van hun cel. Het is nog altijd te zien. Ooit woonde ook de veldwachter met zijn gezin in het gebouw. De in de gevel ingemetselde kogels herinneren er aan de tijd dat er rond Woudrichem strijd geleverd werd. Lang heeft de poort een horecafunctie gehad. Het gebouw staat nu leeg. De gemeente zoekt naar een nieuwe functie.

Water- of Gevangenpoort. Rechthoekig bakstenen bouwwerk, dat blijkens de inwendige kap- en balkenconstructie na 1573 (verwoesting van de stad) opgetrokken is. Op de noordoosthoek een op boogfriezen rustende, veelhoekig uitgekraagde arkeltoren (een gelijke op de noordwesthoek verdwenen). Spitsboogvormige doorgangen met boognissen daarboven. Inwendig een stenen steektrap met troggewelf.