Deze voormalige dichte verdedigingstoren is aan het eind van de 16e eeuw in een poort veranderd. In de Vischpoort kunt u voorbeelden zien van de verdediging van de Middeleeuwse stad.
Tussen 1580 en 1590 werden extra versterkingen gebouwd op de vier hoeken van de wallen in de stad Elburg. In 1592 bezocht Prins Maurits de stad en bezichtigde de verdedigingswerken. Het geleverde werk kon zijn goedkeuring wegdragen en hij noemde het “een byzonder maexel”. De verdediging was aangepast aan alle eisen van die tijd en daarom kon van de Visscherstoren, tot 1592 een verdedigingstoren, een poort gemaakt worden. Men noemde deze poort “de Vischpoort”.
In het midden van de 19e eeuw werden poorten, muren en verdedigingstorens veelal gesloopt. De Vischpoort bleef gespaard. Hij diende als vuurtoren voor de schepen op de Zuiderzee.