Het fort aan de Ossenmarkt was een onderdeel van de vesting Weesp, welke vanaf 1854 deel uitmaakte van de Hollandse Waterlinie. In 1892 werden de vestingstadjes Weesp en Muiden onderdeel van de Stelling van Amsterdam. In 1876 werd aan de oostkant van het fort een zware dekkingswal aangebracht waardoor de gracht rondom het fort verdween. De wal is in de periode 1983-1985 opnieuw afgegraven. Voorts werd de buitenkant gedeeltelijk in de oude staat teruggebracht. In jaren na 1989 is men begonnen met de restauratie van de binnenkant. Het fort herbergt nu een aantal culturele instellingen, waaronder de Historische Kring Weesp, de Muziekschool en een kunsthandel. In de beneden verdieping is de vereniging Kreatieve Groep Weesp gevestigd.
Het gerestaureerde Fort Ossenmarkt is hét ontmoetingscentrum van Weesp voor creatieve, muzikale en historisch geïnteresseerde Weespers.