Het kasteelterrein bevindt zich tussen Monsterweg 1 en Noordsingel 2. De vliedberg dateert al van de 11e en 12e eeuw. Op de ‘berg’ bevonden zich destijds verdedigingstorens (motte en donjon). De berg vormde samen met de aanliggende ‘voorburcht’ de versterkte woonstede van de Heren
van Borssele. Tijdens de Vlaams – Hollandse oorlogen koos de heer van Borssele voor Vlaanderen. Deze heer werd vanwege zijn keuze verdreven en het mottekasteel gesloopt. De historische verdedigingsfunctie is door de Duitsers in de Tweede Wereldoorlog herhaald door in de vliedberg en de terreinen er omheen meerdere bunkers te bouwen. Een aantal zijn nog steeds aanwezig.