Het valt vrijwel iedereen op die door Koudekerk heen rijdt: het eiland met daarop het uit baksteen opgebouwde torentje met een pannen tentdak. Het is het enige overblijfsel van wat eens het imposante kasteel Groot Poelgeest was. Het gehele, voormalige kasteelterrein is een Rijksmonument met een rijke, lange geschiedenis.

De oorsprong van het kasteel gaat vermoedelijk terug tot de twaalfde eeuw, toen het kasteel nog Te Horne heette. De familie Van Poelgeest, die sinds 1326 generaties lang op het kasteel woonde, behoorden in de Middeleeuwen tot de Hoekse partij in de Hoekse en Kabeljauwse twisten. De Hoeken verdedigden de belangen van de gevestigde adel, de Kabeljauwen die van de stedelijke bestuurders en de nieuwe adel. Herhaaldelijk werd het kasteel verwoest en opnieuw opgebouwd. In 1574 werd het kasteel door Spaanse troepen geplunderd. In die periode hadden de Van Poelgeesten zich aangesloten bij het Verbond der Edelen onder leiding van ‘Grote Geus’ Hendrik van Brederode. Brederode was aan de vooravond van de Tachtigjarige Oorlog een van de eerste edelen die tegen de Spaanse vorst in opstand kwam. Kort na de verwoesting in 1574 werd het gerestaureerd, maar gedurende de zeventiende eeuw raakte het in verval.

In de eerste helft van de achttiende eeuw werd het kasteel afgebroken. Het torentje is nog overgebleven. Dit was onderdeel van een imposante toegangspoort. Daarom is in het metselwerk een gecanneleerde zuil verwerkt. Het torentje is nog enige tijd in gebruik geweest als gemeentegevangenis. Er is nog een gedeelte van de grachten te zien. Op het kasteeleiland heeft een rond waterkasteel gestaan. Nu zijn alleen het kasteeleiland, de slotgracht en een torentje van het poortgebouw uit eind 15e eeuw nog zichtbaar.

Het eiland is bereikbaar met een trekpontje, via het terrein van boerderij Poelgeest aan de Lagewaard 1.

In een bijgebouw van de boerderij Poelgeest is een maquette van het kasteel te bekijken. Ook is er een presentatie over de geschiedenis van het kasteel en een expositie van de bodemvondsten op het kasteelterrein.