De Kerk aan Zee is een laatgotisch kerkgebouw uit de 14de eeuw, gebouwd ten behoeve van de rooms-katholieke eredienst op de plaats waar eerder een kapel had gestaan. De kapel werd in 1350 vervangen door een kerk, die bij de beeldenstorm van 1566 verwoest werd en in 1575 weer opgebouwd, nu ten behoeve van de hervormde (tegenwoordig protestantse) geloofsgemeenschap. De kerk en de toren hebben enkele grote branden meegemaakt, onder andere in 1623 en in 1634. In laatst genoemd jaar brandden de kerk en de toren geheel af. Het duurde tot 1687 voordat de herbouw gereed was. In 1934, bij opnieuw een grote brand, ging een groot deel van het interieur verloren.
De kerk is oorspronkelijk niet pal aan zee gebouwd, volgens historische bronnen lag vroeger voor de kerk een groene strook land van ruim 500 meter. Toen voor de afsluiting van de Zuiderzee in 1932 de golven vrij spel hadden, verdween er jaarlijks gemiddeld een meter strand of duin. Dat verklaart de huidige positie ten opzichte van de kustlijn.
De heuvel rond de kerk wordt op oude kaarten aangeduid als Kavelberg. Het kerkgebouw is eigendom van de protestantse gemeente Muiderberg; de toren is eigendom van de gemeente (Gooise Meren).
Vanaf 1901, het jaar waarin de tot dan toe moeilijk toegankelijke 96 traptreden werden gerestaureerd, kon de toren worden beklommen. Er werden toen ook kantelen op de toren gemetseld. Aan de openstelling kwam in 1932 een eind, omdat door het rijk een routelicht werd geplaatst als oriëntatiepunt voor piloten op de route Amsterdam-Hamburg. In de Tweede Wereldoorlog werd dit licht weggehaald. Tijdens de bezettingsjaren was de toren in gebruik bij de Luchtbeschermingsdienst om te waarschuwen voor naderende vijandelijke vliegtuigen.
