Kasteel Heemstede werd tussen 1280 en 1290 gebouwd nabij de monding van het (Zuider Buiten) Spaarne. De stichter was Dirk van Holy, die afkomstig was uit de omgeving van Vlaardingen. Het kasteel van de heren van Heemstede is diverse keren verwoest en herbouwd; dit gebeurde in 1393, 1404 en 1426.

In 1620 kocht de Amsterdamse koopman en latere raadpensionaris Adriaan Pauw (1585-1653) de heerlijkheid Heemstede, met het inmiddels vervallen slot. Hij liet de middeleeuwse burcht herstellen en uitbreiden tot een lustslot in renaissancestijl. Als onderhandelaar van de Staten van Holland speelde Pauw een grote rol bij het tot stand komen van de Vrede van Münster in 1648, waarmee een einde kwam aan de Tachtigjarige Oorlog met Spanje. Bij het slot liet hij in dat jaar de Pons Pacis of Vredesbrug bouwen, als een blijvende herinnering aan deze vrede.

In 1810 was het slot dusdanig verzakt dat delen met instorting werden bedreigd. De toenmalige schout Jan Dolleman gaf daarom opdracht tot de afbraak, die in 1811 plaatsvond. Sindsdien resten van het omgrachte hoofdgebouw alleen nog de funderingen. Verder omvat het huidige complex de reeds genoemde Pons Pacis (een natuurstenen brug met beeldhouwwerk en een keermuur met ballen), een 17de-eeuws koetshuis met bouwhuis (het Nederhuys), met beeldhouwwerk van het verdwenen slot, een toegangspoortje, een dienstgebouw en een duivenpoort.

Lees meer op de website van de Historische Vereniging Heemstede-Bennebroek.