Het huidige kasteel is gebouwd in 1546. De bouw gebeurde deels met materialen van het verwoeste slot Oud-Haerlem, dat in 1351 was verwoest. Het kasteel heeft een aantal indrukwekkende torens. De twee vierkante torens dateren wellicht nog uit de 15e eeuw, terwijl de achthoekige hoektoren is iets jonger zijn. Een Laat-Gotische galerij bevindt zich ter linkerzijde van de binnenplaats. Deze galerij werd in de 18e eeuw hersteld. Deze galerij wordt aangeduid als de vierschaar. Het kasteel werd in 1708 geheel verbouwd. Een fraaie baroktuin werd tegelijkertijd achter het kasteel aangelegd.

Helaas raakte de tuin ook  meer en meer in verval gelijk opgaand met het kasteel. Delen van het kasteel werden verkocht. Ook werden in de tuin bomen gekapt en de vijvers gedempt. Het Rijk heeft kasteel en bijgebouwen sedert 1911 in eigendom. Stayokay (Hostel Heemskerk) heeft het gebouw in gebruik. Het voorplein wordt geflankeerd door een dienstgebouw (de zgn. Oranjerie) uit de 18e eeuw en de overblijfselen van een dienstgebouw rechts. Twee gemetselde boogbruggen en een smeedijzeren hek stammen uit de 18e eeuw.