Het huidige kasteel is gebouwd in 1546. Deze verbouwing gebeurde deels met materialen van het verwoeste slot Oud-Haerlem, dat in 1351 was verwoest. Het kasteel heeft een aantal indrukwekkende torens. De twee vierkante torens dateren wellicht nog uit de 15e eeuw, de achthoekige hoektoren is iets jonger. Ter linkerzijde van de binnenplaats bevindt zich een Laat-Gotische galerij, die in de 18e eeuw werd hersteld. Ze wordt aangeduid als de vierschaar. In 1708 werd het kasteel geheel verbouwd. Tegelijkertijd werd achter het kasteel een fraaie baroktuin aangelegd. Gelijkopgaand met het kasteel raakte ook de tuin meer en meer in verval, delen werden verkocht, bomen gekapt en de vijvers gedempt. Het kasteel en bijgebouwen is sedert 1911 in eigendom van het rijk. Het gebouw is in gebruik als Stayokay(Hostel Heemskerk). Het voorplein wordt geflankeerd door een dienstgebouw (de zgn. Oranjerie) uit de 18e eeuw, en de overblijfselen van een dienstgebouw rechts. Tevens zijn er twee gemetselde boogbruggen en een smeedijzeren hek uit de 18e eeuw.