Kasteel de Kelder heeft een rijke historie, die waarschijnlijk teruggaat tot vóór 1500. In de eerste helft van de negentiende eeuw kwam kasteel de Kelder, ook bekend als Havezathe Hagen, in het bezit van de familie Van Pallandt. Van 1902 tot 1953 is Henriëtte Adelaïde barones van Pallandt, geboren te Doesburg op 21 april 1864 en gehuwd met jonkheer Vincent Johan Gerard Beelaerts van Blokland, de eigenares.

Van 1953 tot 1970 bezit jonkheer Vincent Pieter Adriaan Beelaerts van Blokland het landgoed en het kasteel. Vanaf 1970 tot zijn overlijden op 3 oktober 2019 is jonkheer Floris François Anne Beelaerts van Blokland eigenaar/beheerder van het kasteel.
Laatstgenoemde spande zich in om kasteel de Kelder en directe omgeving duurzaam voor de toekomst te behouden en weer een functie te geven in de samenleving. Hij richtte op 10 oktober 2007 de stichting Beelaerts van Blokland Hagen op. Kasteel de Kelder, de Orangerie en het woonhuis het Pallandtje zijn aangewezen als rijksmonument en het voormalige koetshuis is aangewezen als gemeentelijk monument.