Kasteel Vosbergen is een omgracht edelmanshuis, ten noorden van het dorp Heerde. Het bestaat uit twee tegen elkaar aangebouwde vleugels voorzien van trapgevels, en is omringd door een dubbele grachtengordel. De oudste delen van het huis werden waarschijnlijk gebouwd aan het einde van de 15e eeuw. Toen was Vosbergen vermoedelijk slechts een stenen opslagruimte.
Aan het einde van de 15e eeuw was het gebied in handen van het geslacht De Vos van Steenwijk. In 1507 was Vosbergen van Peter Doys, een telg uit een Deventer familie die al veel land bezat. In 1558 maakte Gerlich Doys uit Deventer zijn testament: zijn goederen in Gietelo en Heerde gingen naar zijn jongste zoon. Die goederen waren o.a. de huizen het Loo en Vosbergen. In de kantlijn heeft iemand daarbij aangetekend: “doch pas later gebouwd”. Nu was er al sinds 1528 een huis in Gietelo, dus dit moet betrekking hebben gehad op Vosbergen. Het huis bleef in zijn familie tot 1598.
In de woelige jaren van de Tachtigjarige Oorlog (1568-1648) volgden de verervingen elkaar in hoog tempo op en zo kwam het inmiddels gebouwde Vosbergen in handen van de familie Krijt. Arnolda Doys was getrouwd met haar achterneef Gerrit Krijt, waardoor Vosbergen in handen kwam van het geslacht Krijt. Dit was een adellijk Overijssels geslacht, al sinds de 15e-eeuwse bekend als bestuurders van de Hanzestad Deventer.
Aan het einde van de 16e eeuw, tijdens de Tachtigjarige oorlog, werd in het gebied rondom Vosbergen voorduren gevochten. Op Vosbergen woonde dan ook zeker niemand. Na 1600 moet het huis bewoonbaar zijn gemaakt en in 1623 was het voorhuis klaar. In 1648 woonde Gerrits zoon Gerrit II er al permanent.
Op het landgoed speelden landbouw en veeteelt een belangrijke rol, maar ook de papierindustrie was belangrijk op Vosbergen. Tussen 1642 en 1698 kreeg Gerrit Krijt III een aantal papiermolens in zijn bezit. Na het rampjaar (1672), het land werd aangevallen door de Munstersen en later door de Fransen, kreeg Gerrit Krijt III echter financiële problemen en moest op de grond en op de watermolens een hypotheek nemen. Een aantal molens werd verkocht en nadat Gerrit Krijt III in 1714 was overleden, werd kasteel Vosbergen door zijn erfgenamen uiteindelijk ook verkocht.
Het kasteel kwam vervolgens in handen van Alexander van Dedem (1658-1741). Deze was onder andere voorzitter van de ordinaris gedeputeerden van het kwartier van Veluwe en richter van Arnhem en Veluwe. Het is zeer de vraag of hij ooit op Vosbergen heeft gewoond. In elk geval kwam zijn zoon Gijsbert Frederik er met zijn gezin. De twee zonen van dit echtpaar: Alexander en Jan Albert hebben het landbezit aanzienlijk uitgebreid, onder andere door aankoop van het weiland met de duiventil en het ernaast gelegen stuk land “de Muggenberg”, terwijl een stuk land gelegen tussen de Vosbergerweg en de Kasteelweg, genaamd “de Doornhof”, om 1815 verworven kon worden. In de 18e en 19e eeuw kocht het geslacht Van Dedem veel grond rond het kasteel en veranderde de parkaanleg voor een deel in landschapsstijl. Ook werden de molens teruggekocht.
Wanneer in 1852 de dochter van Jan Albert en haar man kort na elkaar overlijden moet de buitenplaats geveild worden, ter wille van een eerlijke verdeling van de boedel onder de vijf kinderen. Een kleinzoon – geholpen door zijn vader – koopt een deel van het terrein, dat in grote trekken overeenkomst met de huidige buitenplaats. Deze Willem Karel van Dedem gaat – na een verblijf als advocaat in Nederlands Indië – op Vosbergen wonen, waar hij regelmatig zijn beide zusters Elisabeth en Pauline te logeren heeft. Na zijn dood in 1895 erven zij Vosbergen.
Het is van de langstlevende zuster Pauline dat Godert Willem van Dedem (vader van de huidige bewoonster mevrouw G.A. Kamerlingh Onnes -van Dedem) – Vosbergen erfde in 1931. Het huis was aan een grondige restauratie toe, maar die werd door de oorlogsdreiging op de lange baan geschoven, ook na de oorlog. Tenslotte werd het huis verhuurd aan de kunstschilder Kloek, die met behulp van een kleine subsidie van Monumentenzorg het huis enigszins bewoonbaar maakte en er van 1952 tot 1972 een kunstcentrum inrichtte. “Een dringend advies van Monumentenzorg om zolang er nog substantiële subsidies bestonden, daar voor Vosbergen gebruik van te maken, zette de restauratie van het huis in beweging en met Kerstmis 1972 trokken wij met ons gezin erin”, aldus geschreven door mevrouw Kamerlingh Onnes – van Dedem.
Kasteel Vosbergen heeft ondanks enkele veranderingen zijn vroeg 17e-eeuwse uiterlijk behouden. De nazaten van de familie van Dedem wonen er nog steeds. Daarnaast wordt het kasteel ook als trouwlocatie gebruikt.
Kasteel Vosbergen is een rijksmonument sinds 1987.
