De geschiedenis van Kasteel Heel gaat terug tot de middeleeuwen. De eerste schriftelijke vermelding dateert uit 1264, toen het kasteel met omliggende gronden een leen was van het Huis Horne. Door de eeuwen heen werd het bewoond door verschillende adellijke families, waaronder de familie Van Ghoor en later de Luikse familie De Horion. De huidige hoofdvleugel van het kasteel werd gebouwd in 1686. Rond 1750 werden de karakteristieke zijvleugels toegevoegd, waardoor het kasteel de vorm kreeg die tot voor kort nog herkenbaar was.

In 1880 kreeg het kasteel een nieuwe bestemming toen het werd aangekocht door monseigneur Petrus Joseph Savelberg. Hij vestigde hier samen met de Broeders en Kleine Zusters van de Heilige Joseph een zorginstelling voor mensen die ondersteuning nodig hadden. Het terrein groeide uit tot het bekende Sint-Annacomplex, waar generaties bewoners, medewerkers en religieuzen een belangrijk deel van hun leven doorbrachten. Vanaf het begin van de twintigste eeuw werden verschillende gebouwen aan het complex toegevoegd en ontwikkelde het zich tot een begrip in Heel en ver daarbuiten.

Nadat de zorgactiviteiten grotendeels waren verplaatst, kwam het kasteel leeg te staan. Er werd gewerkt aan plannen voor een nieuwe toekomst voor het monument, maar in de nacht van 27 op 28 december 2023 sloeg het noodlot toe. Een grote brand verwoestte het rijksmonument vrijwel volledig. Daarmee verloor Heel een onvervangbaar deel van zijn culturele erfgoed. Toch zijn delen van de historische structuur en de herinneringen aan het kasteel behouden gebleven.