Op deze plek stond vanaf de 14e eeuw een groot omgracht kasteel. In de 18e eeuw is het oorspronkelijke slot verloren gegaan. Op de oude fundamenten verrees in 1757 het landhuis “Huis Hemmen”. Tijdens de Tweede Wereldoorlog, in de slag om Hemmen in 1945, werd ook dit huis verwoest. Wat resteert is de ruïne die u hier ziet. In 1998 zijn de overblijfselen opnieuw zichtbaar gemaakt. Een maquette toont hoe Huis Hemmen er vlak voor de verwoesting moet hebben uitgezien. Hiervoor zijn reconstructietekeningen uit 1946 gebruikt, aangevuld met veldmetingen. De maquette staat sinds februari 2026 in een container naast de ruïne.
De geschiedenis van Hemmen is nauw verbonden met het adellijke geslacht Van Lynden. Steven van Lynden, de eerste heer van Hemmen, vestigde zich hier in de tweede helft van de 14e eeuw. Zijn familie maakt deel uit van een van de oudste en meest invloedrijke adellijke geslachten van Nederland.
Sinds de laatste heer van Hemmen, Frans Godard baron van Lynden van Hemmen (1836-1931) kinderloos overleed, wordt het landgoed beheerd door de Stichting het Lijndensche Fonds voor Kerk en Zending.