In 1537 is Oud-Amelisweerd als ridderhofstad erkend. Bij het landgoed behoorde op een later moment ook de 18e-eeuwse hofstede de Zonnewijzer en de 18e- en begin 19e-eeuwse daggelders woningen die nu aangeduid worden als de Vinkenbuurt.
Het huis heeft verschillende eigenaren gekend. Van 1808 tot 1810 was koning Lodewijk Napoleon de eigenaar van deze historische buitenplaats. Het huis heeft toen enkele wijzigingen in Empire-stijl ondergaan. De koning heeft er weinig gebruik van gemaakt. Hij verbleef meestal op het Loo. Zeer bijzonder is het Chinese behang dat in veel kamers van het landhuis te vinden is.
Uiteindelijk is het huis in 1951 verkocht aan de gemeente Utrecht die het huis en het parkbos in 1953 openstelde voor het publiek.