Kasteel Duurstede is waarschijnlijk rond 1250 gesticht door Zweder I van Zuylen van Abcoude. Het oudste deel van het
kasteel is de vierkante woontoren (donjon) van zware baksteen en dikke muren. In de 15e eeuw werd Duurstede de woning van de bisschoppen van Utrecht. Bisschop David van Bourgondië vergrootte het kasteel, met o.a. de ronde toren (Bourgondische toren, eind 15e eeuw).

David was een groot reiziger. Hij was afkomstig uit Atrecht en trok als bisschop door zijn hele ambtsgebied, de Noordelijke Nederlanden. Ook verzamelde hij kunstenaars en geleerden uit heel Europa om zich heen. Die verbleven op het kasteel of op de Nederhof. Wijk moet een kosmopolitische stad zijn geweest, met mensen uit alle windstreken.
Kasteel Duurstede werd in 1672 verwoest door het Franse leger. Eind 19e eeuw volgde de eerste restauratie (P.J.H.Cuypers). In 1852 schonk J.H. baron van Lynden van Lunenburg het kasteelterrein aan de gemeente op voorwaarde dat er een openbaar park van gemaakt zou worden. Tuinarchitect J.D. Zocher jr. legde een geaccidenteerd wandelpark aan en verbond de binnen- en buitengracht met elkaar. Na 160 jaar is het kasteelbos nog nagenoeg onveranderd.