De historische buitenplaats Echten ligt aan de oostrand van het gelijknamige dorp in het stroomdal van het Oude Diep of Echtenerstroom, die langs de oostrand van de buitenplaats loopt. Het Huis te Echten vormde ooit het centrum van een groot bezit, dat zich ten westen uitstrekte over de Oshaar, Koekange en Weerwille, ten zuiden over Zuidwolde en ten oosten over het huidige Hoogeveen en Hollandsche Veld. Dit bezit heeft behoord tot de eigendommen van de heren (burggraven) van Coevorden, uit welk geslacht de heren van Echten, blijkens hun wapens, zijn voortgekomen.

Al in de 14e eeuw is er sprake van een Hofstat van ene Volker van Echten. Het is echter niet zeker of deze Hofstat het latere Huis te Echten was. In het huidige huis zijn sporen aangetroffen, die waarschijnlijk uit de 15e eeuw dateren. Oorspronkelijk was het een Zaalhuis, dat waarschijnlijk in het begin van de 18e eeuw werd verbouwd tot een huis rondom een binnenplaats, met twee vleugels aan de noord- en zuidzijde. Door een latere verbouwing in 1808 zijn veel van de vroegere bouwelementen verdwenen.

De gracht om het gebouw dateert uit de periode voor 1700. Het huis was toen bereikbaar voor schuiten, die het huis konden bevoorraden. Later zijn er bij het gebouw de beide bouwhuizen aan de noord- en zuidzijde bijgebouwd. Hoewel er op één van deze gebouwen een torentje staat werden de kerkdiensten waarschijnlijk in een zaal van het huis zelf gehouden. Voor de reformatie werden de diensten verzorgd door de priester van de kerk van Koekange, gesticht door de heren van Echten. Na de reformatie werden de kerkdiensten in het Huis te Echten verzorgd door David Franzenius, een uit Silezië afkomstige predikant.
Na het overlijden van de laatste heer Van Echten trouwde zijn dochter Anna Geertruida in 1802 met Rudolph Otto van Holthe tot Echten (1772-1832), die geboren was op de Rheebruggen (havezate) en die zich Van Holthe tot Echten ging noemen. Hij was onder meer Gedeputeerde van Drenthe. Hun nageslacht bleef het Huis te Echten bewonen. Onder hen bevonden zich de burgemeesters van Ruinen, vader en zoon Hendrik Gerard van Holthe tot Echten (1852-1938) en Anne Willem van Holthe tot Echten (1816-1900). Het Huis te Echten is tot 1971 bewoond geweest door de families van Echten en Van Holthe tot Echten.
In de periode 1976 tot 1981 werd het huis gerestaureerd door het Bureau Monumentenzorg van de provincie Drenthe. Huis te Echten was de plaats waar de Stichting Visio voor visueel- en verstandelijk gehandicapten zat. Rondom het huis ligt een tuin waarin verscheidene palen staan opgesteld waaruit geluid komt. Hierdoor kreeg de tuin een meerwaarde voor de visueel gehandicapte bezoekers. Doordat Visio is vertrokken uit het pand is het pand met nu in zijn geheel te bekijken.