De historie van het dorpshuis is nauw verbonden met die van de naastgelegen H.H. Engelbewaarderskerk aan de Dorpsstraat 248. In de tweede helft van de negentiende eeuw is pastoor Van Zon van mening dat de kinderen van parochianen niet thuishoorden op een openbare school. Er moest een eigen parochieschool komen. In 1869 schonk parochiaan G.P. Wilmer de grond naast de kerk waarop de school datzelfde jaar zou verrijzen. Gedurende de jaren 1921-1922 werd de school vervangen door de Rooms Katholieke Michaëlschool. Het gebouw staat er inmiddels al meer dan een eeuw en heeft veel functies vervuld.

Dat het niet ‘zomaar’ een gebouw is, wordt benadrukt door de reputatie van de architect. J.H. (Jos) Tonnaer (1852-1929). Hij is een leerling van de beroemde architect Pierre Cuypers die onder andere het Rijksmuseum te Amsterdam ontwierp. Tonnaer (en zoon Clement) waren al bekend in de omgeving. In de periode 1895-1896 ontwierp hij de kerk O.L. Vrouwe Onbevlekt Ontvangen in Zoeterwoude. Voor de som van bijna twee ton werd de school gebouwd. Opvallend zijn de sokkel voor het beeld van de aartsengel Michaël onder een baldakijn (het beeld zelf is helaas verdwenen) en de in kruisverband gemetselde muren van waalsteen.

Generaties leerlingen gingen naar de school die zeven leslokalen en een gymzaal telde. Een van de meesters was gedurende de Tweede Wereldoorlog leider van het lokale verzet. In 1992 verloor het gebouw zijn functie als school en werd het verbouwd tot dorpshuis, bibliotheek en mortuarium met rouwkamer. Het groeide uit tot een belangrijke ontmoetingsplaats voor Hazerswoudenaren. Kinderen kregen er hun snelle typecursus (toen nog op de ouderwetse typemachine!) en er werden familiebijeenkomsten georganiseerd. Recent is het gebouw verduurzaamd en sfeervol ingericht met schoolplaten en oude schoolfoto’s. Het zeskoppige bestuur presenteert het gebouw als de huiskamer van het dorp. De Juffrouw is dagelijks geopend van 10.30 tot 16.30.