De Diaconie- en Heilige-Geestarmmeesters van Oegstgeest kochten in 1686 dit pand aan de voormalige Achterweg of Lijdweg (ook: Lijtweg). De aankoop betrof vermoedelijk twee samengevoegde huizen, die in het midden van de 17e eeuw waren gebouwd. In het noordelijke deel werd het wees- en armenhuis gevestigd. In het zuidelijke deel werd het rechthuis gevestigd, dat voorheen aan de Heerweg (nu Rhijngeesterstraatweg) in het wapen van Oegstgeest zetelde.
Nadien is het gebouw in gebruik geweest als baljuw- en schoutenhuis en huisvestte het diverse gerechtelijke- en bestuurscolleges. Daarnaast bood het onderdak aan de gemeentebode en later aan de veldwachter. Bovendien werd hier de brandspuit gestald.
Het pand zou tot in 1868 in bezit blijven van de armmeesters. In 1900 verloor het gebouw zijn functie als raadhuis, omdat toen het nieuwe raadhuis in het Wilhelminapark in gebruik genomen werd.