Simon van Catshuijsen, baljuw van Naaldwijk, kocht in 1634 twee aaneengesloten panden aan het Marktveld. In 1645 brak hij het linkerpand af en herbouwde dit tot een monumentaal huis met trapgevel. Meerdere baljuws waren nadien bewoner van deze panden tot ze in 1766 verkocht werden aan Anthonius Breur, ‘bedienaar des Goddelijken woords’, en als pastorie  gingen dienen. Tussen 1766 en 1972 werd de pastorie achtereenvolgens bewoond door elf predikanten. Onder hen dominee Banning, die in deze pastorie onder andere Wim Schermerhorn en Willem Drees ontving om met hen te overleggen over de oprichting van de naoorlogse PvdA.

In 1845 werd het rechter deel afgebroken en nieuw gebouwd. Na vertrek van de laatste dominee was onder meer het Centrum voor Streekhistorie er gevestigd. Het pand fungeert nu als horecagelegenheid.