Dit pand werd omstreeks 1470 gebouwd als woonhuis en kantoor voor de opzichter over de bouw van de Grote kerk en was vanaf circa 1540 tot 1857 in gebruik als stadstimmerhuis. In de archieven wordt het aangeduid als Schaffershuis. Schaffer was in die tijd in Veere de benaming voor de stadsarchitect/hoofd openbare werken.