Koffiehuis Het Wapen van Linschoten heeft vanaf 1585 als rechthuis gefungeerd. Later werd het pand het Raadhuis van Linschoten. In 1919 betrok het gemeentebestuur een nieuw pand aan de Raadhuisstraat (nu bekend als Restaurant De Burgemeester). In 1937 kwam het in handen van G. Ribbius Pelletier die het pand in hetzelfde jaar liet restaureren. In 1969 kwam het pand middels een legaat in handen van Vereniging Hendrick de Keyser. Een groot deel van het pand is 18e-eeuws. Het pand is met drie verschillende baksteensoorten gemetseld.