Dit is het oudste pand van Alphen-centrum, gebouwd in 1640. Het vormt een hoeksteen van het “Vierkante Dorp” en is van bijzondere stedenbouwkundige waarde. Het doorstond oorlogen en bezettingen en was in 1795 de ambtswoning van schout Pieter Dozy, ook gaat het verhaal dat Peter Stuyvesant eens in het Schoutenhuis gelogeerd heeft. Het pand is geheel gerestaureerd in de 20e eeuw.
In het pand is nu een lunchroom gevestigd waar mensen met een lichte verstandelijke beperking van gastvrijheid hun vak hebben gemaakt. Sinds de recente verbouwing heeft de lunchroom nu de toepasselijke naam “Café 1640”.
Het Schoutenhuis biedt plaats aan maandelijks wisselende exposities.