Het Zuiderhofje is in 1640 gesticht door het echtpaar Jacques van Damme en Elisabeth Blinckvliet. Het telde veertien woningen voor doopsgezinde vrouwen. De namen van het echtpaar mochten, vanuit de doopgezinde overtuiging, niet verbonden worden aan het hofje. Daarom werd het Zuiderhofje vernoemd naar de straat waar het hofje zich bevindt. In 1891 moest het hofje volledig herbouwd worden met een hoofdgebouw aan de straatzijde, een regentenkamer, een woning voor de opzichteres en woningen aan de binnentuin.