De pastorie is in 1882 gebouwd naar een ontwerp in neo-renaissancestijl van A.C Bleijs. De naastgelegen (schuil)kerk de Hoop had geen toren, omdat het er aan de buitenzijde niet als kerk uit mocht zien. Daarom kreeg de pastorie een klokkentoren. Pas later, in 1910, werd aan de andere kant van de pastorie de imposante St. Petrus’ Banden kerk gebouwd.

Enkele jaren geleden is de Pastorie helemaal door Stadsherstel gerestaureerd, waardoor hij nu weer in oude glorie is. Binnen zijn er nog erg veel originele details te zien, zoals schoorsteenmantels, glas-in-lood en wandschilderingen.

Sinds een paar jaar is La Vie de Pastorie geopend. Hier kan je overdag langskomen voor koffie, lekkers en lunch. Ook vinden er yoga-lessen op zolder plaats en wordt de locatie verhuurd als film- en fotolocatie.