Net als de kerk van Usquert, oogt de pastorie ook veel jonger dan je op het eerste gezicht zou verwachten. De voorgevel en kelder zijn opgemetseld van kloosterstenen, de westelijke muur is zelfs 75 cm dik. Op basis daarvan taxeren specialisten van Monumentenzorg de oorsprong van de pastorie ergens in de Middeleeuwen. De huidige gevels zijn natuurlijk veel jonger (1885).