In de poortboog zie je een zandstenen sluitsteen, versierd met een gebeeldhouwde saterskop uit de zeventiende eeuw. In de gang of steeg naar de tuin zijn ook de zeer fraaie korfboognissen van de zijgevel van Veerpoortstraat 22 te zien.

Veerpoortstraat 20 is opgezet als dwarshuis met een verdieping en een hoog oprijzend zadeldak tussen bakstenen puntgevels aan de zijkanten. De voorgevel heeft de in Doesburg veel voorkomende opzet van een gepleisterde lijstgevel met vensters en voordeur in empiretrant.

De details van de schuiframen met hun slanke roeden en de omlijstingen, alsmede  de vormgeving van de deur, dateren uit 1850-1860. De steile helling van de kap duidt echter op een hogere ouderdom.

Bovendien is het metselwerk van de puntgevels met vlechtingen langs de schuine zijden zeventiende-eeuws van karakter.

Vermoedelijk bezat het huis oorspronkelijk geen verdieping, ten hoogste een lage insteekverdieping. De hoogte van de huidige begane grond is voor een zeventiende-eeuws huis namelijk te laag te noemen. In 1819 vormde dit huis al een zelfstandige kavel. De gang bestond toen al en verleende toegang tot het voormalige Weduwenhuis, dat op de plek stond van het huidige Van Brakellhofje.