Oorspronkelijk bevond zich op dit terrein tussen de Veerpoortstraat en de Waterstraat een huis van de Broeders van het Gemene Leven, die in 1426 uit Zwolle naar Doesburg waren gekomen.

Toen deze Fraters het huis in 1446 verlieten, kreeg  het een bestemming voor armlastige weduwen, voor wie een weldadige stichting in het leven werd geroepen. Het poortje links naast Veerpoortstraat 20, het zogenaamde Saterspoortje, gaf toegang tot dit Weduwenhuis. Aan de westkant van het hofje is nog steeds een muur van het Weduwenhuis te zien.

In 1811 werd het Weduwenhuis verplaatst en kwam het huis in bezit van stadscommandant luitenant-kolonel W. de Vaynes van Brakell, wiens geslacht afkomstig was uit de Franse regio Dauphiné. In 1813 bracht hij, met gevaar voor eigen leven, de Franse bezetters tot bedaren door een kolonelshoed met de Franse kokarde (een onderscheidingsteken in de nationale kleuren op hoed of muts) op te zetten, waarmee hij een beroep deed op het Franse eergevoel. Hij voorkwam de plundering van de stad en werd de naamgever van het hofje.

In 1870 werd achterin op het terrein een rooms-katholieke jongensschool gevestigd. Het hekwerk met de bakstenen pijlers aan de straatkant behoorde bij deze school, die in 1971 werd afgebroken ten gunstige van het huidige Van Brakellhofje.

Tussen 1964 en 1967 werd voor pand nummer 18 een sloopvergunning aangevraagd, maar deze werd geweigerd. Ongeveer in dezelfde periode werd Veerpoortstraat 14 onbewoonbaar verklaard. Op het voormalige schoolterrein werden de huizen Veerpoortstraat 14a, 14b en 14c gebouwd, waardoor een hofje ontstond. De kastanjebomen en het toegangshek bleven staan.

Het Van Brakellhofje behoort tot de Gestichten Doesburg.