Het pand werd in 1848 gebouwd als uitbreiding van het nabije Pesthuis, dat toen als militaire gevangenis in gebruik was. Het idee van een cellengevangenis was uit de Verenigde Staten overgewaaid naar Nederland. Men verwachtte veel heil van individuele opsluiting in aparte cellen, in plaats van de toen gebruikelijke groepsopsluiting. Zeker als de opsluiting werd gecombineerd met arbeid en ‘stichtelijke contacten’.

De diverse functies van het gebouw zijn aan de gevel en het interieur terug te vinden. Zo zijn van de oorspronkelijke strafcellen nog veel elementen intact en is op de eerste verdieping een cel met een toen hoogst moderne vloer van asfalt bewaard gebleven. Het hekwerk stamt uit de tijd dat er ook een afdeling voor moeilijk opvoedbare jongens was ondergebracht. In het begin van de 20e eeuw werd het gebouw als vrouwengevangenis in gebruik genomen. Daarvoor werd een aantal cellen op de begane grond tot 4-persoonszalen omgebouwd. De grote vensters en de schilderingen in jugendstil op de eerste verdieping dateren uit die periode. In 1937 werd het strafcellengebouw verbouwd tot werkplaats voor het Legermuseum dat in het Pesthuis werd gehuisvest.

Het huidige creatieve gebruik staat in sterk contrast met het grauwe verleden. Het gebouw is nu het onderkomen van ‘Phila del Art’, dat een leer-werkplaats biedt voor beeldende kunstenaars met een beperking. /BB