Het Dief- en Duifhuisje dateert uit de vroege 17e eeuw en is samen met de nabijgelegen slotgrachten het enige dat nog herinnert aan het laatste Slot van Capelle (1612-1797). Er konden twee arrestanten gevangen worden gehouden. Boven hun hoofden, op een houten vliering, huisden de (post)duiven die via gaten in de achtergevel in en uit konden vliegen. Vlakbij, op een stuk grasland, stond een galg voor het ophangen van zware misdadigers. Het oude gevangenisje, nu het kleinste museum van Nederland, heeft tot in de 19e eeuw als arrestantenverblijf dienst gedaan. Na een grondige restauratie en herinrichting van de omgeving is het Dief & Duifhuisje in 2011 heropend als kleinste museum van Nederland.
De wisseltentoonstelling op de begane grond gaat over de geschiedenis van het inmiddels verdwenen zwembad ‘De Blinkert’.
De tentoonstelling over de geschiedenis van ’t Slot bevindt zich op de 1e verdieping en is helaas niet toegankelijk voor minder validen.
Om 14.00 uur is er een rondleiding naar en over de nabij gelegen restanten van het Slot van Capelle.