Halverwege de Cauberg staat het Cuypershuisje, ooit een ingang tot het Museum Romeinse Katakomben, maar tegenwoordig niet meer in gebruik. Het gebouwtje herbergt een vestibule van waaruit bezoekers via een lange trap afdaalden naar het gangenstelsel. Deze ingang is een getrouwe kopie van het inmiddels afgebroken toegangsgebouw tot de katakomben van Marcus en Marcellianus in Rome. Dat gebouwtje werd door Cuypers nauwkeurig nagetekend, maar niet – zoals soms wordt beweerd – door hemzelf ontworpen. Het Cuypershuisje is uitgevoerd in neoklassieke stijl en draagt in het timpaan de inscriptie selecta e coemeteriis Romanis, wat betekent: ‘een keuze uit de onderaardse begraafplaatsen van Rome’.