Café ’t Hoff café behoorde in de middeleeuwen tot het omvangrijke complex van de Nederhof, dat in de 10e eeuw is ontstaan als de boerderij van waaruit de meier (ambtenaar in dienst van een heer) de bezittingen van zijn heer bestuurde. Op het terrein stonden stallen, opslagplaatsen, een bakkerij en een brouwerij. De Utrechtse bisschoppen kregen het complex in de 15e eeuw in handen en zorgden dat de huidige gebouwen, waaronder ’t Hoff, werden gebouwd.

Het pand zelf is oorspronkelijk een 15e-eeuws kaatsbaanhuisje (een open, overdekte tribune om het kaatsspel te zien) van de bisschoppen van Utrecht. De vier zuiltjes in het café behoorden tot de open galerij van het huisje. In het pand is een uniek 15e -eeuws in visgraatmotief uitgevoerd houten plafond aanwezig.