Tussen 1400 en 1970 werden in het monumentale gebouwencomplex van het Sint-Ewoud- en Elisabethgasthuis vooral oudere mensen verzorgd. Bij een grote restauratie in de jaren 1972-1974 is het gebouw in tweeën gesplitst en zijn de latere aanbouwen afgebroken, behalve het huidige Oeverstraat 21b. De achtervleugel met zijn grote tuin vormt sindsdien een apart woonhuis (Walplantsoen 24).

Het hoofdgebouw aan de Oeverstraat bestaat uit een vleugel van twee bouwlagen met laat vijftiende-eeuwse kap en balklagen met sleutelstukken uit dezelfde tijd, maar ook uit de zeventiende eeuw. Deze hoofdvleugel ligt terug ten opzichte van de rooilijn, achter een hek. Verder zijn er een eenbeukige kapel en een zij- of noordvleugel, beide met een begin 16e eeuws houten tongewelf.