Enigszins verscholen bij het Stadskantoor ligt de ruïne van het voormalige Huis te Riviere, het kasteel van Aleida van Avesnes. Deze dochter van graaf Floris IV van Holland en weduwe van Jan van Avesnes, bouwde het kasteel in een pas aangekochte polder aan de Schie. Zij gaf de nederzetting die hier ontstond in 1275 stadsrechten. Schiedam en het kasteel lagen aan de belangrijke waterweg de Schie. Het kasteel was in zijn tijd omvangrijk en is het oudste bekende kasteel met een vierkante donjon in het graafschap Holland. Deze woontoren was het belangrijkste gedeelte van het kasteel en werd door een loopbrug van de rest van het complex gescheiden. Vandaag de dag zijn alleen deze toren en de restanten van een waterput en een andere toren nog zichtbaar. Het kasteel werd diverse malen beschadigd en weer hersteld, maar in 1574 werd het gebouw definitief door Hollanders verwoest. Zo werd voorkomen dat de Spanjaarden het als uitvalsbasis konden gebruiken.