De naam Paardenwater stamt waarschijnlijk van de tijden dat men per koets reisde en men de paarden voor het binnengaan van de stad hier liet drinken uit de vestinggracht. Er heeft hier ook een kleine ronde manege gestaan van het Nederlandse leger. In het parkje staat het Indië-monument. Dit monument is opgericht ter nagedachtenis aan vijf medeburgers die bij de strijd in het voormalige Nederlands-Indië zijn omgekomen. 12 Deze Stenen Beer stamt uit 1579, maar is verschillende keren hersteld of opnieuw gemaakt. De beer in de huidige vorm is in 1772 opnieuw gemaakt.