Tot de gebouwen die ooit in direct verband stonden met de vesting, behoort ook het Groot Arsenaal, daterend uit 1708. Het diende als wapenopslag voor kanonnen en geweren. Het Arsenaal is een groot, vierkant gebouw, bestaande uit vier vleugels rondom een binnenplaats. Het geheel is voorzien van een schilddak en staat aan drie zijden vrij. De lijstgevels aan Rozemarijnstraat en Lijnbaan zijn identiek en symmetrisch van opzet. Op de hoeken van het gebouw en aan weerszijden van de toegang zijn, bij wijze van schamppalen, kanonlopen in de grond geplaatst. Tot omstreeks 1922 werd het Groot Arsenaal voor militaire doeleinden gebruikt, daarna deed het een halve eeuw dienst als graanpakhuis. In 1981-82 werd het gebouw onder leiding van architect J. Walraad gerestaureerd en inwendig verbouwd tot bibliotheek (in gebruik tot februari 2018). De binnenplaats werd hierbij voorzien van een moderne overkapping.