Rond 1600 diende een zaal achter de zuidvleugel als kerk voor Mennonieten en voor uit Aken verdreven Wederdopers. Van 1765 tot ca. 1800 waser een lakenververij (“Verves”) in gevestigd.
Het huidige aanzicht en de torentjes dateren uit 1865.
De rij 19e-eeuwse woningen aan von Clermontplein 44-50 hoorde oorspronkelijke bij de ververij.