Le couvent abritait en 1611 les moines Récollets. Grâce à de nombreux dons, il fut agrandi à partir de 1635. Il comportait alors une petite église. Quelques vestiges témoignent de l’histoire du lieu qui pendant tout le XIX^e siècle fut affecté à l’Hôtel de Ville, à la Justice de Paix et au Collège. Il devint aussi Hôtel des finances.

C’est aujourd’hui un lieu d’exposition, de conférences et le siège d’associations.