Edifice particulièrement bien conservé de la seconde moitié du XIIe siècle, le château de Nemours a en fait échappé à plusieurs projets de démolition.

Ayant constitué à l’origine la partie centrale du dispositif de défense de la ville médiévale, il fut transformé au XVe siècle par le duc d’Armagnac puis au XVIIe siècle par le duc d’Orléans.

Enfin, au début du XXe siècle, un groupe d’artistes locaux réunis autour du sculpteur Justin-Chrysostome Sanson (1833 – 1910) entreprit la restauration du vieux château pour le transformer en musée des Beaux-Arts.

A l’heure actuelle, des expositions temporaires rythment la programmation de ce lieu unique. Elles sont accompagnées d'un travail de médiation à destination des différents publics. La structure s'inscrit aussi dans le cadre des évènements nationaux : Week-end Musées Télérama en mars, Nuits des musées au mois de mai et Journées du Patrimoine le troisième week-end du mois de septembre.