Le due ali simmetriche costituiscono i padiglioni del XVIII secolo. È un residuo dell'antica fortezza (X secolo). La fortezza è costituita da un mastio, un enorme edificio a 4 piani. La chiesa parrocchiale risale al 1230. Nel 1362, gli "écorcheurs" si impadronirono della città; per farli fuggire, la città fu annientata. Il re Enrico IV soggiornò nel castello per 10 giorni. Durante la guerra dei 10 anni, Pesmes fu devastata. Luigi XIV conquistò Pesmes e vi trascorse la notte del 15 febbraio 1668. All'inizio del XVIII secolo il castello è stato modificato ed è uno dei più belli della provincia. È senza dubbio a questo periodo che risalgono le scale che collegano le stalle. Questi furono venduti nel 1794 e distrutti.