Du château du 12ème siècle, il ne reste aujourd’hui qu’une seule tour sur les quatre d’origine. Le château d’origine et ses dépendances occupaient une surface de 4 hectares. À l’intérieur, on trouvait 3 autres bâtiments, une basse cour, un colombier, une grande fontaine et 2 chapelles, dont celle de Notre Dame de L’Isle qui se trouve toujours sur le site.
Le château aurait été incendié en 1637 en même temps que le Bourg. La tour restante du château a ensuite été utilisée de différentes manières : au 19ème siècle, elle servit de prison, alors qu’au 20ème siècle elle servit d’habitation pendant une longue période.