Von der Burg aus dem 12. Jahrhundert ist heute nur noch ein einziger der ursprünglich vier Türme erhalten. Das ursprüngliche Schloss und seine Nebengebäude nahmen eine Fläche von 4 Hektar ein. Im Inneren befanden sich 3 weitere Gebäude, ein niedriger Hof, ein Taubenschlag, ein großer Brunnen und 2 Kapellen, darunter die Kapelle Notre Dame de L'Isle, die sich noch immer auf dem Gelände befindet.
Das Schloss soll 1637 zusammen mit dem Bourg niedergebrannt worden sein. Der verbliebene Turm der Burg wurde danach auf verschiedene Weise genutzt: Im 19. Jahrhundert diente er als Gefängnis, während er im 20. Jahrhundert für längere Zeit als Wohnhaus genutzt wurde.