El primitivo castillo, construido para vigilar el paso del Ognon y servir de refugio a los habitantes en caso de peligro, fue construido por la familia Chalon, rama más joven de los condes de Borgoña. Las familias nobles que se sucedieron en Marnay fueron las de Joiville, Montbéliard, Neufchâtel, Gorrevod y Bauffremont. En 1794, el castillo se vendió por lotes y su patio se transformó en una plaza pública. Restos por descubrir: la puerta de entrada, la vivienda señorial, la torre poligonal, el pabellón del archivo
Visita sólo el exterior del castillo.
Hoy en día, en la antigua vivienda señorial se encuentra un taller de litografía. Visita posible con cita previa en el 06 87 64 93 02.