Da die Räumlichkeiten der Präfektur des Departements Haut-Rhin im Hôtel de l'Abbaye de Pairis (dem heutigen Hôtel de Ville), wo sie seit ihrer Gründung im Jahr 1800 untergebracht war, zu eng wurden, begann sie 1862 mit dem Bau eines neuen Gebäudes. Das Gebäude wurde nach demselben Modell wie die Präfektur des Departements Haute-Marne errichtet und 1866 eingeweiht. Das Gebäude im Stil Ludwigs XIII. besteht aus einem zentralen Gebäude, das von zwei Seitenflügeln eingerahmt wird.
Während der Annexion der Region durch Deutschland beherbergte es die deutsche Verwaltung, bevor die Präfektur des Departements Haut-Rhin 1918 wieder in das Gebäude einzog. Das Hôtel de la Préfecture wurde 1938 durch einen Brand zerstört und 1940 bombardiert. Während der Kämpfe zur Befreiung Colmars wurde es erneut beschädigt. Die Präfektur liegt gegenüber dem Vergnügungspark Champ de Mars, dessen Gestaltung an das Kreuz der Ehrenlegion erinnert.
