Te krap bemeten in het Hôtel de l'Abbaye de Pairis (nu Hôtel de Ville), waar het sinds zijn ontstaan in 1800 gevestigd was, begon de prefectuur van Haut-Rhin in 1862 met de bouw van zijn nieuwe gebouw. Dit gebouw, gebouwd naar hetzelfde model als de prefectuur van de Haute-Marne, werd in 1866 ingehuldigd. Het gebouw is in de stijl van Lodewijk XIII en bestaat uit een centraal gebouw omringd door twee zijvleugels.
Het huisvestte de Duitse administratie tijdens de annexatie van de regio door Duitsland, voordat de prefectuur van Haut-Rhin er in 1918 naartoe verhuisde. Verwoest door brand in 1938, werd het gebouw van de prefectuur gebombardeerd in 1940 en opnieuw beschadigd tijdens de gevechten voor de bevrijding van Colmar. De prefectuur kijkt uit op het pretpark Champ de Mars, waarvan de inrichting doet denken aan het kruis van het Legioen van Eer.
