L'Hôtel d'Anvers fu costruito nel 1697, dopo la distruzione di Dieppe da parte della Grande Bombarderie, un attacco anglo-olandese che aveva quasi distrutto la città.
La sua architettura classica è rappresentativa dello stile Ventabren, l'architetto incaricato da Luigi XIV di ricostruire Dieppe: i negozi si trovano al piano terra e al mezzanino, entrambi porticati, e sono sormontati da due piani abitativi. La facciata si caratterizza per la sua simmetria e per i riferimenti all'architettura antica in stile classico: un frontone triangolare e pilastri che collegano i piani, che ricordano quelli dei templi greci. Si presume che l'Hôtel d'Anvers appartenesse a un ricco mercante, che viveva nel palazzo e conservava le sue merci negli edifici del cortile.
All'inizio del XX secolo, in occasione del restauro dell'edificio, furono aggiunte le colonne che sostengono i balconi. Questa aggiunta riecheggia il dipinto realizzato da William Turner nel 1826, durante il suo soggiorno a Dieppe, in cui aggiunse delle colonne ai lati del portico dell'Hôtel d'Anvers. Un altro elemento architettonico di rilievo è il fregio che raffigura una veduta di Anversa del XVII secolo nel passaggio coperto che si affaccia sul cortile.
Nel 1991, l'Hôtel d'Anvers e il suo fregio sono stati inseriti nell'inventario supplementare dei monumenti storici.
