Le Tourelles sono l'ultima vestigia delle sette porte delle mura che circondavano Dieppe. Questa porta si chiamava Porte du Port d'Ouest e poi Tour Jumelle prima di diventare la Tourelles che conosciamo oggi. Era una delle cinque porte rivolte verso il mare quando fu costruita la cinta muraria nel XIV secolo. Lo scopo di quest'opera difensiva era quello di proteggere Dieppe dagli attacchi inglesi e fiamminghi durante la Guerra dei Cento Anni (1337-1453). Lo scopo delle porte era quello di consentire i rifornimenti a Dieppe e di controllare il passaggio delle persone via terra e via mare.
Alla fine del XVIII secolo, l'insolita cinta muraria cadde gradualmente in rovina, fino a quando fu demolita nel 1837 per far posto alla costruzione dell'attuale Boulevard de Verdun. La torre fu trasformata in prigione fino al XIX secolo, salvandola dalla distruzione. Le Tourelles sono state classificate come Monumento Storico dal 1886.
