Edificato nel 1382 da Carlo III di Durazzo, il Castello del Carmine a differenza degli altri castelli della città, fu concepito esclusivamente per un uso militare.
La sua demolizione avvenne nel 1906 nel terminare l’ultimo tratto del Corso Garibaldi.
Oltre le due torri fu salvato anche il Vado del Carmine.