Sulla costiera sorrentina sono presenti diverse torri di cui una è chiamata Torre del Gallo, costruita nel 1332 per ordine di Roberto d’Angiò e quella di San Fortunata, semidistrutta, edificata nel 1564.
Esiste anche un’altra torre chiamata Guardiola al Capo di Scutolo costruita nel 1567; quella di Sant’Elia di Ceremegna invece risale all’anno 1569, opera di Carafo Pignaloso da Cava dei Tirreni.
Alla porta del Piano vi è ancora un Castello costruito nel 1459 su richiesta della famiglia Acciapaccia.
Nel 1506 il palazzo venne rimodernato ed arricchito di nuove opere e nel 1558, con l’arrivo dei turchi, venne assalito subendo gravi danni.
Fu distrutto dai francesi nel 1779 ed ancora nel 1843 per deliberazione del decurionato della città.
Inizialmente la fortezza era circondata da un perimetro difensivo della cinta muraria della città in cui erano presenti quattro porte di cui due di terra e due di mare.
La prima era chiamata <<Porta Maggiore>> che si collegava alla frazione di Piano situata nei pressi del castello e venne rasa al suolo nel 1866; la seconda invece, quella di <<Parsano>> conduceva a Massa, distrutta nel 1865; la terza, definita porta della <<Marina>> oggi è presente l’androne sotto la chiesa di S. Antonino; l’ultima era chiamata porta della <<Marina Grande>> perchè si accedeva alla Marina Grande.