Furono soprattutto le scorrerie a rendere deserte le isole: i saraceni a partire dal IX secolo, poi i mauri (come li chiamava in una Bolla del 1447 Sisto IV), infine i turchi.
I pirati (ma è preferibile chiamarli corsari: la loro guerra da corsa era in effetti nota, accettata e anche sovvenzionata dai governi dei loro paesi, che ne traevano tutti i vantaggi) divennero a lungo i temuti dominatori del Mediterraneo: predatori accaniti, ottimi navigatori, impavidi combattenti motivati dalla "guerra santa" e dalla prospettiva di facili bottini. Ponza e Ventotene, grazie alla loro posizione geografica , erano splendide basi di appoggio per le scorrerie, che conobbero due gravissimi episodi nel 1534 (Khair-ad-Din detto Barbarossa distrusse Sperlonga, Fondi e si spinse fino a Roma) e nel 1552 (Dragut saccheggiò Minturno, Castellonorato e altre zone vicine). In quel secolo pontefici e re di Napoli tentarono di opporre una qualche linea di difesa erigendo una catena di torri fortificate sulla costa e nell'interno, di cui restano notevoli testimonianze. In questa situazione, come si diceva, non fa meraviglia che i tentativi di popolare le isole fallissero.La sostanziale indifendibilità l'insuccesso dell'esperimento di Sisto IV di affidare nel 1477 in enfiteusi a tre nobili napoletani, la persistente diffidenza di chi avrebbe dovuto abitarle, tutto concorreva a scoraggiare l'insediamento sulle isole, sebbene fossero garantiti ampi privilegi a chi vi si fosse recato: piena libertà di movimento e di commercio, esenzione da dazi e gabelle, la scomunica a carico di chi avesse tentato di ostacolarli in qualsiasi modo.L'ultimo gravissimo episodio piratesco si ebbe addirittura nel 1655 quando i turchi, malgrado una guarnigione presente su Ponza, la predarono e fecero saltare la torre che era a guardia del porto e che non fu più ricostruita. Dopo quella data la frequenza e la gravità degli attacchi andò scemando, anche per le isole, con l'inizio di una colonizzazione massiccia e assistita, si fortificarono. Nel 1757 una piccola flotta ponzese, romana, napoletana e maltese distrusse a Palmarola imbarcazioni corsare che vi si erano riparate. E tuttavia va ricordato che ancora nel 1805 si lamentò il rapimento di otto ponzesi a opera di pirati africani: fu l'ultimo episodio di questa brutta epoca.