In una mappa delle fortificazioni militari di Ponza il fulcro strategico - difensivo dell'isola era necessariamente il porto e l'area circostante. La particolare conformazione collinosa di Ponza, inoltre, consentiva di sfruttare ai fini difensivi le "strutture" messe a disposizione dalla natura. Oltre alla cilindrica "Torre del Giudicato" che difendeva proprio l'imboccatura del porto e che venne rasa al suolo da un'incursione dei turchi nel 1635.
La Torre di Ponza venne fatta costruire su ruderi romani da Alfonso d'Aragona, che fra il 1479 e il 1481, concesse in enfiteusi perpetua le isole ad Alberico Carafa duca di Ariano, ad Antonio Petrucci conte di Policastro e ad Aniello Arcamone conte di Borelli con l'impegno che edificassero a Ponza "….La Torre dominante la baja…". Alfonso d'Aragona, inoltre, "…fra le moltissime provvidenze ordinò il ristabilimento de Torrieri e Castellani in Ponza, i quali all'ufficio di Guardare la Torre che quivi esisteva a difesa del porto, aggiungessero la facoltà di Governatore dell'isola….".Nasce così il primo nucleo del futuro centro abitato dell'isola. I documenti successivi confermano, infatti, l'esistenza a Ponza di una Torre quadrata, in cattive condizioni perché spesso si segnala la necessità di restaurarla.Anch'essa fortemente danneggiata dall'incursione turca del 1635, la Torre venne restaurata nel 1770 sotto la direzione del Maggiore D. Benedetto Rezzano. Il restauro della Torre fu quindi il primo atto delle imprese edilizie legate alla fondazione della nuova colonia, precedente l'affidamento della direzione dei lavori ad Antonio Winspeare. La tipologia della Torre di Ponza venne però adoperata da quest'ultimo per la costruzione ex - novo della Torre a Ventotene, anch'essa a pianta quadrata, a due piani anziché a tre.Negli anni Cinquanta l'edificio subì alterazioni all'interno: del primitivo impianto si conservano il basamento in peperino e i riquadri di quattro finestre quadrangolari. Nel nostro secolo fu sede prima del confino fascista, poi di una colonia marina parrocchiale fino all'attuale destinazione alberghiera iniziata contemporaneamente all boom turistico di Ponza negli anni Sessanta. La maggior parte delle costruzioni difensive di Ponza data al periodo dell'occupazione napoleonica in Italia nei primi decenni dell'Ottocento, quando il controllo dell'arcipelago Ponziano diventò un punto strategico - militare di importanza internazionale.La prima di queste fortificazioni fu la cosiddetta "Batteria Leopoldo", eseguita nel 1808 per ordine del Principe di Canosa. La collocazione della Batteria Leopoldo dietro la Caletta, ad un livello più basso rispetto alla Torre, aveva lo scopo di salvaguardare l'ingresso del porto, riprendendo da una diversa posizione l'antica funzione della demolita Torre del Giudicato. Dal 1860, quando con la caduta del governo borbonico venne tolto da Ponza il presidio di terra, la Batteria Leopoldo rimase disabitata. Sullo scorcio dell'Ottocento l'intera costruzione venne abbattuta per consentire l'ampliamento del cimitero.
Identica funzione aveva il fortino sullo scoglio della Ravia detto il Fortino Bentinck dal nome dell'allora Comandante della spedizione anglo - siciliana, Lord William Bentinck, al quale si deve il progetto e la realizzazione della maggior parte delle fortificazioni di Ponza.Fra le altre fortificazioni predisposte per ordine di lord Bentinck fra il 1808 e il 1813 va segnalato "… un Ospedale - forte con trinceramento a due pezzi di cannoni, tuttavia detto il Campinglese, in eminenza centrale dell'isola…" (Tricoli). La zona ha mantenuto la denominazione, di Campo Inglese nonostante il fortilizio non esista più. Gli unici forti all'interno dell'isola ancora in piedi, anche se in pessimo stato di conservazione, sono Forte Papa e Forte Frontone. Quest'ultimo, sul promontorio accanto alla spiaggia omonima, venne costruito nel 1813, a difesa dell'accesso orientale del porto di Ponza.La più antica delle fortificazioni di Ponza dopo la Torre è però Forte Papa, fatto costruire per volere di Ferdinando IV di Borbone nell'ambito dei lavori per la fondazione della nuova colonia di Torresi a Le Forna nel 1772.L'inaccessibilità del luogo da terra è documentato da un'incisione del Mattej del 1857, mentre l'aspetto odierno del forte denuncia una volta di più lo stato di degrado sia dell'edificio che del passaggio circostante, dove era la miniera di bentonite.La costruzione delle case per i coloni, soprattutto per la zona del porto vicino alla parte "nobile" del paese, non venne lasciata al caso, ma inquadrata all'interno del "ben regolato" piano progettato da Winspeare. Si tratta di una serie di case con funzione puramente abitativa, situate con molta probabilità dove attualmente è la strada della Madonna che sale dal paese al cimitero, entrambi interventi che nella seconda metà dell'Ottocento alterarono l'intero assetto edilizio della zona "dirimpetto alla Torre".La tipologia delle abitazioni comuni è simile sia a Ponza che a Ventotene: case a schiera con copertura a lamie a pianta quadrata. Elementi tutti importati, assieme all'uso dell'arco e della scala esterna, dalle analoghe forme edilizie dei luoghi di provenienza dei primi coloni ponzesi: Ischia, Procida, Torre del Greco. Sul vano in muratura, un vero e proprio cubo, è impostata la volta che può essere a botte o a specchio, l'incrocio cioè di due mezze botti con la sommità in piano. In alcuni casi l'altezza della volta, all'interno, arriva fino a cinque metri. Per costruire le coperture a lamie venivano usate le centine che, a lavoro finito, venivano rimosse.Questo tipo di abitazione era già un segno di distinzione sociale per quei coloni che avevano potuto restituire alle casse Allodiali il prestito a lungo termine e rateizzabile della "calce e bocche d'opera" per la costruzione della casa. Ai coloni arrivati per ultimi o comunque più poveri non restava invece che "…incavarsi o accomodarsi qualche grotta…."Come ricorda il Tricoli. Ed è questo il secondo tipo di abitazione ponzese: la casa - grotta o "casa - tartufo", costruita sfruttando la naturale conformazione naturale del terreno.Il problema della riutilizzazione o di scavo ex - novo delle grotte si presentava quasi quotidianamente ai due soprintendenti ai lavori della colonia Winspeare e Carpi. Nel 1790, per esempio, Francesco Carpi nega a Giovanni Russo l'autorizzazione a "…incavarsi una grotta nel proprio territorio…perché l'esempio di tanti altri che si han voluto costruire simili Grotte, le hanno poi dovute abbandonare perché umide e perniciose alla propria salute…".Le considerazioni del Carpi sull'ambiente malsano delle grotte, un tipo di abitazione ben lontana dai criteri funzionali e razionalisti del progetto urbanistico settecentesco, si trasformano invece nel corso dell'Ottocento in osservazioni curiose sull'aspetto "pittoresco", "caratteristico", "grazioso" delle case - tartufo. Dal mondo "illuminato della ragione" nel quale si muovono Winspeare e Carpi, si passa a quello dominato dal sentimento dei viaggiatori dell'Ottocento. Le grotte incavate nella roccia dai "miserabili" esercitano il fascino indiscutibile del "colore locale", diventano il simbolo di un contatto fra uomo e natura sulla via del dissolversi. Da diverse testimonianze vediamo come la maggior parte delle case - grotta fosse concentrata alle Forna, il secondo polo della colonizzazione borbonica. Nel 1772, infatti, vi si stabilirono i coloni venuti da Torre del Greco dando inizio così alla cosiddetta "colonia dei Torresi". Le Forna non nasce però come un paese costruito secondo un preciso piano urbanistico, ma piuttosto come un insediamento rurale "di spontanea e libera formazione". L'unico intervento edilizio pubblico, assieme a Forte Papa, fu la costruzione nel 1781 della chiesa parrocchiale, definita nei documenti settecenteschi "cappella rurale", dedicata alla Madonna Assunta. La facciata della chiesa riprende la tipologia di quella di S. Candida a Ventotene mentre le decorazioni a stucco con motivi di putti e ghirlande sopra le finestre è un'aggiunta più tarda, databile fra la fine dell'Ottocento e i primi decenni del nostro secolo. Nel 1846, venne costruita la cappella laterale col titolo di S. Filomena. La diversa formazione dei due centri di Ponza, il paese sul porto e Le Forna, è rimasta una dicotomia costante nella storia dell'isola. La rivalità fra una zona più sviluppata e "antica" e una più povera e "moderna" è viva ancora oggi perfino nel ricordo dei ponzesi emigrati in America. La sensazione che i coloni delle Forna si sentissero trascurati dal governo centrale appare chiarissima nei documenti sui primi anni di vita della colonia.I cubi delle abitazioni comuni con la leggera curvatura delle lamie e la decorazione discreta delle modanature lisce che riquadrano facciate e finestre caratterizzano soprattutto i centri abitati. Ne troviamo perciò in tutti i "paesi" dell'isola, da Ponza porto a S. Maria fino alla Piana d'Incenso, oggetti ormai rari in un paesaggio urbano fortemente modificato da nuove costruzioni e rifacimenti senza regola di strutture preesistenti. L'architettura spontanea invece è fin dall'inizio legata al lavoro della terra. Perciò, oltre che alle Forna, nata appunto come insediamento rurale, la ritroviamo sparsa per tutta la campagna ponzese dagli Scotti di sopra, lungo il sentiero che sale al monte La Guardia, al Fieno, ai Conti, al Frontone. Inserti architettonici sempre più rari, le case - grotta sono spesso nascoste rispetto ai percorsi abituali dei turisti sull'isola. Un esempio di conservazione "naturale" è la grotta di Giustino al Fieno, rimasta quasi identica all'immagine fissata in un disegno del Mattej di più di un secolo fa.Quali sono le caratteristiche dell'architettura spontanea ponzese? Il criterio - guida è, ovviamente, la funzionalità. Si trattava, infatti, di abitazioni stabili e non stagionali come le grotte di Palmarola. Il Fasolo distingue fra un tipo di casa - grotta interamente scavata nella roccia ed un tipo di casa mista, dove alle stanze interrate viene aggiunta una camera esterna spesso utilizzata come camera da letto, a pianta quadrata e con volta a padiglione secondo la classica tipologia mediterranea. Gli altri vani (cucinino, tinello, a volte camera da letto) vengono scavati nel banco di tufo disposti non in profondità, ma orizzontalmente. Il fronte della casa - grotta, generalmente orientato a valle, viene chiuso da una muratura di tufo sulla quale si aprono porte e finestre. Lo spessore del tufo serve da tetto. Viene così risolto uno dei problemi vitali degli isolani, l'approvvigionamento idrico. Il Fasolo fa notare, infatti, come nella volta delle case - grotta l'andamento irregolare e apparentemente casuale della superficie abbia la precisa funzione di fornire " una superficie di continuo regolare deflusso delle acque…tale da convogliare gradualmente l'acqua piovana verso il bocchettone inferiore".E' un'architettura ricca di elementi minori, "…scalinate, forni, lavatoi, cisterne, ed ogni altra comodità necessaria…" che ne costituiscono anche l'unico motivo decorativo, abbellito dall'imbiancatura a calce, dalla varietà delle forme, dallo spessore e rugosità della materia di costruzione. I veri protagonisti dell'architettura spontanea ponzese sono però i comignoli. Mentre comune a tutti è la pianta a parallelepipedo terminante a piramide, forma che secondo il Fasolo aveva sempre la funzione di favorire la raccolta idrica, per ciascuna delle case - grotta la canna fumaria assume una fisionomia individuale, riconoscibile come il volto di una persona.Sempre il Fasolo azzarda l'ipotesi di un'analogia strutturale fra le case - grotta di Ponza e le cuevas dei gitani in Andalusia, a Guadix, sulle pendici della Sierra Nevada. Caratteristiche comuni dell'architettura spontanea dei due luoghi sarebbe l'uso di due ambienti scavati nella roccia, l'ambientazione panoramica, la disposizione dei vani frontale e non in profondità, il gusto del dettaglio architettonico e, infine, la tinteggiatura ad intonaco bianco. E' un accostamento senza dubbio affascinante, ma da prendere con cautela. Affinità morfologiche di questo tipo sono, infatti, spesso legate ad una generale similitudine di clima e di funzione, ma nessi più precisi diventano pericolosi quando sono difficilmente dimostrabili.Le tipologie dell'architettura spontanea hanno una continuità nel tempo che va al di là delle convenzionali periodizzazioni fissate nella storia dell'architettura delle capitali. L'isola è già di per sé un luogo "tagliato fuori" e, all'interno della nostra isola, le case - grotta rappresentano a loro volta una "periferia" rispetto al "centro" del paese sul porto. E' in queste zone "eccentriche" che la storia, anche degli stili, ha dei ritmi più lenti, che certe forme architettoniche vengono ripetute sempre uguali seguendo una tradizione artigianale ormai consolidata. Si spiega così come una delle soluzioni adottate nelle coperture di alcune delle case ponzesi - i rialzi perimetrali con funzione di convogliamento delle acque che danno alla copertura una caratteristica sagoma "a cappello di carabiniere" - venga riadoperata con pochissime variazioni in epoche diverse. Passiamo così alle forme stondate, probabilmente più antiche, della piccola cappella sulla punta estrema dell'isola a Piana d'Incenso o di quella, ormai perduta, sulla piazza detta della "Punta Bianca" giù al porto (oggi piazza Gaetano Vitiello), nota da un disegno del Mattej, a quelle più stilizzate delle varie edicole religiose disseminate un po’ dovunque nell'isola.L'esempio più importante di questa continuità delle tipologie fissate dall'architettura spontanea è la chiesetta della Civita, fatta costruire dal parroco Luigi Dies nel secondo dopoguerra lungo la strada che porta al Faro della Guardia a ricordo del tradizionale pellegrinaggio delle donne ponzesi il 21 luglio al Santuario della Civita vicino ad Itri. Culto, assieme a quello di S. Silverio, fra i più radicati nella religiosità dei ponzesi sia sull'isola sia nelle "Little Ponza" di New York.