Alcuni studiosi sostengono che Pozzano fosse un luogo sacro alla dea Diana. Nel 1574 si svolsero alcuni scavi all’interno del Convento costrutito e trovarono una colonna di marmo su cui vi erano scolpite molte corna di cervo con la corona in testa. Era situata sopra due scalini tondi di pietra di tufo. Questa colonnetta venne posta in un piedistallo non molto lontano dalla chiesa, sopra di essa aggiunsero un’altra colonnetta con una croce in cima. Di origine incerta è il nome del luogo Pozzano. Si sosteneva che derivasse dal latino puteus, pozzo, in cui secondo una costante tradizione, fu rinvenuto il quadro della Madonna. Per altri deriverebbe da Pontia, luogo appartenente, in età romana, alla gens Pontia. Altri invece, credono che abbia origine da potus per l’odore sgradevole dell’acqua sulfurea che sorge dalla sottostante spiaggia. Si ipotizza anche l’esistenza di una sorgente attorno alla quale era stato costruito il pozzo.