La porta che si conserva attualmente rimonta al 1704. In quello stesso luogo esisteva una porta con la soglia ad un livello assai più basso, come ne fa fede un segmento di arco con armillo in pietra che si osserva sulla sinistra dell'entrata attuale. Nel Febbraio 1553 messer Luca di Piero andò a Firenze come ambasciatore « per il fatto specialmente di potere affortificarsi e vendere beni del Comune per detta fortificazione. » I corsari facevano razzie! Il Consiglio generale del Comune fu adunato il 17 Novembre 1562 per essere informato che il duca Cosimo I°, a calmare il timore di minacce del paese da parte dei corsari, ordina di fortificare e racconciare il castello « in modo che non si habbi da temere di quelli cani ». Si stanziarono 40 scudi per la calcina e condurre i sassi necessari al bisogno e successivamente si fecero altri stanziamenti. Marco d'Antoni di Lugano fu il maestro che condusse quei lavori: si spianò una grotta avanti al castello; si rimurò il rivellino; si fecero scale per andare sulle mura; si provvidero bandelle, arpioni, piombo, polvere, munizioni, ecc. e, nel Marzo 1563 si misero guardie alle porte ed alla marina, « per i corsari che molestano di notte.» (Nencini 1925)