Tussen de XIII en de XIVde eeuw werd het landgoed van Calpe ommuurd als bescherming tegen de aanvallen van de moslims. Door de aan de kust gelegen positie onderging de bevolking steeds aanvallen van de piraten zodat Carlos V in de XVIde eeuw deze muren herstelde. De bewoners hadden toegang tot de citadel via een enige portiek “El portalet” genaamd. De meeste aanvallen vonden plaats in 1637. De berberse piraten overvielen het dorp zonder ook maar één maal gezien te worden. De bewakers sliepen en sprongen over de muur met ladders.
Gedurende deze aanval werden praktisch alle Calpinos gevangen genomen.
Eén van de andere belangrijke aanvallen die Calpe onderging en de herkomst gaf aan haar patroons feesten is het voorval van 22 oktober 1744. Na deze aanval werd met een project begonnen om de stad te verstevigen, en men bouwde een tweede muur die tussen de buitenwijken en de oude stad liep. De “Torreo de la Peca” dankt de naam aan een kleine vesting die in de XXste eeuw afgebroken werd en in het verleden een deel van de afweer was.