Entre les XIIIème et XIVème siècle la ville de Calpe s’est fortifiée pour se protéger des attaques musulmanes. Sa situation côtière a fait que la population souffrait continuellement des attaques de pirates, c’est pourquoi au XVIème siècle Charles V a ordonné la réparation de ces fortifications. Les voisins avaient accès à la citadelle par un unique portail appelé « El Portalet ».
L’attaque la plus importante a eu lieu en 1637. Les pirates berbères ont envahi la ville sans être vus. Les sentinelles étaient endormies et les pirates ont pu passer les fortifications en utilisant des échelles. Au cours de cette attaque, ils ont capturé presque tous les habitants de Calpe.
Une autre attaque mémorable qu’a subie la ville et qui est à l’origine des fêtes de ses saints patrons, a eu lieu le 22 octobre 1744. Après cette attaque de pirates, un projet pour fortifier la ville a été lancé, et une seconde fortification a été construite, qui entourait le faubourg et la vieille citadelle. Le "Torreó de Peça" est nommé d'après un fort du XXème siècle qui à cette époque avait une pièce d'artillerie.