Presque entièrement entouré par la mer, il est situé à l'embouchure du pont du XVIIe siècle qui relie l'historique Gallipoli au village de la ville, aujourd'hui le centre, le continent. 

Positionné de cette manière, il protégeait l'accès à la ville. Les premiers rudiments du château ont été construits à l'époque byzantine, plus tard transformé en véritable château par les Angevins au XIIIe siècle. 

Modifié plusieurs fois jusqu'au XVIIe siècle pour en faire une imposante construction fortifiée, baignée par la mer avec des caractéristiques de haute ingénierie militaire.  A l'origine, à la phase angevine, le château était quadrangulaire puis entouré d'une enceinte polygonale fortifiée, enfin des tours de guet ont été ajoutées aux angles. Dans la version originale, le pont qui relie le château de Gallipoli au continent se terminait par un pont-levis en bois, à l'ouverture duquel les gardes percevaient les droits de ceux qui entraient pour vendre toutes les marchandises. Au fil du temps, les douves et les arcades qui soutiennent le château ont été enterrées.