Construit pendant la domination vénitienne du XVème siècle, le château fut à l'origine un bastion permettant d'exploiter la pêche autours de Corfou ainsi que l'agriculture et les oliveraies autours de la cité de Butrint, au sud de l'Albanie. Le château devint un repère stratégique durant les conflits avec l'empire Ottoman et changea de main à plusieurs reprises. C'est en 1798 que l'armée française, alors en déroute, détruisit le château pour éviter qu'il ne serve au souverain de l'époque, Ali Pacha.

En 1804 ce dernier reprend le contrôle de la structure et effectue une série d'améliorations défensives, notamment l'installation de batteries de canon. Compte tenu de sa petite taille, il est peu probable que le fort ait fonctionné comme autre chose qu'un lieu de contrôle de l'accès de la mer à Butrint, et il ne peut être comparé aux forteresses plus redoutables d'Ali dans la région à Tepelenë, Gjirokastër et Ioannina.

C'est seulement en 1819 que la forteresse est reconstruite et renommée en hommage au souverain Ali Pacha, qui en fit quelques temps après sa résidence secondaire.

Aujourd'hui la forteresse n'est qu'une ruine accessible en bateau. Néanmoins l'utilisation d'un drone permet ici de percevoir la structure dans son ensemble. Le granit blanchit par le sel et le vent contraste magnifiquement avec les eaux turquoises et les tourbes rougeâtres qui entourent le batiment.