Podobno Ali Pasza Z Tepeleny przebudował średniowieczną warownię, zamieniając ją w zamek Porto Palermo dla swojej żony (miał ich dwie, Emine i greczynkę Kyra Vassiliki. Pałac miał być dla tej drugiej). Podobno dlatego jest na planie trójkąta – bo z jednego z narożników Ali Pasza obserwował, gdy zażywała kąpieli w wodach zatoki. Fakt woda tam taka, że kusi by się popluskać. 
A i widok z warowni niczego sobie, niezależnie czy celem jest podglądanie czy oglądanie pejzażu – ładny. W ogóle Ali Pasza zamek chyba mizernie cenił jednak jako obronną warownię, bo w 1805 roku były tutaj jakiś maksymalnie cztery działa i z dziesięciu ludzi… Fakt zamek jakiś bardzo wielki nie jest ale i tak załoga szczupła jak na zapewnienie obronności. Ale uroku architektonicznego mu odmówić nie można.
Możliwe, że pierwotnie zamek był wzniesiony przez Wenecjan. Weneckim zamkiem był zresztą dość często nazywany. Wcześniej była tu grecka osada – ślady jej są już z V w pne. Ale obecny kształt Porto Palermo zyskało na przełomie XVIII i XIX wieku. Wygląda, jakby był zbudowany na wyspie ale ma połączenie wąskim pasem z lądem. W latach 30-stych XX wieku było tutaj więzienie (głównie dla przeciwników króla Zogu i niepokornych dziennikarzy). W latach 50- tych uznany został za zabytek ale w czasie komunizmu, była tu baza okrętów podwodnych, nieopodal jest przecież słynny tunel zbudowany w celach militarnych przez Hodżę. Obecnie Porto Palermo cieszy się mianem atrakcji turystycznej no można zwiedzać ruiny występujące godnie w roli zabytku.
