Замок Саранта Колонес был опорной цитаделью крепостной стены, которая в 6 веке окружала Като Пафос. Замок располагался в 200 метрах от моря. Он представлял собой правильный четырехугольник с длиной стен 35 метров. По бокам располагались крепостные башни.
Замок Саранта Колонес был построен византийцами в 6 веке, когда на Ближнем Востоке появился Арабский халифат, и над Кипром нависла угроза захвата острова. Он был укреплен гранитными колоннами, которые перенесли с греческой Агоры Като Пафоса. Из-за этих колонн замок назвали Саранта Колонес, что значит «Замок Сорока Колонн».
Замок строился под руководством византийского полководца Феодора, который был братом императора Ираклия I. Он же построил две башни в порту и укрепил стены Пафоса. Однако арабы в 653 году смогли захватить Пафос, после чего разрушили замок. Византийцы его отстроили заново, но в 688 году между арабами и византийцами было достигнуто соглашение о совместном управлении острова. В результате этого замок опять был демонтирован.
В 965 году с укреплением власти византийцев, а затем крестоносцев, Замок Саранта Колонес вновь восстановили, но в 1222 году он был разрушен мощным землетрясением вместе с другими постройками Пафоса. После этого замок Саранта Колонес уже не восстанавливался. Новый Пафосский замок был построен при входе в гавань Пафоса.