Пафосский замок расположен при входе в бухту старого порта Пафоса. Слово «замок» не совсем подходит для этого сооружения, его лучше называть Пафосский форт. Настоящие средневековые замки сохранились только в Северном Кипре, например, Замок Святого Иллариона или Киренийский замок.
Замок в Пафосе впервые был построен в 12 веке по распоряжению Ги де Лузиньяна, но тогда он располагался на территории старого города Като Пафос в 200 метрах от берега моря. Та цитадель называлась Замок Саранта Колонес, что означает Замок Сорока Колонн. Для средневекового периода это было мощное укрепление, но он был разрушен мощным землетрясением в 1222 году. На прежнем месте замок восстанавливать не стали.
Новый замок был построен в 14 веке при входе в гавань Пафоса. Он выдержал осаду генуэзцев в 1373 году, но основные бои за Кипр развернулись на восточном берегу. После падения Фамагусты, оборона Пафоса уже не имела смысла. Генуэзцы захватили Кипр, и осада Пафосского замка была прекращена.
Аналогично поступили и венецианцы в 1571 году, когда их война с турками за обладание Кипром близилась к завершению. Основные бои опять развернулись за Фамагусту. Ее осада длилась почти год. Оборона Пафоса изначально не имела смысла, и венецианцы полностью разрушили Пафосский замок еще в 1570 году, чтобы он не достался туркам.
Турки восстановили Пафосский замок в 1592 году, но в виде форта, предназначенного для обороны от артиллерии. Он был изначально спроектирован так, чтобы форт можно было использовать под другие нужды: склад, тюрьма, казарма для солдат и. т.д.
В 1935 году Пафосский замок был стал музеем и вместе с другими памятниками Археологического Парка Като Пафоса был включен в списки исторического наследия ЮНЕСКО. У его стен ежегодно проводится оперный фестиваль Афродиты.