Пещерный город Хндзореск является одной из интересных достопримечательностей в окрестностях Гориса. Местные скалы состоят не из базальта, как в окрестностях Еревана, а из мягкого туфа. В многочисленных каньонах вода и ветер на протяжении тысячелетий создавали «каменные столбы». В древние времена жители вырубили в них пещеры.
Есть две версии происхождения слова «Хондзореск». В переводе с армянского языка хондзореск означает «Яблоневый». Возможно, раньше в этих краях было много яблонь. По другой версии, название произошло от слов «Хор Дзор», что означает «Глубокое ущелье». Действительно, пещерный город отделен от дороги между Горисом и Нагорным Карабахом большим ущельем.
Самым известным пещерным городом в мире является Каппадокия в Турции, однако, подобные города есть во многих местах, где горы состоят из туфа. Пещеры Хндзореска позволяли местным жителям укрываться от многочисленных военных отрядов, которые приходили в Армению с юга. Такие дома не нужно было отстраивать заново после каждого набега, их невозможно было разрушить.
Позже около пещер начали строить каменные дома, и к началу 20 века здесь жило более 8 тысяч человек. Только после Второй мировой войны местные власти приняли программу переселения жителей Хндзореска в Горис. Большую часть домов разобрали на каменные блоки, которые стали строительным материалом для домов на новом месте. Из-за этого до наших дней Пещерный город Хндзореск сохранился в своем средневековом облике. Но это только добавляет привлекательности для туристов. Из крупных зданий в Хндзореске осталась лишь церковь Святой Рапсимэ (1668 года). Она пришла в упадок, но в ней, по-прежнему, проводятся церковные службы.
Раньше путешественники могли попасть в пещерный город Хндзореск только по тропинке вокруг ущелья. Нужно было пройти несколько километров, но в 2012 году местные жители построили над ущельем подвесной мост. Его длина составляет 160 метров. В самом глубоком месте мост проходит на высоте 63 метра над ущельем. Он отлично вписался в ландшафт ущелья, и теперь Хондзореск стал доступен для туристов.