С южной стороны Успенского собора находится большое здание Архиерейских палат Астраханского Кремля. Архиерейское подворье здесь появилось задолго до постройки Успенского собора, когда на территории Кремля был только Троицкий собор. В начале 17 века был построен деревянный Архиерейский дом, а в 1677 году – каменные Архиерейские палаты.
В 1711 году было завершено строительство Успенского собора. В этом же году была завершена надстройка второго этажа Архиерейских палат, а также построена домовая Церковь Нерукотворного Спаса. Палаты стали самым большим и просторным домом в Астрахани, и при этом, они еще сохраняли единый древнерусский архитектурный стиль.
В ходе ремонта после пожара в 1778 году у здания Архиерейских палат был надстроен 3 этаж в стиле классицизма, а в 19 веке надстроили четвертый этаж. Все это очень сильно повредило внешнему облику здания. Сейчас готовится проект реставрации, в ходе которой будут снесены два верхних этажа, что позволит вернуть Архиерейским палатам облик древнерусского здания, каким оно было в начале.