В начале 19 века Ярославль был столицей Ярославской губернии и важным экономическим центром в Европейской части России. В 1821 году император Александр I принял решение о строительстве резиденции для губернатора города.
Губернаторский дом был построен на Волжской набережной в пешей доступности от Стрелки Волги и Которосли и Успенского собора - места основания Ярославля. С момента завершения строительства в 1823 году Губернаторский дом стал официальной резиденцией всех губернаторов Ярославля, а также путевым дворцом, где останавливались русские императоры и другие высшие государственные чиновники.
Первым губернатором, поселившимся в Губернаторском доме, стал Александр Михайлович Безобразов, который до этого был губернатором в Тамбове, а в 1826 году был переведен в Санкт-Петербург. После него в этом доме до 1918 года жили 14 ярославских губернаторов.
С 1970 года в Губернаторском доме располагается Ярославский художественный музей. Он интересен как коллекцией картин, так и интерьерами парадных зал. Позади дома расположен весьма живописный Губернаторский парк. Вдоль прогулочных дорожек так установлены различные скульптуры. Буквально за забором парка находится Церковь Ильи Пророка – жемчужина ярославской художественной школы, которую обязательно нужно посетить.