Усадебный дом Гончаровых построен в 1730-х годах. Автор проекта неизвестен, но его приписывают великому архитектору тех времен Франческо Растрелли, который построил большинство царских дворцов в Санкт-Петербурге. Вначале усадебный дом имел два этажа, но почти сразу надстроили третий этаж. Фасад сделан в классическом стиле.
На первом этаже находились служебные помещения, так как рядом с домом располагалась огромная бумажная фабрика. На втором этаже располагались анфилады парадных залов, где Гончаровы проводили приемы. На третьем этаже находились личные покои семьи.
Усадьба Полотняный Завод сильно пострадала во время Великой Отечественной войны. До 1980-х годов усадебный дом находился в руинах, но к 1999 г его полностью восстановили, к празднованию 200-летия со дня рождения Александра Пушкина.
Из вестибюля Музея Полотняный Завод дубовая лестница ведет на второй этаж. Здесь создан музей, посвященный роду Гончаровых, хотя значительный акцент сделан на эпохе первой половины 19 века, когда в Полотняный Завод приезжал Александр Пушкин после женитьбы на Наталье Гончаровой.
В 13 залах музея размещены экспонаты, которые воссоздают интерьеры усадьбы Полотняный Завод 19 века. При входе можно увидеть самый знаменитый портрет Натальи Гончаровой, написанный в 1832 году Александром Брюлловым, старшим братом известного художника Карла Брюллова.
В других залах представлено много подлинных предметов, которые принадлежали Гончаровым, коллекция оружия, а также многочисленные портреты всех Гончаровых, которые жили в усадьбе Полотняный Завод.
Большой интерес представляют и различные документы Гончаровых. Здесь можно увидеть указ императрицы Елизаветы Петровны от 1742 г, которым она присвоила Афанасию Гончарову чин коллежского асессора в ранге майора. Он дал ему право на потомственное дворянство. Рядом с Главным домом сохранился производственный цех 18 века, в котором сейчас размещена экспозиция Музея Бумаги Бузеон.
В кабинете Натальи Ивановны Гончаровой, хозяйки усадьбы, можно увидеть портрет Михаила Кутузова. Она находится здесь в память о днях, которые русская армия провела около усадьбы Полотняный Завод после битвы под Малоярославцем. Штаб Кутузова располагался непосредственно в Усадебном доме Полотняного Завода. Отсюда русская армия начала преследование отступающей армии Наполеона.
