На месте у Большого дома, где стояла мачта, в 1904 году Поленов построил мастерскую. По этому поводу он писал своему другу Ивану Цветаеву: «Мы до сих пор в деревне, где я в это лето соорудил себе мастерскую, но вышло почему-то аббатство. Тем не менее, я несказанно доволен: окно огромное, свет чудный. Я всю жизнь об этом мечтал, а теперь как-то не верится».
И действительно, благодаря конструкции с огромным окном, дом стал похож на итальянскую церковь, поэтому его и назвали «аббатство». Так называли в средние века католические монастыри.
Окно, выходящее на север, давало художнику необходимый свет, благодаря которому он мог долго в течение дня работать над своими картинами. Здесь же хранился и реквизит для домашнего театра, в котором участвовала вся семья Поленова. Сейчас в Аббатстве можно посмотреть небольшую экспозицию, посвященную этому театру.