Дом Литераторов находится на месте Усадьбы Песочное, которую в конце 19 веке каждое лето арендовала семья Цветаевых. В советское время здесь был санаторий. Сейчас в Доме Литераторов проводятся концерты, а летом Фонд Святослава Рихтера проводит литературно-музыкальные фестивали.
С 1892 по 1902 годы семья Цветаевых каждое лето снимала дом с мансардой в Усадьбе Песочное. Она находится в 1.5 километре от центра города. Великая русская поэтесса Марина Цветаева с теплом вспоминала годы, проведенные в Тарусе. Марина Цветаева и ее сестра Анастасия потом еще в 1907 и 1910 году приезжали в Тарусу, но уже останавливались в доме своей тети. Этот дом они называли Дом Тьо, и сейчас в нем открыт Музей Цветаевых.
В 1905 году дом в Усадьбе Песочное арендовал известный художник Виктор Борисов-Мусатов. Его картины на тему жизни дворян в своих усадьбах можно увидеть в Третьяковской галерее в Москве и Русском музее в Санкт-Петербурге. Он прожил в этом доме 1 год и после смерти был похоронен рядом на высоком берегу реки Оки.
В 1914 году дом в усадьбе Песочное арендовала семья Вульфов. Юрий Викторович Вульф был русским ученым-кристаллографом, а его жена, Вера Вульф, известной пианисткой. С 1918 года они жили здесь постоянно и добивались создания музея, посвященного творчеству Борисова-Мусатова. По традиции, они проводили здесь литературно-музыкальные вечера, которые привлекали в Тарусу многих творческих людей.
Утвердить решение о создании краеведческого или литературного музея в усадьбе, куда на протяжении десятилетий приезжали творческие люди, не удалось. В итоге, дом с мансардой снесли в конце 1960-х годов и на его фундаменте устроили танцевальную площадку санатория имени Куйбышева. Сейчас этого санатория не существует, а на месте танцплощадки теперь просто место отдыха. Плиты фундамента цветаевского дома сохранились, также как и липовая аллея, посаженная Иваном Цветаевым. Его бюст установлен рядом с Домом Литераторов.
В 1952 году в санатории построили большое здание, которое использовалось как столовая и клуб отдыха. В 2000-х годах его реконструировали и открыли Дом Литераторов. На втором этаже находится концертный зал. Он просторный, благодаря огромным окнам. Здесь установлен рояль для проведения камерных концертов. В этом зале выступает местный оркестр, а летом на гастроли сюда приезжают коллективы из других городов. Каждое лето в Доме Литераторов Тарусы проводится музыкально-литературный фестиваль Фонда Святослава Рихтера.
Боковая стена Дома Литераторов украшена авторской мозаикой итальянского мастера Марка Бравуро. На нижнем этаже находится его школа, а сам он живет в Тарусе. Около мозаичной стены можно посмотреть арт-объект Золотая Река, созданный скульпторами Сергеем Чобаном и Сергеем Кузнецовым. Около входа в Дом Литераторов установлены и другие арт-объекты.
