Музей Изобразительный искусств Калуги создан в 1918. В наши дни коллекция располагается в одном из самых красивых особняков Калуги, который построил купец Билибин. В основу музейной экспозиции легло собрание местного врача и коллекционера Никанора Васильева, и более 50 лет музей находился в его доме.
После национализации картин и предметов искусства в дворянских усадьбах коллекция Музея Изобразительных искусств Калуги быстро росла. В 1969 году коллекцию музея перенесли из дома Никонора Васильева в более просторный особняк Билибина. В нем провели реконструкцию и восстановили интерьеры 19 века. По соседству находится Церковь Рождества Богородицы и Гостиный двор Калуги.
Особняк, где сейчас располагается Музей Изобразительных искусств Калуги, построен в 1809 году в классическом стиле. Проект подготовил архитектор Иван Ясныгин, который в это же время руководил строительством Троицкого кафедрального собора в Центральном парке Калуги. Позже дом Билибина купила семья купцов-старообрядцев Чистоклетовых. Поэтому сейчас его называют Усадьба Билибиных-Чистоклетовых.
В Музее изобразительных искусств собрана большая коллекция картин известных русских художников 19 века: Ивана Шишкина, Василия Поленова, Алексея Саврасова, Василия Сурикова, Виктора Васнецова, Исаака Левитана, Ивана Айвазовского и многих других. Также здесь есть скульптуры и предметы домашней утвари.
В музее можно посмотреть несколько картин Николая Ярошенко, который свои последние годы жил в Кисловодске. Картины Ярошенко привезли в музей Калуги из усадьбы Павлищев Бор, которая принадлежала Василию Ярошенко, родному брату Николая Ярошенко.
