Краеведческий музей Калуги находится в усадьбе купцов Золотаревых на западной стороне Березуйского оврага. Роскошный особняк построен в классическом стиле в начале 19 века. Губернский Музей Калуги основан в 1897 году и вначале располагался небольших палатах Купца Коробова. В 1922 году коллекция музея увеличилась, и музей перенесли в Дом Золотаревых.
Купцы 1 гильдии Петр и Иван Золотаревы были одними из самых богатых людей Калуги в 19 веке. Петр Золотарев в 1814 году даже избирался городским мэром. Они очень многое делали для родного города и их очень уважали здесь. Даже Император Александр I давал купцам личные положительные характеристики.
После пожара в Калужском Кремле реконструкцию центра города поручили архитектору Петру Никитину, который подготовил генеральный план. На месте сгоревшего Кремля в 1786 году заложили Троицкий кафедральный собор. С восточной стороны Кремля на площади Старый Торг снесли хаотичную застройку купеческих лавок и построили Гостиный двор.
Над Березйским оврагом в 1786 году построили Каменный Мост в виде римского акведука, который сделал разные районы города более связанными. На противоположной стороне оврага братья Золотаревы построили великолепный особняк, который жители Калуги называли дворцом. Они здесь не жили, а сделали его домом для приемов императоров и членов императорской семьи. И действительно в нем останавливались императоры и великие князья во время визитов в Калугу. Улица, на которой располагается особняк Золотаревых, сейчас называется улицей Пушкина, а раньше она называлась Золотаревская.
В Краеведческом музее Калуги интерес представляют не только коллекции, но и исторические интерьеры. Позади дома находится большой двор и флигеля. Залы на первом этаже краеведческого музея посвящены природе и геологии Калужской области. На второй этаж можно подняться по красивой парадной лестнице. В залах второго этажа находятся интересные экспозиции, посвященные истории и этнографии Калуги. В Парадной гостиной и Танцевальном зале воссозданы исторические интерьеры.