Открытие музея состоялось в 1938 году, но формирование собрания имеет более давнюю историю. Еще в начале ХХ века в Ростове — на — Дону было создано Ростово — Нахичеванское общество изящных искусств, на выставках которого экспонировались произведения художников из разных городов России, вошедшие затем в частные коллекции местных меценатов, а после революции, поступившие в музей.
С 1 мая 1920 года музей работал как Донской областной музей искусства и древностей, с 1927 — в составе краевого музея народов Северного Кавказа, в 1934 — 1936 не функционировал, с 1937 — на правах отдела Ростовского областного музея краеведения. У истоков создания музея стояли художники М. С. Сарьян и Л. Д. Силин, писательница М. А. Шагинян. С первых лет существования музейная коллекция пополнялась экспонатами из центральных музеев страны — Третьяковской галереи, Эрмитажа, Русского музея.
В январе 1942 г. коллекция была эвакуирована в Пятигорск, где была разграблена немецкими войсками. В течение послевоенных лет некоторые из похищенных картин постепенно возвращались музею, но всю довоенную коллекцию так и не удалось восстановить. Вторично музей открылся в июне 1946 года, в отведенных для него комнатах Ростовского художественного училища имени М. Б. Грекова. C 1958 г. занимает здание, построенное в 1898 г. по проекту архитектора Н. А. Дорошенко для известного адвоката А. П. Петрова.
В камерных залах с замечательной по красоте потолочной лепниной, в прошлом – жилых комнатах владельцев дома, разместилась постоянная экспозиция музея Раздел, посвященный древнерусскому искусству, представлен иконами московской школы живописи позднего периода ХVI — ХVII вв., иконописи ХVIII — ХIХ вв., собранными во время экспедиций по деревням средней полосы России, близ г. Владимира и коллекцией «северных писем» из Архангельской области, собранных в 1950-е гг. ростовским архитектором Пьянковым.
Коллекция произведений русского искусства занимает в собрании ведущее место. В залах музея можно увидеть работы известных мастеров ХVIII — ХХ столетий: А. Антропова, К. Брюллова, И. Репина, И. Крамского, В. Сурикова, И. Айвазовского, И. Левитана. В музее имеется очень целостная коллекция произведений К. Коровина из 9 работ, созданных в период расцвета его творчества. В отделе искусства ХХ века представлены произведения Ю. Пименова, Г. Нисского, А. и С. Ткачевых, А. Лактионова, И. Машкова, Л. Стуканова, В. Вейсберга, Т. Теряева, В. Кошлякова, А. Тер — Оганьяна и многих других. Большое место в фондах музея занимают работы донских художников.
В настоящее время музей занимает два здания: одно из них расположено в историческом центре, на одной из красивейших улиц города – Пушкинской. Старинный особняк за ажурной оградой был построен в 1898 г. известным ростовским архитектором Н. А. Дорошенко и до революции принадлежал юристу Управления Владикавказской железной дороги А. А. Петрову.
В 2009 году завершилась реконструкция отдела музея — Детской художественной галереи (пр. Чехова, 60). Были открыты залы западно — европейского искусства и зал, предназначенный для сменных выставок современного искусства. Коллекция зарубежного искусства отражает основные процессы развития искусства XVII — XIX вв. в странах Западной Европы. В его фондах представлены все основные европейские школы этого периода: итальянская, голландская, фламандская, французская, немецкая. Среди них — произведения караваджиста М. Прети, венецианца Дж. Карпионе. Украшает коллекцию полотно мастерской П. П. Рубенса. Интересны произведения французских художников XVII в. Ж. Ф. де Труа «Пейзаж с фигурами», А. Пена и др.
В открытом хранении находится искусство народов Востока, представленное такими произведениями, как фарфор, резная кость, табакерки Китая XVIII века, редкие лубки и японские нэцкэ. Украшением восточной коллекции служат две каменные скульптуры близнецов — небожителей, датируемые XII столетием. Весь четвертый этаж занимают отдел хранения и реставрационная мастерская.
