Архитектура дворца Алфераки представляет собой образец пышного южного необарокко. Здание украшают четыре коринфских колонны с классическими капителями. В центре фронтона помещен дворянский герб Алфераки. Крыша обрамлена балюстрадой. Внутри здания — мраморная лестница c 41 ступенями. Выходная дверь на бельведер украшена пилястрами с классическими капителями. В парадный зал ведет легкая арка. Зал состоит из трех отделений. В центральном отделении к центру потолка тянутся дуги, между которыми находятся фрески — медальоны из жизни версальских салонов эпохи Людовика XIV, XV и XVI: дамы и кавалеры в париках и роскошных костюмах. Орнаменты всех отделений зала выдержаны в стиле рококо.
В 1989—1996 годах в здании были проведены реставрационные работы. В 1995—1996 годах в музее создана ныне действующая экспозиция. Экспозиция музея занимает 13 залов. Экспонаты разделены по коллекциям и представлены несколькими категориями: «Археология», «Металл», «Оружие», «Керамика», «Стекло», «Ткани», «Живопись», «Скульптура», «Нумизматика»[3]. В археологической коллекции музея находится около 78 580 экспонатов. Экспозиция формировалась материалами раскопок памятников культуры каменного века на территории Северо-Восточного Приазовья. Часть археологических находки таганрогский музей получил в 1903 году в дар от Императорской Археологической комиссии. Наиболее полными для юга России являются материалы музея из раскопок, относящихся палеолиту и неолиту. Материалы раскопок курганов в Северо-Восточном Приазовье, в районе междуречья Маныча и Сала, показывают заселение кочевых обществ в III—II тыс. до н. э.
В конце 1870-х годов весь квартал с дворцом перешел во владение купцу Д. А. Негропонте, который распродал имение по частям. Дворец с садом купило купеческое общество для клуба «Коммерческое собрание». Во дворце устраивались концерты. На одном из них (концерт с участием профессора Петербургской консерватории Л. С. Ауэра и композитора С. И. Танеева) был А. П. Чехов. Клуб посещал и П. И. Чайковский, когда был в Таганроге. Жизнь дворца, атмосфера его клуба, прогулки в саду запечатлены в рассказах Чехова «Ионыч», «Маска», «Моя жизнь»[1]. В конце XIX века, 22 июня 1898 года, по инициативе А. П. Чехова в городе Таганроге был создан Историко-краеведческий музей. В первые годы Советской власти в здании дворца Алфераки размещались административные учреждения. В 1927 году здание дворца было передано краеведческому музею.