Здание построено в 1848 году. Принадлежало крупному домовладельцу Таганрога — Н. Д. Алфераки. Дворец Алфераки был центром культурной жизни города.