Датой торжественного открытия музея является 24 июня 1988 года. Но зарождение музея началась, когда в 1952-м году на празднование 150-летнего юбилея Колыванского камнерезного завода была организована выставка нескольких юбилейных изделий — ваз, письменных приборов и кубков.
Здание, в котором находится музей, было сооружено в 1868 году для училища, в котором расположили класс обучения рисованию талантливых мальчиков от 8-ми до 14 лет. Автором проекта здания был управляющий Колоссальной шлифовальной фабрикой И.Злобин. Интересными экспонатами музея являются первые инструменты и приспособления, применявшиеся в камнерезном деле.