Инициатором создания в Пятигорске музея было Кавказское Горное Общество в 1905 году. Фонд музея состоял из уникальных частных коллекций его организаторов: энтомологической, этнографической, геологической, археологической. Здесь представлена коллекция старинного холодного и огнестрельного оружия. Большой интерес вызывают у посетителей каменные изваяния на открытой площадке. В настоящее время Музей занимает здание бывшей Казенной гостиницы, памятник архитектуры начала ХХ века.