Sa construction sur un rocher dominant le vieux village a commencé en 1883, à l’initiative du docteur Pietro Annibale Baraing, l’une des figures importantes de Pont-Saint-Martin.
De style néogothique, courant à l’époque, il fut entouré d’un vaste jardin avec des serres et des fontaines, et fut achevé en 1893.
En 1931, il fut légué à la commune de Pont-Saint-Martin qui en fit le siège de la mairie ; de l’après-guerre au début des années 60, il a accueilli le bureau d’insertion professionnelle.
Après plusieurs années d’abandon, il a été restauré et abrite aujourd’hui la Communauté des Montagnes Mont Rose.