Das Schloss Baraing wurde ab 1883 auf einem Felsvorsprung errichtet, der den alten Ortskern von Pont‑Saint‑Martin überragt. Es wurde vom Arzt und Philanthropen Dr. Pietro Annibale Baraing in Auftrag gegeben, einer bedeutenden Persönlichkeit der lokalen Geschichte.

Der Bau entstand im neugotischen Stil, entsprechend dem Zeitgeschmack, und zeichnet sich durch einen viereckigen Grundriss mit Türmen, Zinnen und Biforienfenstern aus. Ursprünglich war das Gebäude von einem großzügigen Garten mit Gewächshäusern und Brunnen umgeben. Die Bauarbeiten wurden bis 1893 abgeschlossen.

Im Jahr 1931 wurde das Schloss aufgrund einer testamentarischen Verfügung seiner Ehefrau Delfina Bianco der Gemeinde Pont‑Saint‑Martin geschenkt, die es als Rathaus nutzte. Vom Ende des Zweiten Weltkriegs bis zu den frühen 1960er‑Jahren beherbergte es die Regionale Berufsschule.

Nach einer Phase des Verfalls wurde das Gebäude restauriert und dient heute als Sitz der Unité des Communes valdôtaines Mont‑Rose, womit es weiterhin eine öffentliche und institutionelle Funktion erfüllt.