Ligeramente elevado con respecto a la iglesia de Santa María Magdalena, ubicado en un lugar dominante, se encuentra el castillo de los señores de La Tour de Villa.
El ancestro de esta descendencia fue Guido, mencionado en un pacto de alianza con el Conde de Saboya, concerniente a la toma de la roca de Bard en 1242. El último descendiente masculino fue Grat Philibert de La Tour, quien falleció en 1693. El escudo de armas de la familia representa un león dorado, con garras y lengua roja, rampante sobre un escudo negro, acompañado de la frase “Praecibus et Operibus” (con las oraciones y las obras). Después, el castillo fue heredado por los Aymonier y los Carrel y terminó funcionando como refugio para los pobres de la parroquia de Saint Laurent en Aosta, tomando así el nombre de Tour des pauvres. Caído en la ruina, fue vendido en el año 1864 a Vincent Carlin quien, a su vez, lo vendió en 1885 al obispo de Aosta de aquella época, Auguste Duc, quien lo restauró y convirtió en su propia residencia de verano. En 1921, el castillo pasó a manos de los barones Gerbore di Saint-Nicolas y, desde 1945, pertenece a una familia de Milán.

Originalmente, el castillo de La Tour de Villa comprendía casi en su totalidad la torre central.
Los trabajos de restauración no han reconstruido las partes occidental y norte, dejando espacio para un bonito patio con vista a la llanura.
Hoy en día, el complejo se presenta en dos partes muy diferentes: por un lado, la torre del siglo XII, y, por otro lado, la parte habitada cuya estructura presenta una forma semicircular que data del siglo XV. La torre, cuya base es cuadrada, se levanta en el centro de los edificios ubicados sobre una roca que surge de la tierra. Las altas dovelas están colocadas en la base de la estructura de los muros, especialmente en los ángulos. Ésta se abre hacia el exterior mediante dos puertas, ambas situadas en el lado norte: la puerta original se encuentra a una altura de aproximadamente 7,40 m con un sólido marco; la otra, a la que se accede a través de una doble escalera, fue abierta durante los trabajos de restauración del siglo XIX.
En el interior, la torre está subdividida en tres pisos con un granero de madera, al que se accede mediante una escalera de caracol. Una plataforma de plomo conforma el techo de la torre almenada y un magnífico mirador. La zona habitada, que presenta ventanas geminadas de excepcional confección, está estructurada en tres pisos. Las habitaciones siguientes presentan un aspecto particular: la sala de recepción con su salón monumental, la capilla que presenta pinturas de los Artari, la sala de los escudos de armas, donde están representados los blasones de las principales familias nobles de Valle d’Aosta que se lucen debajo del escudo de armas de la Casa de Saboya.