El castillo de Ussel, situado sobre un prominente y escarpado promontorio, domina la población de Châtillon desde el sur.
Constuido por Ebalo de Challant hacia la mitad del siglo XIV (dato que ha sido confirmado por el análisis dendrocronológico), el castillo de Ussel representa un paso adelante en la arquitectura militar valdostana. En efecto, se trata del primer ejemplo en el Valle de Aosta de castillo monobloque, la última fase evolutiva del castillo medieval, paso intermedio entre el castillo de Fénis, de la misma época, y las rígidas formas del castillo de Verrès. Después de pasar varias veces de los Challant a los Saboya y viceversa, el castillo se utilizó como prisión, hasta que cayó en el abandono más completo. En 1983, el barón Marcel Bich, tras haber comprado el castillo a la familia Passerin d’Entrèves, herederos de los Challant, lo donó al gobierno regional, que se ha encargado de su restauración y lo ha transformado en sede de exposiciones.

Con su planta rectangular de notables dimensiones, el castillo presenta también el exterior sólidos muros con una franja superior de pequeños arcos ciegos ausentes en el lado norte y bellísimas ventanas bíforas, diferentes entre sí, con decoración de motivos florales y geométricos. En las esquinas del lado sur (hacia la montaña), se encuentran dos torretas cilíndricas salientes, originalmente comunicadas entre sí por un camino de ronda protegido por una almena. También la entrada se encuentra en el lado sur, sobre una buhedera. El lado norte, que mira a Châtillon, presenta dos torres cuadradas ligeramente salientes; entre ellas se yergue el torreón, elemento simbólico del poder del señor feudal. En el interior, se conservan las monumentales chimeneas con grandes ménsulas, situadas a lo largo de una misma línea ascendente para así poder servirse todas de un único humero; hay también restos de las escaleras y de la división en pisos.
Al comienzo de la restauración, el castillo estaba prácticamente en ruinas pero un estudio arqueológico puntual permitió identificar y reintegrar las lagunas. Junto a los almenados se ha preparado un sugestivo recorrido peatonal, desde el cual el visitante puede apreciar la llanura de Châtillon con sus edificios históricos.