Al igual que el Fuerte de Bard, también el castillo de Champorcher formó parte del patrimonio de los poderosos señores de Bard hasta la guerra fratricida entre Guglielmo y Ugo en 1212.
Muy poco se sabe de este primitivo edificio: está documentado que fue quemado a instancias de Ugo de Bard, lo que hace suponer que era, en gran parte, de madera, como muchos edificios altomedievales. Probablemente fue reconstruido en el mismo siglo, seguramente antes de 1276, cuando ya necesitaba ser recubierto de tejas de madera. Según la tradición popular, en la Corseria (actual atrio de la iglesia) había un castillo propiamente dicho, con una capilla que después se convirtió en la iglesia parroquial.
Del antiguo edificio queda todavía la torre de planta cuadrada (poco más de seis metros de lado) con almenas en cola de milano que se encuentra al sudoeste de la iglesia. Utilizada durante la Edad Media como torre de vigía, se puede acceder a ella desde una puerta colocada a cuatro metros del suelo a la que, a su vez, se llega por una escalera de tijera .