Un château fort était déjà construit dès le XIIème siècle, à mi-pente sur la colline de Mussy là même où les troupes de renfort de Vercingétorix s'étaient cantonnées lors du célèbre siège d'Alésia.
Rare témoignage de la petite architecture militaire du Moyen Age, la maison forte de plan polygonal comporte un fortin du XIIIème siècle, dite grenier du Judas, qui révèle le caractère défensif de l'ensemble. Le chevalier Ponce de Mussy y reçoit le duc Eudes en 1316.