La tour-porte précédée des vestiges de la barbacane formée de murs crénelés. A gauche, on devine un fossé, aujourd’hui comblé.
En 1569 siècle, le château est incendié par les troupes de Coligny. Plusieurs bâtiments sont détruits : tour sud-est, chapelle, logis, toit de la tour-porte, écurie
A la suite de cela, une chapelle était réservée aux seigneurs dans l’église Saint-Pierre. Elle se trouvait à l’emplacement de la sacristie actuelle. Les seigneurs pouvaient y accéder directement par une petite porte située dans le mur gouttereau nord, après avoir descendu l’escalier reliant la rue du château à celle du dépôt à sel.