Cette position stratégique et la richesse du territoire ont fait l’objet de nombreuses convoitises et, si l’édifice a pu être assiégé, il n’a jamais été pris par la force.
En effet, le piton rocheux d’une soixantaine de mètres au-dessus de la ville permet une surveillance et une défense efficaces. 

Tantôt résidence seigneuriale, caserne, prison et musée, les « vies » de cet édifice défensif lui ont permis de demeurer.
Régulièrement entretenu au fil de siècles puis restauré, ce château est dans un excellent état de conservation.

Aussi, en faisant le chemin de ronde ou en flânant sur les terrasses verdoyantes, vous remarquerez les mâchicoulis, les meurtrières, les murs crénelés ou encore les impressionnantes tours caractéristiques de cette architecture médiévale.