André Séguron, historien local, a trouvé la mention de la forteresse des Salles dans une reconnaissance féodale par Guy de Villaret en 1299. A la fin du XIIIe siècle, c'était déjà une ancienne construction. Ce serait là la seule mention trouvée de cette forteresse.
D'après les gens du pays, la forteresse se trouvait derrière l'école (qui n'existe plus), au bord du chemin qui descendait à l'Herbouzac et à Fabrèges.
La forteresse n'existe plus, mais certaines de ses pierres existent encore çà et là, comme la pierre gravée d'une croix des templiers et qui se trouvait à l'entrée de la forteresse. Cette pierre se trouve actuellement dans une propriété privée de l'Herm. Vous pouvez voir sa photo en illustration.