Le village de La Tour-sur-Orb se situe dans la haute vallée de l'Orb. D'un point de vue historique, il est le siège d'une construction classée en partie aux monuments historiques. Ce bâtiment, le château de La Tour de Brousson fut jadis la demeure des membres d'une des plus grandes familles de la noblesse des pays d'Orb et Mare : la famille de Thézan du Poujol-Boussagues. Ce château abrita notamment, après les guerres de religions, les abbés commendataires de l'Abbaye de Joncels issus de la famille catholique des Thézan du Poujol, qui le préférent à leur château féodal de Boussagues. L'Abbé commandataire Joseph-Gabriel de Thésan (1645-1686), qui fît bâtir la chapelle intérieure du château de la Tour de Brousson, a été inhumé en 1686 dans l'église Notre Dame de Frangouille, toute proche. On peut observer, pour les éléments classés qui sont visibles de l'extérieur, son clocher, la façade et le fronton. A l'intérieur l'escalier principal en pierre est classé aux monuments historiques. 

Le fronton du Château de la Tour de Brousson