Castres-en-Albigenses merupakan sebuah wilayah kepercayaan Vicomte Albi. Para Vicomte Albi memberikan Castres sebuah piagam kota membangun komune dengan kota, dipimpin oleh konsul. Selama Perang Salib Albigensian, kota itu dengan cepat menyerah kepada Simon dari Montfort, yang memberikannya kepada saudaranya Guy de Montfort-Castres.