L'église est bâtie au XIIe siècle et reste le principal édifice religieux d'Albi jusqu'au XIIIe siècle, lors de l'érection de la cathédrale Sainte-Cécile .
Le cloître attenant est construit au XIIIe siècle.
L'église est classée au titre des monuments historiques en 1846 ; la galerie du cloître l'est en 1922.
Une vraie forteresse cette église Saint-Salvy est malheureusement trop entourée d'autres constructions gâchant le coup d'oeil d'ensemble.