L'abbaye était située dans l'actuel parc Lebret, au XVe siècle un château s'y établit.

Il fut reconstruit au XVIIIe siècle pour devenir propriété en 1838 de M. Le Bret, régisseur gérant de la compagnie des Mines de Denain et de la Compagnie des mines d'Anzin.

Ses héritiers vendirent en 1924 le château à la Société française de constructions mécaniques. En 1978 la ville de Denain fit l'acquisition pour le franc symbolique de ce patrimoine immobilier comprenant le parc et le château.