De Abdij van Averbode had al sinds de 15e eeuw een refugiehuis te Diest, waar de Norbertijen tijdens woelige tijden heen konden vluchten. Het huidige refugiehuis van Averbode werd grotendeels gebouwd tijdens de 16e eeuw. De bouwstijl van het refugiehuis is typerend voor de demervallei dankzij de traditionele metselwerken van baksteen en zandsteen.
Na de Franse Revolutie werd de streek bezet en later ingelijfd door de Fransen. Diest was toen een Franse stad, met franse staatsburgers en franse wetten. De afschaffing van de heerlijkheden en scheiding tussen kerk en staat resulteerde in de confiscatie alle religieuze eigendommen. In de winter van 1795 en 1796 werden de geestelijken uit Diest verjaagd en werd het refugiehuis eigendom van de Franse Staat. Maar omdat deze in geldnood zat werden de eigendommen al snel weer verkocht als prive-bezit en vaak voor zéér gunstige prijzen. In 1797 werd het refugiehuis dan ook verkocht aan particulieren.
Tot enkele jaren geleden werd het herenhuis bewoond door de inmiddels overleden bekende vlaming Dré Steegmans, beter bekend als Felice. Ook tv-chef Jeroen Meus maakte dankbaar gebruik van dit prachtige gebouw en kookte hier 2 jaar lang voor de opnames van zijn bekende kookprogramma “Dagelijkse Kost”.