Den Drossaerd werd gebouw eind 18e eeuw in opdracht van de laatste Drossaard van de Stad; Juan de Paramo. De drossaard was de plaatsvervanger van de Heer van Diest en later van de Prins van Oranje-Nassau. Hij werd voor het leven benoemd en stamde soms uit adellijke families. De benaming betekent in het Middelnederlands hofmeester. De naam Drossaard werd enkel in het Hertogdom Brabant gebruikt. Op andere plaatsen werd een soortgelijke functionaris de Meier (regio Leuven) of Schout (regio Antwerpen) genoemd.
Het gebouw werd in de loop van de 19e eeuw gebruikt als jeugdherberg. Momenteel staat het gebouw te koop en wacht het op een nieuwe bestemming.