Grundlaget er skabt af de to brødre Jens og Anders Markussen, der var sønner af Inger Marie og Markus Markussen. Jens Markussen overtog Vroldgaard efter sin fars død i 1942. Jens havde en stor interesse i egnens historie og indsamlede ca. 1000 brugsgenstande, redskaber og maskiner.

Der er to markante artefakter i Jens Markussens samling, nemlig egetræsskrinet, som har tilhørt falskmøntnerne fra Midtjylland i 1770'erne, og endelig 4 spyd der er produceret af Hjortsvang-smede under "Den gale onsdag" i 1848.

Jens Markussen døde i 1964, hvorefter hans bror Anders overtog de mange fremvisninger i samlingen på Vroldgaard. I 1983 overdrager Anders Markussen Vroldgaard med samlingen til Tørring-Uldum Kommune med den klausul, at der skal drives et museum.

Den selvejende institution Hjortsvang Museum så dagens lys kort efter og fortsatte med indsamling af genstande. Museet har siden åbningen fået tilført 5 huse fra Tørring, Hornborg, Honum og Hatting. Museet råder i dag over ca. 7.000 registrerede genstande.