Zgromadzone na wystawie zbiory malarstwa i broni do 1939 roku znajdowały się w Pałacu Habsburgów w Żywcu i były własnością Karola Stefana Habsburga (1860-1933). Jego kolekcja prywatna liczyła blisko tysiąc obrazów, rycin i drzeworytów, niestety nie oszczędziła jej burza dziejowa. Jej część będącą obecnie własnością prywatnego depozytariusza, można oglądać w dwóch salach ekspozycyjnych muzeum.