Obecny pałac stoi na miejscu drewnianego dworu, krytego papą z kolumnowym gankiem, po raz pierwszy wzmiankowanego w 1844 roku. W 1880 roku folwark w Rabie Wyżnej kupiła Maria z Borowskich Zduniowa, żona doktora Jana Zdunia. W 1893 roku majątek przejął ich syn również Jan, a następnie znacznie go rozbudował i zmodernizował. W majątku pod koniec XIX wieku działała fabryka wódek zdrowotnych, głównie winiaków. Później pałac odziedziczyła córka Jana Zduniu – Wanda, która w 1917 roku poślubiła Kazimierza Głowińskiego, cesarsko-królewskiego komisarza powiatowego w Nowym Targu. Rodzina Głowińskich zasłużyła się w dziejach wsi. Gospodarze pobudowali tu młyny, tartaki, warsztaty tkackie i olejarnie, w których zatrudnienie znaleźli okoliczni mieszkańcy do tej pory zajmujący się rolnictwem. Od 1934 roku we dworze był elegancki pensjonat dla zamożnych letników. Gościli tu miedzy innymi generał Józef Haller, kartograf Eugeniusz Romer czy prawnik, profesor Uniwersytetu Jagiellońskiego Fryderyk Zoll.

W czasie II wojny światowej we dworze działała komórka konspiracyjna AK oraz prowadzono tajne nauczanie. Od 1943 roku majątkiem zarządzali Niemcy., a od początku 1945 roku stacjonował sztab wojsk radzieckich. Po wojnie w upaństwowionym majątku przez kilkadziesiąt lat miały siedzibę różne instytucje, najpierw Instytut Zootechniki, od 1975 roku Ośrodek Hodowli Zarodowej Osiek – Gospodarstwo w Rabie Wyżnej. W latach 1980–1983 wykonano kapitalny remont dworu z zachowaniem dawnego wyglądu zewnętrznym i wystroju wewnątrz. Utworzono w nim Dom Wczasowy Raba dla pracowników Państwowego Ośrodka Hodowli Zarodowej. W 1993 roku majątek przejęła Agencja Własności Rolnej Skarbu Państwa, w 1985 roku wpisano go do rejestru zabytków.

Potomek rodziny Głowińskich w 1999 roku odzyskał dwór. Obecnie jest on w bardzo złym zaniedbany i wymaga remontu. Można go zwiedzać tylko z zewnątrz.

Dwór w rozległym parku krakowski architekt Konrad Kuhla, docent Uniwersytetu Jagiellońskiego, zaprojektował w duchu modnego historyzmu. Na wieży znajduje się data budowy i nazwisko architekta. To malowniczy, murowany budynek o nieregularnym planie, parterowy z piętrowymi skrzydłami, podpiwniczony, kryty blaszanymi dachami dwuspadowymi i czterospadowymi. W narożniku frontowej fasady znajduje się kwadratowa, trzykondygnacyjna wieża kryta wysokim, czterospadowym daszkiem. Fasadę zdobią nieregularnie rozmieszczone okna zamknięte półokrągłymi łukami i żeliwne balustrady oraz przeszklone loggie, schody i tarasy.

Wokół pałacu rozciąga się park krajobrazowy założony na początku XX wieku, przed pałacem zachowały się ślady dawnego podjazdu i pozostałości fontanny.

Pałac był częścią kompleksu, w którego skład wchodziła: oranżeria-palmiarnia z 1917 roku, spichlerz, czworak, dziś mieszczący mieszkania lokatorskie, oraz drewniana stodoła z podjazdami na piętro i inne budynki gospodarcze.