Założycielami Gorlic i pierwszymi właścicielami dworu była rodzina krakowskich mieszczan o nazwisku Karwacjan, o których wzmianka pojawiła się w księgach miejskich w 1324 roku. Miasto założył Dersław I Karwacjan, właściciel między innymi kilku krakowskich kamienic, kopalni ołowiu i srebra oraz zamku w Janowicach, który około połowy XIV wieku kupił Gorlice od króla Kazimierza Wielkiego. Po nim miasto odziedziczył syn Dersław II.

Dynamiczny rozwój Gorlic na początku XV wieku wymusił rozplanowanie nowego rynku i działek budowlanych, wtedy też powstała najstarsza część dworu, czyli wieża dworska, budowla z długą piwnicą, być może będąca magazynem wina położonym na skarpie nad żeglowną rzeką. Do niej w XV wieku dobudowano kwadratową wieżę, podpiwniczoną z piętrem ze strzelnicami oraz drewnianym poddaszem. Kamienny dwór był wieżą mieszkalno-obronną i siedzibą szlachecko-rycerską, uzupełniał też system obronny miasta. W połowie XVI wieku, po śmierci ostatniego z rodu Karwacjanów Gorlice odziedziczyli Straszowie. W czasie wojny w 1915 roku zbombardowany dwór spłonął, do 1928 roku jego mury rozbierano na potrzeby odbudowy okolicznych domów. W 1938 roku zaczęto zabezpieczać pozostałości dworu, który częściowo odbudowano dopiero w latach 70. XX wieku.

Całkowita odbudowa, na podstawie archiwalnych fotografii, miała miejsce w latach 1982–1992, według projektu architekta Krzysztofa Filara. Wystrój architektoniczny i zagospodarowanie otoczenia wykonał Zdzisław Tohl. Dziś we dworze zagościła galeria sztuki. W przyziemiu można zobaczyć pozostałości dworu z początku XV wieku i z XVI wieku. W kamiennych piwnicach mieści się kawiarenka, na piętrach sale wystawowe, duża imienia księdza Bronisława Świeykowskiego, komisarycznego burmistrza miasta w latach 1914–1915, i mniejsza imienia profesora Włodzimierza Kunza, rektora Akademii Sztuk Pięknych w Krakowie i Honorowego Obywatela Gorlic.

Galeria Sztuki Dwór Karwacjanów jest najstarszą placówką Muzeum Dwory Karwacjanów i Gładyszów, w której poza salami ekspozycyjnymi jest też niewielki hotelik oraz pomieszczenia administracyjne i magazynowe. Galeria ma profil edukacyjny, są w niej prowadzone lekcje i spotkania artystów z młodzieżą, wyświetlane są filmy o sztuce i organizowane warsztaty różnych dyscyplin i technik plastycznych. Na młodzież czekają tu pożyteczne edukacyjnie i rozwijające duchowo podróże w dawny świat. W ciągu ponad trzydziestu lat działalności, w Galerii zaprezentowano ponad 800 wystaw malarstwa, grafiki, rzeźby, fotografii artystycznej i innych współczesnych form twórczości.

W 2005 roku, w 650. rocznicę lokacji miasta, przed budynkiem odsłonięto pomnik Dersława I Karwacjana.