Die Gründer der Stadt Gorlice und die ersten Besitzer des Gutes war die Krakauer Bürgerfamilie Karwacjan, die erstmal 1324 in den Stadtbüchern erwähnt wird. Die Stadt wurde von Dersław I. Karwacjan gegründet, der unter anderem mehrere Stadthäuser in Kraków, Blei- und Silberminen und die Burg in Janowice besaß und Gorlice um die Mitte des 14. Jahrhunderts von König Kasimir dem Großen erwarb. Von ihm erbte die Stadt sein Sohn Dersław II.

Die dynamische Entwicklung der Stadt Gorlice zu Beginn des 15. Jahrhunderts führte zur Absteckung eines neuen Marktplatzes und Bauparzellen. Zu diesem Zeitpunkt entstand auch der älteste Teil des Herrenhauses, also der Turm, ein Bauwerk mit einem langen Keller, das möglicherweise als ein Weinlager diente, das an einem Hang oberhalb des schiffbaren Flusses lag. Im 15. Jahrhundert wurde ein quadratischer unterkellerter Turm mit einem Obergeschoss mit Schießfenstern und einem Dachboden aus Holz angebaut. Das aus Stein gemauerte Gutshaus diente als ein Wohn- und Wehrturm und war ein Adels- und Rittersitz. Es ergänzte auch die Verteidigungsanlage der Stadt. Mitte des 16. Jahrhunderts, nach dem Tod des letzten Mitglieds der Familie Karwacjan, ging Gorlice in den Besitz der Familie Strasz über. Während des Ersten Krieges 1915 brannte das bombardierte Gutshaus ab, und 1928 wurden seine Mauern abgetragen, um Material für den Wiederaufbau der umliegenden Häuser zu gewinnen. 1938 begannen die Arbeiten zur Sicherung der Überreste des Gutshauses, das erst in den 1970er Jahren teilweise wiederaufgebaut wurde.

Der vollständige Wiederaufbau anhand von Archivbildmaterial erfolgte in den Jahren 1982-1992 nach einem Entwurf des Architekten Krzysztof Filar. Die architektonische Innenausstattung und die Außenanlagen wurden von Zdzisław Tohl gebaut. Heute beherbergt das Gutshaus eine Kunstgalerie. Im Erdgeschoss befinden sich die Überreste eines Gutshauses aus dem frühen 15. und 16. Jahrhundert. Im Kellergewölbe ist ein Café untergebracht, in den Obergeschossen befinden sich die Ausstellungssäle, ein großer, benannt nach Pater Bronisław Świeykowski, dem kommissarischen Bürgermeister der Stadt in den Jahren 1914 bis 1915, und ein kleinerer, benannt nach Professor Włodzimierz Kunz, Rektor der Akademie der Bildenden Künste Kraków und Ehrenbürger von Gorlice.

Die Kunstgalerie Dwór Karwacjanów ist die älteste Einrichtung des Museums Dwór Karwacjanów i Gładyszów, in der sich neben den Ausstellungsräumen auch ein kleines Hotel sowie Verwaltungs- und Lagerräume befinden. Die Galerie bietet im Rahmen ihres Bildungsprofils Unterricht und Begegnungen zwischen Künstlern und Jugendlichen an, es werden Filme über Kunst gezeigt und Workshops zu verschiedenen Kunstdisziplinen und -techniken veranstaltet. Die Jugend kann hier eine Reise in die vergangene Welt unternehmen, die sie bildet und ihren Geist entwickelt. Innerhalb der 30 Jahren nach ihrer Gründung präsentierte die Galerie mehr als 800 Ausstellungen von Gemälden, Grafiken, Skulpturen, Kunstfotografie und anderen zeitgenössischen Kunstwerken.

2005, zum 650. Jahrestag der Verleihung der Stadtrechte, wurde vor dem Gebäude eine Statue von Dersław I. Karwacjan enthüllt.