Pierwotna warownia zbudowana w XV wieku przez kasztelana sądeckiego Piotra Myszkowskiego, składająca się z drewnianego budynku na planie prostokąta otoczonego murem z basztami w narożach, została najechana i zniszczona na przełomie XV i XVI wieku. W XVI wieku biskup krakowski Wawrzyniec Myszkowski zbudował w tym miejscu gotycko-renesansowy zamek. W 1630 roku przebudowano go z zatarciem wcześniejszych cech architektonicznych. Tak powstała piętrowa, wczesnobarokowa rezydencja z trzema skrzydłami otaczającymi prostokątny, arkadowy dziedziniec domknięty z czwartej strony murem, z dwiema kwadratowymi basztami od frontu. Z trzeciej nieukończonej wieży z XVIII wieku pozostały tylko fundamenty. Pałac wielokrotnie później zmieniał właścicielami, byli nimi: Opalińscy, Lubomirscy i Potoccy. Ostatnim w latach 1872–1908 był hrabia Adam Potocki, który na stawach rybnych istniejących już w okolicy zamku, rozwinął gospodarkę rybacką. Hodowany tu karp w 1900 roku zdobył Grand Prix międzynarodowej wystawy w Paryżu. Po drugiej wojnie światowej zrujnowany i spalony obiekt upaństwowiono. Od lat 70. do 90. XX wieku remontowano go, by przywrócić mu kształt z XVII wieku, i przystosowano na siedzibę krakowskiego oddziału Archiwum Państwowego. We wnętrzach zachowały się późnogotyckie, renesansowe i barokowe kamienne portale.