W 1477 roku zamek był skromną budowlą, którą w XVII wieku zniszczyli Szwedzi. W 1778 roku kupił go ostatni starosta zatorski Piotr Dunin. Obiekt częściowo przebudowano i nadbudowano drugie piętro. Kolejni właściciele pałacu i dóbr zatorskich, Poniatowscy, Tyszkiewiczowie, Wąsowiczowie i Potoccy, wielokrotnie go przebudowywali. W 1836 roku Potoccy ostatecznie nadali mu obecny kształt. W 1939 roku zamek zajął i obrabował Wehrmacht. Wcześniej potomkowie Maurycego Potockiego wywieźli część słynnego wyposażenia, wspaniałe dzieła sztuki i pamiątki narodowe. W 1945 roku zamek zamieniono na magazyn zbożowy, później na koszary, był też siedzibą Instytutu Zootechniki, a ostatnio Rybackiego Zakładu Doświadczalnego. W latach 1964–1973 został wyremontowany. Gmach zbudowany jest na planie prostokąta ma trzy kondygnacje i wysuniętą na zewnątrz wieżę, która jest najstarszą częścią z gotyckiego zamku. Przy krótszych bokach umieszczono loggię i budynek gospodarczy. Neogotycki charakter zamku podkreślają blanki na wieży i bramie, portal wejściowy i dekoracje wokół gzymsu i okien. Zachowało się bogate zdobienie sal: myśliwskiej, złotej, paprociowej i bluszczowej. Ostrołukowe sklepienia, cenne freski i sztukaterie w stylu pompejańskim dzieła Włocha Liattiego oraz marmurowe kominki. Obecnie pałac jest w rękach Potockich i jest niedostępny dla turystów.