1477 war das Schloss ein bescheidenes Bauwerk, das später im 17. Jahrhundert von den Schweden zerstört wurde. 1778 kaufte es Piotr Dunin, der letzte Starost von Zator. Das Objekt wurde teilweise umgebaut und um ein zweites Stockwerk erhöht. Weitere Eigentümer des Schlosses und der Güter von Zator, nämlich die Familien Poniatowski, Tyszkiewicz, Wąsowicz und Potocki, bauten das Anwesen mehrfach um. Die Potockis gaben ihm 1836 seine gegenwärtige Form. 1939 nahm die deutsche Wehrmacht das Schloss ein und raubte es aus. Zuvor hatten die Nachkommen von Maurycy Potocki einen Teil der berühmten Ausstattung, herrliche Kunstwerke und nationale Andenken, fortgeschafft. 1945 wurde das Schloss in ein Getreidelager verwandelt, später in eine Kaserne. Es war auch Sitz eines Instituts für Tierhaltung und zuletzt eines Versuchsbetriebs für Fischerei. In den Jahren 1964–1973 wurde es renoviert. Das Gebäude hat einen rechteckigen Grundriss und drei Stockwerke. Vorne steht der Turm, der den ältesten Teil des gotischen Schlosses bildet, etwas hervor. An den kürzeren Seiten wurden eine Loggia und ein Wirtschaftsgebäude platziert. Die neugotische Bauweise des Schlosses betonen die Zinnen auf dem Turm und dem Tor, das Eingangsportal sowie die Dekorationen ringsum Gesims und Fenstern. Erhalten geblieben sind die reiche Verzierung des Jägersaals, des Goldenen Saals, des Farnsaals und des Efeusaals. Die spitzbogigen Gewölbe, die wertvollen Fresken und die Stuckdekorationen im pompejanischen Stil sind Werke des Italieners Liatti. Außerdem gibt es Marmorkamine. Gegenwärtig befindet sich das Schloss im Besitz der Familie Potocki und ist für Touristen nicht zugänglich.