Das auf seinen Befehl hin erbaute Schloss soll er „Vater am Felsen” genannt haben, in Anknüpfung an Ereignisse aus dem Leben seines Vaters, Władysław Łokietek, der sich im Prądnik-Tal versteckt haben sollte, als er mit dem tschechischen König um Krakau kämpfte.In dieser Legende steckt ein Körnchen Wahrheit: das Steinschloss ließ König Kasimir der Große an der Stelle einer früheren Burg bauen. Es war eine der wichtigsten Festungen im Krakau-Tschenstochauer-Juragebiet. Hier residierte der Starost von Ojców und das Schloss war bis Ende des 18. Jh. bewohnt (noch 1787 wurde hier der letzte König von Polen, Stanisław August Poniatowski empfangen), aber nach den Teilungen Polens verfiel der Bau zur Ruine. Bis heute sind Mauerfragmente, Überreste einer Bastei und der Einfahrtsturm, wo sich eine kleine Museumskammer befindet, erhalten geblieben.