Hrad postavený na jeho rozkaz sa mal volať „Otec pri skale“, nadväzujúc na udalosti zo života svojho otca Ladislava Łokietka, ktorý sa vraj v doline Prądnika schovával počas bojov o Krakov s českým kráľom.Táto legenda obsahuje zrnko pravdy: na mieste predchádzajúceho zámku rozkázal Kazimír Veľký postaviť kamenný hrad. Bola to jedna z najdôležitejších pevností na Krakovsko-Čenstochovskej vysočine. Tu mal svoju rezidenciu ojcowský starosta a hrad bol obývaný do konca XVIII. st. (ešte v r. 1787 tu bol prijatý posledný kráľ Poľska Stanislav August Poniatovský), ale po rozdelení Rzeczpospolitej sa z budovy stala zrúcanina. Do dnes sa uchovali fragmenty múrov, ako aj jednej bašty a taktiež brána s vežou, v ktorej sa nachádza malá muzeálna izba.