Przy szlaku handlowym na Węgry, na cyplu dawniej otoczonym zakolem Dunajca już w XIII wieku stała pierwsza strażnica rodu Gryfitów. Kamienny, niewielki, gotycki zamek rycerski, składający się z domu mieszkalnego i dziedzińczyka otoczonego murem, w latach 1336–1370 wznieśli rycerze z rodu Rożenów herbu Gryf. W 1409 roku przeszedł on w ręce Piotra Kurowskiego, od 1426 roku należał do Zawiszy Czarnego z Garbowa, zaufanego króla Władysława Jagiełły i bohatera bitwy pod Grunwaldem z 1410 roku, a później do jego potomków. Kolejnymi właścicielami w XVI wieku byli Wydżgowie i Tarnowscy. W XVI i XVII wieku opuszczony zamek popadł w ruinę. Do dziś zachowały się zaniedbane fragmenty murów obwodowych i zabudowy wewnętrznej. Gdy zamek górny stał się zbyt mały, jego właściciel hetman wielki koronny Jan Tarnowski w 1560 roku, w dolinie nad brzegiem Dunajca rozpoczął budowę renesansowego zamku dolnego, a zamek górny całkiem opuszczono. Powstał budynek bramny połączony murem kurtynowym ze strzelnicami z kamiennym, pięciobocznym beluardem, przystosowany do użycia broni palnej, o murach grubości do 3 metrów. Jan Tarnowski był prawnukiem Zawiszy Czarnego i teoretykiem sztuki wojennej. Jego forteca miała być jedną z najnowocześniejszych w ówczesnej Polsce, ale po śmierci hetmana w 1561 roku, budowli nie ukończono. Później w beluardzie mieściły się: ludwisarnia, zbór braci polskich i gorzelnia. W 2014 roku ruiny przeszły w ręce prywatne, a założona przez właścicieli fundacja miała je częściowo zrekonstruować. W latach 2015–2016 w trakcie prac archeologicznych odkryto bruk na dziedzińcu zamkowym. W planie było odtworzenie wieży zamkowej, obrysu murów i układu pomieszczeń oraz wykorzystanie nowoczesnej architektury do wyeksponowania dokonanych na zamku odkryć i urządzenie sali muzealnej, tak by zamek był atrakcją turystyczną i miejscem organizacji imprez rycerskich. Plany czekają na realizację.