W XIII wieku rycerz z rodu Gierałtów-Ośmiorogów, Wojsław lub jego syn Dobrosław, zbudował warownię, o której pierwsza wzmianka pochodzi z 1231 roku. Zamek od XIII do XVIII wieku wielokrotnie zmieniała właścicieli. Strzegł on tak zwanej Bramy Sądeckiej, którą prowadził ważny wodny i lądowy szlak handlowy na Węgry. Jego właściciele próbowali przejąć kontrolę nad szlakami i trudnili się rabunkiem towarów spławianych Dunajcem.

W XIV wieku drewniane zabudowania zamkowe otaczał piaskowcowy mur obwodowy na planie czworoboku, grubości około 2 metrów i wysokości 5,5 metra, z krenelażem ze strzelnicami wzdłuż strażniczego ganku i bramą, do której prowadził drewniany most zwodzony. Na przełomie XIV i XV wieku od południa postawiono gotycki murowany budynek, następnie pięciokondygnacyjną wieżę obronną o murach grubości do 3 metrów. W XVI wieku od północny powstała reprezentacyjna rezydencja i nowa brama od zachodu z drewnianym pomostem. W tym czasie mieszkający na zamku burgrabiowie urządzali pirackie napady na kupców wożących towary szlakiem handlowym. Zbrojna napaść na zamek właścicieli sąsiedniego Rożnowa, w 1574 roku ukróciła ten proceder i doszczętnie go zrujnowała. Od tamtego czasu nieodbudowany zamek był siedzibą zbójników, później opuszczony popadł w zupełną ruinę.

W 1863 roku sądecki historyk Szczęsny Morawski przeprowadził na zamku pierwsze wykopaliska archeologiczne.

W 1970 roku właścicielem ruin został Andrzej Benesz, ówczesny wicemarszałek sejmu. W latach 90. XX wieku na stromym cyplu oblanym z trzech stron wodami Dunajca, zrekonstruowano zamek, zbudowano mury zewnętrzne, odtworzono bramę wschodnią i bramę wjazdową z XVI wieku. Zamek można zwiedzać w czasie wakacji, wtedy wejść na wieżę, do lochów i komnat oraz obejrzeć film dokumentalny o poszukiwaniach legendarnego skarbu Inków, który według legendy ukryto pod zamkiem w tunelach i lochach.