W drugiej połowie XIII wieku na szczycie skały postawiono zamek górny. Nieco później powstała kamienna wieża obronna. W XIV wieku u podnóża skały wybudowano zamek średni, a potem zamek dolny. W XVI wieku starostami rabsztyńskimi byli Bonerowie, którzy przebudowali zamek w stylu renesansowym. Sławę Rabsztynowi przyniósł jego dowódca płk. Hawryło Hołubek, który w 1587 roku wraz z olkuskimi górnikami pobił oddziały idące pod Kraków jako posiłki dla arcyksięcia Maksymiliana Habsburga, oblegającego stolicę królestwa. Na przełomie XVI i XVII wieku w miejscu zamku dolnego powstał renesansowy pałac, którego mury możemy oglądać do dziś. W 1657 r. zamek został spalony przez ustępujących z Polski Szwedów. Po tym zamek zaczął popadać w ruinę, częściowo wysadzoną w drugiej połowie XIX w. przez poszukiwaczy skarbów. Od przeszło dwóch dekad ruiny zamku będące własnością Gminy Olkusz są poddawane pracom ratunkowym, konserwatorskim i częściowej rekonstrukcji. W tym czasie odbudowano bramę wjazdową, a odkryte mury i piwnice zamku średniego zostały zabezpieczone przeszklonym pawilonem. W latach 2012–14 zrekonstruowano część murów zamku górnego i wieży, gdzie powstał taras widokowy, a także wybudowano dwa drewniane mosty. W ostatnim czasie w części odgruzowanych piwnic pałacu powstał podziemny pawilon dla obsługi ruchu turystycznego. Został także zagospodarowany dziedziniec zamku, gdzie powstała strefa rekreacyjna ze sceną i trawiastymi tarasami. W 2021 roku zamek został laureatem prestiżowego konkursu „Zabytek Zadbany”. Rokrocznie pod zamkiem odbywają się widowiskowe turnieje rycerskie, a w trzeci weekend września sarmacka Juromania, czyli Święto Jury Krakowsko – Częstochowskiej. U podnóża zamkowego wzgórza znajduje się Chata Kocjana, czyli zrekonstruowany, drewniany dom z połowy XIX wieku, w którym urodził się Antoni Kocjan, wybitny konstruktor szybowcowy, a podczas wojny szef wywiadu lotniczego ZWZ/AK, który odkrył tajemnice niemieckiej broni V1 i V2. Zamek Rabsztyn i Chata Kocjana są administrowane przez Miejski Ośrodek Kultury w Olkuszu.

Legenda o zamku Rabsztyn

Jedna z legend głosi, że pod ruinami zamku w Rabsztynie, głęboko pod ziemią jest drugi piękny zamek. W jednej z głównych jego komnat znajdują się dwie skamieniałe dziecięce postacie – chłopczyk i dziewczynka. Chłopczyk ma na palcu pierścień wysadzany diamentami, a dziewczyna zawieszony na szyi sznur pereł. W sąsiednich komnatach śpią rycerze zaklęci w kamienne posągi. Raz do roku, w Niedzielę Palmową, kiedy z najbliższego kościoła rozlegnie się bicie dzwonu i wychodzi procesja, w ukrytej twierdzy zaczynają dziać się dziwne rzeczy. Pierścień na palcu chłopca obraca się i cały zamek zaczyna budzić się do życia. Otwierają się drzwi sal zamkowych, słychać gwar, rozmowy i muzykę, a zbudzeni rycerze zasiadają do stołów uginających się od najwymyślniejszych potraw. (…)

Małgorzata Budny, „Legendy i opowieści niesamowite o zamkach jurajskich oraz duchach w nich mieszkających”