Początki zamku to czasy panowania króla Wacława Czeskiego. Pod koniec XIII wieku na niższym cyplu wzgórza, odciętym fosą od jego pozostałej części, wzniesiono murowaną, okrągłą wieżę obronną zwaną stołpem, o wysokości 28 metrów i murach grubości kilku metrów, zwieńczoną ośmiobocznie z wąskimi strzelnicami. Otaczały ją drewniane fortyfikacje. Była to strażnica z komorą celną, kontrolująca trakt handlowy biegnący doliną Dunajca na Węgry.

W XIV wieku wokół wieży zbudowano z piaskowca niewielki zamek, siedzibę starostwa czchowskiego, otoczony kamiennym murem obwodowym o grubości do 2 metrów z wieżą bramną, a w 1356 roku zamek po raz pierwszy pojawił się w źródłach pisanych. Część muru wbudowano w budynek mieszkalny ze sklepionymi piwnicami, do którego na przełomie XV i XVI wieku dostawiono podłużne skrzydło, a do wieży przybudówkę. Zbudowano też przedbramie z basztą bramną podpartą potężnymi szkarpami. Średniowiecze było czasem świetności zamku.

Od XVII wieku opuszczony zamek popadał w ruinę. W XVIII wieku w wieży mieściło się więzienie, zlikwidowane po I rozbiorze Polski w 1772 roku. Wtedy opustoszał i w XVIII wieku szybko zmienił się w ruinę.

Prace konserwatorskie na terenie ruin zamku w Czchowie podjęto w 1928 roku i zabezpieczono wieżę. W latach 90. XX wieku odsłonięto zarys fundamentów i zrekonstruowano wygląd całej budowli. Do dziś zachowała się najstarsza, wolno stojąca cylindryczna, kamienna wieża, popularnie zwana czchowską basztą, bez górnej kondygnacji, o średnicy ponad 12 metrów i wysokości około 20 metrów. Odsłonięto też i odbudowano fundamenty murów i domek strażnika, w którym umieszczono wystawę archeologiczną z makietą rekonstrukcji zamku.

W 1993 roku postanowiono wyeksponować zamkowe ruiny. W 2018 roku zamek częściowo odbudowano, zrekonstruowano wieżę bramną z drewnianym pomostem i zachowaną część domu gotyckiego, mury obwodowe podwyższono do wysokości 2 metrów, odgruzowano piwnice, na dziedzińcu odsłonięto stary bruk, zagospodarowano wzgórze i oczyszczono z roślinności. W 2000 roku na szczycie wieży zbudowano taras widokowy, na który prowadzą kręte, metalowe schody. W wieży umieszczono wystawę archeologiczną. Roztacza się z niej rozległy widok na dolinę Dunajca i Jezioro Czchowskie.

W pobliżu zamku i na jego dziedzińcu ustawiono kopie średniowiecznego uzbrojenia obronnego i oblężniczego, między innymi: hak niszczycielski, kusze wałowe, dźwig do oblewania smołą, drabinę szturmową i taran oraz moździerze, armaty i trebusz. W dalszej części „Grodziska”, czyli Miejskim Parku Zieleni i Wypoczynku, znajduje się uzbrojenie z okresu nowożytnego i czasów II wojny światowej.