Symbolem zamku jest murowana Baszta z nieregularnego ciosu, która pełniła rolę obronną. Strzegła szlaku handlowego na Węgry, tzw. Traktu Węgierskiego. To bardzo dobrze utrzymany oraz odnowiony obiekt średniowiecznego Zamku. Przez wiele lat była niedostępna dla turystów i dopiero po wielu zapadła decyzja o jej renowacji. Początki średniowiecznego Zamku sięgają panowania króla Wacława Czeskiego (1292-1305). Wzniesiono wówczas na przełomie XIII i XIV wieku najstarszy murowany element - Basztę, o wysokości 28 metrów. Za panowania króla Władysława Łokietka wzniesiono Zamek. Baszta otoczona została kamiennym murem z bramą wjazdową od strony miasta, a po przeciwnej stronie wzniesiono dwuprzestrzenny budynek z piwnicami. Obiekt znalazł się na pieczęci miejskiej z XIV wieku. W XV wieku Zamek rozbudowano i wzmocniono, ale już w następnym stuleciu został on w znacznej części zniszczony podczas działań wojennych. Choć ostatni król Polski polecił odbudować Zamek, to jednak do realizacji tego planu nie doszło z powodu upadku I Rzeczypospolitej. Prace konserwatorskie rozpoczęły się w 1928 roku, a kolejne dopiero w 1993 r.