W powiązaniu z murami miejskimi zamek tworzył dobrze ufortyfikowane miejsce. Z fortyfikacją ściśle związane były opasujące go mury obronne, których długość wynosiła około 1700 metrów, wzmocnione jedenastoma piętrowymi basztami. Do miasta przez obręb murów prowadziły trzy bramy, największa Węgierska – nosząca nazwę od głównego traktu handlowego, wprowadzała do miasta od strony południowej, Krakowska – prowadząca od strony północnej, oraz od strony wschodniej – Młyńska.
Gotycka twierdza wchodząca w skład zamku została na początku XVII wieku przebudowana w stylu renesansowym przez starostów sądeckich. 
W zwieńczonych attykami gmachach mieściło się 40 komnat. Niestety, pożary w XVIII wieku, a potem powódź w 1813 roku doprowadziły zamek do ruiny.
W dwudziestoleciu międzywojennym w odbudowanym gmachu urządzono muzeum. W czasie II wojny światowej niemieccy okupanci przechowywali tu amunicję i wraz z nią zamek został wysadzony w 1945 roku. Po wojnie odbudowano fragment muru i Basztę Kowalską, zwieńczoną renesansową attyką. W pobliżu widać fundamenty zburzonego zamku.