Najstarszą część zamku suskiego, prawdopodobnie w miejscu wcześniejszego grodu, wzniósł w połowie XVI wieku Gaspare Castiglione - złotnik krakowski włoskiego pochodzenia, który po ślubie z Polką przyjął imię Kasper Suski. Rezydencja ma trójskrzydłową konstrukcję, otwarty dziedziniec i cztery wieże. Skrzydła od strony dziedzińca ozdobione są arkadowymi krużgankami.
W zamku warto zobaczyć bogato zdobiony kominek w Sali Rycerskiej oraz późnogotycką polichromię w kaplicy. W 1905 roku zamek uległ pożarowi. Jego odbudowę, zakończoną w 1910 roku, nadzorował wybitny polski architekt Tadeusz Stryjeński. W czasie I wojny światowej w zamku funkcjonował szpital Polskiego Czerwonego Krzyża. Po wybuchu II wojny światowej, gdy ostatni prywatny właściciel Juliusz Tarnowski wraz z rodziną udał się na emigrację, rezydencję zajęli Niemcy, a później wojska radzieckie. Sama budowla (w przeciwieństwie do jej wnętrz), nie ucierpiała zbytnio w czasie wojennej pożogi, jednak wyposażenie oraz bezcenne zbiory biblioteczno-muzealne uległy rozproszeniu, rabunkom i dewastacji.

Obecnie zamek jest własnością Gminy Sucha Beskidzka, czyli wszystkich mieszkańców miasta. Jest centrum kulturalnym dla całego regionu. W jego wnętrzach mają siedzibę: Muzeum Miejskie Suchej Beskidzkiej, Punkt Informacji Turystycznej, Wyższa Szkoła Turystyki i Ekologii oraz hotel i restauracja „Kasper Suski”.