Najstarszą część zamku suskiego, prawdopodobnie w miejscu wcześniejszego grodu, wzniósł tu w połowie XVI wieku Gaspare Castiglione złotnik krakowski włoskiego pochodzenia, który po ślubie z Polką przyjął imię Kasper Castiglione - Suski. Rezydencja ma trójskrzydłową konstrukcję, otwarty dziedziniec i cztery wieże. Skrzydła od strony dziedzińca ozdobione są arkadowymi krużgankami.
W zamku warto zobaczyć bogato zdobiony kominek w Sali Rycerskiej oraz późnogotycką polichromię w kaplicy. W 1905 roku zamek uległ pożarowi. Jego odbudowę, zakończoną w 1910 roku, nadzorował wybitny polski architekt Tadeusz Stryjeński. W czasie I wojny światowej w zamku funkcjonował szpital Polskiego Czerwonego Krzyża. Po wybuchu II wojny światowej, gdy ostatni prywatny właściciel Juliusz Tarnowski wraz z rodziną udał się na emigrację, rezydencję zajęli Niemcy, a później wojska radzieckie. Sama budowla (w przeciwieństwie do jej wnętrz), nie ucierpiała zbytnio w czasie wojennej pożogi, jednak wyposażenie oraz bezcenne zbiory biblioteczno-muzealne uległy rozproszeniu, rabunkom i dewastacji. Obecnie zamek jest własnością Gminy Sucha Beskidzka, czyli wszystkich mieszkańców miasta. Jest centrum kulturalnym dla całego regionu. W jego wnętrzach mają siedzibę: Muzeum Miejskie Suchej Beskidzkiej, Miejski Ośrodek Kultury – Zamek z Galerią Sztuki, Wyższa Szkoła Turystyki i Ekologii oraz hotel i restauracja „Kasper Suski”.