Mimo kilku przebudów obiekt zachował pierwotny kształt i gotycki charakter. Zbudowany jest na planie przypominającym pięciobok z miejscowego kamienia z nielicznymi fragmentami ceglanymi. Charakterystyczną częścią zamku jest wysoka na 28 metrów wieża, stanowiąca kiedyś główny trzon budowli, obecnie do połowy ukryta w murach. Główny korpus zamku ma 3 kondygnacje i posiada wewnętrzny dziedziniec. Można tam zobaczyć na ścianach herby biskupów: Oleśnickiego i Jastrzębca, którzy odpowiadali za przekształcenia zamku w XV wieku oraz tarcze z herbami Andrzeja Zebrzydowskiego. Jest też głęboka studnia. Na parterze warowni znajdowały się między innymi: refektarz, kuchnia, spiżarnia, wozownia, na I piętrze pokoje księży, szpital i kaplica, a na II piętrze cele więzienne i pokoje dla służby. Od początku XV wieku do końca wieku XVI w zamku funkcjonowało więzienie. Związane to było z przekazaniem biskupom krakowskim przez króla Kazimierza Jagiellończyka władzy sądowniczej nad świeckimi poddanymi z ziemi lipowieckiej. Przetrzymywano tu jednak głównie duchownych z diecezji krakowskiej, którzy zeszli na złą drogę. Zwolenników Reformacji. Obecnie Zamek Lipowiec wchodzi w skład Muzeum Nadwiślańskiego Parku Etnograficznego w Wygiełzowie