I piętro skrzydła zachodniego zamku powstało zapewne na skutek przebudowy w XVI w., kiedy to wzrosła rola Lipowca jako więzienia. Przetrzymywano tutaj osoby podległe jurysdykcji biskupiej na terenie diecezji małopolskiej. Duchowni popełniający wykroczenia nie stawali przed sądami świeckimi, lecz przed własnymi – kościelnymi i trafiali do tutejszego więzienia. Za czasów bis­kupa Jana Konarskiego, w 1516 roku w Lipowcu uwięziono kilku braci z zakonu franci­szkanów w Krakowie. Za zabójstwo Alberta Fontiniego, komisarza franciszkańs­kiej prowincji czesko-polskiej, otrzymali karę śmierci. Obok duchownych przekraczających prawo kanoniczne, wtrącano do więzienia również propagatorów i zwolenników sze­rzącej się gwałtownie w Polsce oraz w całej Europie Reformacji. Dzisiejszy wygląd i układ pomieszczeń pochodzi z I połowy XVIII w., kiedy twierdzę przebudowano na dom poprawczy dla duchowieństwa. Wzdłuż szerokiego korytarza znajduje się szereg cel, z których skrajna (południowa) obejmowała początkowo dwa wnętrza. Te niewielkie, sklepione pomieszczenia zachowały ze swego skromnego wyposażenia tylko wnęki ścienne na półki i ulokowane pod oknami murowane latryny (toalety). Przy wejściu do jednej z cel, przetrwał do naszych czasów otwór służący do podawania więźniom wody i jedzenia, bez potrzeby otwierania drzwi. Pomieszczenia były nie ogrzewane, a jedyny kominek służący strażnikom znajdował się na korytarzu. Surowe wyposażenie oraz zastosowane rozwiązania techniczne sugerują, że te jednoosobowe cele były miejscem odosobnienia (izolacji) dla skazańców popełniających najgorsze wykroczenia.