Refektarz (dawna izba dworzańska) jest jednym z obszerniejszych pomieszczeń w zamku. Jego nazwa wywodzi się od łacińskiego słowa refectorium (od reficere – odnawiać) i oznacza jadalnię. Lipowiec był własnością Biskupów Krakowskich, dlatego też miejsce spożywania posiłków nosiło tradycyjną, klasztorną nazwę. Przy wejściu do refektarza, po lewej stronie znajdują się pozostałości kominka, którym ogrzewano to pomieszczenie. Uwagę zwraca również doskonale zachowane sklepienie krzyżowe oraz głębokie wnęki okienne, ukazujące ponad dwumetrową grubość murów zamku. W głębi pomieszczenia, po lewej stronie znajduje się wąski korytarz, prowadzący bezpośrednio od zamkowej kuchni. Współcześnie refektarz jest miejscem, gdzie turyści mogą się posilić, odpocząć i wysłuchać historii zamku opowiadanej przez przewodnika.