Pałac od końca XIV wieku jest siedzibą biskupów krakowskich, dziś ma kształt nadany w XIX wieku z zachowaniem fragmentów renesansowych i barokowych. W pałacu w latach 1964–1978 mieszkał Karol Wojtyła, od wyboru na biskupa do wyboru na papieża. W czasie papieskich pielgrzymek zatrzymywał się w pałacu i stojąc w oknie Papieskiej Kaplicy, mieszczącej się na pierwszym piętrze pałacu nad barokową bramą wjazdową, nieoficjalnie spotykał się ze zgromadzonymi wiernymi. Po raz pierwszy pokazał się w oknie w 1979 roku i do późnej nocny rozmawiał z młodzieżą. Spotkania te stały się tradycją wszystkich kolejnych papieskich pielgrzymek. Przed śmiercią Jana Pawła II przed pałacem modlili się wierni, 2 kwietnia 2005 roku w kościele Franciszkanów odbyła się uroczysta msza dedykowana zmarłemu Papieżowi, przed pałacem składano kwiaty, pamiątki i zapalano znicze, na parapecie papieskiego okna stanął symboliczny krzyż. Tradycję kontynuował papież Benedykt XVI , który w czasie pielgrzymki do Polski w 2006 roku, przemawiał do wiernych z papieskiego okna. W 2016 roku w oknie pojawił się również papież Franciszek I.

Do niedawna w oknie ustawiano zdjęcia papieża. W czasie obchodów 40. rocznicy wyboru Karola Wojtyły na papieża w 2018 roku, odsłonięto w nim mozaikę ze szkła weneckiego z podobizną Jana Pawła II, projektu Magdaleny Czeskiej.