Bartłomiej Nowodworski, żołnierz, filantrop i najsłynniejszy polski kawaler maltański, w latach 1617 i 1619 zapisał fundusze na rzecz zarządzanej przez Akademię Krakowską pierwszej świeckiej szkoły średniej istniejącej od 1586 roku. W 1630 roku zapisu dokonał też Gabriel Prowancjusz Władysławski. Fundacje te umożliwiły budowę nowej siedziby dla już istniejącej Szkoły Nowodworskiej. W latach 1636–1643 Jan Leitner wzniósł barokowo-manierystyczny budynek nawiązujący do gotyku, dofinansowany również przez rektora Akademii Jakuba Najmanowicz i króla Władysława IV. Szkołę na cześć fundatorów nazywano Collegium Władysławsko-Nowodworskim. Były to dwa równoległe pawilony o dwuspadowych dachach, połączone z dwóch stron murem ograniczającym brukowany dziedziniec, z trzech stron otoczony krużgankami.

W czasie potopu szwedzkiego, najeźdźcy splądrowali budynek i urządzili w nim stajnię. Naukę wznowiono w 1657 roku, Szkołę ponownie zniszczyło wojsko rosyjskie, które w 1769 roku przekształciło ją w koszary. W latach 70. XVIII wieku budynek remontowano, a oratorium przekształcono w aulę. W latach 40. XIX wieku zasypano i zamurowano piwnice, w 1845 roku Collegium remontowano. W 1855 roku dobudowano trzecie skrzydło projektu Tomasza Majewskiego, w stylistyce zbliżonej do starszych części budynku. Szkołę w 1898 roku przeniesiono do nowej siedziby, a w budynku umieszczono Bibliotekę Jagiellońską. W 1914 roku zajęto go na szpital wojskowy. Biblioteka wznowiła działalność w 1916 roku, a po remoncie w latach 1927–1932 przejęła cały gmach. Budynek przetrwał II wojnę światową. Od 1949 roku zajmuje go Akademia Medyczna czyli Collegium Medicum UJ.

W 1939 roku na dziedzińcu Collegium przed krakowską publicznością debiutował jako aktor student polonistyki UJ, 19-letni Karol Wojtyła, późniejszy papież Jan Paweł II. Do szkoły o dużych zasługach edukacyjnych, w której wykładano w języku polskim i dużą wagę przywiązywano do nauki historii Polski i polskiej literatury, uczęszczali między innymi: Jan Matejko, Stanisław Wyspiański, Stanisław Estreicher, Józef Mehoffer i Kazimierz Przerwa-Tetmajer.