Najstarsza część budynku powstała w początkach XIV wieku. Wówczas w budynku mieściła się łaźnia królewska, później nazywana Łaźnią Jagiełły. Wody do niej dostarczała Rudawa, która płynęła dzisiejszą ulicą Podzamcze. W XV wieku budynek należał do kanoników krakowskich i w 1450 roku w domu zamieszkał Jan Długosz – kronikarz polski, nauczyciel synów króla Kazimierza Jagiellończyka. W roku 1454 rozpoczął jego rozbudowę. W ten oto sposób powstał jeden z pierwszych miejskich gotyckich pałaców Krakowa. Tu powstały jego liczne dzieła, między innymi najsławniejsze „Roczniki czyli kroniki sławnego Królestwa Polskiego”. W XVI wieku dom przebudowano w stylu renesansowym. Z tamtego okresu pochodzi portal i umieszczony nad nim kamienny gzyms, z ciągle aktualną łacińską inskrypcją: „Nil est in homine bona mentemelius” (Nie ma w człowieku nic lepszego nad zdrowy umysł).W drugiej połowie XIX wieku w parterowej izbie tego domu mieszkał i pracował rzeźbiarz Franciszek Wyspiański. Dzieciństwo i lata szkolne spędził tam jego syn Stanisław, poeta, dramaturg i malarz.