Jego lokalizację legenda łączy ze sprowadzeniem relikwii świętego Floriana do Polski. Według tradycji w tym miejscu w 1184 roku stanęły woły wiozące szczątki świętego i nie ruszyły dopóty, dopóki nie zdecydowano się postawić tam świątyni dedykowanej temu męczennikowi. Kiedy powstał, był to najważniejszy kościół Kleparza (dawnego miasta, a dziś dzielnicy Krakowa). W latach 1755–1779 prowadzono kolejne prace, dobudowano nowe kaplice przy fasadzie zachodniej: Krzyża Świętego i Matki Boskiej Bolesnej, ołtarze boczne oraz elementy wyposażenia wnętrza. W prezbiterium znajdują się późnobarokowe stalle z obrazami z końca XVIII wieku oraz ołtarz główny z obrazem przedstawiającym świętego Floriana na tle Kleparza z XVII wieku. W skarbcu tegoż kościoła przechowywany jest gotycki relikwiarz w kształcie wieżyczki zdobyty w czasie bitwy grunwaldzkiej, który został podarowany świątyni przez króla Władysława Jagiełłę. Wykonano go w 1365 roku dla komtura krzyżackiego.

W 1999 roku papież Jan Paweł II podniósł kościół do rangi bazyliki mniejszej. Przyszły papież Karol Wojtyła w latach 1949–1951 pełnił tu posługę kapłańską jako wikary. Mieszkał w tym czasie w budynku parafii, tuż za kościołem. Szybko zasłynął on w Krakowie jako duszpasterz akademicki, doskonały kaznodzieja i spowiednik. W kościele świętego Floriana organizował nabożeństwa dla chorych, misteria Męki Pańskiej czy spotkania kolędowe. 

Będąc wikarym w tej parafii organizował też liczne wycieczki dla młodych ludzi, w czasie których odprawiał msze polowe. Jako papież swoją dawną parafię odwiedził tylko raz, podczas ostatniej pielgrzymki do ojczyzny w 2002 roku.

Jego posługę kapłańską w bazylice upamiętniają dwie tablice – jedna we wnętrzu kościoła, druga na wikarówce, pod oknem pokoju, w którym mieszkał.