Założycielem klasztoru i jego późniejszym, wieloletnim przeorem był święty Rafał Kalinowski. W latach 1897–1899 wzniesiono południowe skrzydło klasztoru i trzynawowy, ceglany, neoromański kościół z czteroprzęsłową nawą główną. Fasada kościoła jest prosta, półokrągły portal wieńczy tympanon z herbem karmelitańskim i rozetą. Nad kruchtą znajduje się chór muzyczny wsparty na arkadach. W okresie międzywojennym budynek klasztorno-seminaryjny rozbudowano, w latach 1934–1936 zbudowano gimnazjum i nadbudowano skrzydło zachodnie. W 1892 roku karmelici przywieźli obraz świętego Józefa Oblubieńca Najświętszej Maryi Panny, który umieszczono w ołtarzu prowizorycznego klasztoru – Domu Foltyna. Po zakończeniu budowy klasztoru Na Górce, w jego ołtarzu głównym znalazł się nowy obraz świętego Józefa, dzieło czeskiego malarza Franciszka Bergmana.

W 2004 roku przekazany przez Jana Pawła II Pierścień Rybaka, będący  jednym z insygniów papieskich, zamocowano w obrazie na palcu świętego. Równocześnie kościół podniesiono do rangi sanktuarium. Znajdują się tu relikwie świętego Rafała Kalinowskiego, można zwiedzać celę, w której żył i umarł oraz obejrzeć zgromadzone po nim pamiątki. Z klasztorem związani są również: błogosławiony Alfons Maria Mazurek oraz słudzy Boży – Kunegunda Siwiec, Anzelm Gądek i Rudolf Warzecha.

Po pierwszej komunii świętej Karol Wojtyła otrzymał w świątyni szkaplerz, który zgodnie z wolą Jana Pawła II powrócił na wadowicki Karmel w 2005 roku i znajduje się w relikwiarzu obok ołtarza z relikwiami błogosławionego Alfonsa Mazurka.

Dziś pokoje zakonników zajmują południowe skrzydło klasztoru. W zachodnim skrzydle jest kuchnia i refektarz, sala zebrań i biblioteka licząca około 20 tysięcy woluminów. W przyklasztornym parku stoi figura świętego Józefa, wyrzeźbiona w białym piaskowcu przez majstra kamieniarskiego z Wadowic na przełomie XIX i XX wieku. W latach 70. XX wieku posąg pomalowano, figurę okala dróżka procesyjna. Na placu kościelnym stoi posąg świętego Rafała Kalinowskiego, wyrzeźbiony w kamieniu przez karmelitę, brata Kazimierza Szczecinę.