Pierwszy drewniany kościół zbudowano w 1318 roku z fundacji dworzanina księcia oświęcimskiego Zawiszy Ligęzy. W XV wieku kościół zniszczyli zwolennicy czeskich husytów. W 1747 roku obok zbudowano barokową, murowaną świątynię, która zaczęła przyciągać pielgrzymów z terenu Beskidów, Śląska, Podhala i Mazowsza. W 1850 roku rozebrano drewniany kościół, na którego miejscu dziś rosną wielkie lipy. Nowy kościół jest jednonawowy z dwoma bocznymi absydami i polichromią na sklepieniu z 1928 roku. Pielgrzymi modlą się tu przed cudownym obrazem Matki Bożej Inwałdzkiej, namalowanym w XV wieku w Skandynawii przez nieznanego artystę, do Polski przywiezionym w 1534 roku. Jego pochodzenie wyjaśnia piękna legenda o zbójnikach, którzy zrabowali obraz na Węgrzech. Następnie umieścili go w kapliczce ustawionej na palach na stawie w Inwałdzie. Bandę rozbójników rozbił ksiądz Augustyn Kordecki, przeor klasztoru na Jasnej Górze, który zasłynął jego obroną przed Szwedami. Następnie herszt zbójców nawrócił się i przekazał obraz do kościoła. Od tego czasu Matka Boża zwana jest Zbójecką Panią. Cudowny obraz spłonął w 1885 roku, ale został szybko odtworzony według fotografii z XIX wieku, nadal przechowywanej w parafii. Dziś gotycki obraz w barokowej sukience umieszczony jest w ołtarzu głównym. Odpusty w sanktuarium przypadają w niedziele najbliższe 16 lipca w święto Najświętszej Maryi Panny z Góry Karmel i 8 września w święto Narodzenia Najświętszej Maryi Panny.