Źródła historyczne, w tym Kroniki Jana Długosza podają, że pierwszy, drewniany kościół w Gdowie powstał w roku 1075. W XIV wieku na jego miejscu zbudowano nowy, murowany. Wprawdzie początkowo planowano inną lokalizację - za Rabą w pobliżu lokalnego kamieniołomu, ale jak głosi legenda nagromadzony w ciągu dnia łamany kamień przeznaczony na budowę, nocą potężne woły przewoziły przez Rabę i zostawiały na poświęconym miejscu, w pobliżu niedawno spalonego drewnianego kościoła. 

Najstarsze zachowane fragmenty kościoła pochodzą z początku XV wieku. Są to gotycka zakrystia, część murów kościelnych, czworoboczna wieża z XII-XIII wieku, przyłączona do Kościoła po 1790 roku. Jest jeszcze wczesnobarokowa, marmurowa chrzcielnica i barokowa ambona. Uwagę zwracają rokokowe ołtarze wykonane w pracowni miejscowego mistrza Piotra Korneckiego, nazywanego „gdowskim Witem Stwoszem”, cenionego snycerza i malarza epoki baroku.

W późnobarokowym ołtarzu mieści się łaskami słynąca kopia obrazu Matki Bożej Gdowskiej z XVIII wieku. Zapiski historyczne głoszą, że w 1342 roku ówczesny pleban wstawił do wybudowanego kościoła gotycki ołtarz oraz umieścił w nim namalowany na desce obraz Najświętszej Maryi Panny. Następnie miał się przed nim modlić sam Władysław Jagiełło. Obraz spłonął podczas wielkiego pożaru kościoła w roku 1705. Kilka lat później odtworzono z pamięci średniowieczny wizerunek Maryi, wykonując go w naturalnej wielkości. Obraz Matki Bożej Gdowskiej słynie z łask i jest obiektem kultu. Od 2004 roku świątynia ma status Sanktuarium Maryjnego.