Parafia w Krempachach powstała prawdopodobnie w 1278 roku, a po raz pierwszy wymieniono ją w dokumentach bractwa dunajeckiego w 1518 roku. Obecny kościół wzniesiono w pierwszej połowie XVI wieku. Pod koniec XVI wieku przejęli go luteranie, a w 1670 roku odzyskali katolicy. Kościół niszczyły pożary w latach 1646, 1788 i 1924. Patrona świątyni ze świętego Serwacego, zmieniono na Wszystkich Świętych, a pod koniec XIX wieku na świętego Marcina.

Stojąca na rozległym placu w centrum wsi skromna, murowana i otynkowana świątynia, jest w typie przejściowym z gotyku w renesans. To jednonawowy, orientowany, dwuprzęsłowy kościół z prostokątną nawą z kruchtą i węższym, trójbocznie zamkniętym prezbiterium z prostokątną zakrystią. Wspólny dwuspadowy dach kryty gontem, nad prezbiterium wieńczy wieżyczka na sygnaturkę z cebulastym hełmem. Cechą charakterystyczną świątyni jest dominująca, strzelista, kwadratowa wieża-dzwonnica w fasadzie, zwieńczona renesansową, murowaną attyka o układzie schodkowym w kształcie jaskółczego ogona. Poniżej obiega ją strażniczo-obserwacyjna, gotycka, drewniana, częściowo odkryta galeryjka zwana hurdycją, gankiem obronnym lub czatownią. To element niespotykany w kościołach poza Spiszem. Na wieżę prowadzą zewnętrzne schody. Okienka na wieży są niewielkie, prostokątne i zamknięte półkoliście.

Prezbiterium kryje sklepienie z dekoracyjnymi żebrami, nawę sklepienie kolebkowe z lunetami, ściany dzielą pilastry. Sklepienie nad ołtarzem głównym zdobią skromne, malowane medaliony. Półkolista arkadę tęczową zdobią malowidłami z XVIII wieku. Na ścianie północnej polichromia z lat 70. XX wieku przedstawia legendę o świętym Marcinie. Późnobarokowy chór muzyczny, wsparty na dwóch kolumnach z drewnianymi schodami, ma typową wklęsło-wypukłą balustradę. Zdobiące jego parapet stylizowane kwiaty namalowano w XIX wieku. Wnętrze ma wystrój głównie późnobarokowy i rokokowy z XVIII wieku. Zachowały się drewniane, rokokowe ołtarze. Ołtarz główny z 1725 roku ucierpiał w czasie pożaru w 1788 roku, dlatego jego nadstawa, dzieło malarza Jana Grimma, z obrazem ze świętym Marcinem, pochodzi z drugiej połowy XVIII wieku, tak jak figury aniołów. Natomiast rzeźby świętych: Jana Ewangelisty, Andrzeja, Piotra i Pawła, prawdopodobnie sprowadzono z Włoch w 1924 roku. Na uwagę zasługują: monstrancja z 1528 roku w kształcie kapliczki z figurką świętego Piotra, drewniana ambona z zapleckiem z malowidłem Chrystusa, kamienna chrzcielnica z 1746 roku i portal kamienny w nawy z roślinną dekoracją na nadprożu oraz witraże z lat 2009–2010.

Kościół otacza kamienny mur z 1795 roku, nakryty dwuspadowym, gontowym daszkiem z dwiema bramami między dwoma filarami, z czterospadowymi, płaskimi daszkami. Zachowały się też pozostałości przykościelnego cmentarza z kamiennymi nagrobkami i żelaznymi krzyżami.