Na początku pierwszej wojny światowej, w dniu 18 listopada 1914 roku szesnastoletnią Karolinę uprowadził z domu do pobliskiego lasu carski żołnierz. Po nierównej walce w obronie swojej godności i niewinności, dziewczyna zginęła męczeńską śmiercią. Jej zmasakrowane zwłoki znaleziono na skraju lasu 4 grudnia 1914 roku.

W lesie, w miejscu odnalezienia zwłok usypano kopiec z kamieni z dębowym krzyżem i marmurową tablicą pamiątkową.

W pogrzebie Karoliny, w niedzielę 6 grudnia 1914 roku uczestniczyło około trzech tysięcy osób, mimo że we wsi mieszkało tylko kilkaset. Pogrzeb stał się manifestacją patriotyczno – religijną okolicznych mieszkańców przekonanych, że uczestniczą w pogrzebie męczennicy. W 1917 roku przy udziale biskupa Leona Wałęgi, ekshumowano szczątki zmarłej i w metalowej trumnie z cmentarza parafialnego przeniesiono do grobowca przy kościele w Zabawie.

W trakcie procesu beatyfikacyjnego 6 października 1981 roku szczątki Karoliny złożono w sarkofagu, w kruchcie kościoła w Zabawie. Dnia 10 czerwca 1987 roku papież święty Jan Paweł II ogłosił nastolatkę błogosławioną i przeniesiono jej relikwie z kościelnego przedsionka do sarkofagu pod mensą głównego ołtarza kościoła Trójcy Przenajświętszej – Sanktuarium błogosławionej Karoliny. Błogosławiona Karolina Kózkówna jest patronką dziewic, dzieci i młodzieży.

W lesie, w którym dziewczyna uciekała przed atakiem rosyjskiego żołnierza, wytyczono szlak męczeństwa Karoliny Kózki biegnący z miejsca, gdzie stał dom rodzinny błogosławionej do miejsca jej męczeństwa. Dnia 18. każdego miesiąca gromadzą się tu wierni i pielgrzymi by uczestniczyć w poprowadzonej szlakiem drodze krzyżowej z czternastoma stacjami, na których czytane są fragmenty z biografii błogosławionej Karoliny oraz rozważania nawiązujące do jej życia i postawy.

Dom rodziny Kózków nie przetrwał do obecnych czasów – w jego miejscu wznosi się kaplica z muzeum.