Cmentarz wojenny został założony w grudniu 1914 roku. Pochowano tu żołnierzy armii austro-węgierskiej oraz armii rosyjskiej, poległych lub zmarłych w okresie I wojny światowej, a także żołnierzy Wojska Polskiego zmarłych w latach 1918 - 1919 r. oraz siedem osób poległych podczas II wojny światowej. Prostokątne, zbiorowe mogiły z metalowymi krzyżami rozmieszczone są w dwóch rzędach po obu stronach alei głównej. Na końcu alei wznosi się pomnik w formie wysokiego postumentu z wapiennych ciosów, zwieńczonego rzeźbą przedstawiającą orła w koronie. O ile sam pomnik został ustawiony w okresie międzywojennym, o tyle rzeźba orła – dzieło artysty plastyka Wiesława Nadymusa została odsłonięta w 2001 roku.

Na olkuskim cmentarzu wojennym, w 43 zbiorowych mogiłach pochowano szczątki 406 żołnierzy armii austro-węgierskiej, rosyjskiej i polskiej. Udało się zidentyfikować tylko 178 poległych, 228 pozostaje niezidentyfikowanych.