Nowy cmentarz przy drodze do Czarnochowic istniał już w 1818 roku w pobliżu szańca twierdzy austriackiej z lat 70. XVIII wieku. Po likwidacji miejskich cmentarzy przy kościołach: świętego Klemensa, świętego Ducha, świętego Krzyża i świętego Sebastiana oraz przy kościele franciszkanów, w 1883 roku oficjalnie poświecono nowa nekropolię i wytyczono miejsca pochówków. Wcześniej, w 1834 roku Julia z Klemensiewiczów Langerowa, żona Fryderyka Langera adiunkta Zarządu Salinarnego, nad grobem męża i córki wzniosła kaplicę cmentarną świętej Kingi, która z dawnym domem przedpogrzebowym stanęła przy wjeździe do nekropolii. Środkiem cmentarza był okrąg obsadzony drzewami. Dziś śladem tego założenia jest skośne ustawienie najstarszego piaskowcowego nagrobka Józefa Lilla von Lillenbacha z 1832 roku. Kwatery wprowadzono przed 1878 rokiem, wytyczono też aleję główną i poprzeczną. Jest tu wiele zabytkowych nagrobków z XIX wieku, prawdziwych dzieł sztuki. Na cmentarzu znajduje się kwatera wojenna żołnierzy austriackich, niemieckich i rosyjskich, poległych podczas I wojny światowej, wykorzystano również dla poległych w II wojnie światowej. Centralnym punktem jest pomnik w kształcie ołtarza, dzieło Hansa Mayra. W latach 1925–1926 zbudowano dom przedpogrzebowy według projektu Józefa Zimlera i Józefa Merendy, dziś mieści się w nim kaplica i biuro zarządu cmentarza. Na cmentarzu w 2009 roku, w 91 rocznicę odzyskania przez Polskę niepodległości, posadzono 11 Dębów Pamięci zwanych Dębami Katyńskimi, którymi upamiętniono jeńców rozstrzelanych w Katyniu w 1940 roku. W 219 rocznicę uchwalenia Konstytucji 3 Maja posadzono kolejne 13 Dębów Pamięci.