Teren pod nowy cmentarz władze austriackie zakupiły od karmelitów bosych. Najstarszą nekropolię Krakowa założono w latach 1801–1803 na obszarze 5,6 hektara, na terenie podmiejskiego folwarku Bosackie we wsi Prądnik Czerwony, w związku z zakazem pochówków w mieście na istniejących cmentarzach przykościelnych. Cmentarz kilkakrotnie powiększano, po raz pierwszy w 1836 roku, później w latach 1863 i 1885, w 1920 roku dołączono cmentarz wojskowy przy ulicy Prandoty, a w 1933 roku uzyskał obecną wielkość. Dziś jest to cmentarz komunalny o powierzchni ponad 42 hektarów z około 75 tysiącami grobów.

Jego plan w 1839 roku przygotował architekt Karol Kremer jako symbol przejścia od doczesności do wieczności, w formie bramy do parku z półkolistymi alejkami i centralnie położoną drewnianą kaplicą, fundacji rodziny bankierów krakowskich Ludwika i Anny Helclów, w latach 1861–1862 zamienioną na murowaną kaplicę Zmartwychwstania Pańskiego. W 1877 roku powstała kostnica projektu Salomona Saarego. Wzdłuż muru przy wejściu głównym znajdują się najstarsze groby i tablice, w tym pierwszy Apolonii Bursikowej z 1803 roku, której oryginalny grób nie przetrwał. Płytę odtworzono w dwusetlecie założenia nekropolii w 2003 roku, na podstawie inskrypcji odpisanej w 1865 roku.

Cmentarz jest miejscem pochówku zasłużonych krakowian w Alei Zasłużonych i zwykłych obywateli miasta. Spoczywają tu politycy, naukowcy, artyścii twórcy kultury, przedstawiciele znanych rodów, działacze niepodległościowi, polityczni i społeczni, między innymi: Józef Dietl, Ignacy Daszyński, Lucjan Rydel, Henryk Jordan, Karol Olszewski, Jan Matejko, Helena Modrzejewska, rodzina Estraicherów, Tadeusz Kantor, Marek Grechuta, rodzina Wojtyłów czyli rodzice i brat papieża Jana Pawła II, Piotr Skrzynecki, Jerzy Nowosielski, Wisława Szymborska, Walery Goetel, Józef Rostafiński, Józef Szujski, Jerzy, Juliusz i Wojciech Kossakowie, Józef Mehoffer, Piotr Michałowski, Henryk Rodakowski czy Zbigniew Wodecki.

Wojskowa część utworzona w 1920 roku na terenie dawnego placu ćwiczeń saperów, to prostokąt z 10 kwaterami. Jako pierwszych chowano tu żołnierzy i oficerów Wojska Polskiego i członków ich rodzin. W wydzielonych kwaterach spoczywają uczestnicy ruchów niepodległościowych i powstań narodowych, żołnierze pierwszej i drugiej wojny światowej czy Legioniści Polscy. Jest pomnik pochowanych żołnierzy Armii Kraków odsłonięty w 1990 roku, w którym złożono 52 urny z ziemią z pól bitewnych Armii Kraków, Katynia, Ostaszkowa i Miednoje. Kwatery mają żołnierze niemieccy i żołnierze Armii Czerwonej oraz lotnicy brytyjscy. Krakowską młodzież poległą w latach 1914–1920 upamiętnia pomnik z 1926 roku.

Cmentarz ma dużą wartość historyczną i artystyczną, część nagrobków jest dziełem znanych rzeźbiarzy i architektów, między innymi: Teofila Żebrawskiego, Feliksa Księżarskiego, Sławomira Odrzywolskiego, Jakuba Szczepkowskiego, Tadeusza Błotnickiego, Wacława Szymanowskiego czy Karola Hukana.

Często odwiedzany jest grób rodziców papieża Jana Pawła II, Emilii z Kaczorowskich i Karola Wojtyły oraz brata papieża Edmunda Wojtyły. Pobyty Jana Pawła II na cmentarzu i jego modlitwy przy grobie upamiętnia odsłonięty w 2005 roku pomnik, artystyczny odlew w brązie, dzieło profesora Czesława Dźwigaja.