Cmentarz powstał w 1800 roku po zamknięciu cmentarza Remuh -najstarszego w Krakowie i jednego ze starszych w Europie, z niezwykle cennym zespołem nagrobków datowanych na XVI-XVIII wiek. 

Najstarsze zachowane nagrobki na nowym cmentarzu żydowskim pochodzą z XIX wieku. Niektóre zrobione są z granitu, inne z piaskowca karpackiego, jeden z nagrobków z nacieków skalnych pochodzących z jaskiń. W obrębie kirkutu zachowało się około 10 tysięcy nagrobków o niezwykle ciekawych bryłach i ornamentyce.

Przy głównej bramie znajduje się pomnik upamiętniający ofiary Holokaustu oraz dom przedpogrzebowy z 1903 roku z pełnym wyposażeniem dla wykonania żydowskich obrzędów pośmiertnych.

Podczas II wojny światowej Niemcy poważnie zniszczyli nekropolię, wykorzystali wiele macew do prac budowlanych Część z nich posłużyła jako płyty chodnikowe w obozie w Płaszowie. Po zakończeniu wojny inż. Stending odnalazł na terenie niemieckiego obozu w Płaszowie wiele nagrobków i znów umieścił je na cmentarzu. 

W 1957 roku teren cmentarza został uporządkowany. Przez ponad 20 lat zniszczone nagrobki, macewy są rekonstruowane i przechodzą zabiegi konserwatorskie. Aby tego dokonać wiele nagrobków trzeba wyciągnąć spod ziemi, oczyścić i na nowo ustawić w pionie. Jeżeli konserwator jest w stanie odczytać inskrypcje, odtwarza je. 

Cmentarz to ważne świadectwo zmian, jakie zachodziły w społeczności żydowskiej Krakowa w XIX i XX wieku.