Cmentarz założony został z dala od miasta, w podmiejskiej wsi Pogwizdów. Z czasem rozrastał się i powiększał do stanu z dziś. Obecnie znajduje się w centrum miasta (mniej niż kilometr od Rynku). W czasie okupacji niemieckiej tarnowski cmentarz żydowski stał się świadkiem strasznego okrucieństwa. Niemcy rozstrzelali tutaj, według różnych źródeł od 1500 do ponad 3000 Żydów. Niemcy masowo niszczyli kamienne nagrobki. Od 1942 roku macewy z piaskowca posłużyły do utwardzania dróg, chodników i fundamentów. Skutki niszczenia cmentarza widać dzisiaj w niektórych częściach nekropolii, gdzie zostały tylko same postumenty. Pierwszą próbą upamiętnienia zagłady społeczności żydowskiej w Tarnowie  było postawienie na terenie cmentarza Pomnika Ofiar Zagłady.  Pomnik stanowi złamana kolumna, wydobyta z ruin zniszczonej przez Niemców Synagogi Nowej.  W 1988 roku zawiązał się Komitet Opieki nad Zabytkami Kultury Żydowskiej, którego celem było uchronienie cmentarza przed dalszą dewastacją. Dzięki zaangażowaniu potomków tarnowskich Żydów udało się odnowić kilka nagrobków lub kompleksów nagrobków, jak również postawić nowe pomniki symboliczne i tablice. W latach 2017-2019 cmentarz poddano kompleksowej renowacji.