Monumentalny neoromański budynek wzniesiony został w 1855 roku specjalnie na potrzeby wojskowej służby zdrowia. Wcześniej główny szpital garnizonowy znajdował się przy ulicy Mickiewicza. W czasie I wojny światowej w Tarnowie – jako mieście przyfrontowym – funkcjonowały liczne szpitale wojskowe, a najważniejszy znajdował się właśnie tu. Potężna budowla mieściła m.in. wysoko sklepione korytarze i obszerne sale dla pacjentów. Podczas okupacji rosyjskiej w szpitalu pracowało kilku polskich lekarzy, którzy po ponownym zajęciu miasta przez armię austro-węgierską zostali oskarżeni o kolaborację z okupantem. Także w późniejszych latach gmach związany był z medycyną wojskową: w latach międzywojennych powstała tu Garnizonowa Izba Chorych, a w okresie II wojny światowej funkcjonował tu szpital wojenny. Budynek został uszkodzony w czasie działań wojennych w 1945 r. Po remoncie zajęli go prywatni lokatorzy, którzy mieszkali w nim jeszcze w pierwszym okresie funkcjonowania Pałacu Młodzieży,  w którym do dnia dzisiejszego mieści Młodzieżowy Dom Kultury.

W międzyczasie w budynku znajdowało się Towarzystwo Strzeleckie, następnie Dom Harcerza, który w 1959 roku przemianowano na Dom Kultury dla Dzieci i Młodzieży. Budynek był bardzo zdewastowany i pełen dzikich lokatorów, otoczony starym odrapanym murem. Budynek został odremontowany. Wybudowana została sala teatralna na 300 miejsc i powstała biblioteka z czytelnią.