Die Burg auf dem Sankt-Martins-Berg (303 m über NN) wurde in den Jahren 1328-1331 vom Krakauer Kastellan Spycimir von Melsztyn errichtet, der zum gleichen Zeitpunkt an der Gründung der nahe gelegenen Stadt Tarnów beteiligt war. Im Polen der ersten Hälfte des 14. Jahrhunderts war er eine bedeutende Persönlichkeit, der engste Berater von König Władysław dem Ellenlangen und Mentor vom König Kasimir dem Großen. Im Laufe der Jahre wurde die Burg stufenweise von verschiedenen Besitzern aus der Familie von Spycimir erweitert, dessen Sohn sich selbst als „von Tarnów“ bezeichnete, woraus die Familie Tarnowski hervorging. Im 14. Jahrhundert wurde die obere Burg mit ihrem zylindrischen Turm und der Kapelle der Heiligsten Jungfrau Maria zusammen mit der Unterburg von einer gemeinsamen Mauer umgeben. 1441 wurden die Burg und die Stadt durch ungarische Truppen verwüstet. Um die Mitte des 15. Jahrhunderts wurde die Holzbebauung der Burg durch gemauerte Gebäude ersetzt, die Oberburg wurde ausgebaut und die Verteidigungsanlagen durch den Anbau von zwei von Mauern verbundenen Türmen, einem runden und einem viereckigen, verstärkt. In den Jahren 1519-1528 baute der Hetman Jan Amor Tarnowski die Burg zu einer Renaissanceresidenz um und umgab sie mit gemauerten und aufgeschütteten Wehranlagen. So entstand eine der schönsten Residenzen der Monarchie und ein führendes kulturelles Zentrum der polnischen Renaissance. Im Laufe der Jahre herrschte im Schloss ein reges kulturelles und wissenschaftliches Treiben. Nach 1567 ging das Gut Tarnów in den Besitz des Fürsten Konstanty Ostrogski über. Die Sanierungsarbeiten in den Jahren 1657-1675 konnten die Burg nur für kurze Zeit wieder zum Leben erwecken. Die Residenz wurde im 18. Jahrhundert verlassen und verfiel zur Ruine. 1747 erlaubte der Fürst Janusz Aleksander Sanguszko den Bernardinerinnen aus Tarnów, die  Ruinen als Baumaterial für die Errichtung der Kirche zur Erhöhung des Heiligen Kreuzes abzutragen. Die Burg wurde nach und nach zerstört, und vor dem Zweiten Weltkrieg übergab Fürst Roman Sanguszko den Berg an die Stadt, mit dem Ziel, dort einen Park der Unabhängigkeit zur errichten. In den Jahren 1939 und 1985 fanden am Berg archäologische Ausgrabungen statt, bei denen bedeutende Teile der Burgruine und der Befestigungsanlagen aus dem 16. Jahrhundert freigelegt wurden. 2007 wurde der Verein Schloss Tarnów mit dem Ziel gegründet, das verfallende Gebäude zu revitalisieren.