Była druga połowa XVI wieku, kiedy nieznany z nazwiska bogaty kupiec Izrael poprosił króla Zygmunta II Augusta o zgodę na utworzenie synagogi. Zgodę uzyskał i wybudował synagogę w latach 1556–1563. Fundator synagogi zdecydował się na nadbudowę sali modlitewnej nad sklepami znajdującymi się na parterze pierwotnego budynku – „domu Frankowej”, którego był właścicielem. Na parterze i w piwnicach budowli były punkty handlowe. Do tej części budynku wiodło wejście od strony wschodniej, do bóżnicy prowadziło od strony zachodniej.

W 1657 roku podczas potopu szwedzkiego synagoga została zdewastowana. Po tych wydarzeniach została wyremontowana i zyskała bogate wyposażenie. Pod koniec lat 80. XIX w. bóżnicę połączono z sąsiednim budynkiem. Na piętrze sąsiedniej kamienicy utworzono dwie sale modlitewne: od strony południowej dla kobiet, a od strony północnej dla mężczyzn. W 1897 dołączono małą przybudówkę, w której utworzono kolejną modlitewnię dla kobiet, a także pomieszczenia dla scholara i stróża. Przez długi czas sklepy ulokowane na parterze były własnością prywatną.

Podczas II wojny światowej hitlerowcy doprowadzili do znacznej dewastacji wnętrza synagogi zagrabili jej wyposażenie. Zniszczeniu uległo kolebkowe sklepienie głównej sali, a sala dla kobiet przestała istnieć. Przetrwała duża, mosiężna menora z tej bóżnicy, bowiem została przewieziona na Wawel i tam zdobiła pomieszczenia zajmowane przez Hansa Franka.

W 1951 planowano przebudować synagogę na cele Teatru Lalki, Maski i Aktora Groteska ale tego nie zrealizowano.

W 1961 powrócił plan przebudowy bóżnicy. Połączono ją z sąsiednim budynkiem poprzez wykucie drzwi na ścianie wschodniej obok aron ha-kodesz, a zabytkową skarbonę przeniesiono do klatki schodowej dołączonego budynku. Synagogę przykryto nowym, dwuspadowym dachem o przeszklonych szczytach. Podczas tej przebudowy zmieniono formę dachu – kalenica została wbudowana prostopadle do ulicy.

Murowany budynek synagogi wzniesiono na planie prostokąta w stylu renesansowym. Południowa ściana budynku zwrócona w stronę ulicy Józefa, podparta jest czterema szkarpami i przecięta gzymsem, biegnącym tuż nad parterem. Pomiędzy szkarpami na wysokości pierwszego i drugiego piętra znajdują się trzy wysokie, półkoliście zakończone okna.

Wejście do budynku wiedzie przez rzeźbiony, późnorenesansowy portal. Główna sala modlitewna nakryta jest sklepieniem kolebkowym z gurtami i lunetami, które było wykończone rzeźbieniami oraz malowidłami i było bogato zdobione. Polichromie przedstawiały sceny biblijne. Aron ha-kodesz był wzorowany na szafie ołtarzowej z synagogi Remu. Supraporta szafy ołtarzowej przedstawiała dwa gryfy i umieszczony między nimi napis w języku hebrajskim: „Korona Tory”. Oryginalne wyposażenie nie zachowało się.

Odrzwia aron ha-kodesz były bogato rzeźbione. Zewnętrzne drzwi metalowe były ażurowe z motywem orła polskiego w koronie i literą S, pod nimi dwa niedźwiadki trzymające szofary, a nad nimi – dwa ptaki. Po wewnętrznej stronie drzwi widniały, wykute w metalu, menora i stoły na chleby pokładne, a wokół nich cytaty biblijne. W dolnej partii drzwi metalowych znajdowała się sygnatura wykonawców: Zelamana i Chaima, synów Aarona.

O dawnej świetności przypominają również skarbona przy wejściu oraz widoczne fragmenty XVII-wiecznej polichromii, odkrytej i zakonserwowanej w latach 60. XX wieku. Fragmenty te świadczą o tym, że ściany sali męskiej, łącznie z ościeżnicami okien, wypełnione były inskrypcjami ujętymi w bordiury, niekiedy w formie kolistego wieńca. Przedstawiają one m.in. błogosławiące dłonie kapłańskie pod koroną na Torę czy wielkich rozmiarów kandelabrowe kompozycje bukietów w wazonach. Pomiędzy oknami na ścianie południowej znajduje się cytat z księgi Rodzaju "O jak straszne jest to miejsce. Jest to dom Pana i brama niebios", przy którym znajduje się data odnowienia synagogi w 1863 roku. Pozostałe malowidła są prawie nieczytelne co wynika z przezierających przez siebie dwu lub trzech warstw z okresu XVII–XIX wieku.

Nad dawnym wejściem do sali na pierwszym piętrze umieszczony jest relief z gzymsem i symetrycznie wkomponowanym ornamentem roślinnym z końca XIX wieku.

Na zewnętrznej ścianie synagogi znajduje się tablica pamiątkowa z tekstem w języku polskim, zwieńczona gwiazdą Dawida i napisem w języku jidysz: הויכע שול (trl. hojche szul, co znaczy Wysoka Synagoga), upamiętniająca pierwotne przeznaczenie budynku. "W tym budynku mieściła się Wysoka Bożnica zbudowana w XVI w., zniszczona w 1939 r. przez okupacyjne władze niemieckie".

W 1966 roku synagoga została przekazana Pracowni Konserwacji Zabytków. W głównej sali modlitewnej zabezpieczono i zakonserwowano zabytkowe XVII-wieczne polichromie. Prace adaptacyjne zakończono dopiero w 1971 roku.

W 2005 roku bóżnicę udostępniono zwiedzającym. Organizowano w niej wystawy poświęcone tematyce Żydów polskich, koncerty i inne imprezy kulturalne. W 2008 roku budynek Synagogi Wysokiej przekazano Gminie Wyznaniowej Żydowskiej w Krakowie, która z kolei przekazała obiekt Wydawnictwu Austeria.

Obecnie budynek funkcjonuje jako przestrzeń wystawowa i konferencyjna. Z dawnego wyposażenia synagogi przetrwał do naszych czasów barokowy świecznik chanukowy z XVII w., który obecnie można oglądać w ramach ekspozycji w Starej Synagodze.