Původní Židovské muzeum ve Vídni bylo založeno v roce 1896 a byl první muzeum svého druhu na světě. Muzeum existuje s podporou "Společnosti pro sběr a uchování uměleckých a historických památek židovstva." Zaměřil se na historii a kultuře Židů v rakousko-uherské monarchii. Jeho sbírka předmětů a výrobků z Palestiny také odráží politickou debatu o sionismu. Muzeum bylo uzavřeno hned po obsazení Rakouska nacisty. V posledním roce své existence, měl 6474 různých položek. V roce 1939 byly převedeny do etnologické muzeum a dalších institucí.

Většina položek byl se vrátil k židovské komunitě na počátku roku 1950, ale některé se podařilo vrátit pouze v roce 1990 roku. Mnoho exponátů byly ztraceny. Když se New Jewish muzeum má inventář, bylo zjištěno, že polovina z původních bodů zmizela. Ale zbytek věcí, jsou velmi vzácné exponáty, které představují jako předměty každodenního života, a jedinečných materiálů.

31.prosince 1964 malé Židovské muzeum bylo otevřeno v nově postavené budově na Tempelgasse, ale získala téměř žádnou pozornost veřejnosti. Po 3 letech je muzeum zavřeno.

První výstava nového Židovského muzea ve Vídni otevřela 7. března 1990 v provizorních prostorách v kancelářích židovské komunity. Významná část výstavy byla tvořena z kolekce Max Berger. V roce 1992 se muzeum stěhoval do jeho aktuálního domova v paláci Eskeles Doroteegasse. Muzeum bylo otevřeno o rok později, v roce 1993. Knihovna byla otevřena pro veřejnost od roku 1994.

Od podzimu roku 2011 se muzeum otevřelo své brány po kompletní rekonstrukci, stejně jako samotné budovy, a aktualizovat stálé expozice. Renovovaný Židovské muzeum přivítá návštěvníky na nový systém osvětlení, který byl vyroben v souladu s originálem. Stálá expozice v muzeu jsou umístěny ve třech zónách.