Gebouwd aan het eind van de 13e eeuw door steenhouwers van de koninklijke werkplaats (die ook werkten aan het nabijgelegen klooster van St. Agnes), getuigt het van de belangrijke status van de toenmalige Joodse gemeenschap van Praag. Oorspronkelijk heette het de Nieuwe of Grote Synagoge, maar pas na de vestiging van andere synagogen aan het eind van de 16e eeuw werd het de Oude-Nieuwe genoemd. Volgens de legende zouden de stenen van de synagoge door engelen uit de verwoeste tempel van Jeruzalem zijn meegebracht.
De Oud-Nieuwe Synagoge geniet een enorm respect in de Joodse Stad van Praag en in Joodse gemeenschappen in het buitenland. Het is ook omgeven met talrijke legenden en verhalen. Volgens één legende werd de synagoge in het getto tegen brand beschermd door de vleugels van in duiven veranderde engelen, waardoor zij tot op de dag van vandaag wonderbaarlijk intact is gebleven. Volgens een andere legende bevinden zich op de zolder van de synagoge de overblijfselen van de Golem, het kunstmatige wezen van klei dat door rabbi Loew tot leven werd gewekt om de Praagse gemeenschap te beschermen.
