Construida a finales del siglo XIII por canteros del taller real (que también trabajaban en el cercano Convento de Santa Inés), es testimonio del importante estatus de la entonces comunidad judía de Praga. Llamada originalmente Sinagoga Nueva o Grande, no fue hasta el establecimiento de otras sinagogas a finales del siglo XVI que pasó a llamarse Vieja-Nueva. La leyenda cuenta que sus piedras fundacionales fueron traídas por ángeles desde el destruido Templo de Jerusalén.
La Sinagoga Vieja-Nueva goza de un gran respeto en la ciudad judía de Praga y en las comunidades judías del extranjero. También se ha visto envuelta en numerosas leyendas y cuentos. Según una leyenda, la sinagoga estaba protegida contra el fuego en el gueto por las alas de los ángeles transformadas en palomas, razón por la cual ha permanecido milagrosamente intacta hasta hoy. Otra leyenda cuenta que en el ático de la sinagoga se encuentran los restos del Golem, la criatura artificial de arcilla que fue animada por el rabino Loew para proteger a la comunidad de Praga.