Construite à la fin du XIIIe siècle par des maçons de l'atelier royal (qui travaillaient également sur le couvent voisin de Sainte-Agnès), elle témoigne du statut important de la communauté juive de Prague de l'époque. Appelée à l'origine la Nouvelle ou Grande Synagogue, ce n'est qu'après la création d'autres synagogues à la fin du XVIe siècle qu'elle a été connue sous le nom d'Ancienne-Nouvelle. La légende veut que ses pierres de fondation aient été apportées par des anges depuis le Temple détruit de Jérusalem.
La synagogue Vieille-Nouvelle jouit d'un grand respect dans la ville juive de Prague et dans les communautés juives étrangères. Elle a également été entourée de nombreuses légendes et de contes. Selon une légende, la synagogue était protégée contre le feu dans le ghetto par les ailes d'anges transformées en colombes, ce qui explique qu'elle soit restée miraculeusement intacte jusqu'à ce jour. Une autre légende veut que le grenier de la synagogue abrite les restes du Golem, la créature artificielle faite d'argile qui fut animée par le rabbin Loew afin de protéger la communauté de Prague.
