13. yüzyılın sonlarında kraliyet atölyesinden taş ustaları tarafından inşa edilen (aynı zamanda yakındaki St. Agnes Manastırı üzerinde de çalışan) bu yapı, o dönemki Prag Yahudi topluluğunun önemli statüsüne tanıklık etmektedir. Başlangıçta Yeni veya Büyük Sinagog olarak adlandırılan bu yapı, 16. yüzyılın sonlarında diğer sinagogların kurulmasıyla Eski-Yeni olarak bilinmeye başladı. Efsaneye göre, temel taşları melekler tarafından yıkılan Kudüs Tapınağı'ndan getirildi.
Eski-Yeni Sinagog, Prag'ın Yahudi Mahallesi'nde ve yurtdışındaki Yahudi topluluklarında büyük saygı görmüştür. Ayrıca sayısız efsane ve hikayeye de konu olmuştur. Bir efsaneye göre, sinagog, meleklerin güvercinlere dönüştürülen kanatları tarafından getonun yangından korundu ve bu yüzden bugüne kadar mucizevi bir şekilde sağlam kalmıştır. Başka bir efsane, sinagogun çatı katının, Prag topluluğunu korumak için Rabbi Loew tarafından canlandırılan, kilden yapılmış yapay yaratık Golem'in kalıntılarına ev sahipliği yaptığını söyler.
