A 13. század végén a királyi műhely kőfaragói (akik a közeli Szent Ágnes-kolostoron is dolgoztak) építették, és az akkori prágai zsidó közösség fontos státuszáról tanúskodik. Eredetileg Új vagy Nagy Zsinagógának nevezték, de csak a 16. század végén, más zsinagógák létesítése után vált Ó-Új Zsinagógaként ismertté. A legenda szerint alapköveit angyalok hozták a lerombolt jeruzsálemi templomból.
Az Ó-Új Zsinagóga óriási tiszteletnek örvend Prága zsidó városában és a külföldi zsidó közösségekben. Számos legenda és mese övezte. Az egyik legenda szerint a zsinagógát a gettóban galambokká alakított angyalok szárnyai védték meg a tűztől, ezért maradt csodálatosan épségben a mai napig. Egy másik legenda szerint a zsinagóga padlásán találhatók a Gólem maradványai, az agyagból készült mesterséges lény, amelyet Loew rabbi élesztett meg, hogy megvédje a prágai közösséget.
