Sie wurde Ende des 13. Jahrhunderts von Steinmetzen aus der königlichen Werkstatt erbaut (die auch am nahe gelegenen St.-Agnes-Kloster arbeiteten) und zeugt von der Bedeutung der damaligen jüdischen Gemeinde in Prag. Ursprünglich Neue oder Große Synagoge genannt, wurde sie erst nach der Errichtung anderer Synagogen Ende des 16. Jahrhunderts als Alt-Neue Synagoge bekannt. Der Legende nach wurden die Grundsteine der Synagoge von Engeln aus dem zerstörten Tempel in Jerusalem gebracht.
Die Altneue Synagoge genießt in der Prager Judenstadt und in den jüdischen Gemeinden im Ausland großes Ansehen. Um sie ranken sich auch zahlreiche Legenden und Geschichten. Einer Legende zufolge wurde die Synagoge im Ghetto durch die Flügel von Engeln, die sich in Tauben verwandelten, vor Feuer geschützt, weshalb sie auf wundersame Weise bis heute unversehrt geblieben ist. Eine andere Legende besagt, dass sich auf dem Dachboden der Synagoge die Überreste des Golem befinden, eines künstlichen Wesens aus Lehm, das von Rabbi Löw zum Schutz der Prager Gemeinde belebt wurde.
