1541-ben a jelenlegi palota helyén álló négy középkori ház megsérült a hradzsinai tűzvészben. Az egyikben a XIV. században IV. Károly udvari festőjének, Theoderic mesternek a műhelye működött. Később Lobkowicz IV. Johann Popel Lobkowicz megvásárolta a telkeket, és észak-olasz stílusú reneszánsz rezidenciát építtetett, amely 1567-ben készült el. A következő évtizedekben a palotának több tulajdonosa is volt, végül a 18. század elején a Schwarzenbergek örökölték.
Az 1870-1874-es években kapta meg az ikonikus sgraffito díszítést Josef Schulz tervei alapján. 1909-ben nyitotta meg kapuit a nagyközönség előtt, mint Nemzeti Műszaki Múzeum. A második világháború alatt a Wehrmacht katonai múzeummá alakította, majd a csehszlovák állam általi elkobzása után a Hadtörténeti Múzeum székhelye lett. A Prágai Nemzeti Galéria 2002-ben szerezte meg a palotát.
Állandó kiállítás: Régi mesterek
A Schwarzenberg-palota ma az egyik legjobb állapotban fennmaradt, 16. század végi reneszánsz palota. Állandó kiállításnak ad otthont, amely a Régi Mesterek Gyűjteményének válogatott, kulcsfontosságú műalkotásait mutatja be (Hans von Aachen, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein és mások).
