V roku 1541 boli štyri stredoveké domy na mieste súčasného paláca poškodené počas Hradčianskeho požiaru. Jeden z nich bol dielňou Majstra Theoderica, dvorného maliara Karola IV. v 14. storočí. Neskôr Johann IV. Popel z Lobkowicza kúpil pozemky a postavil rezidenciu v severoitalskom renesančnom štýle, ktorá bola dokončená v roku 1567. V nasledujúcich desaťročiach mal palác niekoľko majiteľov a nakoniec ho v začiatkom 18. storočia zdedili Schwarzenbergovci.
V rokoch 1870 -1874 dostal svoju ikonickú sgrafitovú výzdobu podľa návrhu Josefa Schulza. V roku 1909 sa otvoril pre verejnosť ako Národné technické múzeum. Počas druhej svetovej vojny ho Wehrmacht premenil na vojenské múzeum a po konfiskácii československým štátom sa stal sídlom Múzea vojenskej histórie. Národná galéria v Prahe získala palác v roku 2002.
Trvalá výstava: Starí majstri
Dnes je Schwarzenbergov palác jedným z najlepšie zachovaných renesančných palácov z konca 16. storočia. Uchováva trvalú výstavu, ktorá predstavuje vybrané kľúčové diela zo zbierky Starých majstrov (Hans von Aachen, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein a ďalší).
