In 1541 werden vier middeleeuwse huizen op de plaats van het huidige paleis beschadigd tijdens de brand in Hradčany. In een ervan was in de 14de eeuw het atelier van meester Theoderic, de hofschilder van Karel IV, ondergebracht. Later kocht Johann IV Popel van Lobkowicz de percelen en bouwde er een renaissance residentie in Noord-Italiaanse stijl, die in 1567 werd voltooid. In de daaropvolgende decennia had het paleis verschillende eigenaars en uiteindelijk werd het in het begin van de 18e eeuw geërfd door de Schwarzenbergs.
In de jaren 1870 -1874 kreeg het zijn iconische sgraffito-versiering naar een ontwerp van Josef Schulz. In 1909 werd het voor het publiek geopend als het Nationaal Technisch Museum. Tijdens de Tweede Wereldoorlog maakte de Wehrmacht er een militair museum van, en na de confiscatie door de Tsjecho-Slowaakse staat werd het de zetel van het Militair Historisch Museum. De Nationale Galerie Praag kocht het paleis in 2002.
Permanente tentoonstelling: Oude Meesters
Tegenwoordig is het Schwarzenbergpaleis een van de best bewaarde renaissancepaleizen uit het einde van de 16e eeuw. Het herbergt een permanente tentoonstelling van geselecteerde topstukken uit de collectie van oude meesters (Hans von Aken, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein en anderen).
