Im Jahr 1541 wurden beim Brand des Hradschin vier mittelalterliche Häuser an der Stelle des heutigen Palastes beschädigt. Eines davon beherbergte im 14. Jahrhundert die Werkstatt von Meister Theoderich, dem Hofmaler von Karl IV. Später kaufte Johann IV. Popel von Lobkowicz die Grundstücke und baute eine Renaissance-Residenz im norditalienischen Stil, die 1567 fertiggestellt wurde. In den folgenden Jahrzehnten hatte das Schloss mehrere Besitzer und wurde schließlich Anfang des 18. Jahrhunderts von den Schwarzenbergs geerbt.
In den Jahren 1870 bis 1874 erhielt es seine ikonische Sgraffitodekoration nach einem Entwurf von Josef Schulz. Im Jahr 1909 wurde es als Technisches Nationalmuseum der Öffentlichkeit zugänglich gemacht. Während des Zweiten Weltkriegs wurde es von der Wehrmacht in ein Militärmuseum umgewandelt, und nach der Beschlagnahmung durch den tschechoslowakischen Staat wurde es zum Sitz des Militärhistorischen Museums. Die Nationalgalerie Prag erwarb den Palast im Jahr 2002.
Ständige Ausstellung: Alte Meister
Heute ist der Schwarzenberg-Palast einer der am besten erhaltenen Renaissance-Paläste aus dem späten 16. Jahrhundert. Es beherbergt eine Dauerausstellung, in der ausgewählte Schlüsselwerke aus der Sammlung Alter Meister (Hans von Aachen, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein und andere) präsentiert werden.
