Nel 1541, quattro case medievali sul sito dell'attuale palazzo furono danneggiate durante l'incendio di Hradčany. Una di esse ospitò la bottega del maestro Theoderic, il pittore di corte di Carlo IV, nel XIV secolo. Più tardi, Johann IV Popel di Lobkowicz comprò i lotti e costruì una residenza rinascimentale in stile italiano settentrionale che fu completata nel 1567. Nei decenni seguenti, il palazzo ebbe diversi proprietari e alla fine fu ereditato dagli Schwarzenberg all'inizio del XVIII secolo.
Negli anni 1870 -1874, ricevette la sua iconica decorazione a sgraffito basata sul disegno di Josef Schulz. Nel 1909, fu aperto al pubblico come Museo Nazionale della Tecnica. Durante la seconda guerra mondiale, la Wehrmacht lo trasformò in un museo militare, e dopo la confisca da parte dello stato cecoslovacco divenne la sede del Museo di Storia Militare. La Galleria Nazionale di Praga ha acquistato il palazzo nel 2002.
Mostra permanente: Vecchi maestri
Oggi, il palazzo Schwarzenberg è uno dei palazzi rinascimentali meglio conservati della fine del XVI secolo. Ospita una mostra permanente, presentando le opere d'arte chiave selezionate dalla Collezione dei Vecchi Maestri (Hans von Aachen, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein e altri).
