W 1541 roku podczas pożaru na Hradczanach zostały zniszczone cztery średniowieczne domy na miejscu obecnego pałacu. W jednym z nich w XIV wieku mieścił się warsztat mistrza Teoderyka, nadwornego malarza Karola IV. Później działki kupił Johann IV Popel z Lobkowicz i wybudował na nich renesansową rezydencję w stylu północnowłoskim, której budowę zakończono w 1567 roku. Przez kolejne dziesięciolecia pałac miał kilku właścicieli, aż w końcu na początku XVIII wieku odziedziczyli go Schwarzenbergowie.
W latach 1870-1874, według projektu Josefa Schulza, pałac otrzymał swoją ikoniczną dekorację sgraffitową. W 1909 roku został otwarty dla publiczności jako Narodowe Muzeum Techniki. W czasie II wojny światowej Wehrmacht przekształcił go w muzeum wojskowe, a po konfiskacie przez państwo czechosłowackie stał się siedzibą Muzeum Historii Wojskowości. W 2002 roku pałac nabyła Galeria Narodowa w Pradze.
Stała ekspozycja: Starzy Mistrzowie
Obecnie pałac Schwarzenbergów jest jednym z najlepiej zachowanych pałaców renesansowych z końca XVI wieku. Znajduje się tu stała ekspozycja, prezentująca wybrane najważniejsze dzieła sztuki z Kolekcji Starych Mistrzów (Hans von Aachen, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein i inni).
