1541'de, mevcut sarayın yerindeki dört ortaçağ evi Hradčany yangınında hasar gördü. Bunlardan biri, 14. yüzyılda Charles IV'ün saray ressamı Master Theoderic'in atölyesini barındırıyordu. Daha sonra, Johann IV Popel of Lobkowicz parselleri satın aldı ve Kuzey İtalyan tarzında bir Rönesans konutu inşa etti, bu konut 1567'de tamamlandı. Takip eden on yıllar boyunca, sarayın birkaç sahibi oldu ve sonunda 18. yüzyılın başlarında Schwarzenbergler tarafından miras alındı.
1870 -1874 yılları arasında, Josef Schulz'un tasarımına dayanan ikonik sgraffito dekorasyonunu aldı. 1909'da, Ulusal Teknik Müzesi olarak halka açıldı. İkinci Dünya Savaşı sırasında, Wehrmacht onu bir askeri müzeye dönüştürdü ve Çekoslovakya devleti tarafından el konulduktan sonra Askeri Tarih Müzesi'nin merkezi oldu. Ulusal Galeri Prag, sarayı 2002'de satın aldı.
Kalıcı sergi: Eski Ustalar
Bugün, Schwarzenberg sarayı, geç 16. yüzyıla tarihlenen en iyi korunmuş Rönesans saraylarından biridir. Eski Ustalar Koleksiyonu'ndan (Hans von Aachen, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein ve diğerleri) seçilmiş anahtar eserleri sunan bir kalıcı sergiye ev sahipliği yapmaktadır.
