1541年、フラドチャニの火災により、現在の宮殿の敷地内にあった4つの中世の家が被害を受けました。そのうちの1軒には、14世紀にシャルル4世の宮廷画家であったテオデリック師の工房がありました。その後、ロブコヴィッチのヨハン4世ポペルがこれらの区画を購入し、北イタリア風のルネッサンス様式の邸宅を建設し、1567年に完成しました。その後、数十年の間に宮殿の所有者が変わり、最終的には18世紀初頭にシュヴァルツェンバーグ家に相続されました。
1870年から1874年にかけて、ヨーゼフ・シュルツのデザインによる象徴的なスグラッフィト装飾が施されました。1909年には、国立技術博物館として公開されました。第二次世界大戦中、ドイツ国防軍はこの宮殿を軍事博物館とし、チェコスロバキア政府が接収した後は軍事史博物館となった。2002年にナショナル・ギャラリー・プラハがこの宮殿を取得しました。
常設展示。オールドマスターズ
現在、シュヴァルツェンベルグ宮殿は、16世紀後半に建てられたルネッサンス様式の宮殿の中で、最も保存状態の良いものの一つです。常設展では、オールドマスターズコレクション（ハンス・フォン・アーヘン、ペトル・ブランドル、ルーカス・クラナッハ、アルブレヒト・デューラー、エル・グレコ、フランシスコ・ホセ・ゴヤ、ハンス・ホルベインなど）から厳選された重要作品が展示されています。
