В 1541 году во время Градчанского пожара пострадали четыре средневековых дома на месте нынешнего дворца. В одном из них в XIV веке располагалась мастерская мастера Теодериха, придворного художника Карла IV. Позже Иоганн IV Попель из Лобковиц купил эти участки и построил резиденцию в североитальянском стиле ренессанс, строительство которой было завершено в 1567 году. В последующие десятилетия у дворца было несколько владельцев, и в конце концов в начале XVIII века его унаследовали Шварценберги.
В 1870-1874 годах дворец получил свое знаковое оформление в стиле сграффито по проекту Йозефа Шульца. В 1909 году он был открыт для посетителей как Национальный технический музей. Во время Второй мировой войны вермахт превратил его в военный музей, а после конфискации чехословацким государством в нем разместился Военно-исторический музей. Национальная галерея Праги приобрела дворец в 2002 году.
Постоянная экспозиция: Старые мастера
Сегодня Шварценбергский дворец является одним из наиболее хорошо сохранившихся ренессансных дворцов конца XVI века. В нем размещена постоянная выставка, представляющая избранные ключевые произведения искусства из коллекции Старых мастеров (Ганс фон Ахен, Петр Брандль, Лукас Кранах, Альбрехт Дюрер, Эль Греко, Франсиско Хосе Гойя, Ганс Гольбейн и другие).
