Em 1541, quatro casas medievais no sítio do actual palácio foram danificadas durante o incêndio de Hradčany. Uma delas acolheu a oficina do Mestre Teodérico, o pintor da corte de Carlos IV, no século XIV. Mais tarde, Johann IV Popel de Lobkowicz comprou as parcelas e construiu uma residência de estilo renascentista do Norte de Itália, que foi concluída em 1567. Durante as décadas seguintes, o palácio teve vários proprietários e acabou por ser herdado pelos Schwarzenbergs no início do século XVIII.
Nos anos 1870 -1874, recebeu a sua decoração icónica de esgrafito baseada no design de Josef Schulz. Em 1909, abriu ao público como o Museu Técnico Nacional. Durante a Segunda Guerra Mundial, a Wehrmacht transformou-o num museu militar, e após o confisco pelo Estado Checoslovaco tornou-se a sede do Museu de História Militar. A Galeria Nacional Praga adquiriu o palácio em 2002.
Exposição permanente: Velhos Mestres
Hoje, o palácio Schwarzenberg é um dos palácios da Renascença mais bem preservados do final do século XVI. Alberga uma exposição permanente, apresentando as obras de arte chave seleccionadas da Colecção dos Velhos Mestres (Hans von Aachen, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein e outros).
