V roce 1541 byly při požáru Hradčan poškozeny čtyři středověké domy na místě dnešního paláce. V jednom z nich se ve 14. století nacházela dílna mistra Theoderika, dvorního malíře Karla IV. Později koupil pozemky Jan IV. popel z Lobkovic a postavil na nich renesanční rezidenci v severoitalském stylu, která byla dokončena v roce 1567. Během následujících desetiletí vystřídal palác několik majitelů a nakonec jej na počátku 18. století zdědili Schwarzenbergové.
V letech 1870-1874 získal ikonickou sgrafitovou výzdobu podle návrhu Josefa Schulze. V roce 1909 byl otevřen veřejnosti jako Národní technické muzeum. Za druhé světové války ji wehrmacht přeměnil na vojenské muzeum a po konfiskaci československým státem se stala sídlem Vojenského historického muzea. V roce 2002 získala palác Národní galerie v Praze.
Stálá expozice: Staří mistři
Schwarzenberský palác je dnes jedním z nejlépe dochovaných renesančních paláců z konce 16. století. Je v něm umístěna stálá expozice, která představuje vybraná stěžejní díla ze Sbírky starých mistrů (Hans von Aachen, Petr Brandl, Lucas Cranach, Albrecht Dürer, El Greco, Francisco José Goya, Hans Holbein a další).
