Architektonicky odlišný od všech ostatních šlechtických rezidencí na Pražském hradě je Rožmberský palác, masivní zelená budova, která na dálku připomíná pevnost. Původně to byl renesanční palác, který patřil šlechtické rodině Rožmberků z jižních Čech.
Vystavěn byl mezi lety 1545 a 1574 a do struktury byly zahrnuty i nedaleké šlechtické domy Švamberk a Rožmitál. Ty byly zakoupeny zástupci rodiny Rožmberků a nový palác byl obklopen krásnou zahradou s arkádami.
V roce 1600 však císař Rudolf II. rozhodl o rozšíření Královského paláce na úkor rezidence Rožmberků. Petr Vok, poslední člen rodiny, nemohl odmítnout. Výměnou mu byl darován dnešní Schwarzenberský palác, nacházející se nedaleko - v areálu Pražského hradu.
Později prošel Rožmberský palác rozsáhlou rekonstrukcí a začal sloužit jako Ústav šlechtičen - od poloviny 18. století až do roku 1918. Tato instituce byla založena v roce 1753 habsburskou královnou Marií Terezou, aby poskytla vzdělání 30 dcerám pocházejícím z finančně zatížených šlechtických rodin. Symbolem ústavu byla oválná zlatá medaile s vyobrazením Neposkvrněného početí Panny Marie. Arcivévodkyně Marie Anna, dcera císařovny, se stala první abatyší.
Po období rekonstrukce po roce 1919 byla budova částečně otevřena pro veřejnost v roce 2010. Hlavní atrakcí je třípatrová kaple s nádhernými stropními freskami, které se odrážejí v zrcadlech na podlaze. Také můžete vidět několik místností, z nichž jedna je rekonstrukcí dámské ložnice - kompletně s dobovým nábytkem a šaty.