Építészeti szempontból ellentétben áll minden más prágai kastéllyal, a Rosenberg (Rožmberský) Palota egy hatalmas zöld épület, ami távolról egy erődre emlékeztet. Eredetileg ez egy reneszánsz palota volt, amely a dél-csehországi Rožmberk arisztokrata családhoz tartozott.
1545 és 1574 között épült, a struktúra magába foglalta a közeli Švamberk és Rožmitál kúriákat is. Ezeket a Rožmberk család képviselői vásárolták meg, és az új palotát gyönyörű kert vette körül, arkádokkal.
Azonban 1600-ban II. Rudolf császár úgy döntött, hogy kibővíti a Királyi Palotát, és ezt a Rožmberk család rezidenciájának kárára teszi. Petr Vok, aki a család utolsó tagja volt, nem tudott ellenkezni. Cserébe megkapta a mai Schwarzenberg Palotát, amely a prágai vár területén található.
Később a Rosenberg Palota nagy felújításon esett át, és a Nemes Hölgyek Intézeteként kezdett működni - a 18. század közepétől egészen 1918-ig. Az intézményt 1753-ban alapította a Habsburg királynő, Mária Terézia, azzal a céllal, hogy oktatást biztosítson 30 anyagilag megterhelt nemes családból származó lány számára. Az intézet jelképe egy ovális aranyérem volt, amelyen a Szűz Mária Szeplőtelen Fogantatásának képe látható. Mária Anna főhercegnő, a császárnő saját lánya lett az első apátnő.
1919 utáni felújítási időszakot követően az épület részben megnyílt a nagyközönség számára 2010-ben. A fő látványosság a 3 emeletes kápolna, amelynek gyönyörű mennyezeti freskói a padlón lévő tükrökben tükröződnek. Emellett több szobát is megtekinthet, amelyek közül az egyik egy hölgy hálószobájának rekonstrukciója - korabeli bútorokkal és ruhával.