Architektonicznie przeciwny wszystkim innym rezydencjom szlacheckim na Zamku Praskim, Pałac Rosenberg (Rožmberský) to masywny zielony budynek, który z daleka przypomina twierdzę. Początkowo był to renesansowy pałac należący do arystokratycznej rodziny Rožmberk z Południowych Czech.
Zbudowany między 1545 a 1574 rokiem, kompleks obejmował również pobliskie posiadłości Švamberk i Rožmitál. Zostały one zakupione przez przedstawicieli rodziny Rožmberk, a nowy pałac otoczony był pięknym ogrodem z arkadami.
Jednak w 1600 roku, cesarz Rudolf II postanowił powiększyć Pałac Królewski kosztem rezydencji Rožmberków. Petr Vok, ostatni członek rodziny, nie mógł odmówić. W zamian otrzymał dzisiejszy Pałac Schwarzenberg, położony w pobliżu - na terenie Zamku Praskiego.
Później Pałac Rosenberg przeszedł gruntowną renowację i zaczął służyć jako Instytut Szlachetnych Dam - od połowy XVIII wieku do 1918 roku. Ta instytucja została założona w 1753 roku przez królową Habsburgów Marię Teresę, aby zapewnić edukację 30 córkom pochodzącym z finansowo obciążonych rodzin szlacheckich. Symbolem Instytutu była owalna złota medalion, przedstawiający obraz Niepokalanego Poczęcia Najświętszej Maryi Panny. Arcyksiężniczka Maria Anna, córka cesarzowej, została pierwszą opatką.
Po okresie remontów po 1919 roku, budynek został częściowo otwarty dla publiczności w 2010 roku. Główną atrakcją jest trzypiętrowa kaplica z wspaniałymi freskami na suficie odbijającymi się w lustrach na podłodze. Można również zobaczyć kilka pomieszczeń, w tym rekonstrukcję sypialni damy - kompletną z meblami i strojem z epoki.