Das Barockgebäude, das sich an einem der meistbesuchten Orte des alten Prags - neben der Karlsbrücke - befindet, entstand auf den Fundamenten einer romanischen und gotischen Bebauung und eines Renaissancehauses. Zu seinen Besitzern gehörten eine Reihe interessanter Persönlichkeiten, von Graf Joachim Andreas von Schlick, der wegen seiner Beteiligung am Prager Ständeaufstand hingerichtet wurde, über den Jesuitenorden und den sächsischen Kurfürsten, den grausamen Grafen von Breda, bis hin zu Prinz Heinrich Paul von Mansfeld-Fondi.
Zwischen 1736 und 1737 beauftragte der Fürst Franz Ignatius Pree mit dem Umbau des ursprünglichen, wahrscheinlich von Giovanni Battista Alliprandi entworfenen Schlosses im Sinne des Hochbarocks. Ihr endgültiges Aussehen im Stil des Neorokoko erhielten die Innenräume des Schlosses in den 1860er Jahren durch die Familie Auersperg, die um 1900 auch einen großen Teil des Schlosses in ein luxuriöses Mietshaus umwandelte. Der schönste und vielleicht am besten erhaltene Raum des Schlosses ist der Tanzsaal, dessen Dekoration wahrscheinlich zwischen 1736 und 1737 fertiggestellt wurde. Das Deckenfresko mit den versammelten olympischen Göttern wurde von Pietro Scotti und Giovanni Battista Zeist geschaffen.
Der Palast ist nicht nur mit bedeutenden Adelsfamilien verbunden, sondern auch mit zahlreichen kulturhistorischen Ereignissen, darunter die letzte Sitzung des königlichen Rates des "Winterkönigs" Friedrich V., Kurfürst von der Pfalz, nach der Schlacht am Weißen Berg 1620.
In der Zeit nach dem Zweiten Weltkrieg wurde der Palast von der Tschechoslowakischen Akademie der Wissenschaften genutzt, und heute wird er von der Städtischen Galerie Prag verwaltet, die seine würdige Rekonstruktion vorbereitet und ihn in ihre Aktivitäten einbeziehen wird.