Het kasteel van Troja is inderdaad een opmerkelijk en uitzonderlijk gebouw. Eigenlijk zou men het beter een villa kunnen noemen in plaats van een kasteel, want het is een echo van de weelderige Romeinse villa's in de voorsteden die de bouwer ervan, graaf Wenzel Adalbert van Sternberg, op zijn lange reis tegenkwam. De spectaculaire huizen temidden van eindeloze tuinen fascineerden hem zozeer dat hij besloot een stukje van de "Eeuwige Stad" naar zijn geboorteland over te brengen. De jonge graaf had geluk bij de keuze van zowel de plaats als de kunstenaars die zijn droom in vervulling moesten doen gaan.
De bouw van het vroegbarokke kasteel begon in 1679, uitgevoerd door een architect van Franse origine - Jean Baptiste Mathey, wiens ontwerp gebruik maakte van zijn ervaringen tijdens zijn verblijf in Italië en geïnspireerd was op een typische Romeinse villa in de voorsteden. Het centrale en dominerende kenmerk van het gehele bouwwerk is een grote hal met een aan weerszijden lopende gang en met een enfilade van aangrenzende salons. Aan de zijkanten wordt het gebouw zowel verticaal als horizontaal afgesloten door torenhoge belvédères van twee verdiepingen.
Als u naar de tuin gaat, ziet u een prachtige sculpturale versiering van de twee-armige trap, die werd toevertrouwd aan de Dresdense kunstenaars Georg en Paul Hermanns. De monumentale beelden op de trap symboliseren Titanen die strijden tegen klassieke goden, terwijl de afzonderlijke beelden langs de omtrek klassieke goden, allegorieën van werelddelen, alsmede perioden van de dag en het jaar voorstellen.
De meeste schilderijen op de benedenverdieping van het kasteel werden gemaakt door Carpoforo Tencalla, terwijl Francesco Marchetti en zijn zoon Giovanni Francesco op de eerste verdieping werkten. De Vlaamse schilders Abraham en Isk Godyns werden door de bouwer ontboden om de illusoire decoratie van de grote hoofdzaal - Grote Zaal der Keizers - uit te voeren.