Renesanční zámek patří mezi památky zařazené v seznamu světového kulturního dědictví UNESCO.
V místě dnešního zámku existovalo slavníkovské hradiště, zmíněné již v roce 981, záhy přeměněné na přemyslovský hrad. Roku 1567 získal panství Litomyšl Vratislav z Pernštejna a zahájil zde výstavbu reprezentativního rodového sídla ve stylu italské renesance.
Průčelí zámku jsou pokryta bohatým sgrafitovým ornamentem a završena stupňovými renesančními štíty. I přes ničivý požár v roce 1775 si zámek ponechal původní vzhled, úpravy se týkaly zejména interiéru.
Renesanční arkádový zámek s komplexem hospodářských budov, zámeckou zahradou a piaristickým kostelem svatého Kříže vytváří jedinečný obraz bohatého feudálního sídla 16. a 17. století.