Jižní palác s Velkou a Holubovou věží, nejstarší část zámku