Horní zámek, při severní straně náměstí, byl vystavěn, ve stylu pozdní gotiky a "saské" renesance v místech staršího panského sídla. Spolu s dolním zámkem byl propojen visutou chodbou s oratoří farního kostela.
Datování:
r. 1450 - postavena tvrz
r. 1479 - poprvé doložena
1522-1524 - přestavěna na zámek
1540-1544 - rozšířen (Walter Hirsch z Annabergu)
r. 1571 - poškozen požárem
r. 1571 - renesanční portál v nádvorní zdi
1575 - 1578 - opravován po požáru
r. 1791 - západní úřední budova zničena požárem (od té doby zříceninou)
r. 1838 - okrouhlá věž zčásti snesena
r. 1863 - požárem poškozeny hospodářské budovy, následně opraveny
po r. 1863 - věž přilehající k jižnímu průčelí přestavěna do dnešní podoby
po r. 1956 - komplex opravován
80. léta 20. st. - rekonstruován