Dolní zámek o třech budovách, při západní straně náměstí, byl postaven postupně. Spolu s horním zámkem byl propojen visutou chodbou s oratoří farního kostela. Jedná se o jedno až dvoupatrový areál s třemi věžmi, přičemž severní a střední křídlo je spojeno krytou chodbou.
Datování:
1540-1544 - postaven dolní zámek
1575-1578 - rozšířen o střední tzv. Wolfovo křídlo
kolem r. 1600 - fontána na nádvoří s bronzovým Tritónem (Adriaen de Vriese)
r. 1634 - zámek vypleněn Švédy
r. 1878 - přestavěn do dnešní podoby (jižní pseudorenesanční část)
1956-1961 - komplex opravován
21. 12. 1969 - poškozen požárem