Na místě tří měšťanských domů byla nákladem biskupů Tobiáše J. Beckera a Jana Adama hraběte Vratislava z Mitrovic vystavěna biskupská rezidence. Jedná se o dvoupatrový objekt s čtvercovým nádvořím s mansardovou střechou stojící v jížní frontě náměstí. Významným prostorem stavby je kaple sv. J. Boromejského.
Datování:
1709-1710 - postaven barokní palác
1714-1716 - rozšířen o zadní trakt
1720-1730 - kaple sv. Karla Boromejského
r. 1777 - zvýšen o II. patro a upraven do dnešní podoby
kolem r. 1830 - interiéry upraveny empírově
r. 1836 - postavena kašna na nádvoří
r. 1897 - požár zničil střechu, následně opravena
1904-1905 - objekt restaurován
r. 1931 - opravován
r. 1963 - interiéry upraveny pro potřeby galerie
1991-1993 - celková rekonstrukce