Dvůr vznikl v místech starého proboštství sv. Petra. Původní renesanční rezidence, vystavěna biskupem Stanislavem II. Pavlovským, se z větší části dochovala dodnes. Dnešní nádvoří se uzavřelo směrem k městským hradbám dostavbou tzv. d'Elvertova křídla.
Datování:
r. 1306 - doložen dvůr
konec 15. st. - rozšířen
1579-1598 - přestavěn na renesanční rezidenci
kolem r. 1600 - upravován
80. léta 19. st. - dostavěno jižní křídlo, tzv. d'Elvertovo
do r. 1962 - objekt prošel rozsáhlou opravou