Il Museo Diocesano è ospitato nel Palazzo Vescovile denominato anche Palazzo Lercari, perché venne fatto costruire nel 1727 dal cardinale Nicolò Maria Lercari, segretario di Stato di Benedetto XIII, nella prima metà del Settecento.
In origine, più piccolo dell'attuale edificio, fu edificato su un preesistente Villino Seicentesco, di proprietà della famiglia Lercari, sulle rovine romane delle "piccole terme", sottostanti il complesso della Rotonda. Il palazzo ospitò più volte il pontefice e nel 1757, alla morte del cardinale, fu donato alla Curia diocesana come residenza vescovile, in quanto fino ad allora la città era sprovvista di una residenza per il proprio cardinale vescovo e questo lo obbligava a risiedere presso abitazioni private quando visitava la diocesi di Albano.
Il primo vescovo che risedette nel palazzo fu Francesco Scipione Maria Borghese che intraprese ingenti lavori di sistemazione dell'edificio che da allora ospitò i cardinali vescovi per sei mesi l'anno. Nel 1812, durante l'occupazione francese, il palazzo fu confiscato e messo all'asta, ma la cosa più grave è che fu spogliato di tutti gli arredi e le opere d'arte che lo adornavano. Nel 1814 il palazzo ritornò in possesso della Curia e il cardinale Dugnani provvide ad un radicale restauro dell'intero stabile, così come altre modifiche furono apportate dai vescovi che di volta in volta risiedevano nel palazzo.
Qui nel 1867 morì il cardinale Lodovico Altieri colpito dal morbo della peste che decimò la popolazione di Albano. Ospite di riguardo di Palazzo Lercari fu il musicista ungherese Franz Listz, tanto che nell'ottobre del 1879 fu nominato, con atto del cancelliere don Francesco Giorni, canonico onorario della cattedrale di Albano.
Il palazzo settecentesco, sicuramente uno dei più belli e meglio conservati di Albano, risalta per lo splendido portale d'ingresso sormontato da un elegante balcone. Da qui si accede nell'atrio che presenta decorazioni settecentesche in stucco e marmo bianchissimo. Nelle nicchie che ornano l'ingresso e l'accesso al cortile interno sono conservate quattro statue di età romana che raffigurano rispettivamente: Ercole, Meleagro, Hygieia e un Satiro.
