Venne iniziato nel 1455 per il cardinale veneziano, Pietro Barbo, futuro papa Paolo II e fu usato come residenza pontificia e sede dell'ambasciata di Venezia a Roma.
Nel 1916 fu confiscato dallo stato italiano e divenne poì museo.
Ma tra 1929 e il 1943 i saloni di rappresentanza furono la sede del capo del governo Benito Musolini e del Gran Consiglio del Fascismo.Famoso divenne il balcone da dove il Duce parlava alla folla.
Il Museo del palazzo possiede un'eclettica collezione che va da dipinti rinascimentali a sculture e arezzi di vario tipo.
Degna di nota è la Croce Orsini del 1334.