Petit Palais byla postavena v roce 1317. Nachází se v severní části náměstí, v přední části pobytu papežských států, a je tak pojmenovaný protože jeho malá velikost a hodnoty ve srovnání s Palác papežů.

Příběh o jeho vzhledu vágní: podle jedné verze - to bylo postavené pro synovcem papeže Jana XXII, Arnaud de Via, na straně druhé - to bylo postaveno kardinál Bérengère F. Elder. Po jeho smrti, palác a pozemky koupil kardinál Arnaud de Via. V roce 1335 Via De zemřel a patřil palác nikdo až do příjezdu papeže Benedikta XII, který ji koupil znovu a obrátil se do oficiální sídlo arcibiskupa Avignon.

Budova byla těžce poškozena v období od roku 1396 prostřednictvím 1411. Vzhledem k tomu, to bylo považováno za tvrz papežů Avignon opevněných. Po skončení nepřátelských akcí, palác postupně chátral. Ve druhé polovině století XV, biskup Alain de Kotivi a jeho nástupce Giuliano della Rovere (kdo by později se stal papež Julius II) rozhodl obnovit budovy a v roce 1503 mu téměř prapůvodní formulář. Della Rovere přijel do Avignonu v roce 1474, když byl jmenován jeho strýcem, papeže Sixta IV, biskupa Avignon. Dodal, na jižní a západní fasády ve stylu italské renesance a v roce 1487 postavili věž (později, v roce 1767 to bylo zničeno).

Během francouzské revoluce, se palác stal majetkem státu, v XIX století to byla katolická škola a později odborná škola. Teprve na konci XX století na území paláce bylo muzeum.

Od roku 1958 zde sídlí muzeum středověku. V roce 1976 zde byla otevřena uměleckou galerii děl mistrů renesance. 19 pokojů muzea, zejména práce Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, včetně tady je slavný "Madonna" Botticelli.