Na místě současného muzea Calvet byl dříve kardinál rezidence - Livre de Cambrai, pojmenovaný na počest kdysi zde žila D'Ayli Pierre Cardinal biskupa de Cambrai. V roce 1719 byl objekt prodán Francois-Rene de Villeneuve, markýz de seigneur d'Arzele a Martignano.

V roce 1734 jeho syn Jacques-Ignace de Villeneuve se rozhodli rozšířit jejich držení a postavit nový palác. Stavba byla zahájena pod vedením Thomase Laine, ale pak změnil jeho architekti Jean-Baptiste Francesco Frank a Frank. Stavba byla dokončena až v roce 1749. V roce 1802 koupil dům Deletro obchodníka, který na oplátku předal budovu k pronájmu orgány Avignon umístit kolekci zde Esprit Calvet. 03.03.1833 byla budova koupil obec Avignonu pro muzea. Dne 1. října 1963 městský dům Villeneuve-Martignano na seznamu historických památek Francie.

To ubytuje jednu z největších sbírek obrazů ve Francii. Sbírat sbírka začala obvodního lékaře (numismatika, bibliofilie a archeolog) Esprit Calvet, a později, v roce 1810, odkázal svoji sbírku obrazů do muzea a knihovny. Muzejní expozice jsou díla užitého umění, sochy, porcelán, ale velmi zajímavý malířského oddělení, které pokrývají období od XVI do XX století - podle Vasari a Luca Giordano Davidovi, Corot, Manet, Bonnard a Soutine.

Zde, v městském domě Villeneuve-Martignano, k němuž byly přidány do moderní budovy, to je hlavní kolekce. Knihovna, Calvet a sbíral významnou sbírku téměř 12 000 mincí a medailí byly přesunuty na jiná místa.