Petit Palais-ban épült, 1317. Nem található északi részén a tér, előtte a lakóhelye a pápai állam, és így nevezték, mert a csekély mérete és értéket képvisel, mint a palota a pápák.

A történet az ő megjelenése bizonytalan: az egyik változat szerint - épült az egyik unokaöccse János pápa XXII, Arnaud de Via, a másik - építette bíboros Bérengère F. Elder. Halála után, a palota és az okok vásároltak a bíboros Arnaud de Via. 1335-ben Via De meghalt, és a palota tartozott senki megérkezéséig Benedek pápa XII, akik újra és vált a hivatalos rezidenciája érsek Avignon.

Az épület súlyosan megsérült abban az időszakban, 1396-ból a 1411. mert úgy tartották fellegvára az avignoni pápák dúsított. Miután az ellenségeskedések beszüntetése, a palota fokozatosan esett elhanyagoltság. Az év második felében a XV században, püspök Alain de Kotivi és utóda Giuliano della Rovere (aki később pápa Julius II) úgy döntött, hogy helyreállítani az épületet, és 1503-ban adta neki szinte eredeti formájában. Della Rovere érkezett Avignon 1474-ben, ahogy nevezte ki nagybátyja, Sixtus pápa IV püspök Avignon. Hozzátette rá a déli és a nyugati homlokzat olasz reneszánsz stílusú 1487-ben épült torony (később, 1767-ben elpusztult).

A francia forradalom alatt, a palota tulajdonába került az állam, a XIX volt katolikus elemi iskolát, a szakmunkás. Csak a végén a XX század területén a palota volt a múzeum.

1958 óta ad otthont a múzeum a középkorban. 1976-ban ott nyitotta egy művészeti galéria művek mesterek a reneszánsz. A 19 szoba a múzeum, különösen a munka Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, többek között itt van a híres "Madonna" Botticelli.