Музей малого дворца в Авиньоне был открыт в 1976 г., здесь собрана уникальная коллекция картин эпохи Возрождения мастеров как Авиньонской, так и итальянских художественных школ, часть коллекции представлена частным собранием Джан Пьетро Кампана. Музей располагается в здании XIV века в северной части площади напротив Папской резиденции.
Название Малый Дворец было дано постройке для того, чтобы разграничить ее с дворцом римских Пап. Дворец был построен в период после великой Схизмы кардиналом Беренжером Ф. Старшим в 1318-1320. Дворец и прилегающие постройки после смерти кардинала-основателя были выкуплены кардиналом Арно де Виа, племянником действующего папы. Де Виа скончался в 1335 г. и замок оставался без хозяина до прихода папы Бенедикта XII, который в очередной раз выкупил его.
Здание сильно пострадало в ходе атак в период с 1396 по 1411 гг., поскольку считалось укрепленной цитаделью западной Схизмы. По завершении военного противостояния дворец потихоньку начал приходить в упадок. Во второй половине XV века епископом Алан де Котиви и его последователь Джулиано делла Ровере (будущий Папа Юлий II) занялись реставрационными работами, придав зданию к 1503 г. практически первоначальный вид. Делла Ровере прибыл в Авиньон в 1474 г., поскольку он был назначен своим дядей, Папой Сикстом IV, епископом авиньонским. Он достроил новые южный и западный фасады в стиле итальянского ренессанса и в 1487 г. возвел башню (развалившуюся в 1767 г.).
Во время французской революции дворец был национализирован и продан с молотка, став в XIX веке католической школой, а позднее профессиональным училищем. Только в конце XX века на территории дворца был открыт музей.