Папский дворец был построен на северной окраине Авиньона, с видом на реку Рону. Реконструкцию старого дворца епископа начал Папа Бенедикт XII в 1335 году, но не была продолжена его преемниками до 1364 года. Это было очень дорого, и во время его строительства сюда шла большая часть доходов папства. По завершении строительства дворец занимал площадь в 2,6 акра.
Дворец был построен в две фазы, двумя различными сегментами, известными как «Старый дворец» и «Новый дворец». Старый дворец был построен по указанию Папы Бенедикта XII, по проекту архитектора Пьера Пуассона. Рациональный Бенедикт построил дворец с четырьмя крыльями в окружении высоких башен, что давало хорошую защиту от нападавших. «Новый дворец» был построен при Папах Клименте VI, Иннокентии VI и Урбане V. При Клименте VI была возведена новая башня и прилегающие здания, а также часовни для папских богослужений. Еще две башни были построены при Иннокентии VI, а при Урбане V был завершен главный двор.
Папа отбыл в Авиньон в 1377 году, и это стало причиной папского раскола. Здание было возвращено папской власти в 1433 году. Дворец оставался под папским управления в течение более чем 350 лет и постепенно пришел в упадок, несмотря на восстановительные работы в 1516 году. В 1789 году во время французской революции Папский дворец был захвачен, а в 1791 году он стал ареной резни контрреволюционеров. Во время правления Наполеона, дворец был передан правительству и использовался в качестве военной казармы и тюрьмы. В 1906 году Папский дворец стал национальным музеем.
Перед тем как дворец был разрушен революцией, он был знаменит замечательными фресками и роскошным декором. Фрески Матео Джованетти украшали Старый дворец и сохранились по сей день, являясь одной из наиболее интересных достопримечательностей дворца.
Уже на начальном этапе, дворец украшали фрески, гобелены, картины, скульптуры и великолепные деревянные потолки. В настоящее время ремонт дворца продолжается, его элементы восстанавливаются по крупицам.
В течение года в Папском дворце проходит множество культурных мероприятий. Летние месяцы являются наиболее популярным временем для посещения, поскольку каждую ночь здесь что-либо происходит. В августе проходят концерты классической музыки три дня в неделю (по средам, пятницам и воскресеньям), а вечером – дегустация вин.
С 1947 года, после незабываемой выставки, посвященной Пикассо, искусство стало традицией в папском дворце. Каждый год, летом, в нем проходят выставки искусства, где выставляются всемирно известные шедевры.