Sob os mandatos dos Papas Clemente VI, Inocêncio VI e Urbano V, o palácio foi ampliado para formar o que é hoje é conhecido como Neuf Palais. Jean de Louvre foi o arquitecto escolhido por Clemente VI, para construir uma nova torre e os edifícios adjacentes, incluindo uma grande capela de 52m de comprimento, para servir como local de culto papal.
Mais duas torres foram construídas sob as ordens de Inocêncio VI e Urbano V, que completaram o pátio principal (conhecido como o Tribunal d'Honneur) com outros edifícios. O interior do edifício foi sumptuosamente decorado com frescos, tapeçarias, pinturas, esculturas e tectos em madeira.
Os papas de Avignon partiram voltando a Roma em 1377, mas isso levou ao Cisma Papal, durante o qual os anti-papas Clemente VII e Bento XIII, fizeram de Avignon a sua casa até 1408. O último ficou preso no Palais, durante dez anos, após ter sido cercado em 1398. O edifício permaneceu nas mãos das forças anti-papais mais alguns anos, mas foi devolvido às autoridade papais, em 1433.
Embora o Palais permanece-se sob controlo papal por mais de 350 anos, foi-se deteriorando gradualmente, apesar de uma primeira restauração em 1516. Quando a Revolução Francesa eclodiu em 1789, já estava em muito mau estado, quando foi ocupado e saqueado por forças revolucionárias. Em 1791, tornou-se o cenário de um massacre de contra-revolucionários, cujos corpos foram atirados da Torre des Latrinas no Vieux Palais.
O Palácio foi posteriormente adquirido pelo Estado francês na época de Napoleão, para uso como quartel militar e prisão. Embora fosse muito danificado pela ocupação militar, quando os frescos foram cobertos e em grande parte destruídos, ironicamente esta ocupação garantiu a sobrevivência física do edifício. Ele só foi desocupado em 1906, quando se tornou um museu nacional.
A maior parte do Palais, está agora aberto ao público, que também abriga um grande centro de convenções. Apresenta-se ao visitante com mais de vinte salas visitáveis, incluindo os aposentos privados do Papa e maravilhosos tectos, com frescos executados pelo artista italiano Matteo Giovannetti.
O monumento também oferece aos visitantes eventos culturais regulares, que ali são realizadas durante todo o ano, como exposições temáticas e visitas educacionais temáticas.
Durante o Verão, uma grande exposição de arte ocupa a capela-mor, enquanto os espectáculos de teatro, dança e outras performances do Festival de Avignon, criado por Jean Vilar em 1947, que acontece durante três semanas em Julho, ocupam o pátio do palácio, onde é montado um grande anfiteatro.