Voltou para a vida de eremita e foi viver no sopé de um morro onde levantou uma cela, vivendo de penitências e orações contemplativas.
Em 1251 fundou, com a colaboração de dois companheiros, um convento. Rapidamente, sob a direção de Pedro, o convento abrigava cada vez mais seguidores. Assim, ele fundou uma nova Ordem, mais tarde chamada “dos Celestinos”.
Em 1292 morreu o Papa Nicolau V e Pedro foi eleito o novo papa. Entretanto a sua escolha foi política, por pressão de Carlos II, rei de Nápoles. Com temperamento para a vida contemplativa e não para a de governança, o erro de estratégia logo foi percebido pelos cardeais.
Pedro Celestino exerceu o papado durante um período cheio de intrigas, crises e momentos difíceis. Reconhecendo-se deslocado, renunciou em favor do Papa Bonifácio VIII, seu sucessor. Para não gerar um cisma na Igreja, Pedro Celestino aceitou humildemente ficar prisioneiro no Castelo Fumone. Ali permaneceu até sua morte.
Dez meses depois de seu confinamento, Pedro Celestino teve uma visão e ficou sabendo o dia de sua morte. Assim, recebeu os Santos Sacramentos e aguardou por ela, que chegou exatamente no dia e momento previstos: 19 de maio de 1296.