Pierre se narodil na hradě Maumont jako syn šlechtice. V mládí vstoupil do benediktinského řádu, působil jako opat ve Fecamp a děkan sorbonské univerzity. Byl vychovatelem českého prince a moravského markraběte Václava – pozdějšího císaře Karla IV. Po svém zvolení za papeže, stejně jako jeho předchůdci, byl oddaným stoupencem Francie a odmítl se přesídlit do Říma. Klement VI. vládl v době, kdy Evropu pronásledoval mor, který vyhubil jednu až dvě třetiny tehdejší populace. Lidé obvinili z moru Židy a propukaly na ně pogromy po celé Evropě. Papež se Židů zastal bulou Quamvis Perfidiam a zakázal jejich pronásledování. 7. 4. 1348 potvrdil založení pražské (Karlovy) university. Uzákonil v Římě studium latiny a řečtiny.