Studente di liceo, a 16 anni entra a far parte della Gioventù socialista aderente alla SFIO e ne diventa segretario nazionale. Frequenta l'École normale nationale d'apprentissage (ENNA) e nel 1955, dopo aver insegnato per un breve tempo in un istituto tecnico, è eletto segretario del sindacato degli insegnanti di scuola tecnica. Da allora e fino al 1959 eserciterà a tempo pieno l'attività sindacale.
Nel 1966 è vice segretario generale della SFIO, divenuto dal 1969Partito Socialista (PS). Essendo a capo dell'importante federazione socialista della regione Nord-Pas-de-Calais, è praticamente l'uomo forte del partito.
Sindaco di Lilla dal 1973 al 2001. Dal 2001 è sindaco onorario. Eletto deputato all'Assemblée Nationale alle elezioni legislative del 1973, 1978, 1981, 1986, 1988. Presidente della Regione Nord-Pas-de-Calais dal 1974 al 1981. Presidente della Comunità urbana di Lilla dal 1989 al 2008. Nel 1992 si dimette dall'Assemblée Nationale perché eletto senatore. Rieletto senatore nel 2001, non si ripresenta alle elezioni senatoriali del 2011.
Il 10 maggio 1981François Mitterrand è eletto presidente della Repubblica. Il 20 maggio il nuovo presidente si insedia all'Eliseo, e nomina Pierre Mauroy Primo ministro. Sarà a capo di tre successivi governi: il primo dal 22 maggio 1981 al 23 giugno 1981, il secondo dal 23 giugno 1981 al 22 marzo 1983 ed il terzo dal 22 marzo 1983 al 17 luglio 1984.
È eletto segretario del Partito Socialista nel 1988. Si dimette nel 1992, per assumere la presidenza dell'Internazionale Socialista, che mantiene fino al 1999.
L'8 ottobre 2008 è nominato membro del comitato presieduto da Édouard Balladur a cui il presidente della Repubblica Nicolas Sarkozy aveva affidato il compito di ridisegnare il sistema delle autonomie locali in Francia. Le proposte del comitato Balladur confluiranno in alcuni provvedimenti legislativi, da cui tuttavia Mauroy prenderà in gran parte le distanze.
Colpito da un tumore ai polmoni, è operato il 14 aprile 2013. Il 1º giugno è nuovamente ricoverato presso l'ospedale Percy di Clamart dove muore il successivo 7 giugno all'età di 84 anni.