Paradosso di Simpson

Da Wikipedia, l'enciclopedia libera.

Il paradosso di Simpson è in statistica la situazione in cui una relazione tra due fenomeni viene apparentemente modificata o persino invertita dai dati in possesso a causa di altri fenomeni non presi in considerazione nell'analisi.

Un esempio (tratto da "A Mathematician at the Ballpark: Odds and Probabilities for Baseball Fans (Paperback)" di Ken Ross, Pi Press, 2004. ISBN 0-13-147990-3. 12–13) del paradosso di Simpson: calcolo della battuta media di 2 giocatori di baseball nel corso di due stagioni. Se il giocatore Justice ha la media di battuta migliore in entrambe le stagioni rispetto all'avversario Jeter, chi avrà la battuta migliore combinando le annate?

È alla base di frequenti errori nelle analisi statistiche nell'ambito delle scienze sociali e mediche, ma non solo.

Storia[modifica | modifica sorgente]

George Udny Yule lo descrisse nell'articolo "Notes on the theory of association of attributes in Statistics", comparso in Biometrika nel 1903 e E. H. Simpson con l'articolo "The interpretation of interaction in contingency tables" nel Journal of the Royal Statistical Society (1951).


Definizione formale[modifica | modifica sorgente]

Benché

P(X|BC) > P(X|bC)
P(X|Bc) > P(X|bc)

accade che

P(X|B) < P(X|b)

dove

P(X|YZ) è la probabilità di X condizionata dall'evento congiunto Y e Z
b è l'evento complementare di B
c è l'evento complementare di C

Esempio[modifica | modifica sorgente]

Si ipotizzi una situazione nella quale, a parità di età, tra i diplomati o laureati la percentuale di disoccupati sia la metà di quella che si ha tra chi non ha conseguito il diploma.

Consideriamo però pure il fatto che, per motivi storici, tra le generazioni più anziane i diplomati siano in numero molto minore e che, per motivi legati al mercato del lavoro, tra i giovani il tasso di disoccupazione è più elevato che tra gli anziani.

Partendo dalle seguenti due statistiche ipotetiche

Lavoratori senza diploma con diploma Totale
Giovani 20 80 100
Anziani 120 30 150
Totale 140 110 250
Tasso di disoccupazione senza diploma con diploma
Giovani 30% 15%
Anziani 5% 3,33%

dove abbiamo che in entrambi i casi la disoccupazione è circa doppia tra i non diplomati, rispetto ai diplomati, possiamo calcolare il numero di disoccupati:

Disoccupati senza diploma con diploma Totale
Giovani 6 12 18
Anziani 6 1 7
Totale 12 13 25

Questi valori assoluti ci permettono ora di calcolare il tasso di disoccupazione per i non diplomati e per i diplomati senza tenere conto dell'età: si ottiene

Percentuale di disoccupati
senza diploma 12/140 = 8,6%
con diploma 13/110 = 11,8%

Improvvisamente si scopre che tra i diplomati il tasso di disoccupazione invece che essere la metà è di un quarto maggiore che tra i non diplomati, esattamente il contrario di quello che si era ipotizzato.

Questo paradosso è detto appunto di Simpson ed è dovuto al fatto che il tasso di disoccupazione è nettamente maggiore nel gruppo che ha una maggiore percentuale di diplomati; trascurare l'esistenza di due relazioni fondamentali (quella tra disoccupazione e età, nonché quella tra età e titolo di studio) fa giungere a conclusioni errate.

Mentre in questo caso preparato a tavolino la contraddizione è evidente, nelle analisi statistiche reali può capitare di non accorgersi delle relazioni implicite esistenti tra le variabili e limitarsi ad analizzare dati aggregati senza incrociarli con le variabili essenziali; la contraddizione non verrebbe allora minimamente percepita, e si potrebbero trarre conclusioni completamente opposte alla vera distribuzione, con conseguenze potenzialmente molto gravi.

In situazioni meno estreme di quelle dell'esempio, le stesse cause del paradosso di Simpson possono portare a sovrastimare o sottostimare differenze tra gruppi, senza però capovolgere il "segno" della relazione.

I dati prodotti dal paradosso di Simpson chiaramente non sono sbagliati in sé, ma semplicemente devono essere letti in modo diverso di quanto non farebbe un lettore o analista superficiale:

  • tra persone con diploma ci sono più disoccupati che tra persone senza diploma

Mentre sbagliata è la conclusione superficiale che usa concetti di causa-effetto, come

  • avere un diploma è la causa di una maggiore disoccupazione

Volendo usare concetti di causa effetto (spesso l'unico motivo per il quale si analizzano i dati), ma avendo a disposizione tutti i dati, si può dire

  1. I giovani sono sei volte più soggetti alla disoccupazione rispetto agli anziani
  2. ma sia tra i giovani che tra gli anziani avere un diploma riduce il "rischio disoccupazione" alla metà