Paradosso di Simpson

Da Wikipedia, l'enciclopedia libera.

In statistica, il paradosso di Simpson indica una situazione in cui una relazione tra due fenomeni appare modificata, o perfino invertita, dai dati in possesso a causa di altri fenomeni non presi in considerazione nell'analisi.

Un esempio (tratto da "A Mathematician at the Ballpark: Odds and Probabilities for Baseball Fans (Paperback)" di Ken Ross, Pi Press, 2004. ISBN 0-13-147990-3. 12–13) del paradosso di Simpson: calcolo della battuta media di 2 giocatori di baseball nel corso di due stagioni. Se il giocatore Justice ha la media di battuta migliore in entrambe le stagioni rispetto all'avversario Jeter, chi avrà la battuta migliore combinando le annate?

È alla base di frequenti errori nelle analisi statistiche nell'ambito delle scienze sociali e mediche, ma non solo.

Storia[modifica | modifica sorgente]

Fu descritto da George Udny Yule, nell'articolo "Notes on the theory of association of attributes in Statistics", comparso in Biometrika nel 1903, e da E. H. Simpson, con l'articolo "The interpretation of interaction in contingency tables", pubblicato nel Journal of the Royal Statistical Society (1951).

Definizione formale[modifica | modifica sorgente]

Benché

P(X|BC) > P(X|bC)
P(X|Bc) > P(X|bc)

accade che

P(X|B) < P(X|b)

dove

P(X|YZ) è la probabilità di X condizionata dall'evento congiunto Y e Z
b è l'evento complementare di B
c è l'evento complementare di C

Esempio[modifica | modifica sorgente]

Si ipotizzi una situazione nella quale, a parità di età, la percentuale di disoccupati tra i diplomati o i laureati sia la metà rispetto alla popolazione di chi non ha conseguito il diploma.

Consideriamo però pure il fatto che, per motivi storici, tra le generazioni più anziane i diplomati siano in numero molto minore e che, per motivi legati al mercato del lavoro, tra i giovani il tasso di disoccupazione sia più elevato che tra gli anziani.

Partendo dalle seguenti due statistiche ipotetiche:

Lavoratori senza diploma con diploma Totale
Giovani 20 80 100
Anziani 120 30 150
Totale 140 110 250
Tasso di disoccupazione senza diploma con diploma
Giovani 30% 15%
Anziani 5% 3,33%

dove abbiamo che in entrambi i casi la disoccupazione è circa doppia tra i non diplomati, rispetto ai diplomati, si può calcolare il numero di disoccupati:

Disoccupati senza diploma con diploma Totale
Giovani 6 12 18
Anziani 6 1 7
Totale 12 13 25

Questi valori assoluti permettono ora di calcolare il tasso di disoccupazione per i non diplomati e per i diplomati senza tenere conto dell'età. Si ottiene:

Percentuale di disoccupati
senza diploma 12/140 = 8,6%
con diploma 13/110 = 11,8%

Si scopre così che tra i diplomati il tasso di disoccupazione invece che essere la metà è maggiore di un quarto che tra i non diplomati, proprio il contrario di quello che si era ipotizzato.

Cause[modifica | modifica sorgente]

Questo paradosso è dovuto al fatto che il tasso di disoccupazione è nettamente maggiore nel gruppo che ha una maggiore percentuale di diplomati; trascurare l'esistenza di due relazioni fondamentali (quella tra disoccupazione e età, nonché quella tra età e titolo di studio) fa giungere a conclusioni errate.

Mentre in questo caso preparato a tavolino la contraddizione è evidente, nelle analisi statistiche reali può capitare di non accorgersi delle relazioni implicite esistenti tra le variabili e limitarsi ad analizzare dati aggregati senza incrociarli con le variabili essenziali; la contraddizione non verrebbe allora minimamente percepita, e si potrebbero trarre conclusioni completamente opposte alla vera distribuzione, con conseguenze potenzialmente molto gravi.

In situazioni meno estreme di quelle dell'esempio, le stesse cause del paradosso di Simpson possono portare a sovrastimare o sottostimare differenze tra gruppi, senza però capovolgere il "segno" della relazione.

I dati prodotti dal paradosso di Simpson chiaramente non sono sbagliati in sé, ma semplicemente devono essere letti in modo diverso di quanto non farebbe un lettore o analista superficiale:

  • tra persone con diploma ci sono più disoccupati che tra persone senza diploma

Mentre sbagliata è la conclusione superficiale che usa concetti di causa-effetto, come

  • avere un diploma è la causa di una maggiore disoccupazione

Volendo usare concetti di causa effetto (spesso l'unico motivo per il quale si analizzano i dati), ma avendo a disposizione tutti i dati, si può dire

  1. I giovani sono sei volte più soggetti alla disoccupazione rispetto agli anziani
  2. ma sia tra i giovani che tra gli anziani avere un diploma riduce il "rischio disoccupazione" alla metà

Bibliografia[modifica | modifica sorgente]

(EN) Edward N. Zalta, Paradosso di Simpson in Stanford Encyclopedia of Philosophy, Center for the Study of Language and Information (CSLI), Università di Stanford.

Altri progetti[modifica | modifica sorgente]