Informazione mutua puntuale

Da Wikipedia, l'enciclopedia libera.

L'informazione mutua puntuale (IMP) (pointwise mutual information, PMI) (o informazione mutua specifica) è una misura di associazione usata nella teoria dell'informazione e nella statistica.

L'IMP di un paio di esiti x e y appartenenti a variabili casuali discrete quantifica la discrepanza tra la probabilità della loro coincidenza data la loro distribuzione congiunta, rispetto alla probabilità della loro coincidenza date soltanto le loro distribuzioni individuali e assumendo l'indipendenza delle variabili. Matematicamente,


SI(x,y) = \log\frac{p(x,y)}{p(x)p(y)}.

L'informazione mutua di X e Y è il valore atteso dell'informazione mutua specifica di tutti i possibili esiti.

La misura è simmetrica (SI(x,y)=SI(y,x)). È zero se X e Y sono indipendenti, ed uguale a -log(p(x)) se X e Y sono perfettamente associate. Infine, SI(x,y) aumenterà se p(x|y) è fissa, ma p(x) diminuisce. Può assumere valori sia negativi che positivi.

Ecco un esempio per illustrare:

x y p(x,y)
0 0 0,1
0 1 0,7
1 0 0,15
1 1 0,05

Usando questa tabella possiamo marginalizzare per ottenere la seguente tabella di addizioni

p(x) p(y)
0 0,8 0,25
1 0,2 0,75

Con questo esempio, possiamo calcolare quattro valori per SI(x,y). (Assumendo log in base 2)

SI(0,0) -1
SI(0,1) 0,222392421
SI(1,0) 1,584962501
SI(1,1) -1,584962501

(Per riferimento la mutua informazione MI(X,Y) sarebbe allora 0,214170945)

Misure puntuali collegate[modifica | modifica sorgente]

Analogamente all'IMP, si può anche definire la divergenza di Kullback-Leibler puntuale, PD_{KL}:


PD_{KL}[ X \| Y; x, y ] = \log \frac{p(X=x)}{p(Y=y)}.

Collegamenti esterni[modifica | modifica sorgente]