Entropia congiunta

Da Wikipedia, l'enciclopedia libera.
Entropie individuali (H(X),H(Y)), congiunte (HeX,Y), ed entropie condizionali per una coppia di sottosistemi correlati X,Y con mutua informazione I(X; Y).

L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.

Definizione[modifica | modifica sorgente]

L'entropia congiunta di due variabili X e Y è definita come:

H(X,Y) = -\sum_{x} \sum_{y} P(x,y) \log_2[P(x,y)] \!

dove x e y sono valori di X and Y, rispettivamente, P(x,y) è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:

\lim_{P(x,y)\to 0}P(x,y) \log_2[P(x,y)]=0.

Per un numero di variabili maggiore di due X_1, ..., X_n la formula si estende a:

H(X_1, ..., X_n) = -\sum_{x_1} ... \sum_{x_n} P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)] \!

in cui x_1,...,x_n sono valori di X_1,...,X_n, respectively, P(x_1, ..., x_n) è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:

\lim_{P(x_1, ..., x_n) \to 0}P(x_1, ..., x_n) \log_2[P(x_1, ..., x_n)]=0.

Proprietà[modifica | modifica sorgente]

Maggiore o uguale delle entropie individuali[modifica | modifica sorgente]

L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme

H(X,Y) \geq \max[H(X),H(Y)]
H(X_1, ..., X_n) \geq \max[H(X_1), ..., H(X_n)]

Minore o uguale alla somma delle entropie individuali[modifica | modifica sorgente]

L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se X e Y sono statisticamente independenti.

H(X,Y) \leq H(X) + H(Y)
H(X_1, ..., X_n) \leq H(X_1) + ... + H(X_n)

Relazioni con altre misure di entropia[modifica | modifica sorgente]

L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale

H(X|Y) = H(Y,X) - H(Y)\,

e della mutua informazione

I(X;Y) = H(X) + H(Y) - H(X,Y)\,

Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.