Entropia congiunta

Da Wikipedia, l'enciclopedia libera.
Entropie individuali (H(X),H(Y)), congiunte (HeX,Y), ed entropie condizionali per una coppia di sottosistemi correlati X,Y con mutua informazione I(X; Y).

L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.

Definizione[modifica | modifica wikitesto]

L'entropia congiunta di due variabili e è definita come:

dove e sono valori di and , rispettivamente, è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:

.

Per un numero di variabili maggiore di due la formula si estende a:

in cui sono valori di , respectively, è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:

.

Proprietà[modifica | modifica wikitesto]

Maggiore o uguale delle entropie individuali[modifica | modifica wikitesto]

L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme

Minore o uguale alla somma delle entropie individuali[modifica | modifica wikitesto]

L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se e sono statisticamente indipendenti.

Relazioni con altre misure di entropia[modifica | modifica wikitesto]

L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale

e della mutua informazione

Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.