Entropia congiunta

Da Wikipedia, l'enciclopedia libera.
Vai alla navigazione Vai alla ricerca
Entropie individuali (H(X),H(Y)), congiunte (H(X,Y)), ed entropie condizionali per una coppia di sottosistemi correlati X,Y con mutua informazione I(X; Y).

L'entropia congiunta è una misura dell'incertezza associata ad un insieme di variabili casuali.

L'entropia congiunta di due variabili e è definita come:

dove e sono valori di and , rispettivamente, è la probabilità che questi due valori valori vengano assunti contemporaneamente dalle variabili e vale:

.

Per un numero di variabili maggiore di due la formula si estende a:

in cui sono valori rispettivamente di , è la probabilità che questi valori vengano assunti contemporaneamente dalle variabili e vale:

.

Maggiore o uguale delle entropie individuali

[modifica | modifica wikitesto]

L'entropia congiunta di un insieme di variabili è maggiore o uguale rispetto a tutte le entropie individuali delle variabili nell'insieme

Minore o uguale alla somma delle entropie individuali

[modifica | modifica wikitesto]

L'entropia congiunta di un insieme di variabili è minore o uguale alla somma delle entropie individuali delle variabili nell'insieme. Questo è un esempio di subadditività. Questa disuguaglianza diventa un'uguaglianza se e solo se e sono statisticamente indipendenti.

Relazioni con altre misure di entropia

[modifica | modifica wikitesto]

L'entropia congiunta è utilizzata nella definizione dell'entropia condizionale

e della mutua informazione

Nell'informatica quantistica, l'entropia congiunta è generalizzata nell'entropia quantistica congiunta.