Entropia condizionale

Da Wikipedia, l'enciclopedia libera.
Jump to navigation Jump to search

Nella teoria dell'informazione l'entropia condizionale è una misura della quantità di informazione necessaria per descrivere il valore di una variabile aleatoria noto il valore di un'altra variabile aleatoria . Nella trasmissione attraverso un canale di comunicazione rappresenta la quantità rimanente di incertezza del valore all'ingresso al canale dopo che è stato osservato il valore di uscita. L'entropia di condizionata da si definisce come .

Definizione[modifica | modifica wikitesto]

Se è l'entropia della variabile condizionata dalla variabile che assume un certo valore , allora è il risultato della media pesata di su tutti i possibili valori che la può assumere.

Dato un alfabeto di simboli in ingresso , un alfabeto di simboli in uscita con probabilità l'entropia condizionale si definisce come:

dove nell'ultima espressione si è utilizzata la relazione tra probabilità congiunta e condizionata: .

Bibliografia[modifica | modifica wikitesto]