Entropia incrociata

Da Wikipedia, l'enciclopedia libera.
Jump to navigation Jump to search

Nella teoria dell'informazione, l'entropia incrociata (o cross-entropia) fra due distribuzioni di probabilità e , relative allo stesso insieme di eventi, misura il numero medio di bit necessari per identificare un evento estratto dall'insieme nel caso sia utilizzato uno schema ottimizzato per una distribuzione di probabilità piuttosto che per la distribuzione vera .


Definizione[modifica | modifica wikitesto]

L'entropia incrociata della distribuzione relativamente alla distribuzione è definita come

.

Se e sono distribuzioni di probabilità discrete la precedente assume la forma

,

che facendo uso della divergenza di Kullback-Leibler può anche essere riespressa come

dove è l'entropia della distribuzione di probabilità .

In alcuni contesti l'entropia incrociata viene anche indicata come , ma tale scelta può creare confusione in quanto adottata anche per denotare l'entropia congiunta delle due distribuzioni di probabilità e .


Proprietà[modifica | modifica wikitesto]

Grazie alla disuguaglianza di Jensen si può mostrare la non-negatività della divergenza di Kullback-Leibler; da questo risultato segue la disuguaglianza

,

in cui l'uguaglianza è soddisfatta per . Inoltre, poiché , segue anche per ogni e .

Note[modifica | modifica wikitesto]


Bibliografia[modifica | modifica wikitesto]

  • Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 2012.