Divergenza di Kullback-Leibler

Da Wikipedia, l'enciclopedia libera.

In teoria della probabilità e in teoria dell'informazione, la divergenza di Kullback–Leibler[1][2][3] (anche detta divergenza di informazione, entropia relativa, o KLIC) è una misura non simmetrica della differenza tra due distribuzioni di probabilità P e Q. Specificamente, la divergenza di Kullback–Leibler di Q da P, indicata con DKL(P||Q), è la misura dell'informazione persa quando Q è usata per approssimare P:[4] KL misura il numero atteso di bit extra richiesti per la Codifica di Huffman di campioni P quando si utilizza un codice basato su Q, piuttosto che utilizzare un codice basato su P. Tipicamente P rappresenta la "vera" distribuzione di dati, osservazioni, o una distribuzione teorica calcolata con precisione. La misura Q tipicamente rappresenta una teoria, modello, descrizione, o approssimazione di P.

Anche se è spesso pensata come una distanza, la divergenza KL non è una vera e propria metrica - per esempio, non è simmetrica: la KL da P a Q non è in genere la stessa KL da Q a P. Tuttavia, la sua forma infinitesimale, in particolare la sua matrice hessiana, è un tensore metrico: è l'informazione metrica di Fisher.

La divergenza KL è un caso particolare di una classe più ampia di divergenze chiamata f-divergenze. È stata originariamente introdotta da Salomone Kullback e Richard Leibler nel 1951 come divergenza diretta tra due distribuzioni. Può essere derivata dalla divergenza di Bregman.

Definizione[modifica | modifica sorgente]

Per due distribuzioni discrete P e Q, la divergenza KL di Q da P è definita come:

D_{\mathrm{KL}}(P\|Q) = \sum_i \ln\left(\frac{P(i)}{Q(i)}\right) P(i).\!


Note[modifica | modifica sorgente]

  1. ^ S. Kullback e R.A. Leibler, On Information and Sufficiency in Annals of Mathematical Statistics, vol. 22, nº 1, 1951, pp. 79–86, DOI:10.1214/aoms/1177729694, MR 39968.
  2. ^ S. Kullback (1959) Information theory and statistics (John Wiley and Sons, NY).
  3. ^ S. Kullback, Letter to the Editor: The Kullback–Leibler distance in The American Statistician, vol. 41, nº 4, 1987, pp. 340–341, JSTOR 2684769.
  4. ^ Kenneth P. Burnham, David R. Anderson (2002), Model Selection and Multi-Model Inference: A Practical Information-Theoretic Approach. Springer. (2nd ed), p.51