Utente:Floydpig/Teoria delle grandi deviazioni

In teoria della probabilità, la teoria delle grandi deviazioni studia il comportamento asintotico delle code delle distribuzioni di probabilità. Mentre alcune idee di base della teoria possono essere ricondotte a Laplace, la formalizzazione è iniziata con lo studio matematico delle assicurazioni, vale a dire la teoria della rovina con Cramér e Lundberg. Una formalizzazione unificata della teoria delle grandi deviazioni fu sviluppata nel 1966, in un articolo di Varadhan. La teoria delle grandi deviazioni formalizza le idee euristiche di concentrazione delle misure e generalizza ampiamente la nozione di convergenza delle misure di probabilità.

In parole povere, la teoria delle grandi deviazioni si occupa del decadimento esponenziale delle misure di probabilità di certi tipi di eventi estremi (corrispondenti alle code delle distribuzioni di probabilità).

Esempi introduttivi

Esempio elementare

Si consideri una sequenza di lanci indipendenti di una moneta non truccata, i cui possibili risultati sono testa o croce. Si indichi con $X_{i}$ l'esito dell'i-esimo lancio, avendo definito testa come 1 e croce come 0. Si denoti con $M_{N}$ il valore medio dopo $N$ prove:

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}.$

$M_{N}$ è quindi compreso tra 0 e 1. Dalla legge dei grandi numeri ne consegue che al crescere di $N$, la distribuzione di $M_{N}$ converge verso il valore medio $0.5=\operatorname {E} [X]$ (il valore atteso di un singolo lancio di moneta).

Inoltre, dal teorema del limite centrale, ne deriva che il comportamento di $M_{N}$, per grandi $N$, è approssimativamente descritto da una distribuzione normale. Il teorema del limite centrale fornisce informazioni più dettagliate sul comportamento di $M_{N}$ rispetto alla semplice legge dei grandi numeri. Ad esempio, si può calcolare approssimativamente una probabilità legata alla coda della distribuzione di $M_{N}$, $P(M_{N}>x)$, ossia la probabilità che $M_{N}$ sia più grande di un certo valore $x$, per un $N$ fissato. Tuttavia, l'approssimazione dal teorema del limite centrale perde di validità se $x$ è lontano da $\operatorname {E} [X_{i}]$, a meno che $N$ non sia sufficientemente grande. Inoltre, non fornisce informazioni sulla convergenza delle probabilità della coda per $N\to \infty$. Lo scopo della teoria delle grandi deviazioni è di fornire risposte a tali problemi.

Si consideri un esempio più preciso. Per un dato valore $0.5<x<1$, si calcoli la probabilità della coda $P(M_{N}>x)$. Definendo

$I(x)=x\ln {x}+(1-x)\ln(1-x)+\ln {2}.$

la funzione $I(x)$ è una funzione convessa e non negativa, nulla per $x={\tfrac {1}{2}}$ e crescente per $x$ che tende a $1$. È il negativo dell'entropia di Bernoulli con $p={\tfrac {1}{2}};$ che sia appropriata per il lancio di monete deriva dalla proprietà di equipartizione asintotica applicata a un processo di Bernoulli. Dalla diseguaglianza di Chernoff si può dimostrare $P(M_{N}>x)<\exp(-NI(x)).$ Questo limite è piuttosto netto, nel senso che $I(x)$ non può essere sostituita con un numero maggiore in grado di produrre una rigida disuguaglianza per qualsiasi $N$ positivo. (Tuttavia, il limite esponenziale può ancora essere ridotto di un fattore subesponenziale di ordine $1/{\sqrt {N}}$ ; ciò deriva dall'approssimazione di Stirling applicata al coefficiente binomiale che compare nella distribuzione di Bernoulli) Si ottiene quindi il seguente risultato:

$P(M_{N}>x)\approx \exp(-NI(x))$.

La probabilità $P(M_{N}>x)$ decade esponenzialmente per $N\to \infty$ ad un tasso che dipende da $x$. Questa formula costituisce un'approssimazione valida per la coda di qualsiasi distribuzione probabilità della media campionaria delle variabili $X_{i}$ e ne descrive la convergenza all'aumentare del numero $N$ di campioni.

Grandi deviazioni per somme di variabili casuali indipendenti

Nell'esempio precedente sul lancio di monete si è esplicitamente assunto che ogni lancio costituisca una prova indipendente, e che la probabilità di ottenere testa o croce sia sempre la stessa.

Si assuma che $X,X_{1},X_{2},\ldots$ siano variabili casuali indipendenti e identicamente distribuite (i.i.d.) la cui distribuzione comune soddisfa una certa condizione di crescita. Esiste allora il seguente limite:

$\lim _{N\to \infty }{\frac {1}{N}}\ln P(M_{N}>x)=-I(x)$.

Dove come prima

$M_{N}={\frac {1}{N}}\sum _{i=1}^{N}X_{i}$,

La funzione $I(\cdot )$ è chiamata " funzione di rate " o "funzione di Cramer" o talvolta "funzione entropia".

Il suddetto limite implica che, per grandi $N$,

$P(M_{N}>x)\approx \exp[-NI(x)]$,

che è il risultato alla base della teoria delle grandi deviazioni.

Se si conosce la distribuzione di probabilità di $X$, è possibile ottenere un'espressione esplicita per la funzione di rate. Si deve applicare una trasformata di Legendre-Fenchel,

$I(x)=\sup _{\theta >0}[\theta x-\lambda (\theta )]$,

dove

$\lambda (\theta )=\ln \operatorname {E} [\exp(\theta X)]$

è la funzione generatrice dei cumulanti (CGF) e $\operatorname {E}$ denota il valore di aspettativa.

Se $X$ segue una distribuzione normale, la funzione di rate è una parabola con il suo vertice sulla media della distribuzione normale.

Definizione formale

Dato uno spazio polacco ${\mathcal {X}}$, sia $\{\mathbb {P} _{N}\}$ una sequenza di misure di probabilità di Borel su ${\mathcal {X}}$, e sia $\{a_{N}\}$ una sequenza di numeri reali positivi tale che $\lim _{N}a_{N}=\infty$, e infine sia $I:{\mathcal {X}}\to [0,\infty ]$ un funzionale semicontinuo inferiorermente su ${\mathcal {X}}.$ La sequenza $\{\mathbb {P} _{N}\}$ si dice che soddisfa un principio di grande deviazione con velocità $\{a_{n}\}$ e rate $I$ se, e solo se, per ogni insieme di Borel misurabile $E\subset {\mathcal {X}}$,

$-\inf _{x\in E^{\circ }}I(x)\leq \varliminf _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq \varlimsup _{N}a_{N}^{-1}\log(\mathbb {P} _{N}(E))\leq -\inf _{x\in {\overline {E}}}I(x)$,

dove ${\overline {E}}$ e $E^{\circ }$ denotano rispettivamente la chiusura e l'interno di $E$. 

Storia

I primi risultati rigorosi relativi alle grandi deviazioni si devono al matematico svedese Harald Cramér, che li applicò per modellare le polizze assicurative. Dal punto di vista di una compagnia di assicurazioni, il guadagno arriva con un tasso mensile costante (il premio mensile) ma i sinistri arrivano in modo casuale. Affinché l'azienda abbia successo in un certo periodo di tempo (preferibilmente lungo), il guadagno totale dovrebbe superare il totale della richiesta. Quindi per stimare il premio bisogna porsi la seguente domanda: "Che premio $q$ si deve scegliere per avere che, trascorsi $N$ mesi, il reclamo totale $C=\Sigma X_{i}$ sia inferiore a $Nq$?" Questa è la stessa domanda posta dalla teoria delle grandi deviazioni. Cramér fornì una soluzione a questa domanda per variabili casuali i.i.d., dove la funzione di rate è espressa in termini di una serie di potenze.

Un elenco molto incompleto di matematici che hanno ottenuto risultati importanti nel campo includere Aleksej Petrov, I. N. Sanov, S. R. Srinivasa Varadhan (che ha vinto il premio Abel proprio per il suo contributo alla teoria), David Ruelle, Oscar E. Lanford, Amir Dembo, e Ofer Zeitouni.

Applicazioni

I principi delle grandi deviazioni possono essere applicati in modo efficace per ottenere informazioni da un modello probabilistico. Pertanto, la teoria delle grandi deviazioni trova le sue applicazioni primarie nel campo della teoria dell'informazione e della gestione del rischio. In fisica, le applicazioni più note della teoria delle grandi deviazioni si trovano in termodinamica e meccanica statistica (a causa della relazione fra la funzione entropia e la funzione di rate). Recentemente ha assunto importanza nello studio delle onde anomale, e delle ondate di calore estreme.

Grandi deviazioni ed entropia

La funzione di rate in meccanica statistica è strettamente collegata all'entropia. Questo può essere visto euristicamente nel modo seguente. In meccanica statistica l'entropia di un particolare macrostato è correlata al numero di microstati che corrisponde a questo macrostato. Nell'esempio precedente del lancio della moneta il valore medio $M_{N}$ potrebbe designare un particolare macrostato, mentre la particolare sequenza di testa e croce che dà origine a un particolare valore di $M_{N}$ costituirebbe un particolare microstato. In parole povere, un macrostato a cui corrisponde un numero maggiore di microstati possiede una maggiore entropia, e uno stato con una maggiore entropia ha maggiori possibilità di essere osservato nella realtà. Il macrostato con valore medio di 1/2 (tante teste quante croce) ha il maggior numero di microstati che gli danno origine ed è infatti lo stato con la più alta entropia. Nella maggior parte delle situazioni pratiche si otterrà effettivamente questo macro-stato in un gran numero di prove. La "funzione di rate" invece misura la probabilità di comparsa di un particolare macrostato. Minore è la funzione di frequenza, maggiore è la possibilità che appaia un macrostato. Nel caso del lancio di monete il valore della funzione di rate per un valore medio pari a 1/2 è zero. In questo modo si può vedere la funzione tasso come il negativo dell'entropia.

Bibliografia

• S. R. S. Varadhan, Large deviations, in The Annals of Probability, vol. 36, n. 2, 1º marzo 2008, DOI:10.1214/07-aop348.
• Hugo Touchette, A basic introduction to large deviations: Theory, applications, simulations, in arXiv:1106.4146 [cond-mat, physics:math-ph], 29 febbraio 2012.
• Richard S. Ellis, Entropy, large deviations, and statistical mechanics, Springer, 2006, ISBN 978-3-540-29060-5, OCLC 209953236.
• Alan Weiss e Adam Shwartz, Large deviations for performance analysis : queues, communications, and computing, 1st ed, Chapman & Hall, 1995, ISBN 0-412-06311-5, OCLC 31409575.
• Amir Dembo e Ofer Zeitouni, Large deviations techniques and applications, 2nd ed, Springer, 1998, ISBN 0-387-98406-2, OCLC 37928533.
• Mark I. Freidlin e Alexander D. Wentzell, Random perturbations of dynamical systems, 2nd ed, Springer, 1998, ISBN 0-387-98362-7, OCLC 38409445. URL consultato il 24 aprile 2022.
• S.S. Sritharan e P. Sundar, Large deviations for the two-dimensional Navier–Stokes equations with multiplicative noise, in Stochastic Processes and their Applications, vol. 116, n. 11, 2006-11, pp. 1636–1659, DOI:10.1016/j.spa.2006.04.001.
• U. Manna, S. S. Sritharan e P. Sundar, Large deviations for the stochastic shell model of turbulence, 2008-02, OCLC 981466353.

Voci correlate

• Teorema delle grandi deviazioni di Cramér
• Disuguaglianza di Chernoff
• Il metodo di Laplace
• Teorema di Schilder, un principio di grandi deviazioni per il moto browniano
• Lemma di Varadhan
• Teoria dei valori estremi

[[Categoria:Analisi asintotica]] [[Categoria:Teoria della probabilità]]