Teoremi centrali del limite

I teoremi centrali del limite sono una famiglia di teoremi di convergenza debole nell'ambito della teoria della probabilità. A tutti i teoremi è comune l'affermazione che la somma (normalizzata) di un grande numero di variabili casuali è distribuita approssimativamente come una variabile casuale normale standard. Ciò spiega l'importanza che quest'ultima variabile casuale assume nell'ambito della statistica e della teoria della probabilità in particolare.

Jarl Waldemar Lindeberg dimostrò nel 1922 il teorema centrale del limite nell'articolo "Eine neue Herleitung des Exponentialgesetzes in der Wahrscheinlichkeitsrechnung", dimostrato successivamente e autonomamente da Alan Turing.

Infatti il teorema, semplicisticamente, afferma che se si ha una somma di variabili aleatorie $X_{i}$ indipendenti e identicamente distribuite (con densità uguali) con media μ e varianza σ², allora indipendentemente dalla forma distributiva di partenza, al tendere della dimensione campionaria a infinito la somma tende a distribuirsi come una variabile casuale normale. In formule:

$\sum _{i=1}^{n}X_{i}\sim N(n\mu ,n\sigma ^{2}),$ per $n\to \infty$

e standardizzando:

$\lim _{n\to \infty }{\frac {{\overline {X}}_{n}-\mu }{\sigma }}{\sqrt {n}}=N(0,1).$

dove

${\overline {X}}_{n}={\frac {\sum _{i=1}^{n}X_{i}}{n}}$

è la v.c. media campionaria.

Teorema di Lindeberg-Lévy

La più nota formulazione di un teorema centrale del limite è quella dovuta a Lindeberg e Lévy; si consideri una successione di variabili casuali $\ \left\{x_{j}\right\}_{j=1}^{n}$ indipendenti e identicamente distribuite, e in particolare tali che esistano, finiti, i loro momenti di ordine primo e secondo, e sia in particolare $\ {\textrm {E}}[x_{j}]=\mu <\infty$ e $\ {\textrm {var}}(x_{j})=\sigma ^{2}<\infty$ per ogni $\ j$. Definita allora la nuova variabile casuale:

$\ S_{n}={\frac {{\bar {x}}-\mu }{\sigma }}{\sqrt {n}}$

dove $\ {\bar {x}}={\frac {\sum _{j=1}^{n}x_{j}}{n}}$ è la media aritmetica degli $\ x_{j}$, si ha che $\ S_{n}$ converge in distribuzione a una variabile casuale normale avente valore atteso 0 e varianza 1, ossia la distribuzione di $\ S_{n}$, al limite per $\ n$ che tende a infinito, coincide con quella di una tale variabile casuale normale.

Dimostrazione

La dimostrazione del teorema fa uso della nozione di funzione caratteristica della $\ S_{n}$, che altro non è che la trasformata di Fourier della funzione di densità (o di massa di probabilità per variabili casuali discrete) della $\ S_{n}$:

$\ \varphi _{S_{n}}(t)={\textrm {E}}\left[\exp \left\{itS_{n}\right\}\right]=\int _{\mathbb {R} }e^{itS_{n}}f_{S_{n}}(x)dx$

dove $\ i$ è l'unità immaginaria, e $\ f_{S_{n}}$ denota la funzione di densità di probabilità di $\ S_{n}$. Nel caso presente, si ha:

$\ {\textrm {E}}\left[\exp \left\{itS_{n}\right\}\right]={\textrm {E}}\left[\exp \left\{{\frac {it}{n}}\sum _{j=1}^{n}{\frac {x_{j}-\mu }{\sigma /{\sqrt {n}}}}\right\}\right]=\prod _{j=1}^{n}{\textrm {E}}\left[\exp \left\{{\frac {it}{\sqrt {n}}}{\frac {x_{j}-\mu }{\sigma }}\right\}\right]$

dove l'ultima uguaglianza discende dalla indipendenza degli $\ x_{j}$; per semplicità di notazione sia $\ y_{j}={\frac {x_{j}-\mu }{\sigma }}$; si osservi che $\ {\textrm {E}}[y_{j}]=0,\ {\textrm {var}}(y_{j})={\textrm {E}}[y_{j}^{2}]=1\ \forall j$. Si consideri quindi lo sviluppo di Taylor, centrato in $\ y_{j}=0$ del valore atteso:

$\ {\textrm {E}}\left[\exp \left\{{\frac {it}{\sqrt {n}}}y_{j}\right\}\right]={\textrm {E}}\left[1+{\frac {it}{\sqrt {n}}}y_{j}-{\frac {1}{2}}{\frac {t^{2}}{n}}y_{j}^{2}+o\left(y_{j}^{2}\right)\right]=1-{\frac {1}{n}}\left({\frac {t^{2}}{2}}\right)\ \forall \ j$

Segue che:

$\ {\textrm {E}}\left[\exp \left\{itS_{n}\right\}\right]=\left(1-{\frac {1}{n}}\left({\frac {t^{2}}{2}}\right)\right)^{n}$

Ma applicando il limite notevole: $\ \lim _{n\rightarrow \infty }\left(1+{\frac {x}{n}}\right)^{n}=e^{x}$, si ha:

$\ \lim _{n\rightarrow \infty }\varphi _{S_{n}}(t)=\lim _{n\rightarrow \infty }\left(1+{\frac {1}{n}}\left(-{\frac {t^{2}}{2}}\right)\right)^{n}=\exp \left\{-{\frac {t^{2}}{2}}\right\}$

Nell'espressione sopra si riconosce la funzione caratteristica di una variabile casuale normale standard, così che la funzione di densità, e dunque la funzione di ripartizione, della $\ S_{n}$, converge a quella di una normale standard al tendere di $\ n$ a infinito, come volevasi dimostrare.

Teorema di De Moivre-Laplace

Un corollario importante e usato frequentemente del teorema Centrale del Limite è il seguente:

Se $Y=Bi(n,p)$ è una v.c. binomiale, che possiamo vedere come somma di $n$ v.c. bernoulliane. Allora per $n\to \infty$:

$Y=N(np,np(1-p)),$

ovvero una normale con media $np$ e varianza $np(1-p)$.

Se standardizziamo:

$\lim _{n\to \infty }{\frac {Y_{n}-np}{\sqrt {np(1-p)}}}=Z.$

Questo teorema è molto utile nel caso si vogliano valori approssimati del numero di successi nella ripetizione di un esperimento indipendente dagli esiti passati, visto che la variabile aleatoria binomiale risulta spesso difficile da calcolare con numeri elevati. L'approssimazione è tanto migliore quanto più è alto il numero di esperimenti.

Dimostrazione

Il teorema di De Moivre-Laplace può essere dimostrato più facilmente del teorema Centrale del Limite, con una prova per la quale è necessaria la conoscenza degli sviluppi di Taylor e dell'Approssimazione di Stirling. Per il fattoriale di un numero n sufficientemente grande vale la formula di Stirling, secondo cui:

$n!\simeq {\sqrt {2\pi n}}\left({\frac {n}{e}}\right)^{n}$

o, equivalentemente:

$n!\simeq n^{n}e^{-n}{\sqrt {2\pi n}}$

La funzione di densità di $Bi(n,p)$ si potrà scrivere allora come:

${\begin{aligned}{n \choose k}\,p^{k}q^{n-k}&={\frac {n!}{k!\left(n-k\right)!}}p^{k}q^{n-k}\\&\simeq {\frac {n^{n}e^{-n}{\sqrt {2\pi n}}}{k^{k}e^{-k}{\sqrt {2\pi k}}{(n-k)}^{n-k}e^{-(n-k)}{\sqrt {2\pi (n-k)}}}}p^{k}q^{n-k}\\&=\left[{\frac {\sqrt {2\pi n}}{{\sqrt {2\pi k}}{\sqrt {2\pi (n-k)}}}}\right]\left[{\frac {n^{n}}{k^{k}{(n-k)}^{n-k}}}\right]\left[{\frac {e^{-n}}{e^{-k}e^{-(n-k)}}}\right]p^{k}q^{n-k}\\&=\left[{\frac {\sqrt {n}}{{\sqrt {k}}{\sqrt {2\pi (n-k)}}}}\right]\left[{\frac {n^{n}}{k^{k}{(n-k)}^{n-k}}}\right]\left[{\frac {e^{-n}}{e^{-k}e^{-n}{e}^{k}}}\right]p^{k}q^{n-k}\\&=\left[{\sqrt {\frac {n}{2\pi k(n-k)}}}\right]\left[n^{n}{\left({\frac {p}{k}}\right)}^{k}{\left({\frac {q}{n-k}}\right)}^{(n-k)}\right]e^{-n+k+n-k}\\&=\left[{\sqrt {\frac {n}{2\pi k(n-k)}}}\right]\left[n^{n-k+k}{\left({\frac {p}{k}}\right)}^{k}{\left({\frac {q}{n-k}}\right)}^{(n-k)}\right]\\&=\left[{\sqrt {\frac {n}{2\pi k(n-k)}}}\right]\left[n^{n-k}n^{k}{\left({\frac {p}{k}}\right)}^{k}{\left({\frac {q}{n-k}}\right)}^{(n-k)}\right]\\&=\left[{\sqrt {\frac {n}{2\pi k(n-k)}}}\right]\left[{\left({\frac {np}{k}}\right)}^{k}{\left({\frac {nq}{n-k}}\right)}^{(n-k)}\right]\\&=\left[{\sqrt {\frac {n}{2\pi k(n-k)}}}\right]\left[{\left({\frac {k}{np}}\right)}^{-k}{\left({\frac {n-k}{nq}}\right)}^{-(n-k)}\right]\\\end{aligned}}$

Sia ora

$x={\frac {(k-np)}{\sqrt {npq}}}$

$\Rightarrow \ k=np+x{\sqrt {npq}}$  and  $n-k=nq-x{\sqrt {npq}}$

$\Rightarrow \ {\frac {k}{np}}=1+x{\sqrt {\frac {q}{np}}}$  and  ${\frac {n-k}{nq}}=1-x{\sqrt {\frac {p}{nq}}}$

$\Rightarrow \ {n \choose k}p^{k}q^{n-k}\simeq \left[{\sqrt {\frac {n}{2{\mathbf {\pi } }k(n-k)}}}\right]\left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-(n-k)}\right]$

Consideriamo dapprima il primo termine tra parentesi quadre nell'ultima uguaglianza:

${\begin{aligned}{\sqrt {\frac {n}{2\pi k\left(n-k\right)}}}&={\sqrt {{\frac {n}{2\pi k\left(n-k\right)}}\times {\frac {{1}/{n^{2}}}{{1}/{n^{2}}}}}}\\&={\sqrt {\frac {{1}/{n}}{{2\pi k(n-k)}/{n^{2}}}}}\\&={\sqrt {\frac {{1}/{n}}{2\pi {\frac {k}{n}}{\frac {(n-k)}{n}}}}}\\&={\sqrt {\frac {{1}/{n}}{2\pi {\frac {k}{n}}\left(1-{\frac {k}{n}}\right)}}}\\&={\sqrt {\frac {{1}/{n}}{2\pi p\left(1-p\right)}}}\qquad \qquad \qquad \left[\because k\to np\Rightarrow {\frac {k}{n}}\to p\right]\\&={\sqrt {\frac {{1}/{n}}{2\pi pq}}}\qquad \qquad \qquad \left[\because p+q=1\Rightarrow q=1-p\right]\\&={\sqrt {\frac {1}{2\pi npq}}}\\&={\frac {1}{\sqrt {2\pi npq}}}\\\end{aligned}}$

$\Rightarrow {n \choose k}p^{k}q^{n-k}\simeq {\frac {1}{\sqrt {2{\mathbf {\pi } }npq}}}\left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-(n-k)}\right]$

E quindi il secondo termine tra parentesi quadrate:

$\left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\right]=e^{\ln \left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\right]}$

Per cui si ha che:

${n \choose k}p^{k}q^{n-k}\simeq {\frac {1}{\sqrt {2{\mathbf {\pi } }npq}}}e^{\ln \left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\right]}$

Consideriamo quindi il logarimo naturale che appare nell'ultima uguaglianza.

${\begin{aligned}\ln \left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\right]&=\ln {\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}+\ln {\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\\&=-k\ln \left(1+x{\sqrt {\frac {q}{np}}}\right)-\left(n-k\right)\ln \left(1-x{\sqrt {\frac {p}{nq}}}\right)\\\end{aligned}}$

Utilizzando le espansioni di Taylor seguenti:-

$\ln \left(1+y\right)=y-{\frac {y^{2}}{2}}+{\frac {y^{3}}{3}}-{\frac {y^{4}}{4}}+\cdots$

$\ln \left(1-y\right)=-y-{\frac {y^{2}}{2}}-{\frac {y^{3}}{3}}-{\frac {y^{4}}{4}}-\cdots$

si ha:

$\ln \left(1+x{\sqrt {\frac {q}{np}}}\right)=x{\sqrt {\frac {q}{np}}}-{\frac {x^{2}q}{2np}}+\cdots$

e

$\ln \left(1-x{\sqrt {\frac {p}{nq}}}\right)=-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}-\cdots$

${\begin{aligned}\Rightarrow {\ln \left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\right]}&=-k\left(x{\sqrt {\frac {q}{np}}}-{\frac {x^{2}q}{2np}}+\cdots \right)-\left(n-k\right)\left(-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}-\cdots \right)\\&=-\left(np+x{\sqrt {npq}}\right)\left(x{\sqrt {\frac {q}{np}}}-{\frac {x^{2}q}{2np}}+\cdots \right)\\&-\left(nq-x{\sqrt {npq}}\right)\left(-x{\sqrt {\frac {p}{nq}}}-{\frac {x^{2}p}{2nq}}-\cdots \right)\\\end{aligned}}$

per cui

${\begin{aligned}\Rightarrow {\ln \left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\right]}&=-\left(np\times x{\sqrt {\frac {q}{np}}}-np\times {\frac {x^{2}q}{2np}}+x{\sqrt {npq}}\times x{\sqrt {\frac {q}{np}}}-x{\sqrt {npq}}\times {\frac {x^{2}q}{2np}}+\cdots \right)\\&-\left(-nq\times x{\sqrt {\frac {p}{nq}}}-nq\times {\frac {x^{2}p}{2nq}}+x{\sqrt {npq}}\times x{\sqrt {\frac {p}{nq}}}+x{\sqrt {npq}}\times {\frac {x^{2}p}{2nq}}+\cdots \right)\\&=-\left(x{\sqrt {npq}}-{\frac {x^{2}q}{2}}+x^{2}q+\cdots \right)-\left(-x{\sqrt {npq}}-{\frac {x^{2}p}{2}}+x^{2}p+\cdots \right)\\&=-\left(x{\sqrt {npq}}+{\frac {x^{2}q}{2}}+\cdots \right)-\left(-x{\sqrt {npq}}+{\frac {x^{2}p}{2}}+\cdots \right)\\&=-x{\sqrt {npq}}-{\frac {x^{2}q}{2}}+x{\sqrt {npq}}-{\frac {x^{2}p}{2}}-\cdots \\&=-{\frac {x^{2}q}{2}}-{\frac {x^{2}p}{2}}-\cdots \\&=-{\frac {x^{2}}{2}}\left(q+p\right)-\cdots \\&=-{\frac {x^{2}}{2}}-\cdots \\\end{aligned}}$

$\Rightarrow {\ln \left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\right]}\simeq -{\frac {x^{2}}{2}}$

$\Rightarrow {n \choose k}p^{k}q^{n-k}\simeq {\frac {1}{\sqrt {2{\mathbf {\pi } }npq}}}e^{\ln \left[{\left(1+x{\sqrt {\frac {q}{np}}}\right)}^{-k}{\left(1-x{\sqrt {\frac {p}{nq}}}\right)}^{-\left(n-k\right)}\right]}\simeq {\frac {1}{\sqrt {2{\mathbf {\pi } }npq}}}e^{{-x^{2}}/{2}}$

Possiamo ignorare i termini di grado maggiore del secondo, essendo $x$ proporzionale a $(k-np)$ che tende a 0 al crescere di $n$.

Dunque, elevando al quadrato e dividendo per due x, si ha:

${\frac {x^{2}}{2}}={\frac {{\left({\frac {(k-np)}{\sqrt {npq}}}\right)}^{2}}{2}}={\frac {{\left(k-np\right)}^{2}}{2npq}}$

Quindi,

${n \choose k}p^{k}(1-p)^{n-k}\simeq {\frac {1}{\sqrt {2{\mathbf {\pi } }np(1-p)}}}e^{{-{\left(k-np\right)}^{2}}/{2np(1-p)}}$

che è esattamente l'asserto che volevamo provare - il termine a destra è una distribuzione normale con media $np$ e varianza $np(1-p)$.

Bibliografia

• Sheldon M. Ross, Probabilità e statistica per l'ingegneria e le scienze, Trento, Apogeo, 2003, ISBN 88-7303-897-2.

Voci correlate

• Legge dei grandi numeri
• Statistica
• Probabilità
• Variabile casuale
• Variabile casuale normale
• Jarl Waldemar Lindeberg
• Alan Turing
• Disuguaglianza di Berry-Esseen
• Teorema di Laplace-Lyapunov
• Macchina di Galton

Altri progetti

Altri progetti

• Wikimedia Commons

• Wikimedia Commons contiene immagini o altri file su Teoremi centrali del limite