Regressione lineare

Da Wikipedia, l'enciclopedia libera.
Esempio di regressione lineare con una variabile dipendente e una indipendente

La regressione formalizza e risolve il problema di una relazione funzionale tra variabili misurate sulla base di dati campionari estratti da un'ipotetica popolazione infinita. Originariamente Galton utilizzava il termine come sinonimo di correlazione, tuttavia oggi in statistica l'analisi della regressione è associata alla risoluzione del modello lineare. Per la loro versatilità, le tecniche della regressione lineare trovano impiego nel campo delle scienze applicate: chimica, geologia, biologia, fisica, ingegneria, medicina, nonché nelle scienze sociali: economia, linguistica, psicologia e sociologia.

Più formalmente, in statistica la regressione lineare rappresenta un metodo di stima del valore atteso condizionato di una variabile dipendente, o endogena, \ Y, dati i valori di altre variabili indipendenti, o esogene, \ X_{1},\ldots,X_{k}: \ \mathbb E[Y|X_{1},\ldots,X_{k}]. L'uso dei termini endogeno/esogeno è talvolta criticato, in quanto implicherebbe una nozione di causalità che l'esistenza di una regressione non prevede; in determinati contesti, provocherebbe inoltre confusione, essendo ad esempio il concetto di esogeneità in econometria formalmente definito tramite l'ipotesi di ortogonalità alla base delle proprietà statistiche della regressione lineare col metodo dei minimi quadrati ordinari.

Origini storiche[modifica | modifica sorgente]

La prima, e ancora popolare, forma di regressione lineare è quella basata sul metodo dei minimi quadrati (si veda oltre). La prima pubblicazione contenente un'applicazione del metodo nota è datata 1805, a nome di Adrien-Marie Legendre; Carl Friedrich Gauss elabora indipendentemente lo stesso metodo, pubblicando le sue ricerche nel 1809. Sebbene Gauss sostenne di avere sviluppato il metodo sin dal 1795, la paternità delle sue applicazioni in campo statistico è normalmente attribuita a Legendre; lo stesso termine minimi quadrati deriva dall'espressione francese, utilizzata da Legendre, moindres carrés.

Sia Gauss che Legendre applicano il metodo al problema di determinare, sulla base di osservazioni astronomiche, le orbite di corpi celesti intorno al sole. Eulero aveva lavorato allo stesso problema, con scarso successo, nel 1748. Nel 1821 Gauss pubblica un ulteriore sviluppo del metodo dei minimi quadrati, proponendo una prima versione di quello che è oggi noto come teorema di Gauss-Markov.

L'origine del termine regressione è storicamente documentata. L'espressione reversione era usata nel XIX secolo per descrivere un fenomeno biologico, in base al quale la progenie di individui eccezionali tende in media a presentare caratteristiche meno notevoli di quelle dei genitori, e più simili a quelle degli antenati più remoti. Francis Galton studiò tale fenomeno, applicandovi il termine, forse improprio, di regressione verso la media (o la mediocrità).

Per Galton l'espressione regressione ha solo tale significato, confinato all'ambito biologico. Il suo lavoro (1877, 1885) fu in seguito esteso da Karl Pearson e George Udny Yule a un contesto statistico più generale (1897, 1903); i lavori di Pearson e Yule ipotizzano che la distribuzione congiunta delle variabili dipendenti e indipendenti abbia natura gaussiana. Tale ipotesi è in seguito indebolita da Ronald Fisher, in lavori del 1922 e 1925. Fisher in particolare ipotizza che la distribuzione condizionata della variabile dipendente sia gaussiana, il che non implica necessariamente che così sia per quella congiunta di variabili dipendenti e indipendenti. Sotto tale profilo, la formulazione di Fisher è più vicina a quella di Gauss del 1821.

Regressione lineare semplice[modifica | modifica sorgente]

Definizione[modifica | modifica sorgente]

Il modello di regressione lineare è:[1]

 Y_i = \beta_0 + \beta_1 X_i + u_i

dove:

Possiede delle peculiari assunzioni OLS.

Illustrazione del metodo[modifica | modifica sorgente]

Per ogni osservazione campionaria si dispone di una determinazione \ Y e di \ k determinazioni non stocastiche \ X_{1}, X_{2},\ldots, X_{k}. Si cerca quindi una relazione di tipo lineare tra la variabile \ Y e le \ k variabili deterministiche. Una prima analisi può essere condotta considerando un modello semplice a due variabili (si suppone in pratica che \ k sia pari a 1). Un tipico esempio è riscontrabile dall'esperienza economica considerando la relazione tra Consumi (\ C) e Reddito (\ Y). Ricercando una relazione funzionale in cui i consumi siano "spiegati" dal reddito si può ricorrere alla relazione lineare:

\ C=f(Y) generica relazione che caratterizza i consumi;
\ C=a+bY relazione lineare;

dove \ a rappresenta l'intercetta e \ b la pendenza della retta interpolatrice.

Stime dei parametri nel caso bivariato[modifica | modifica sorgente]

Generalizzando il problema a due variabili \ x e \ y, scriveremo:

\ y_{i}=a+bh(x_{i})+\varepsilon_{i}

\ h(x) è una generica funzione di \ x e comunemente si assume \ h(x)=x. Ponendo, senza perdita di generalità, tale condizione la formula diviene:

\ y_{i}=a+bx_{i}+\varepsilon_{i}

Quindi la variabile dipendente \ y viene "spiegata" attraverso una relazione lineare della variabile indipendente \ x (cioè: \ a + bx) e da una quantità casuale \ \varepsilon_i.

Il problema della regressione si traduce nella determinazione di \ a e \ b in modo da esprimere al ‘meglio’ la relazione funzionale tra \ y e \ x. Per avvalorare di un significato statistico la scelta dei coefficienti occorre realizzare alcune ipotesi sul modello lineare di regressione:

  • \ x è una variabile deterministica
  • \ \mathbb E(\varepsilon_{i})=0
  • \ \sigma^2(\varepsilon_{i}) costante per ogni \ i
  • \ \sigma(\varepsilon_{i};\varepsilon_{j})=0\ \forall j\neq i

Date queste ipotesi si calcolano i coefficienti \ a e \ b secondo il metodo dei minimi quadrati (in inglese Ordinary Least Squares, o OLS, da cui il riferimento agli stimatori di seguito ottenuti come agli stimatori OLS) proposto da Gauss; detta:

\ S = S(a,b)= \sum_{i=1}^{N} \varepsilon_{i}^{2} = \sum_{i=1}^{N} (y_{i} - a - bx_{i})^{2}

le stime si ottengono risolvendo:

\ \{a,b\}=\arg\min_{a,b}S(a,b)

Le soluzioni si ricavano uguagliando a zero le derivate parziali di \ S rispetto ad \ a e \ b:

\ \frac{\partial S}{\partial a} = -2 \sum_{i=1}^{N} (y_{i} - a - bx_{i}) = 0
\ \frac{\partial S}{\partial b} = -2 \sum_{i=1}^{N}  (y_{i} - a - bx_{i})x_{i} = 0

Dove \ N denota il numero delle osservazioni; segue:

aN+b\sum_{i=1}^{N}x_i=\sum_{i=1}^{N}y_i
a\sum_{i=1}^{N}x_i+b\sum_{i=1}^{N}x_i^2=\sum_{i=1}^{N}x_iy_i

da cui si ricavano le soluzioni:

b=\frac{N\sum_ix_iy_i-\sum_ix_i\sum_iy_i}{N\sum_ix_i^2-(\sum_ix_i)^2}=\frac{S_{xy}}{S_{xx}}=\frac{\sigma(x,y)}{\sigma^2(x)}
a=\frac{\sum_iy_i\sum_ix_i^2-\sum_ix_i\sum_ix_iy_i}{N\sum_ix_i^2-(\sum_ix_i)^2}=\bar{y}-b\bar{x}

Essendo la varianza osservata data da:

S_{xx}=\sigma^2(x)=\frac{1}{N}\sum_{i=1}^{N}(x_i-\bar{x})^2

e la covarianza osservata da:

S_{xy}=\sigma(x,y)=\frac{1}{N}\sum_{i=1}^{N}(x_i-\bar{x})(y_i-\bar{y})

dove \ \bar{x},\ \bar{y} denotano le medie osservate, si possono scrivere i parametri nella forma:

\ b=S_{xy}/S_{xx}
\ a = \bar{y} -b\bar{x}

Giustificazione probabilistica del metodo di regressione con i minimi quadrati[modifica | modifica sorgente]

Si consideri il seguente problema teorico: date due variabili casuali \ X e \ Y, quale è il migliore stimatore per il valore atteso di \ Y, ossia quale stimatore presenta lo scarto quadratico medio (o MSE, dall'inglese Mean Squared Error) minimo?

Se si utilizza uno stimatore affine che sfrutta l'informazione relativa alla variabile casuale \ X, \ Y=a+bX, è possibile dimostrare che lo scarto quadratico medio \ \mathbb E\left[\left(Y-a-bX\right)^{2}\right] è minimizzato se:

\ b = \frac{\sigma(X,Y)}{\sigma^2(X)};\quad a = \mathbb E[Y]-b\mathbb E[X]= \mathbb E[Y]-\frac{\sigma(X,Y)}{\sigma^2(X)}\mathbb E[X]

Tale osservazione fornisce una giustificazione di tipo probabilistico alle espressioni proposte sopra; si veda oltre per un'analisi formale, nel caso multivariato.

Osservazioni sul metodo di stima[modifica | modifica sorgente]

Il metodo dei minimi quadrati, è esaminato nel caso bivariato, deriva una retta che interpola uno scatter di punti minimizzando la somma dei quadrati delle distanze \ \varepsilon_{i} dei punti stessi dalla retta; il grafico fornisce un'intuizione del procedimento.

PlotRegressione.jpg

La scelta di minimizzare i quadrati degli \ \varepsilon_{i} non è, ovviamente, arbitraria. Facendo ad esempio riferimento alla semplice somma degli \ \varepsilon_{i}, distanze positive (verso l'alto) e negative (verso il basso) si compenserebbero, rendendo in generale peggiore la qualità dell'interpolazione; se per contro si adottasse una funzione criterio uguale alla somma dei valori assoluti degli \ \varepsilon_{i}, non essendo la funzione valore assoluto derivabile su tutto l'asse reale non si potrebbe ricorrere all'elegante metodo di minimizzazione sopra illustrato.

Si osservi inoltre che gli \ \varepsilon_{i} rappresentano una distanza di un tipo alquanto particolare. In geometria la distanza di un punto da una retta è infatti data dalla lunghezza del segmento che unisce il punto alla retta, perpendicolare a quest'ultima; evidentemente non è questo il caso degli \ \varepsilon_{i}. La scelta operata trova giustificazione nelle proprietà statistiche delle stime, illustrate in seguito: la particolare forma degli stimatori dei minimi quadrati sopra ottenuti consente un più semplice trattamento delle loro proprietà statistiche.

Due parole infine sul significato di regressione lineare. Il nome di questa tecnica statistica non significa che nella funzione stimata la variabile dipendente \ y_{i} è una funzione lineare della(e) variabile(i) esplicativa(e) \ x_{ji}, ma dei parametri oggetto di stima (\ a e \ b sopra). La stima di una funzione del tipo:

\ y_{i} = \alpha + \beta\sqrt{x_{1i}} + \gamma\ln x_{2i} + \varepsilon_{i}

rientra nel raggio d'azione del modello lineare, dal momento che \ y_{i} è una funzione lineare dei parametri \ \alpha, \ \beta, \ \gamma. Per ulteriori considerazioni al riguardo, si veda l'articolo Regressione nonlineare.

Regressione lineare multipla[modifica | modifica sorgente]

Il metodo sopra illustrato può essere esteso al caso in cui più variabili contribuiscono a spiegare la variabile dipendente \ Y:[1]

Y_{i}= \beta_{0} + \beta_{1}X_{1i} + \beta_{2}X_{2i} + \cdots+ \beta_{k}X_{ki} + u_{i}

dove:

Possiede delle peculiari assunzioni OLS.

Raggruppando le osservazioni delle variabili esplicative in una matrice \ X di dimensioni \ N\times k, che si ipotizza avere rango pieno e pari a \ k (il termine costante, o intercetta, corrisponde ad avere una colonna di 1 nella \ X), è possibile scrivere, in notazione matriciale:

\ y=X\beta+\varepsilon

Nella formulazione più elementare, si assume che \ \varepsilon\sim N(0,\sigma^{2}I), ossia: \ \mathbb E[\varepsilon_{i}]=0\ \forall i \ \mathbb E[\varepsilon_{i}^{2}]=\sigma^{2}\ \forall i, (omoschedasticità), \mathbb E[\varepsilon_{i}\varepsilon_{j}]=0\ \forall j\neq i (assenza di correlazione nei disturbi). Si ipotizza inoltre che:

\mathbb E[X'\varepsilon]=0

ossia che non vi sia correlazione tra i regressori e i disturbi casuali — quest'ipotesi riveste un'importanza cruciale, in quanto rende possibile considerare i regressori compresi nella matrice \ X come variabili esogene (da cui il nome con cui l'ipotesi è spesso indicata: ipotesi di esogeneità). Quest'ultima proprietà è tutt'altro che banale, in quanto soltanto laddove essa è valida è possibile garantire che il vettore di stime dei parametri del modello, \hat\beta, abbia per valore atteso il vero valore dei parametri \beta (godendo così della proprietà di correttezza; si veda oltre).

Sotto tali ipotesi, è possibile ottenere le stime del vettore di parametri \ \beta tramite il metodo dei minimi quadrati risolvendo il problema di minimo:

\ \min_{\hat{\beta}} (y-X\hat{\beta})'(y-X\hat{\beta})

Le condizioni del primo ordine per un minimo definiscono il sistema (detto delle equazioni normali):

\ -2X'y + 2X'X\hat{\beta}=0

da cui:

\ \hat{\beta} = (X'X)^{-1}X'y

Per le proprietà della forma quadratica minimizzanda, si è certi che la soluzione trovata corrisponde a un minimo, non solo locale ma globale.

Interpretazione geometrica delle stime OLS[modifica | modifica sorgente]

OLSGeometria.jpg

Il vettore di stime OLS \ \hat{\beta} consente di ottenere i valori previsti ("teorici") per la variabile dipendente:

\ \hat{y}=X\hat{\beta}=X(X'X)^{-1}X'y

Formalmente, l'espressione sopra corrisponde a una proiezione ortogonale del vettore delle osservazioni \ y sullo spazio generato dalle colonne della matrice \ X; la figura a lato illustra questo risultato.

Per chiarire questo punto, sia \hat{y} la proiezione di \ y sullo spazio generato dalle colonne matrice \ X:

[X]=\left\{z\in\mathbb{R}^{N}|z=Xv,\ v\in\mathbb{R}^{k}\right\}

Ciò significa che esisterà un vettore di pesi \ \gamma tale per cui è possibile ottenere \hat{y} come \hat{y}=X\gamma, ossia come combinazione lineare delle colonne di \ X. A sua volta \ y sarà uguale a \hat{y} più una componente \ u ortogonale allo spazio generato da \ X:

y=X\gamma+u,\quad X'u=0

Dunque \hat{y}=X\gamma=y-u; premoltiplicando per \ X' si ha: \ X'X\gamma=X'y+X'u=X'y; così che:

\ \gamma=(X'X)^{-1}X'y

ossia l'espressione per il vettore di stime OLS \hat\beta derivata in precedenza. Questa intuizione geometrica è formalizzata nel teorema di Frisch-Waugh-Lovell.

Proprietà algebriche degli stimatori OLS[modifica | modifica sorgente]

Gli stimatori \ \hat{\beta} degli OLS godono di una serie di interessanti proprietà algebriche; tali proprietà dipendono dal metodo dei minimi quadrati adottato, e non dal particolare modello oggetto di stima.

  • Laddove la matrice \ X dei regressori include il termine costante (una colonna di soli 1, che si denota col vettore \ \mathbf{1}), la prima riga del sistema delle equazioni normali, scritto in forma matriciale, è data da \ \mathbf{1}'X\hat{\beta}=\mathbf{1}'y. Dividendo ambo i membri per il numero delle osservazioni \ N, si ha:
\ \bar{X}\hat{\beta}=\bar{y}
così che l'iperpiano che interpola le \ y_i passa per il loro punto medio e i punti medi di tutte le colonne della \ X.
  • Da quanto sopra risulta inoltre che il punto medio delle \ y_i osservate è uguale a quello dei valori previsti dal modello: \ \bar{y}=\frac{1}{N}\sum_{i=1}^{N}y_{i}=\frac{1}{N}\sum_{i=1}^{N}\hat{y}_{i}; ciò si ottiene banalmente osservando che \ \mathbf{1}'\hat{y}=\mathbf{1}'X\hat{\beta}.
  • Per definizione del vettore dei residui \ \hat{\varepsilon}=y-\hat{y}, si ha:
\ \mathbf{1}'\hat{\varepsilon}=\mathbf{1}'y-\mathbf{1}'\hat{y}=0
così che la somma dei residui è nulla.
  • I residui sono ortogonali ai regressori; infatti:
\ X'\hat{\varepsilon}=X'(y-\hat{y})=X'y-X'X\hat{\beta}=0
in base al sistema delle equazioni normali. Si osservi che questa proprietà può essere immediatamente desunta dall'interpretazione geometrica delle stime OLS, considerando che il vettore dei residui collega il vettore \ y con la sua proiezione ortogonale sullo spazio generato dai regressori, \ \hat{y}.
  • I residui sono inoltre ortogonali al vettore delle previsioni \ \hat{y}; ciò è immediato se si osserva che il vettore delle previsioni appartiene allo spazio generato dalla matrice dei regressori \ X; algebricamente, inoltre: \ \hat{y}'\hat{\varepsilon}=(X\hat{\beta})'\hat{\varepsilon}=\hat{\beta}'X'\hat{\varepsilon}=0.

Si osservi che le prime tre proprietà valgono solo se la matrice dei regressori include il termine costante, ossia se include un vettore di soli 1.

Bontà del fitting e R²[modifica | modifica sorgente]

L'R², o coefficiente di determinazione, è una misura della bontà dell'adattamento (in inglese fitting) della regressione lineare stimata ai dati osservati.

Al fine di definire l'R², sia \ M_{0}=I-\frac{1}{N}\mathbf{1}\mathbf{1}'; questa matrice trasforma i vettori in scarti dalla propria media, così che, ad esempio, \ M_{0}y=y-\bar{y}\mathbf{1}. Si osservi che la matrice \ M_{0} è simmetrica (\ M_{0}=M'_{0}) e idempotente (\ M_{0}M_{0}=M_{0}). Dunque la somma degli scarti al quadrato delle \ y_i da \ \bar{y} è semplicemente: \ y'M_{0}y.

L'R² è definito come:

\ R^{2}=\frac{\hat{\beta}'X'M_{0}X\hat{\beta}}{y'M_{0}y}=\frac{\hat{y}'M_{0}\hat{y}}{y'M_{0}y}=\frac{\sum_{i}(\hat{y}_{i}-\bar{y})^{2}}{\sum_{i}(y_{i}-\bar{y})^{2}}

Spesso e volentieri le quantità sopra sono denominate ESS (\ \hat{y}'M_{0}\hat{y}, dall'inglese Explained Sum of Squares), e TSS (\ y'M_{0}y, dall'inglese Total Sum of Squares). Osservando che, per semplice sostituzione:

\ y'M_{0}y=\hat{\beta}'X'M_{0}X\hat{\beta}+\hat{\varepsilon}'M_{0}\hat{\varepsilon}=\hat{\beta}'X'M_{0}X\hat{\beta}+\hat{\varepsilon}'\hat{\varepsilon}

dove l'ultima uguaglianza segue dal fatto che la media dei residui è zero, si ha:

\ R^{2}=1-\frac{\hat{\varepsilon}'\hat{\varepsilon}}{y'M_{0}y}

così che l'R² sarà un numero compreso tra 0 e 1 (alcuni pacchetti statistici trasformano tale numero in una percentuale); in analogia con quanto sopra, spesso la quantità \ \hat{\varepsilon}'\hat{\varepsilon} è indicata con la sigla RSS (dall'inglese Residual Sum of Squares), o SSR (Sum of Squared Residuals, grammaticalmente più preciso, ma forse meno usato).

Euristicamente, l'R² misura la frazione della variabilità delle osservazioni \ y_i che siamo in grado di spiegare tramite il modello lineare. Due importanti caveat devono in ogni caso essere tenuti a mente:

  • L'R² non misura se effettivamente sussista una relazione (di qualsiasi tipo) tra le \ y_i e i regressori, ma soltanto fino a che punto un modello lineare consente di approssimare la realtà dei dati osservati; un modello non lineare, ad esempio, potrebbe meglio rappresentare la relazione tra variabile dipendente e regressori, e presentare un buon potere esplicativo, anche in presenza di un R² prossimo allo zero.
    RQuadroLinearita.jpg
    I due grafici illustrano questo problema; in entrambi i casi, la stima di un modello lineare tipo \ y=a+bx porterebbe a un R² molto basso, o addirittura nullo; nel caso del grafico a sinistra, tuttavia, sarebbe arduo escludere che sussista una qualche relazione (probabilmente di tipo quadratico) tra \ y e il regressore \ x.
  • È possibile dimostrare che aggiungere regressori al modello non può che incrementare il valore assunto dall'R²; ciò non significa che il modello sia migliore, nel senso che meglio catturi i fattori che concorrono a spiegare la variabile dipendente, ma soltanto che il fitting è stato reso artificialmente migliore. Al fine di correggere la misura di bontà del fitting indicata, in maniera da penalizzare un modello caratterizzato da un gran numero di regressori, certi pacchetti statistici riportano un R² corretto, definito come:
\ \bar{R}^{2}=1-\frac{N-1}{N-k-1}(1-R^{2})

È evidente che, al crescere del numero di regressori \ k, \ \bar{R}^{2} in generale decresce, correggendo l'artificiale incremento dell'R². Si può inoltre dimostrare che \ \bar{R}^{2} aumenta, aggiungendo un regressore, soltanto se il valore della statistica t associata al coefficiente di tale regressore (si veda oltre) è maggiore di 1, così che il valore dell'R² corretto è legato alla significatività delle variabili aggiuntive.

È opportuno far emergere alcune credenze sbagliate riguardo l'R^2. Innanzitutto non può mai assumere valori negativi perché è il rapporto di 2 varianze; tuttavia i software statistici possono produrre un output di una regressione che presenta un R^2 negativo. Ciò è dovuto al fatto che in questi programmi l'R^2 si calcola come differenza tra varianza spiegata e quella dei residui. Tuttavia nel caso di mispecificazione del modello (si "dimenticano" variabili che il data generating process contiene, intercetta compresa), il valore atteso della stima dei residui è in genere diverso da zero, quindi la media dello stimatore di Y è diverso dalla media di Y. Pertanto il calcolo del software risulta errato perché non tiene conto di ciò.

Proprietà statistiche degli stimatori OLS[modifica | modifica sorgente]

Sotto le ipotesi sopra formulate, il valore atteso dello stimatore \ \hat{\beta} è uguale al vettore di parametri \ \beta; tale proprietà è detta correttezza; al fine di verificare la correttezza di \ \hat{\beta}, è sufficiente osservare che:

\ \mathbb E\left[\hat{\beta}\right]=\mathbb E\left[(X'X)^{-1}X'(X\beta+\varepsilon)\right]=\beta+\mathbb E\left[(X'X)^{-1}X'\varepsilon\right]=\beta

La varianza (in effetti, matrice varianza-covarianza) di \ \hat{\beta} si ottiene come:

\ \sigma^2\left(\hat{\beta}\right)=\mathbb E(\hat{\beta}-\beta)(\hat{\beta}-\beta)'=(X'X)^{-1}X'\mathbb E[\varepsilon\varepsilon']X(X'X)^{-1}=\sigma^{2}(X'X)^{-1}

Il teorema di Gauss-Markov stabilisce che tale varianza è minima tra quelle degli stimatori di \ \beta ottenibili come combinazione lineare delle osservazioni \ y; in questo senso \ \hat{\beta} è uno stimatore efficiente (in effetti si tratta di uno stimatore BLUE, dall'inglese Best Linear Unbiased Estimator, il migliore stimatore corretto lineare).

Poiché \ \hat{\beta}=\beta + (X'X)^{-1}X'\varepsilon e le combinazioni lineari di variabili casuali normali indipendenti sono ancora normali, se ne conclude che:

\ \hat{\beta}\sim N(\beta,\sigma^{2}(X'X)^{-1})

Stimatore per il parametro varianza[modifica | modifica sorgente]

Volendo stimare il parametro \ \sigma^{2}, un naturale candidato sarebbe la varianza campionaria:

\ \hat{s}^{2}=\frac{\hat{\varepsilon}'\hat{\varepsilon}}{N}

In effetti lo stimatore sopra sarebbe anche lo stimatore di massima verosimiglianza per \ \sigma^2. Semplici manipolazioni mostrano tuttavia che tale stimatore non gode della proprietà di correttezza; infatti:

\ \mathbb E\left[\hat{s}^{2}\right]=\mathbb E\left[\frac{\hat{\varepsilon}'\hat{\varepsilon}}{N}\right]=\frac{1}{N}\mathbb E(y-X\hat{\beta})'(y-X\hat{\beta})=
\ =\frac{1}{N}\mathbb E(X\beta+\varepsilon-X\beta-X(X'X)^{-1}X'\varepsilon)'(X\beta+\varepsilon-X\beta-X(X'X)^{-1}X'\varepsilon)=\frac{1}{N}\mathbb E\left[\varepsilon' M_{X}\varepsilon\right]

dove \ M_{X}=I-X(X'X)^{-1}X'. Il valore atteso dell'espressione sopra è:

\ \frac{1}{N}\mathbb E\left[\varepsilon' M_{X}\varepsilon\right]=\frac{1}{N}\mathbb E\left[\textrm{tr}(\varepsilon' M_{X}\varepsilon)\right]=\frac{1}{N}\mathbb E\left[\textrm{tr}(M_{X})\textrm{tr}(\varepsilon'\varepsilon)\right]=\frac{N-k}{N}\sigma^{2}

dove \ \textrm{tr}(\cdot) denota l'operatore traccia di una matrice. Lo stimatore corretto per il parametro \ \sigma^{2} è dunque:

\ \hat{\sigma}^{2}=\frac{\hat{\varepsilon}'\hat{\varepsilon}}{N-k}

Infatti:

\ \mathbb E\left[\hat{\sigma}^{2}\right]=\frac{N}{N-k}\mathbb E[\hat{s}^{2}]=\sigma^{2}

Si osservi inoltre che, poiché \ \varepsilon\sim N(0,\sigma^{2}I), \ \frac{\hat{\varepsilon}'\hat{\varepsilon}}{\sigma^{2}}=\frac{\varepsilon' M_{X}\varepsilon}{\sigma^{2}} ha una distribuzione chi quadro con \ N-k gradi di libertà.

Test di ipotesi nel modello lineare[modifica | modifica sorgente]

Le tecniche del modello lineare sopra esposte possono trovare diverse applicazioni; con una qualche semplificazione, due sono i principali usi della regressione lineare:

Confinando la nostra attenzione al secondo punto, nell'ambito della statistica classica (cioè non bayesiana) condurre un test statistico non può portare ad accettare un'ipotesi nulla, ma al più a non rifiutarla, un po' come dire che lo statistico assolve per mancanza di prove.

Un primo ordine di test concerne i singoli coefficienti del modello; volere stabilire se la j-esima variabile delle \ X abbia o meno potere esplicativo nei confronti della \ y equivale a sottoporre a verifica l'ipotesi nulla che il corrispondente coefficiente \ \hat{\beta}_{j} sia nullo. A tal fine si ricorre alla statistica test:

\ \hat{t}_{j}=\frac{\hat{\beta}_{j}}{\sqrt{\Sigma_{jj}}}

dove \ \Sigma=\sigma^{2}(X'X)^{-1}, che sotto l'ipotesi nulla \ \textrm{H}_{0}:\ \beta_{j}=0 ha distribuzione t di Student.

Un caso più complesso, e di maggiore interesse, riguarda il test di un insieme di restrizioni lineari sui coefficienti del modello; si consideri al riguardo ad un'ipotesi nulla nella forma:

\ \textrm{H}_{0}:\ R\beta=r

dove \ R è una matrice di rango \ \varrho. Ad esempio, volendo testare l'ipotesi che il primo e il terzo coefficiente siano uguali, sarà sufficiente ricorrere la matrice (in questo particolare caso, vettore) \ R=[1,\ 0,\ -1,\ 0,\ \cdots,\ 0], con \ r=0, così che l'ipotesi nulla risulti: \ \textrm{H}_{0}:\ \beta_{1}-\beta_{3}=0.

Al fine di sottoporre a verifica ipotesi di questo tipo, è sufficiente considerare che, essendo la combinazione lineare di variabili casuali normali ancora normale:

\ R\hat{\beta}-r\sim N(0,\sigma^{2}R(X'X)^{-1}R')

sotto l'ipotesi nulla \ \textrm{H}_{0}:\ R\beta=r. Ne consegue che:

\ \frac{(R\hat{\beta}-r)'[R(X'X)^{-1}R']^{-1}(R\hat{\beta}-r)}{\sigma^{2}}\sim\chi_{\varrho}^{2}

per la nota proprietà per cui la combinazione lineare dei quadrati variabili casuali normali standardizzate ha distribuzione chi quadro, con gradi di libertà pari al rango della matrice \ R(X'X)^{-1}R', \ \varrho (si osservi che in generale \ \varrho\leq k, e che \ \varrho sarà solitamente pari al numero di restrizioni imposte sui parametri del modello). Naturalmente in generale il parametro \ \sigma^{2} è incognito, per cui l'espressione sopra non può essere usata direttamente per fare inferenza statistica. Si ricorda tuttavia che:

\ \frac{\hat{\varepsilon}'\hat{\varepsilon}}{\sigma^{2}}\sim\chi_{N-k}^{2}

Essendo noto che il rapporto tra due variabili casuali aventi distribuzione chi quadro, divise per i rispettivi gradi di libertà, è distribuito come una F di Fisher, è possibile utilizzare la statistica test:

\ \hat{F}=\frac{(R\hat{\beta}-r)'[R(X'X)^{-1}R']^{-1}(R\hat{\beta}-r)}{\hat{\varepsilon}'\hat{\varepsilon}}\frac{N-k}{\varrho}\sim F(\varrho, N-k)

avente sotto l'ipotesi nulla distribuzione F di Fisher con \ \varrho e \ N-k gradi di libertà.

Multicollinearità[modifica | modifica sorgente]

Se due o più colonne della matrice dei regressori \ X sono linearmente dipendenti, non esiste l'inversa \ (X'X)^{-1} per cui il vettore di stime OLS non può essere determinato. Se da un lato è assai improbabile che questa eventualità si verifichi nelle applicazioni pratiche, è comunque possibile che alcune colonne della matrice \ X siano prossime alla dipendenza lineare; in tal caso sarà ancora possibile ottenere un vettore di stime OLS, ma sorgerà il problema della multicollinearità.

Si parla di multicollinearità allorché una o più colonne della matrice dei regressori \ X sono prossime a essere linearmente dipendenti. L'effetto della multicollinearità è che la matrice \ X'X è prossima all'essere singolare. Questo ha due conseguenze di particolare rilievo nelle applicazioni:

  1. La significatività statistica dei singoli coefficienti risulta modesta;
  2. Il fitting della regressione risulta elevato (si osservano elevati valori dell'indice R²).

Il primo punto implica che gli intervalli di confidenza per i valori dei coefficienti saranno relativamente ampi; se tali intervalli includono lo zero, non si può rifiutare l'ipotesi nulla che la variabile corrispondente non abbia alcun effetto sulla variabile dipendente.

Un indicatore di multicollinearità spesso utilizzato nella pratica è il variance inflation factor (fattore di inflazione della varianza), o VIF. Il VIF è calcolato per ciascuna variabile del modello (spesso automaticamente da diversi software statistici), in base all'espressione:

\textrm{VIF}_i=\frac{1}{1-R_i^2}

dove R_i^2 è il coefficiente R² di una regressione della colonna i-esima di \ X su tutti gli altri regressori (incluso il termine costante, se è presente). È possibile dimostrare che la varianza dell'elemento i-esimo del vettore delle stime OLS \hat{\beta} è proporzionale al VIF; dunque un VIF elevato comporterà una minore significatività del coefficiente \hat{\beta}_i, andando a ridurre il valore della statistica t di Student associata. Un R_i^2 elevato è indice di dipendenza lineare tra la colonna i-esima e le restanti colonne della matrice \ X, ossia è un indice di multicollinearità. Non esiste, tuttavia, un particolare valore soglia del VIF che determina inequivocabilmente la multicollinearità; sta alla sensibilità del ricercatore valutare, con l'ausilio dell'indicazione del VIF, se sussista o meno multicollinearità, nel qual caso è opportuno rimuovere il regressore i-esimo (colonna i-esima della matrice \ X sulla quale si è riscontrata multicollinearità).

Presentazione dei risultati di stima[modifica | modifica sorgente]

Le stime e le statistiche test presentate sopra costituiscono l'obiettivo del ricercatore che effettua un'analisi di regressione lineare. Sebbene le convenzioni nella presentazione dei risultati varino significativamente a seconda dell'ambito scientifico o del tipo di pubblicazione, alcuni standard sono in generale rispettati. I risultati della stima di un modello di regressione lineare potrebbero e dovrebbero riportare:

  • Il numero delle osservazioni;
  • I valori delle stime dei parametri (\ \hat{\beta} nella notazione sopra adottata);
  • I valori delle statistiche test t di Student associati a ciascun parametro, onde valutarne la significatività; tali statistiche sono spesso accompagnate dall'indicazione dell'errore standard associato (\ \Sigma_{jj}^{\frac{1}{2}} nella notazione sopra), nonché del p-value, pari a \ 1 - \Pr(|\hat{t}_{j}|) nella notazione sopra, dove \ \Pr(\cdot) è la funzione di ripartizione della t di Student, che presenta un'indicazione immediata della significatività (e risparmia a chi legge la pena di effettuare un controllo sulle tavole della t di Student); pur variando in funzione del settore scientifico, p-value considerati indice di significatività statistica sono quelli inferiori a 0.10, 0.05, 0.01;
  • Statistiche atte a valutare la bontà complessiva del modello; queste possono essere a seconda dei casi limitate a misura di bontà del fitting quali R² e R² corretto per i gradi di libertà (v. sopra), ma anche statistiche test quali il test F, ossia la statistica F di Fisher associata all'ipotesi nulla che tutti gli elementi di \ \beta, salvo l'intercetta, siano al contempo nulli (quest'ultima statistica test è pari al quadrato della statistica t associata al parametro pendenza nel caso univariato);
  • Eventuali controparti asintotiche delle statistiche test testé menzionate (nel caso, ad esempio, in cui si abbia motivo di ritenere violata l'ipotesi di normalità dei disturbi);
  • Ulteriori test statistici concernenti le ipotesi del modello classico di regressione lineare, quali test per l'assenza di autocorrelazione nei residui e/o di eteroschedasticità. In quest'ultimo caso, può essere utile presentare anche delle statistiche t robuste rispetto a tali problemi, e con esse i relativi errori standard e p-value.

Regressione e causalità[modifica | modifica sorgente]

Un errore piuttosto comune consiste nel ritenere che un modello:

 y=X\beta+\varepsilon

implichi che le variabili ricomprese nella matrice X "causino" la y. È importante osservare che l'esistenza di regressione (formalmente definita nei paragrafi precedenti) non implica altro che l'esistenza di un valore atteso condizionato:

\ \mathbb E[y|X]=X\beta

In particolare, non si può in generale affermare che l'espressione sopra significhi che le variabili in X causino il comportamento della y. Come espresso con efficacia da Cochrane (2003), "le regressioni non hanno cause al secondo membro e conseguenze al primo membro." La decisione di porre un particolare insieme di variabili al secondo membro discende unicamente dal fatto che esse sono ortogonali al disturbo \epsilon, così che è lecito ricorrere al metodo dei minimi quadrati, e non equivale in generale ad affermare una qualche direzione di causalità.

Validità[modifica | modifica sorgente]

I concetti di validità esterna ed interna forniscono uno schema di riferimento per valutare se uno studio statistico o econometrico sia utile per rispondere ad una domanda specifica di interesse.

Esterna[modifica | modifica sorgente]

L'analisi è esternamente valida se le sue inferenze e conclusioni possono essere generalizzate dalla popolazione e dal contesto studiati ad altre popolazioni e contesti. Deve essere giudicata usando la conoõscenza specifica della popolazione e del contesto usato e di quelli oggetto d'interesse.[1]

Un'ipotesi cruciale del modello classico di regressione lineare è che i regressori siano ortogonali al disturbo stocastico, ossia, formalmente:

\mathbb E[X'\varepsilon]=\mathbf{0}

Il motivo per cui tale ipotesi — anche nota come ipotesi di esogeneità — è fondamentale è presto illustrato; basta osservare che:

\hat\beta=\beta+(X'X)^{-1}X'\varepsilon

così che:

\mathbb E[\hat\beta]=\beta\ \iff\ (X'X)^{-1}\mathbb E[X'\varepsilon]=0\ \iff\ \mathbb E[X'\varepsilon]=0

In altri termini: l'ipotesi di esogeneità dei regressori è condizione necessaria per la correttezza dello stimatore \hat\beta del metodo dei minimi quadrati (un'analoga argomentazione può essere data in termini asintotici, passando dalla correttezza alla consistenza dello stimatore).

In tutti i casi in cui si ha motivo di credere che l'ipotesi di esogeneità sia violata — tutti i casi in cui si sospetta endogeneità dei regressori — non si può fare affidamento sui risultati di una regressione condotta col metodo dei minimi quadrati ordinari (la soluzione è di ricorrere a una regressione con variabili strumentali).

Differenze di popolazioni[modifica | modifica sorgente]

È la differenza tra la popolazione studiata e la popolazione d'interesse. Un esempio è quello di effettuare lo stesso test sui topi e sugli uomini senza chiedersi se vi siano delle differenze che inficino l'analisi.

Differenze di contesto[modifica | modifica sorgente]

Anche se la popolazione studiata e quella d'interesse fossero uguali, sarebbe opportuno valutarne il contesto. Un esempio è uno studio su una campagna di alcolici su degli studenti universitari e su degli studenti delle classi primarie.

Interna[modifica | modifica sorgente]

Un'analisi statistica è internamente valida se le inferenze statistiche sugli effetti causali sono validi per la popolazione oggetto di studio.[1]

Distorsione da variabile omessa[modifica | modifica sorgente]

La distorsione da variabile omessa nasce quando viene omessa una variabile dalla regressione, che è una determinante di Y ed è correlata con uno o più dei regressori.

L'omissione di variabili rilevanti (nel senso precisato in quanto segue) può rendere le stime OLS inconsistenti. Si supponga che il modello "vero" sia:

\ y_i = \beta_1 x_{i1}+\beta_2 x_{i2} + \varepsilon_i,\quad \sigma(x_{i1},x_{i2})\neq0

ma si stimi un modello:

\ y_i = \beta_1 x_{i1}+ \tilde\varepsilon_i

che omette la variabile rilevante — che contribuisce cioè a spiegare la variabile dipendente yx_{i2}. Si ha allora:

\tilde\varepsilon_i=y_i-\beta_1x_{i1}=\beta_2x_{i2}+\varepsilon_i

Poiché \sigma(x_{i1},x_{i2})\neq0, nel secondo modello il regressore x_{i1} è correlato col disturbo \tilde\varepsilon_i. Per la precisione:

\sigma(x_{i1},\tilde\varepsilon_i)=\beta_2\sigma(x_{i1},x_{i2})\neq0

Risulta così violata una delle ipotesi del modello classico di regressione lineare, e le stime del parametro \beta_1 col metodo dei minimi quadrati ordinari sono inconsistenti.

Si osservi che, qualora la variabile rilevante x_{i2} sia ortogonale a x_{i1} (e, di conseguenza, \sigma(x_{i1},x_{i2})=0), il problema scompare (il teorema di Frisch-Waugh-Lovell precisa ed estende quest'ultima considerazione).

  • Soluzione: se l'errore è osservabile bisogna includere la variabile omessa nella regressione multipla. Se non è ossrevabile è possibile:
1. Usare dati in cui la stessa unità è osservata in momenti diversi;
2. Usare la regressione a variabili strumentali;
3. Effettuare un esperimento randomizzato controllato.

Forma scorretta della regressione[modifica | modifica sorgente]

Questo errore sorge quando la funzione di regressione che descrive i dati non è corretta. Ad esempio una funzione di regressione di una popolazione non lineare è descritta come lineare.

  • Soluzione: cambiare la forma della funzione.

Errori nelle variabili[modifica | modifica sorgente]

Tipicamente è un errore di misura o confusione, che va a distorcere l'intero data set.

  • Soluzione:
1. Ottenere una misura più accurata di X;
2. Usare la regressione a variabili strumentali.

Causalità simultanea[modifica | modifica sorgente]

La distorsione di causalità simultanea si verifica in una regressione di Y su X quando, in aggiunta al legame causale d'interesse da X a Y, c'è un legame causale da Y a X. Questa causalità inversa rende X correlato con l'errore statistico nella regressione d'interesse.

  • Soluzione:
1. Effettuare un esperimento causalizzato controllato dove il canale di causalità inversa sia controllato;
2. Usare la regressione a variabili strumentali.

Selezione campionaria[modifica | modifica sorgente]

Si verifica quando il processo di selezione è legato al valore della variabile dipendente; ciò può introdurre la correlazione tra l'errore statistico ed il regressore, portando così ad una distorisione dello stimatore OLS.

Regressori stimati (o generati)[modifica | modifica sorgente]

Si supponga di non poter osservare direttamente un regressore, che deve essere stimato (o generato, secondo una diversa terminologia); per concretezza, si consideri un "vero" modello:

y_i=\beta x_i + \varepsilon_i,\quad \sigma(x_i,\varepsilon_i)=0

e si ipotizzi di disporre soltanto di una stima di x_i:

\hat x_i = x_i + u_i,\quad \sigma(x_i,u_i)=0

Se si procede nella stima di:

y_i = \beta\hat x_i + \varepsilon_i

Si ottiene:

\hat\beta_{\mathrm{OLS}}=\frac{\sigma(\hat{x}_i,y_i)}{\sigma^2(\hat x_i)}=\frac{\sigma(x_i,y_i)+\sigma(u_i,\varepsilon_i)}{\sigma^2(x_i)+\sigma^2(u_i)}=
=\frac{\sigma(y_i,x_i)}{\sigma^2(x_i)}\frac{\sigma^2(x_i)}{\sigma^2(x_i)+\sigma^2(u_i)}+\frac{\sigma(u_i,\varepsilon_i)}{\sigma^2(x_i)+\sigma^2(u_i)}=
=\beta\times A+\frac{\sigma(u_i,\varepsilon_i)}{\sigma^2(x_i)+\sigma^2(u_i)}

con:

A=\frac{\sigma^2(x_i)}{\sigma^2(x_i)+\sigma^2(u_i)}\leq1.

Supponendo che \sigma(u_i,\varepsilon_i)=0, la stima del parametro \beta risulta più vicina a zero di quanto non sia il "vero" valore del parametro (questo effetto è noto con termine inglese come attenuation bias). È immediato osservare che il problema è meno pronunciato laddove la varianza dell'errore nell'osservazione di x_i, u_i risulta minore della varianza di x_i stesso — ossia, non sorprendentemente, quando x_i può essere stimato con relativa precisione.

Si osservi infine che nessun problema si pone nel caso in cui la variabile dipendente —  y — sia stimata o generata. In tal caso, il termine di errore in essa contenuto sarà semplicemente incorporato nel disturbo della regressione — \varepsilon, senza ledere la consistenza delle stime OLS.

Proprietà asintotiche del modello classico di regressione lineare[modifica | modifica sorgente]

Le proprietà sopra esposte possono essere generalizzate al caso in cui le ipotesi sulla distribuzione dei termini di errore non siano necessariamente valide per campioni di dimensione finita. In questo caso, si ricorre alle proprietà asintotiche delle stime, supponendo implicitamente che, per campioni di dimensione sufficientemente grande, la distribuzione asintotica delle stime coincida, o approssimi ragionevolmente, quella effettiva. I risultati si fondano sul teorema del limite centrale, o su sue generalizzazioni.

Al fine di illustrare le proprietà asintotiche degli stimatori dei minimi quadrati ordinari, si ipotizzi:

  • \mathrm{plim}\ \frac{\varepsilon'\mathbf{1}}{N}=0
  • \mathrm{plim}\ \frac{\varepsilon'\varepsilon}{N}=\sigma^2 I
  • \mathrm{plim}\ \frac{X'X}{N}=Q<\infty

dove \mathrm{plim} denota la convergenza in probabilità e I la matrice identità.

L'espressione per lo stimatore dei minimi quadrati ordinari può essere riscritta come:

\hat\beta=\beta+\left(X'X\right)^{-1}X'\varepsilon=\beta+\left(\frac{X'X}{N}\right)^{-1}\frac{X'\varepsilon}{N}

Passando al limite per N\rightarrow\infty, si ha allora:

\mathrm{plim}\ \hat\beta = \beta + Q^{-1}\ \mathrm{plim}\frac{X'\varepsilon}{N}=\beta

(si osservi che il limite in probabilità dell'inversa di X'X/N è l'inversa di Q). Dunque, lo stimatore \hat\beta converge in probabilità al vero valore del vettore di parametri \beta – si dice dunque che \hat\beta gode della proprietà di consistenza.

Applicando una banale estensione del teorema del limite centrale al caso multivariato, si ha inoltre:

\frac{1}{\sqrt{N}}X'\varepsilon\stackrel{d}{\rightarrow}\ z\sim N(\mathbf{0},\sigma^2Q)

dove \stackrel{d}{\rightarrow} denota la convergenza in distribuzione. Da quest'ultimo risultato discende allora che:

\sqrt{N}\left(\hat\beta-\beta\right)=\left(\frac{X'X}{N}\right)^{-1}\frac{X'\varepsilon}{\sqrt{N}}\ \stackrel{d}{\rightarrow}\ \xi\sim N\left(\mathbf{0},\sigma^2 Q^{-1}\right)

In altre parole, lo stimatore dei minimi quadrati ordinari è non solo consistente, ma anche asintoticamente normalmente distribuito; l'insieme di queste proprietà si indica con la sigla inglese CAN (Consistent and Asymptotically Normal).

Estensioni del modello lineare classico[modifica | modifica sorgente]

I metodi sopra esposti costituiscono il nucleo del modello classico di regressione lineare; quantunque validi strumenti di analisi per un ampio spettro di discipline e casi di studio, essi prestano il fianco a una serie di critiche, incentrate sulla semplicità delle ipotesi alla base del modello.

Tali critiche hanno portato alla formulazione di modelli più generali, caratterizzati da ipotesi meno restrittive rispetto a quelle poste sopra. L'analisi ha battuto alcune vie principali:

  • Rimozione delle ipotesi di assenza di correlazione e omoschedasticità;
  • Ipotesi alternative circa la distribuzione di probabilità dei disturbi;
  • Analisi delle proprietà asintotiche del modello classico di regressione lineare, ad esempio tramite il delta method.

Ciò ha consentito lo sviluppo di modelli alternativi, o quantomeno complementari, al modello classico; tra i più noti, il metodo dei minimi quadrati generalizzati, metodi di stima tramite variabili strumentali, i vari modelli di regressione robusta, nonché numerosi modelli sviluppati nell'ambito dell'analisi delle serie storiche e dei dati panel.

Note[modifica | modifica sorgente]

  1. ^ a b c d James Stock, Mark Watson, Introduzione all'econometria, Milano, Pearson Education, 2005, p. 95. ISBN 978-88-7192-267-6.

Bibliografia[modifica | modifica sorgente]

Articoli e contributi storici[modifica | modifica sorgente]

  • A.M. Legendre (1805) Nouvelles méthodes pour la détermination des orbites des comètes (l'Appendice contiene una sezione intitolata "Sur la Méthode des Moindres Quarrés" - Sul Metodo dei Minimi Quadrati);
  • C.F. Gauss (1809) Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum;
  • C.F. Gauss (1821/1823) Theoria combinationis observationum erroribus minimis obnoxiae;
  • Charles Darwin (1869) The Variation of Animals and Plants under Domestication (il Capitolo XIII contiene una descrizione di quanto era noto, all'epoca di Galton, sulla reversione; Darwin usa il termine reversione (reversion) in luogo di regressione);
  • Francis Galton (1877) Typical laws of heredity, Nature 15, 492-495, 512-514, 532-533 (Galton usa il termine reversione (reversion) in questo lavoro, in cui analizza la dimensione dei piselli);
  • Francis Galton (1885) Presidential address, Section H, Anthropology. (Galton usa il termine regressione (regression) in questo lavoro, in cui analizza l'altezza degli esseri umani);
  • Francis Galton (1886) Regression Towards Mediocrity in Hereditary Stature, Journal of the Anthropological Institute, 15:246-263 (Una riproduzione è disponibile presso: [1]);
  • George Udny Yule (1897) On the Theory of Correlation, Journal of the Royal Statistical Society, 812-54;
  • Karl Pearson, G. U. Yule, Norman Blanchard, and Alice Lee (1903) The Law of Ancestral Heredity, Biometrika;
  • Ronald Fisher (1922) The goodness of fit of regression formulae, and the distribution of regression coefficients, Journal of the Royal Statistical Society 85, 597-612;
  • Ronald Fisher (1925) Statistical Methods for Research Workers.

Teoria moderna[modifica | modifica sorgente]

  • D.C. Boes, F.A. Graybill, A.M. Mood (1988), Introduzione alla Statistica, McGraw-Hill Libri Italia, ISBN 88-386-0661-7, il testo di riferimento per i fondamenti della statistica matematica; il Capitolo 10 contiene un'introduzione al modello lineare e tratta la regressione lineare classica nel caso univariato; i Capitoli 3, 5, 7-8 trattano le famiglie di distribuzioni sopra menzionate, problemi relativi a funzioni di variabili casuali, nonché la teoria generale classica della stima per punti e per intervalli di confidenza;
  • N.R. Draper, H. Smith (1998), Applied Regression Analysis, Wiley Series in Probability and Statistics, ISBN 0-471-17082-8, illustra i metodi della regressione lineare classica sopra analizzati, e introduce metodi più avanzati di regressione robusta e bootstrap; dedica i Capitoli 20-21 alle proprietà geometriche degli stimatori OLS (in inglese);
  • John R. Taylor, (1999) Introduzione all'analisi degli errori, Zanichelli editore, ISBN 88-08-17656-8, illustra in modo chiaro ed intuitivo i fondamenti della statistica, introducendo il metodo della regressione lineare, le principali famiglie di distribuzioni, la teoria generale classica della stima per punti e per intervalli di confidenza, presentando anche diversi esempi concreti.

Pratica corrente[modifica | modifica sorgente]

Nell'ambito dell'econometria (manuali, si veda anche l'articolo econometria):

  • Davidson, J. (2000), Econometric Theory, Blackwell, ISBN 0-631-21584-0, un testo avanzato, di livello master/dottorato; contiene un'analisi approfondita degli aspetti geometrici e statistici del modello di regressione lineare classico, delle sue proprietà statistiche asintotiche, nonché una diffusa trattazione di tecniche più avanzate, relative all'analisi delle serie storiche (in inglese);
  • Greene, W.H. (2000), Econometric Analysis, Prentice-Hall, ISBN 0-13-013297-7, analizza nel dettaglio il modello classico di regressione lineare nel caso multivariato, con particolare riferimento alle sue applicazioni nell'ambito dell'econometria, disciplina per cui rappresenta il testo di livello universitario/master di riferimento (in inglese);
  • Lancaster, T. (2004), An introduction to Modern Bayesian Econometrics, Blackwell, ISBN 1-4051-1720-6, contiene un'analisi (introduttiva) del modello di regressione lineare nella prospettiva dell'inferenza bayesiana, principale concorrente dell'approccio classico, o frequentista, nell'econometria (in inglese).

Nell'ambito della finanza:

  • Campbell, J., A.W. Lo e A.C. MacKinlay (1996) The Econometrics of Financial Markets, Princeton University Press, ISBN 978-0-691-04301-2, un testo di riferimento per applicazioni dell'analisi statistica, e in particolare di regressione, allo studio dei mercati finanziari (in inglese);
  • Cochrane, J. (2003) Asset Pricing — Revised Edition, Princeton University Press ISBN 0-691-12137-0, un testo introduttivo sulla teoria dell'asset pricing, con numerosi capitoli dedicati alle applicazioni del modello di regressione lineare ai test empirici dei modelli di asset pricing.

Nell'ambito della fisica:

  • Loreti, M. (1998), Teoria degli errori e fondamenti di statistica, Decibel Zanichelli, ISBN 88-08-09785-4, ottima introduzione alla statistica in fisica, scaricabile anche (legalmente) dal sito dell'autore, [2]

Nell'ambito della Ricerca sociale:

  • Pisati M.,Corbetta P. e Gasperoni G., (2001). "Statistica per la ricerca sociale", Il Mulino.

Nell'ambito della linguistica, in particolare della psicolinguistica:

  • Baayen, R. H., (2006). Analyzing Linguistic Data. A Practical Introduction to Statistics Using R., Cambridge University Press. (scaricabile anche dal sito dell'autore, [3])

Voci correlate[modifica | modifica sorgente]

Collegamenti esterni[modifica | modifica sorgente]