Distribuzione di probabilità composta

In teoria della probabilità, una distribuzione di probabilità composta è una distribuzione di probabilità che risulta dall'assumere che una variabile casuale è distribuita secondo una qualche distribuzione parametrizzata $F$ con un parametro incognito θ o un parametro vettoriale θ che a sua volta è distribuito secondo a qualche altra distribuzione G con iperparametro α, e quindi determinante la distribuzione che risulta dalla marginalizzazione sopra G (cioè integrando sopra il parametro o i parametri incogniti). La distribuzione risultante, H, è detta la distribuzione che risulta dalla composizione della distribuzione F con la distribuzione G. In inferenza bayesiana, la distribuzione G è spesso una distribuzione a priori coniugata di F.

Nel caso di parametri ed iperparametri puramente scalari la distribuzione di probabilità composta viene espressa nella forma matematica

$p_{H}(x|\alpha )={\displaystyle \int \limits _{\theta }p_{F}(x|\theta )\,p_{G}(\theta |\alpha )\operatorname {d} \!\theta }$

La stessa formula si applica se alcune o tutte le variabili sono vettori. Nel caso di dati con parametri ed iperparametri vettoriali

$p_{H}(\mathbf {x} |{\boldsymbol {\alpha }})={\displaystyle \int \limits _{\boldsymbol {\theta }}p_{F}(\mathbf {x} |{\boldsymbol {\theta }})\,p_{G}({\boldsymbol {\theta }}|{\boldsymbol {\alpha }})\operatorname {d} \!{\boldsymbol {\theta }}}$

Una distribuzione composta $H$ assomiglia in molti modi alla distribuzione originale $F$ che l'ha generata, ma tipicamente ha una maggiore varianza, e spesso code più pesanti nella sua distribuzione. Il supporto di $H$ è il medesimo del supporto di $F$, e spesso la forma è per larga parte simile. I parametri di $H$ includono i parametri di $G$ e alcuni dei parametri di $F$ che non sono stati marginalizzati.

Le distribuzioni composte compaiono frequentemente in statistica bayesiana in quanto esse prendono origine quando un parametro viene marginalizzato (spesso visto come un "parametro superfluo" in tale situazione). Esempi sono:

• La distribuzione predittiva a posteriori: F è la distribuzione di un dato nuovo, G è la distribuzione a posteriori dei parametri.
• La distribuzione predittiva a priori: F è la distribuzione di un dato nuovo, G è la distribuzione a priori dei parametri. Questa distribuzione, infatti, può essere usata per definire una distribuzione composta.
• La verosimiglianza marginale: F è la distribuzione di campionamento di un insieme di valori osservati, G è la distribuzione a priori dei parametri.

Un altro esempio si ritrova nel campionamento di Gibbs collassato, dove per "collassamento" di una variabile si intende la sua marginalizzazione, e tipicamente sono collassati parametri della distribuzione a priori. Le distribuzioni composte sono talvolta usate direttamente in inferenza statistica in quanto le loro tipiche code pesanti le rendono più adatte per un'analisi robusta nel caso di dati di misura potenzialmente scorretti. Per esempio, la distribuzione t di Student è spesso usata al posto di una distribuzione normale esattamente per questa ragione.

Esempi

La composizione di una distribuzione normale con varianza distribuita in accordo ad una distribuzione Gamma inversa (o equivalentemente con precisione, ossia il reciproco della varianza, distribuita come una distribuzione Gamma) fornisce una distribuzione t di Student non standardizzata. Questa distribuzione ha la medesima forma simmetrica di una distribuzione normale con lo stesso punto centrale, ma con una varianza più grande e delle code più pesanti.

La composizione di una distribuzione binomiale con probabilità di successo distribuita secondo una distribuzione beta fornisce una distribuzione beta-binomiale. Questa distribuzione è discreta di fatto come la distribuzione binomiale, con supporto sopra gli interi compresi tra "0" ed "n" (il numero di tentativi nella distribuzione binomiale di partenza). Ci sono tre parametri, un parametro $n$ (numero di campioni) dalla distribuzione binomiale e i parametri di forma $\alpha$ e $\beta$ dalla distribuzione Beta. La forma è la stessa della distribuzione binomiale quando $\alpha$ e $\beta$ hanno valori elevati. Questo ha senso perché indica un'elevata certezza che la probabilità a priori sia di fatto tutta concentrata vicino ad una posizione specificata. Il valore limite, con tutta la probabilità concentrata su uno specifico punto, è lo stesso che non avere alcuna distribuzione a priori ossia di fatto come specificare la probabilità come un singolo parametro, come nel caso semplice di distribuzione binomiale non composta. Tuttavia, quando $\alpha$ e $\beta$ hanno valori piccoli, la forma della distribuzione composta diventa via, via più simile a quella della distribuzione Beta.

Altri esempi:

• La composizione di una distribuzione gaussiana con media distribuita secondo un'altra distribuzione gaussiana, da una distribuzione gaussiana.
• La composizione di una distribuzione gaussiana con media distribuita secondo una distribuzione esponenziale spostata da una distribuzione gaussiana modificata esponenziale.
• La composizione di una distribuzione gaussiana con una varianza distribuita secondo una distribuzione esponenziale dove il parametro di decadimento (o di accrescimento, se positivo) è esso stesso distribuito secondo una distribuzione Gamma, da una distribuzione gamma-esponenziale-normale. (Questo coinvolge due stadi di composizione.)
• La composizione di una distribuzione multinomiale con vettore di probabilità distribuito secondo una distribuzione di Dirichlet origina una distribuzione di Dirichlet multinomiale.
• La composizione di una distribuzione di Poisson con parametro di variazione distribuito secondo una distribuzione Gamma origina una distribuzione binomiale negativa.
• La composizione di una distribuzione Gamma con parametro di scala inverso distribuito secondo un'altra distribuzione Gamma origina una distribuzione Beta del primo tipo a tre parametri.

La famiglia delle distribuzioni esponenziali

Le distribuzioni composte derivate dalla famiglia delle distribuzioni esponenziali spesso presenta una forma chiusa. Per maggiore informazione vedi l'articolo sulla distribuzione predittiva a posteriori.

Significati correlati

Un concetto correlato ma leggermente differente di "composizione" compare con la distribuzione di Poisson composta. In una sua formulazione, la composizione prende posto sopra una distribuzione risultante da N distribuzioni sottostanti, dove N è esso stesso trattato come una variabile casuale. La distribuzione di Poisson composta risulta dal considerare un insieme di variabili casuali identicamente distribuite e indipendenti distribuite secondo J, chiedendosi cosa sia la distribuzione della loro somma, se il numero di variabili è esso stesso una variabile casuale sconosciuta $N$ distribuita secondo una distribuzione di Poisson ed indipendente dalle variabili che sono state sommate. In questo caso la variabile casuale N è marginalizzata fuori in maniera simile a quanto si fa con il parametro θ.