Processo markoviano

Da Wikipedia, l'enciclopedia libera.

Un processo stocastico markoviano o processo di Markov è un processo stocastico nel quale la probabilità di transizione che determina il passaggio ad uno stato di sistema dipende unicamente dallo stato di sistema immediatamente precedente e non dal come si è giunti a tale stato (in quest'ultima ipotesi si parla di processo non markoviano).
Modelli di tipo markoviano vengono anche utilizzati nel progetto di reti di telecomunicazioni; la teoria delle code che ne consegue trova applicazione in molti ambiti: dalla fila alle poste ai pacchetti in coda in un router.

Formalmente questo può essere scritto come

$P(X(t_{n+1})\leq x_{n+1}|X(t_n)= x_n, X(t_{n-1})= x_{n-1}, \ldots, X(t_0)= x_0) = P(X(t_{n+1})\leq x_{n+1}|X(t_n)=x_n). \,$

Questa è detta proprietà di Markov, o condizione di "assenza di memoria".

Indice

1 Catene di Markov
- 1.1 Catene omogenee di Markov
- 1.2 Catene di Markov ergodiche
2 Voci correlate

[modifica] Catene di Markov

Una catena di Markov è un processo di Markov a stati discreti, ovvero è un processo stocastico discreto per cui ad ogni istante t estraiamo dal processo una variabile casuale discreta.
Formalmente questo può essere scritto come

$P(X(t_{n+1})= x_{n+1}|X(t_n)= x_n, X(t_{n-1})= x_{n-1}, \ldots, X(t_0)= x_0) = P(X(t_{n+1})= x_{n+1}|X(t_n)=x_n). \,$

Nel caso di catena di Markov a tempo discreto si può assumere la notazione più semplice

$P(X_{n+1}=x_{n+1}|X_n, X_{n-1}, \ldots, X_0) = P(X_{n+1}=x_{n+1}|X_n). \,$

[modifica] Catene omogenee di Markov

Una catena omogenea di Markov è un processo markoviano nel quale la probabilità di transizione dipende unicamente dallo stato del sistema immediatamente precedente e non anche dal tempo t (o dal passo n se tempo discreto), ed è pertanto detto omogeneo.
Per le catene omogenee vale la condizione

$P(X_{n+1}=x|X_n=y) = \Pr(X_{n}=x|X_{n-1}=y)\,$

Più in generale si dimostra che in una catena di Markov omogenea si ha che la probabilità di passare da uno stato ad un altro in t passi è costante nel tempo

$P(X_{n+t}=x|X_n=y) = \Pr(X_{n-1+t}=x|X_{n-1}=y)\,$

[modifica] Catene di Markov ergodiche

Una catena di Markov si definisce ergodica se e solo se per ogni istante iniziale $t 0$ e per ogni condizione iniziale di probabilità $p (t 0)$ esiste ed è indipendente da $t 0$ e da $p (t 0)$ , il limite della probabilità per tempi infiniti