catena di Markov

Catena di Markov

Si dice markoviano un processo stocastico la cui evoluzione da un valore fissato a un tempo t  non dipenda da quella precedente a t  stesso. In altri termini, il passato e il futuro del processo sono tra ;loro indipendenti per ogni presente noto e fissato. Più precisamente, sia X(t) (t∈T, con T sottoinsieme della retta reale) un processo markoviano su uno spazio di probabilità (Ω,F,P), a valori in uno spazio di misura (E,B). Allora la sua distribuzione di probabilità soddisfa, per ogni t₁〈t₂〈...〈t_r〈 t_r1〈...〈 t_n, la relazione

P{X(t_r+1)〈x_r+1,...,X(t_n)〈 x_n |

|X(t₁)=x₁,..., X (t_r)=x_r} =

= P{X(t_r+1)〈 x_r+1,...,X(t_n)〈 x_r | X(t_r)=x_n}

dove P{A|B} indica la probabilità dell’evento A condizionata dal realizzarsi dell’evento B.

Un processo di Markov in cui T sia un sottoinsieme (finito o infinito) dei numeri naturali ℕ è detto catena di Markov, anche se talvolta tale denominazione è riservata a processi di Markov a valori in un insieme E al più numerabile.

In quest’ultimo caso, nell’ipotesi che T sia un intervallo della retta reale ℝ, si parla di catena di Markov a tempo continuo.

Nel seguito considereremo solo catene a tempo discreto, che indicheremo con il simbolo X(k) (k=0,1,...).

Nella descrizione probabilistica di una catena di Markov X(k) giocano un ruolo essenziale le probabilità di transizione p_ιj(k)=P{X(k+1)=j |X(k)=i }, con i,j ∈E.

Nel caso esse siano indipendenti dal tempo la catena è detta omogenea (nel tempo) e p_ιj(k)=p_ιj. La matrice ( p_ιj) (con un numero di righe e colonne pari alla cardinalità dell’insieme E degli stati) è detta matrice di transizione. La probabilità di una data evoluzione (o traiettoria) X(k)=i_κ (k=0,1,...,t) è espressa in termini delle probabilità di transizione e della distribuzione iniziale P{X(0)=i } come segue:

Due stati i e j si dicono comunicanti se esistono k₁ e k₂ tali che p_ιj. (k₁)>0 e p_jι (k₂)>0.

Uno stato i è detto inessenziale se esiste uno stato j tale che p_ij (k₁)>0 per qualche k₁>0 e p_jι (k)=0 per ogni k∈ℕ.

Lo spazio degli stati E di una catena si decompone quindi in stati inessenziali e essenziali. Questi ultimi si dividono a loro volta in classi disgiunte di stati comunicanti.

Una catena di Markov è detta irriducibile (o non decomponibile) se tutti gli stati appartengono a una e una sola classe di stati comunicanti.

→ Simulazioni di processi fisici mediante calcolatore