Espérance du nombre de visites pour une chaine de Markov non

[NELLLY]

Bonjour, J'ai une chaine de Markov non homogène contenant 2 états
transitoires et un état absorbant. La chaine a deux matrices de
passage différentes. La matrice de passage de l'instant 1 à
l'instant 2 est

A partir de t = 2, j'ai la meme matrice de passage de t=2 à t=3,
de t=3 à t=4,... donnée par.
J'ai besoin du nombre moyen de
périodes séjournés dans l'état transitoire j avant absorption
débutant son évolution à l'état i. Pour les chaines de Markov
homogènes, ce ci est noté par et calculé à partir de la
matrice fondamentale avec est la matrice
identité et Q est la passage de passage entre les états
transitoires. Est-ce que vous avez une idée comment je peux
obtenir les formules pour le cas non homogène.

[NELLLY]

Salut
Je vous donne la démonstration pour le cas homogène en anglais si ça ne vous gêne pas.
Below the proof of
the formula for the homogeneous case. I wish it could help. Assume
that we have 3 states, state 3 is an absorbing one (to be close to
my case). let the transition probability matrix be

Let be a random variable denoting the number of times
the process visits the transient state j before it eventually
enters the absorbing state 3, having initially started from
state i.
Let , we have
Theorem: For transient states i and j,

Proof:
If in one step, it enters a recurrent state, the number of visits
to j is zero unless j=i. If is kronecker function
such that if i=j and 0 otherwise. Then
with probability . On the other hand,
suppose that the Markov chain moves to a transient state at the
first step (with probability , from that position onward
the number of visits to j is . Then,

It follows that Which leads to
. Let the
matrix A be

The transition matrix between the transient states is
given by
Let
, then where I is the identity matrix. By using the fact that it follows
that

[Finrod]

Tu n'as qu'a conditionner par la première transition.

La chaine devient homogène.

Et on termine en prenant l'espérance de l'espérance conditionnelle obtenue, qui est égale à l'espérance cherchée.

En pratique, il suffit de remplacer la mesure de départ (1,0,0) dans ton cas il me semble par son image après la transition 1. Soit (A,B,C)

Puis de lui appliquer la chaine homogène, ou tu doit avoir une formule valable quel que soit la mesure de départ.

[NELLLY]

Merci pour la réponse. Je n'ai pas très bien saisi est ce que tu peux me la formuler mathématiquement. :help:

[Finrod]

Passer à la chaine non homogène, ça revient à ajouter un état de transit, il faut voir pour commencer combien de fois en moyennes cet été passe par j. (c'est plus terre à terre comme ça que comme je l'ai formulé hier)

Après, c'est un peu comme dans la preuve. Il y a un qui se rajoute, en fonction de la position de départ, puis à l'étape 1, en notant k l'état transient différent de j tu as en moyenne

passage en j.
(tu as reconnu les proba de transition de j vers j et de k vers j.

Et là tu continues avec ta chaine de markov homogène.

A partir de là, il doit y avoir moyen de faire un raisonnement analogue à la première preuve.