Chaines de Markov: gros soucis...

[Lostounet]

Bonjour,

Je bloque partout sur cet énoncé.

On donneune chaîne de Markov et sa matrice de transition P. On suppose que l'espace des états E est fini et qu'il existe r>=1 tel que pour tout x,y dans E,

1. Montrer que X admet une unique proba invariante.

2. Prouver que est une chaine de Markov dont on donnera la matrice de transition en fonction P.

Pour la 1) j'ai dit que la propriété impliquait que P(x,y)>0...

[Ben314]

Salut,
Ben c'est franchement n'importe quoi....
Si par exemple, tu as 3 états x1,x2,x3 "en ligne" et qu'à chaque étape, les seuls truc possible (i.e. de proba>0), c'est de rester sur place ou d'aller un cran à droite ou à gauche (à condition bien entendu de ne pas être à l'extrême droite ou gauche), alors,
- c'est clair que P(x1,x3)=0 (x1 et x3 ne sont pas côte à côte)
- c'est tout aussi clair que pour tout x,y : en deux "coups", tu peut aller d'où tu veut à ou tu veut avec une proba >0.

[Lostounet]

J'ai faux. Je reprends:

J'ai dit que P^r(x;y) > 0 équivaut à:

(i) x=y ou il existe r>=0 , il existe tel que pour tout i dans [1;r],

(ii)

?
Si c'est encore faux, du coup la propriété donnée au départ ça veut pas dire que la chaîne est irréductible?

[Doraki]

Tu peux pas avoir une équivalence entre d'un coté un truc qui dépend de r (P^r (x,y) > 0) et de l'autre un truc qui ne dépend pas de r.

[Lostounet]

Certainement,
Mais il y a une relation entre k et r, non?

désolé mais je débute ....

[Doraki]

ben quand moi je lis l'énoncé de ton exercice, k il n'existe pas donc il ne peut pas ya voir de relation entre le r donné par l'énoncé et un k qui n'existe pas.

Sinon en vrai je sais pas trop ce que veut dire la notation "Px" donc j'ai pas regardé ton (ii).

---

A part ça il serait bien que tu nous dises comment tu comptes approcher prouver la question 1.
Genre soit en utilisant la définition de proba invariante, soit en utilisant peut-être une propriété du cours qui dirait "si ??? alors il existe une unique proba invariante pour ??? ". Mais faudrait que tu dises un truc concret.

[Lostounet]

ben quand moi je lis l'énoncé de ton exercice, k il n'existe pas donc il ne peut pas ya voir de relation entre le r donné par l'énoncé et un k qui n'existe pas.

Sinon en vrai je sais pas trop ce que veut dire la notation "Px" donc j'ai pas regardé ton (ii).

---

A part ça il serait bien que tu nous dises comment tu comptes approcher prouver la question 1.
Genre soit en utilisant la définition de proba invariante, soit en utilisant peut-être une propriété du cours qui dirait "si ??? alors il existe une unique proba invariante pour ??? ". Mais faudrait que tu dises un truc concret.

Px signifie que l'on part de

En ce qui concerne la 1) je compte procéder par "existence puis unicité"
1) existence: en utilisant un truc du cours qui dit que si E est fini, l'ensemble des probas stationnaires est compact et que je peux extraire une suite ...
2) Unicité: montrer (par les propriétés foireuses que j'ai essayé d'exposer) qu'en fait les états sont récurrents positifs et que vu que E est fini, la proba invariante est unique.

[Ben314]

J'aurais quand même tendance à penser que, si tu as un vague cours avec quelques vagues théorème, ben le truc en question, il est super trivial.
Par contre, je suis comme (je pense) Doraki : ces trucs là, quand j'étais étudiant, j'y ait pas eu droit et je l'ai jamais enseigné donc le vocabulaire, c'est un peu au pif...
Je suis à peu prés sur que le , il désigne la proba d'aller de x vers y en un coup et que le c'est la proba d'aller de x vers y en coups c'est à dire les coeff. de la "matrice de transition" M pour le premier et ceux pour le second.

Ensuite, ton terme de "proba stationnaire", je pense que c'est les vecteurs propres de M (ou de sa transposé en fonction de la convention choisie) dont la somme des coordonnées fait 1, mais, juste à titre de (piqure de) rappel,je te signale que c'est pas parce qu'un ensemble est compact que ça signifie qu'il est non vide...
Et qu'à priori je vois pas non plus très bien le rapport entre "extraire des suites" et montrer que le bidule est non vide (évidement, ça dépend d'où tu les extrait tes fameuses suites...)

Pour "récurrents positifs", tu peut un peut expliciter ce que ça signifie ainsi que le théorème précis que tu as dans ton cours ?

EDIT : Je suis tombé là dessus
https://www.math.u-bordeaux.fr/~mchaban ... RS5-CM.pdf
Qui est court, simple et basique et qui répond parfaitement à la question :
C'est le th. page 19 qui marche vu que ton hypothèse "il existe r tel que..." implique trivialement "l'irréductibilité" du bidule (c'est même plus fort) et la preuve du th. juste en dessous ne fait qu'une vingtaine de lignes (d'algèbre linéaire élémentaire) et ne demande aucun pré-requis.
Bref, je t'inciterais fort à regarder le pdf en question, à voir que c'est passablement trivial, puis à regarder dans ton cours qui risque d'être bien plus compliqué (en englobant par exemple les cas avec une infinité d'état) où se situe le(s) résultat(s) qui disent la même chose (sans doute de façon plus théorique et plus générale).

[Lostounet]

Merci beaucoup Ben pour ce poly je vais d'abord commencer par le lire avant de revenir exposer ma démarche. Faut commencer par les bases !

[Ben314]

Si tu veut, mais pour comprendre la page 19, il suffit d'avoir la définition de la page 6 ("matrice de transition") et les trois propositions (triviales) en dessous de la définition.
A noter que, perso, la "matrice de transition", je l'aurais plutôt noté dans l'autre sens de façon à avoir les vecteurs en colonne et plutôt que de les avoir en ligne avec , mais ça ne change absolument rien (c'est juste un problème de transposition).

[Lostounet]

Je regarde ça dès que je finis de manger.