Probabilités et Chaînes de Markov (question liée au jeu World of Warcraft...)

[Bogdanov]

Bien le bonjour !

Je tiens à préciser en préambule que je ne suis absolument pas "concerné" par le domaine des études supérieures, même si j'ai fait des études supérieures scientifiques il y a quelques années. Cependant, je me permets de venir à nouveau solliciter votre aide pour un problème de probabilités, lié à un de mes hobbies : le jeu de rôle World of Warcraft. Je pense que mon sujet a sa place dans cette partie du forum car la réponse à ma question demande, me semble-t-il, de solides connaissances en probabilités.

Voici la situation :

Dans le jeu, mon avatar possède un objet dont la description est la suivante : "chaque fois qu'un ennemi vous frappe au corps à corps, vous avez 60% de chance de voir votre endurance augmentée de 24. L'effet dure 10 secondes et peut se cumuler 10 fois (jusqu'à un bonus de 240 à l'endurance, donc)". Admettons pour les besoins de la démonstration que l'ennemi attaque toutes les 1,8 secondes, autrement dit, que je sois susceptible d'être frappé toutes les 1,8 secondes. Je dis "susceptible" car mon personnage 42% de chances d'esquiver cette attaque.

Si je suis effectivement touché par cette attaque (que je ne l'ai pas esquivée, donc), j'aurai 60% de chance de gagner 24 d'endurance. Donc concrètement, une fois que l'effet s'est déclenché, dans les 10 secondes qui suivent, soit l'effet se déclenche à nouveau et le nombre d'applications augmente (ou reste à 10 le cas échéant), soit l'effet ne se déclenche pas (parce que j'ai esquivé toutes les attaques ou parce que les attaques que je n'ai pas esquivées n'ont pas déclenché l'effet) et le nombre d'applications de l'effet retombe à zéro.

Ce que j'aimerais connaître, c'est le pourcentage de temps que je passerai respectivement avec 0 applications de l'effet bénéfique, 1 application, 2 applications, etc....

En me documentant (merci Google et Wikipédia), j'en suis arrivé à la conclusion que j'étais en présence d'une "chaîne de Markov à espace d'états finis". Le nombre d'états dans mon espace est de 11 (de 0 à 10 applications de l'effet bénéfique). Quand je suis dans l'état N (N allant de 0 à 10), je ne peux que passer à l'état N+1, rester à l'état N si N = 10, ou retomber à N = 0.

La matrice de transition P de ce système est donc une matrice carrée de dimension 11, qui ressemble à quelque chose comme :

x 1-x 0 0 0 0 0 0 0 0 0
x 0 1-x 0 0 0 0 0 0 0 0
x 0 0 1-x 0 0 0 0 0 0 0
.
.
.
.
.
x 0 0 0 0 0 0 0 1-x 0
x 0 0 0 0 0 0 0 0 1-x
x 0 0 0 0 0 0 0 0 1-x

où x est la probabilité qu'en 10 secondes, l'effet ne soit jamais appliqué et que le nombre d'applications de l'effet sur moi retombe à zéro.

Je devrai ensuite résoudre le système linéaire : qP = q , ce qui me semble très loin d'être insurmontable. L'idéal serait de trouver un logiciel sachant diagonaliser les matrices en trouvant les vecteurs propres et leurs valeurs propres associées, mais mes recherches ne m'ont conduit qu'à Maple (malheureusement payant) ou à une macro pour Excel que je ne parviens pas à faire fonctionner.

Qu'importe! Je pourrais sans grande difficulté me semble-t-il résoudre le système à la main, étant donné que la matrice de transition est très simple.

J'en viens donc au coeur de mon problème (oui, enfin! ;-)) : je ne parviens pas à déterminer la probabilité x dont je parlais plus haut! Ou plus précisément, j'ai trouvé une façon de la calculer mais elle me semble pour le moins douteuse...

Je rappelle que x désigne la probabilité de retomber à N = 0 (ou de rester à N = 0), autrement dit de voir 10 secondes s'écouler sans aucune nouvelle application de l'effet.

Sur un intervalle quelconque de 10 secondes, l'ennemi tente de me frapper tantôt 5 fois, tantôt 6.

J'arrive à la conclusion que la probabilité de recevoir 6 coups sur un intervalle quelconque de 10 secondes est de 1/1,8 soit environ 55,56%. La probabilité d'en recevoir 5 est donc de 0,8/1,8 soit environ 44,44%.

Dans l'éventualité où je reçois 6 coups sur cet intervalle de 10 secondes, la probabilité x1 que l'effet ne se déclenche jamais serait de :

(désolé, je ne sais pas taper de belles formules comme certains ici)

x1 = 0,42^6
+ 6*0,42^5*0,58*0,40
+ 15*0,42^4*(0,58*0,4)^2
+ 20*0,42^3*(0,58*0,4)^3
+ 15*0,42^2*(0,58*0,4)^4
+ 6*0,42*(0,58*0,4)^5
+ (0,58*0,4)^6

Je ne suis encore une fois pas sur de mon coup. Il faudrait ensuite calculer x2, la probabilité de ne pas voir l'effet se déclencher sur une période de 10 secondes dans laquelle mon personnage subit 5 attaques d'une manière analogue.

Puis, j'obtiendrais x de la manière suivante :

x = x1 * (1/1,8) + x2 * (0,8/1,8)

Et je pourrais enfin régler son compte à ma matrice de transition !

Donc ma (double) question est :
Pensez-vous que ma manière de calculer la probabilité x soit correcte?
Et connaissez-vous un petit logiciel gratuit capable de faire le travail à ma place sur la matrice de transition?

Voilà, désolé pour la longueur de ce message, j'ai pourtant essayé de faire court mais la question n'est pas simple! J'espère que quelqu'un saura m'aider... :)

Merci d'avance !

[Finrod]

Si je te suis, chaque fois qu'un nouveau coup est porté, l'effet est réinitialisé et le compteur des 10 sec passe à 0 à nouveau ? (et l'endurance augmente de 24 ?)

Tu n'as pas besoin des chaines de markov pour ça :

La proba que l'effet ne soit pas appliqué pendant 10 sec dépend du nombre de coup pris. Si tu as 42% de chance d'esquiver et que l'effet s'applique dans 60% des coup non esquivés, Alors pour une ennemi q ifrappe tt les 1,8 sec ça donne une espérance du nombre d'application de ta capacité de 1,3875.

A multiplier par le nombre de créatures qui te frappe.

contre trois adv à cette même vitesse, ça fait déjà du 4,1625 soit une endurance augmentée en moyenne de 96 pendant la durée du combat...


Je te le dit tout de suite ce n'est pas une chaine de markov. Mais tu peux l'approximer en une chaine de markov.

LA raison en est que chaque étape de ta "chaine" est séparé par un intervalle différent. Après les dix premières secondes, donc la première étapes, le compteur de temps n'est pas remis à zéro, cela dépend du moment du moment ou le dernier coup a été donné.

Si tu tiens absolument à utiliser la chaine de markov approximée, qui te donnera en effet les pourcentages de temps à chaque niveau, tu dois utiliser un programme comme maple pour diagonaliser ta matrice.

Par ailleurs si tu considère que x est la proba de ne pas être touché pendant 10 sec (que je calcule à 11,76%) alors ta matrice est fausse. Cela suggère en effet que une étape de la chaine représente 10 sec et en une étape tu peux passer de l'état n à l'état n+1, n+2, n+3, n+4, n+5 ou n+6, pas seulement à l'état n+1 et encore en considérant que tu as un seul adversaire.

[Finrod]

Il y a une meilleure chaine de markov à étudier qui donnera une meilleure réponse.

Considéré que le temps entre chaque étape de ta chaine et le temps entre chaque tentative de coup de l'adversaire.

Tu es obligé d'oublier que l'effet peut s'interrompre néanmoins, tu pourra à la fin calculer la proba que dans ta chaine il y est une periode de 10 sec sans coups et donc l'espérance du temps d'attente avant cette periode. Ce qui te donnera la longueur moyenne de validité de cette chaine. Aprés les pourcentage à chaque niveau sont exactement par cette chaine car au moment ou tout est réinitialisé, tu repars sur la meme chaine, mais à zéro.