Maximiser une fc de cout à partir de paramètres héterogènes

[Ceubex]

Bonjour,

J'ai créé une simulation de labyrinthe virtuel avec différents personnages qui ont des caractéristiques définis quantitativement, par exemple un facteur de curiosité, un nombre de pauses par journée, la qualité de sa vue, etc. Si on envoie le personnage dans le labyrinthe, il va le parcourir (enfin c'est mon algorithme qui le fait) et en fonction de ses caractéristiques et des hasards de son parcours il va le résoudre ou y mourir (et oui pas de pitié)
Un gardien est devant le labyrinthe, sa mission c'est de diminuer la mortalité dans le labyrinthe en autorisant certains personnages à le faire ou non (s'ils ne le font pas ils iront voir un autre labyrinthe avec d'autres caractéristiques et un autre gardien).

Pour ce faire, je pensais que le gardien pouvait faire un score qui soit une combinaison des caractéristiques du personnage et fixer un seuil en fonction de quoi il autorise ou non l'entrée. Le modèle de ce score serait optimisé de manière à maximiser le nombre de personnages sortant du labyrinthe en une journée.

La question est quel algorithme choisir pour calculer le modèle de scoring ? Également je souhaiterais que le modèle s'optimise tout seul au fil du temps, qu'il apprenne au fur et à mesure si c'est possible
Pourriez vous me donner le nom d'un algorithme susceptible de résoudre ce problème ?

[Ben314]

Salut,
Pour le moment le GROS problème, c'est que le problème est (très clairement) mal posé :
- Si l'objectif du gardien est de "diminuer la mortalité", c'est à dire, numériquement parlant, d'avoir le nombre total de mort (ou bien le % de mort parmi ceux entrant) le plus faible possible, alors la solution est triviale : ne laisser entrer personne.
- Si l'objectif du gardien est de "maximiser le nombre de personnage sortant (vivant) du labyrinthe", alors c'est la solution est aussi triviale : laisser rentrer tout le monde.

Bref, pour que la question soit intéressante il faut que la quantité à maximiser soit "autre chose que ça". . .

[Ceubex]

D'accord je pense que tu as raison. Je crois au final que c'est plus un problème d'apprentissage par renforcement.

Disons que le gardien fait un "bénéfice" et a intérêt à gagner le plus possible, il gagne +1 lorsqu'une personne sort vivante et -1 lorsqu'il y a un mort.

Il n'a donc plus intérêt à laisser rentrer tout le monde car si la population générale a une chance sur 2 de mourir il gagne 0

[Ben314]

Là, c'est effectivement plus intéressant : avec du +1/-1 (et 0 s'il refuse l'entrée) il me semble que ça signifie qu'il va laisser rentrer tout personnage dont il estime que la proba. de réussite est >50%.

Après, on pourrait parfaitement mettre la barre à 75% ou dans l'autre sens à 25% et je sais pas si on peut trouver une raison particulière (et mathématique) de mettre la barre plutôt "là"que "là" (à priori, je dirais que non).

Mais par contre, le truc intéressant au niveau mathématique, c'est de chercher comment il va faire pour estimer la proba de réussite en fonction des caractéristiques du perso. et en tenant compte de l'expérience qu'il accumule petit à petit concernant ceux qui s'en sont sorti (ou pas). En bref, il cherche un fonction de plusieurs variables (les caractéristiques des perso.) qui donne le % de chance de réussite et qui colle "au mieux" avec les expériences qu'il a déjà faites concernant ceux qui sont rentrés (et... éventuellement sortis...)
Je suis pas assez balèse en stats pour savoir s'il y a un truc un peu "général", c'est à dire ne demandant pas au départ de savoir quelle est (plus ou moins) le type de fonction qu'on cherche.
Si j'y pense, je demanderais à des collègues plus doués que moi.

Sinon, le premier truc qui me vient à l'esprit, c'est de regarder parmi la population déjà entrée (et éventuellement sortie) le pourcentage de ceux qui s'en sont sortie en pondérant cette moyenne par la "distance" à laquelle sont situés les caractéristique du perso. par rapport à celle de celui qui vient de se pointer (i.e. quasi les même caractéristiques = pondération forte ; caractéristiques très différentes = pondération très faible)