Eccart au résultat avec probabilité

[Simploid]

Bonjour,
Je suis actuellement face à une question de mesure d'erreur.
J'ai 5 verres contenant un papier caché. Un ami vient et me dit pour chaque verre ce qu'il cache (exemple : le 1er verre cache à 50% un 1 et à 50% un 2). Je sais ce que les verres cachent (le 1er cache un 3). J'aimerais mesurer l'erreur de mon ami.
Problème : je ne sais pas comment m'y prendre.

Supposons que l'on étudie que le 1er verre. Soit L=[a,b,c,d,e] les pourcentages relatifs aux valeurs [1,2,3,4,5] que mon ami a décrit (a=50% et b=50% ici). On considère L[0]=a, L[1]=b ect...
J'ai essayé des formules types :
result_temporaire=(Somme pour i parcourant L de (i-3)^2*L[i]) / (a+b+c+d+e)
result_final = Racine(result_temporaire)
ou bien:
result_final = (Somme pour i parcourant L de |i-3|*L[i]) / (a+b+c+d+e)

Cependant, je n'arrive pas à concevoir ce que me renvoie ces formules si ce n'est un aperçu d'une distance et je n'arrive pas à exploiter ces résultats.

En vous remerciant pour votre aide.

[FLBP]

Bonjour,

Je ne suis pas expert en prob, mais je pense que le meilleur moyen d'avoir une idée de l'erreur est simplement d'en faire un moyenne arithmétique.

S'il y a 5 verres et qu'ils contiennent [2,3,1,4,5] et que votre ami vous dit :
[20% 1, 30% 2, 50% 5]
[50% 1, 50% 4]
[100% 2]
[70% 4, 30% 5]
[100% 5]

On additionne les pourcentages réussis, ici, (implicitement 0% quand faux) :

S = 30% + 0% + 0% + 70% + 100% = 200%

Et on divise par 5 :

S/5 = 40%

Qui donne une estimation de réussite, pour avoir l'erreur on oppose et ajoute 100% :

Erreur = 100% - 40% = 60%

[fatal_error]

bj,

je vois pas trop ce que ca représente i-3 ou (i-3)^2 surtout si ton pote a prédit 2 ou 5 on s'en fout de la distance par rapport à 3... il a faux, stout.

mais d'une manière générale, si il met tout à coté, instinctivement t'as envie de lui dire tout faux...

et s'il met un peu dans le mil, ben t'as un peu juste...
de fait je modéliserais bêtement par qqch type:
si ton pote a 100 balles et qu'il met 20balles dans le 3 et que c'est vraiment un 3, ben il garde 20 balles...

l'erreur ben elle est maximale si il lui reste 0 balles à la fin et minimale si il lui reste ses 100 balles...
idem représenter l'erreur par

err(L) = somme_i L_i si i !=3

edit: message croisé avec lb2.
aussi, sur 5 verres, oui on peut diviser l'erreur par 5...

[Sylviel]

Bonjour,

ce que tu regardes c'est effectivement une distance entre la vraie valeur (3)
et ton estimation (probabiliste) de cette valeur.

La première formule que tu as utilisé correspond à la norme 2, extension usuelle de la distance
géométrique que tu connais. Pour une variable aléatoire X donnée, le nombre m qui est à distance
minimale de X est son espérance.

La seconde formule correspond à la norme 1. Pour une variable aléatoire X donnée, le nombre m qui est à distance minimale de X est sa médiane.

Les deux distances sont donc différentes et il n'est pas évident de dire laquelle est "préférable", cela dépend de l'application et de l'objectif. Il en existe d'autres d'ailleurs.

Ceci étant dis, une grande partie des statistiques se concentrent sur la minimisation de l'erreur quadratique moyenne (formule 1). Elle a l'avantage de se décomposer en la somme de deux erreurs :
- le biais (au carré)
- la variance de l'estimateur
Tu peux par exemple regarder ici : http://iml.univ-mrs.fr/~reboul/cours5.pdf

[Simploid]

Merci pour vos réponses,

FLBP et fatal_error, je ne veux pas juste dire qu'il a juste ou bon car dans ce cas, le problème serait simple. Je veux pouvoir exploiter ceci et lui dire l'intervalle d'erreur dans lequel il est. Votre réponse est intéressante afin d'étudier le problème dans un cas général mais ne convient pas vu mon objectif

Sylviel, il ne me semble pas que j'utilise la norme 1 ou 2 puisque je la modifie en utilisant dans la formule les probabilité et en faisant une pondération au final. Je dois avouer connaître ces normes puisque j'ai fait une prépa MP.
En conséquence, je me demande quel outil serait le plus intéressant, que ce soit en terme de norme ou autre afin d'exploiter mes données. Si vous avez d'autres idées , je vous en serais énormément reconnaissant.
En ce qui concerne l'application, ce serait pour déterminer l'intervalle d'acceptation de mon ami. Si celui-ci a un écart trop grand vis-à-vis de la vrai valeur, il est alors trop mauvais pour pouvoir m'aider à prédire quoi que ce soit. Si en revanche, il est performant en moyenne, sans trop s'écarter du vrai résultat, alors il m'est utile.

J'ai juste traduit le problème plus simplement avec un ami. Vous pouvez considérer qu'il s'agit d'un outil informatique.
En vous remerciant pour votre aide

[lyceen95]

Sylviel, il ne me semble pas que j'utilise la norme 1 ou 2 puisque je la modifie en utilisant dans la formule les probabilité et en faisant une pondération au final.

Ici, on peut reformuler toute la discussion sans jamais utiliser le terme 'Probabilités'. Ce mot est un leurre.

Je vais dire qu'on n'a que 3 valeurs possibles, ça va permettre de visualiser le problème en dimension 3. Le fait qu'on soit en fait en dimension 5 n'est pas bloquant, c'est juste un peu moins visuel.
J'ai un seul verre. Ce verre contient le produit x ou y ou z. En langage mathématique, les coordonnées de ce verre sont (1,0,0) ou (0,1,0) ou (0,0,1)
Ton ami annonce que le verre a pour coordonnées B (0.5, 0.5, 0)

On peut calculer la distance entre ce point B et le point réel (distance de Manhattan, ou distance Euclidienne).
Cette distance est une mesure de l'erreur faite par ton ami.

Puis ensuite, on faire la moyenne de ces distances sur l'ensemble des verres. Ou même , selon la stratégie voulue, on peut prendre un autre indicateur (max des distances, 3ème quartile des erreurs ...)
Ce choix entre moyenne // quartile // etc peut être très décisif, selon ce que tu cherches à mesurer (la capacité de ton ami à tomber juste une fois de temps en temps, ou bien sa capacité à toujours tomber pas trop loin)

[Simploid]

Merci de cette réponse lyceen95, j'aimerais justement faire en sorte que mon ami ne tombe pas toujours trop loin du résultat. Cependant, ta méthode ne prend pas en compte le fait que plus on est proche du vrai résultat, mieux c'est. Il traite de la même manière un 2 à 50% qu'un 10 à 50% (avec un vrai résultat de 3)

J'aimerais mesurer les gros écart vis-à-vis de la prédiction de mon ami donc je pensais utiliser le carré des erreurs et le comparer à A. En conséquence, que me conseilles-tu comme indicateur à prendre en priorité?

Merci pour ton aide claire et précise en tout cas

[lyceen95]

Ahh ??
Je reformule.
J'ai un verre dont je connais le contenu, mais mon ami ne connait pas le contenu. Ce contenu est un nombre entier entre 1 et 10. Autrement dit, j'ai un verre qui contient n billes ( n compris entre 1 et 10).
Et mon ami doit évaluer le nombre de billes . S'il prévoit 2 ou 3... et que c'est 4, alors c'est pas trop mal. S'il prévoit 2 ou 3, alors que c'est 10, c'est tout faux.

C'est bien ça ?
Au début, j'avais compris tout autre chose. Le contenu du verre était une variable qualitative, et non une variable quantitative.
Le verre pouvait contenir du lait ou de l'eau ou du vin ou du sable... il y avait donc différentes valeurs possibles, sans notion d'ordre ou de distance entre ces différentes valeurs.

Si c'est bien ça (variables QUANTITATIVES), alors effectivement, il faut réfléchir à nouveau un peu.

[Simploid]

Oui, c'est exactement ça

[lyceen95]

On a donc 2 niveaux où on doit faire des aggrégations de données.
Etape 1 : Pour un verre, le contenu réel est X, et mon ami a annoncé avec forcément somme des = 1.
Si la somme des est différente de 1, on fait une règle de 3 pour la rendre égale à 1.

Un bon indicateur semble Erreur = racine ( somme )
Par exemple, s'il annonce 2 à 60% et 3 à 40%,
si le résultat est 1, Erreur = racine ( 0.6*1² + 0.4*2²) = racine(2.2)=1.48
Si le résultat est 4, Erreur = racine(0.6*2² + 0.4*1²) = racine(2.8)=1.67

Pour chaque Verre, avec ce traitement, on sait dire que l'erreur est de X.

Pour estimer la performance totale, on peut faire la moyenne de ces erreurs Verre par Verre, ou on peut choisir un autre indicateur.
Pourquoi pas à nouveau une formule : Err_finale = racine ( moyenne des carrés des erreurs ).
C'est une possibilité, qui permet de 'punir' les très mauvais pronostics.
Si l'ami 1 fait des erreurs de (2, 4, 4, 5) et l'ami 2 fait des erreurs de (1,2,3, 9), avec des moyennes, ils auront le même score, alors qu'avec la 2ème formule, on dira que l'ami 2 est moins doué que l'ami 1.

Je reste sur ma part adepte des quartiles et des quantiles en général, mais sans 'argument valable' en faveur d'une option ou d'une autre.

[Simploid]

C'est effectivement ce que j'ai fait dans un premier temps. (réponse au premier paragraphe). En revanche, l'interprétation de ce résultat se traduit par une variance pondérée du résultat ou une moyenne pondérée?

En ce qui concerne le 2eme paragraphe, c'est intéressant mais mon étude porte sur le fait de juger verre par verre car se tromper un peu sur le verre 10 n'aura pas le même impact sur le verre 5. J'ai pour cela créé une gaussienne sur 5 afin de gérer l'erreur globale.

Ce qui m’intéresse plus est la variance vis-à-vis de du vrai résultat.
Merci pour ton aide