James Randi - proba

[Soadfandaemon]

Bonjour,

Alors tout d'abord je tiens à préciser que je ne suis plus aux études, j'ai fini mon cursus en informatique et je travaille depuis un an. Bien que j'ai toujours eu de bons points en proba, j'ai toujours eu du mal avec cette branche, j'ai l'impression de ne jamais savoir appliquer ce que j'ai appris à de nouvelles situation. Pourtant une fois que je m'immerge à nouveau dans la branche et que j'étudie beaucoup je m'en sors toujours. Enfin soit, peu importe, voici la problématique.

Ayant un esprit scientifique/zététique, je suis tombé sur une vidéo de James Randi où il réalise une expérience ayant pour but de tester une personne qui prétend que le concept d'aura est vrai et qu'il peut voir l'aura des gens: https://www.youtube.com/watch?v=OZeQGld5QBU

Pour faire simple, 5 personnes sont derrière un panneau numéroté, et le but est de les remettre dans l'ordre au final.

Cela m'amène à me poser deux interrogations:

1) Quelle est la probabilité d'avoir 1,2,3,4,5 personnes à la bonne position ?
Par exemple, avoir 5 personnes à la bonne position, il me semble que c'est 5! car il y a un seul cas où c'est
vrai sur les 120, non? Ce qui m'étonne c'est pour 4 par exemple. J'estime qu'il est impossible de n'avoir que
4 bonnes réponses puisque si on en a que 4, la 5e est toute désignée, c'est perturbant... et ensuite?

2) Quand, en science, on souhaite comparer les performances de quelqu'un au hasard, comment faudrait-il s'y prendre ? Si on part d'un indice de confiance de 95%, faut-il faire un intervalle dans les valeurs? Comment le déterminer?

Je ne sais pas si cet endroit est approprié ni si ce forum peut répondre à mes attentes, mais un grand merci d'avance.

[pascal16]

1) Quelle est la probabilité d'avoir 1,2,3,4,5 personnes à la bonne position ?
Par exemple, avoir 5 personnes à la bonne position, il me semble que c'est 5! car il y a un seul cas où c'est
vrai sur les 120, non? Ce qui m'étonne c'est pour 4 par exemple. J'estime qu'il est impossible de n'avoir que
4 bonnes réponses puisque si on en a que 4, la 5e est toute désignée, c'est perturbant... et ensuite?

on part toujours de 5 personnes, le calcul est donc :
5*4*3*2*1 pour 5 personnes bien placées
5*4*3*2 pour 4 personnes bien placées
et 5*4*3*2*1 = 5*4*3*2
Et ça, c'est le nombre de combinaisons possibles, le nombre de bonne réponse est 1.

[Ben314]

La proba que
- Toute les 5 soient à leur place est de 1/5! = 1/120 (environ 0,83 %)
- Exactement 4 soient à leur place est de 0/5! = 0
- Exactement 3 soient à leur place est de 10/5! = 1/12 (environ 8,33 %)
- Exactement 2 soient à leur place est de 20/5! = 1/6 (environ 16,67 %)
- Exactement 1 soit à sa place est de 45/5! = 3/8 (37,5 %)
- Aucune ne soit à sa place est de 44/5! = 11/30 (environ 36,67 %)
(si ça t'intéresse, les calculs sont liés aux "nombres de dérangement")

Sinon, concernant la façon dont "en science on souhaite comparer des trucs", certes, il y a des théories concernant "l'intervalle de confiance à 95%", mais un truc complétement évident et qu'il faut bien comprendre, ben c'est que si tu fait aveuglement confiance à ton "l'intervalle de confiance à 95%", ben 1 fois sur 20, tu va l'avoir dans le c...
Donc sur des truc plus "important", on prend du "à 99%", voire du "99,9%" mais forcément, l'intervalle devient de plus en plus large (donc de moins en moins précis), et même avec un indice de confiance à 99.9%, si tu utilise ton truc en faisant comme s'il était fiable mettons quelques centaine de fois, il commence à être fort probable que tu ait fait au moins une fois une (éventuellement très grosse) connerie...
Bref, les stats, c'est... des stats... et rien de plus...

Sinon, concernant les extralucide, voyantes, etc etc, faudrait que je retrouve les références exactes (je peut si nécessaire), mais il y a de l'ordre d'une cinquantaine d'année, il y a un institut (en suisse il me semble) qui a promis une somme faramineuse à toute personne pouvant passer avec succès des tests scientifique prouvant effectivement un quelconque "don paranormal". Sauf erreur, la prime tient toujours et le moins qu'on puisse dire, c'est que dans le monde de la voyance et des extralucides, ben ça c'est pas bousculé au portillon pour empocher le pactole (et les rares qui y sont allés, ben ils ont fait choux blanc).
Bref, la science, non seulement elle ne demande qu'à tester le "paranormal", mais elle est prête à payer très très cher pour avoir une preuve de son existence. Bizarrement, c'est du coté du "paranormal" qu'il semblerait qu'ils sont pas très chaud pour être testé dans de vraies condition scientifiques (*)

(*) Concernant le "vrai condition scientifiques", ouvre par exemple DEUX fois la vidéo que tu as donné en lien, puis dans la première, fait un arrêt sur image à 0:20 et sur la deuxième un arrêt à 2:52.
Et ça prouve que le James Randi, non seulement il voit pas trop clair dans les "Auras", mais qu'en plus il est con comme une bille vu que perso., j'aurais parfaitement mis les 5 gus à leur place en comparant leur taille à celle des ombres vues au début...
Enfin, bref, c'est... de la télévision... : ça s'adresse pas franchement à ceux "qui ont quelque chose entre les oreilles" comme disait France Inter dans le temps...

[Soadfandaemon]

Bonjour et un grand merci! J'ai compris mon erreur pour les calculs, nickel ! <3

Pour ce qui est des prix, y'en a un paquet en fait: https://en.wikipedia.org/wiki/List_of_p ... paranormal

Notamment un de houdini et un de james randi d'un sacré paquet de pognon (james randi étant celui qui propose le protocole, pas celui qui prétend avoir les pouvoir hein et si effectivement l'expérience n'est pas parfaite, il est chouette james randi, c'est un ancien prestidigitateur, sceptique de surcroit , il est assez connu pour ça ^^)

Sinon bien sûr, 5% est une trop grosse marge d'erreur, les études devraient commencer à arrêter d'utiliser une telle passoire.

En tout cas un grand merci.

[Ben314]

Vu mon (grand) age, je pense que celui dont j'avais entendu parler, c'est le International Zetetic Challenge (et j'ai sans doute du me mélanger les pinceaux entre "Zetetic" et "Zurich" vu que le truc était pas du tout en suisse, mais... à Nice...)

Sinon, concernant le coté mathématique, si ça t'amuse, tu peut chercher à calculer le "nombre de dérangement" qu'il y a parmi les permutations de n éléments, c'est à dire, parmi les n! possibilités de réordonner n élémenents, combien y-en-a-t-il où aucun des éléments n'est à sa place.
Une fois ces nombres connus, on en déduit immédiatement le nombre de façon de réordonner n éléments de façon à ce que exactement k soient restés à leur place.

[beagle]

"Sinon bien sûr, 5% est une trop grosse marge d'erreur, les études devraient commencer à arrêter d'utiliser une telle passoire."

Peut-être parce que cela ne se passe pas ainsi.
Le gars fait une étude, il trouve un truc inf à 0,05 et le gars dit il se passe probablement quelque chose d'intéressant.Personne n'est affirmatif avec une seule étude inf 0,05.
Mais l'étude va ètre reprise une fois, deux fois trois fois, et c'est parce que cela se répète de retrouver du inf à 0,05
je ne dis pas que cela s'arrète à 3 études, mais faites déjà 0,05 x 0,05 x 0,05, on est à 0,000125
Ne pas oublier un facteur fondamentale des études: la reproductibilité.
On a eu un gars qui avait du 0,05 sur la mémoire de l'eau, pain béni pour les tenants de l'homéopathie.Son protocole a été repris par d'autres équipes et ils n'ont pas retrouvé de inf 0,05.Comme mémoire de l'eau certains ont pensé que c'était la mémoire du tube à essai plutôt.Enfin voilà un exemple.

[Soadfandaemon]

Hum, finalement quelque chose me chiffonne.

J'étais convaincu par "Exactement 3 soient à leur place est de 10/5!" parce qu'au départ j'avais pris 1/5! comme le nombre total de permutation, et 10 comme le nombre de paquet de 3 que je prend parmi 5 (combinatoire). Ce qui me chiffonne c'est que ici, l'ordre a de l'importance non?
Voici la liste des paquets de 3 parmi 5:
123, 124, 125, 134, 135, 145, 234, 235, 245 et 345.

Mais par exemple pour le paquet 123, l'ordre des personnes pourrait être 12345 ou 13245 ou 32145 etc

On a donc bien plus de cas que 10, parce que l'ordre a de l'importance, non?

[Soadfandaemon]

"Sinon bien sûr, 5% est une trop grosse marge d'erreur, les études devraient commencer à arrêter d'utiliser une telle passoire."

Peut-être parce que cela ne se passe pas ainsi.
Le gars fait une étude, il trouve un truc inf à 0,05 et le gars dit il se passe probablement quelque chose d'intéressant.Personne n'est affirmatif avec une seule étude inf 0,05.
Mais l'étude va ètre reprise une fois, deux fois trois fois, et c'est parce que cela se répète de retrouver du inf à 0,05
je ne dis pas que cela s'arrète à 3 études, mais faites déjà 0,05 x 0,05 x 0,05, on est à 0,000125
Ne pas oublier un facteur fondamentale des études: la reproductibilité.
On a eu un gars qui avait du 0,05 sur la mémoire de l'eau, pain béni pour les tenants de l'homéopathie.Son protocole a été repris par d'autres équipes et ils n'ont pas retrouvé de inf 0,05.Comme mémoire de l'eau certains ont pensé que c'était la mémoire du tube à essai plutôt.Enfin voilà un exemple.

Ca c'est la théorie, mais en pratique l'impact du 5% de bien plus grand :https://www.youtube.com/watch?v=42QuXLucH3Q

-> Les faux positifs ont une trop grande importance dans la publication car on publie beaucoup moins les résultats qui n'amènent rien de nouveau
-> Les répliques d'expériences ont moins de chances d'être publiées car moins intéressantes.

[Ben314]

Pour le "Exactement 3 sur les 5 sont à leur place" :
- Tu commence par choisir les 3 qui vont être "à leur place", il y a (coeff. binomial) possibilités.
- Puis tu regarde pour les deux dernier combien il y a de "dérangements", c'est à dire combien de façon de réordonner 2 éléments sans qu'aucun des deux ne soit à sa place, et là, c'est évident, il n'y a qu'une façon de procéder, à savoir les échanger. Et si tu veut en dresser la liste, ça donne ça :
12354
12543
12435
15342
14325
13245
52341
42315
32145
21345

[Soadfandaemon]

Pour le "Exactement 3 sur les 5 sont à leur place" :
- Tu commence par choisir les 3 qui vont être "à leur place", il y a (coeff. binomial) possibilités.
- Puis tu regarde pour les deux dernier combien il y a de "dérangements", c'est à dire combien de façon de réordonner 2 éléments sans qu'aucun des deux ne soit à sa place, et là, c'est évident, il n'y a qu'une façon de procéder, à savoir les échanger. Et si tu veut en dresser la liste, ça donne ça :
12354
12543
12435
15342
14325
13245
52341
42315
32145
21345

Aaah d'accord, j'avais mal interprété le problème, merci c'est super limpide comme ça

[beagle]

"Ca c'est la théorie, mais en pratique l'impact du 5% de bien plus grand :https://www.youtube.com/watch?v=42QuXLucH3Q

-> Les faux positifs ont une trop grande importance dans la publication car on publie beaucoup moins les résultats qui n'amènent rien de nouveau
-> Les répliques d'expériences ont moins de chances d'être publiées car moins intéressantes

tout ceci est vrai, mais cela questionne les publications et pas le 5%.
Et on peut penser que nombres d'études sont lancées car il y a bien une raison de penser que.
Ce qui fait que l'on ne cherche pas des études ouvertes avec 10 trucs qui n'ont ni queue ni tète et où l'on va juste faire des rapprochements liés au hasard du tirage.
Sur les journaux cela pose problème, une des solutions est d'avoir le plus possibles de concurrence = l'idée de reprendre l'inverse du journal concurrent améliore. Et ensuite il ya des questions morales sur les publications qui ne montrent rien mais devraient ètre connues.Et dans les discussions d'articles ou de congrès les gens parlent de résultats négatifs dont ils ont eu connaissance mais pas publié.Cela reste un soucis.
Mais tout ceci questionne le protocole d'une étude et sera analysé tout autant que le résultat.

globalement ce n'est alors pas le 0,05 qui serait mieux en 0,01 ou autre mais tout ce qui figure dans la vidéo.
encore une fois 0,05 fois 0,05 fois 0,05 fois...

[Soadfandaemon]

Bien sûr, il y a plein d'autres problèmes dont ceux expliqué. Mais il explique également l'impact du 5%, tout comme l'explique david louapre ici https://sciencetonnante.wordpress.com/2 ... -est-vrai/

si tu prend par exemple 1000 hypothèses dont 100 vraies et 900 fausses. Si tu as 5% de certitude, tu auras donc 95 études vraies à juste titre, sur les 100, et 45 faux positifs sur les 900. Considérant que la majorité des études publiées sera les positifs, rien qu'avec ce raisonnement on a, sur 140 positif, 1/3 de faux positifs à cause des 5%. Evidemment c'est loin d'expliquer tout mais l'impact est énorme

[Ben314]

Il faudrait absolument que je retrouve les références, mais je me rappelle qu'il y a quelques temps (2 ans ? plus ? moins ?), en glandouillant sur le net sur le thème de "l'enseignement des stats au Lycée" (*), j'était tombé sur un article d'un "ponte matheux" de Paris (mais qui ???) qui "allumait" à fond les programmes des Lycées, en particulier sur la notion "d'intervalle de confiance" et d'approximation de différentes loi par la loi normale.
Et dans la liste des références qu'il donnait, il y avait un article d'un statisticien américain assez réputé (j'étais allé voir son cursus sur Wiki pour avoir une idée) qui écrivait en noir sur blanc qu'à son avis, dans les publi. de science sociales ou de "sciences pas très dures" (style biologie), c'était de l'ordre de 20% des articles utilisant l'outil statistique qui étaient bon à jeter à la poubelle . (c'est à cause de ce chiffre énorme de 20% que j'étais allé regarder le pédigrée du gus pour voir si c'était du lard ou du cochon...)

(*) Perso, mon opinion concernant l'IMMENSE intérêt pour les stats à l'heure actuelle, ben c'est comme des tonnes de truc que j'ai vu dans ma vie, c'est à dire... une mode... et rien de plus.
Je suis profondément convaincu que, comme tout ce qui est "à la mode", ben dans 20 ou 30 ans, ça aura passé de mode et les seules stats qui restera sont celle réellement utiles à quelque chose et faites par des gens qui comprennent parfaitement la façon dont s'interprètent les résultats obtenus (et, toujours à mon avis, ben il faudra moins de 20 ans pour que ça disparaisse des programmes des Lycée vu les dégât que ça y fait : formule à apprendre par coeur avec bien évidement zéro recul sur les interprétations...)

[beagle]

deux niveaux:
1)les étudiants, la population générale
2)les scientifiques et leurs études

1)sur les élèves comme le dit Ben314 si c'est pour apprendre une formule, l'utiliser dans les exos, sans derrière trop savoir à quoi on joue, ben oui c'est pas top.
ensuite quel programme, à quel age, j'ai pas trop d'opinion.
Mais tout de même, on pourrait avoir envie d'apprendre pour rester dans le sujet du fil:
-une étude montre p inf 0,05 cela signifie quoi
c'est pas si facile, donc je ne sais pas quand étudier cela, mais oui voilà bien un bel objectif
que veut dire ce truc, a-t-on finit avec ça , ou bien alors n'est-ce pas le début de l'aventure
bref oui les outils scientifiques, quand pourquoi
et dire , nous sommes en maths , mais ici un p inf 0,05 ne démontre pas, s'il est affirmatf de quelque chose,
voilà ce qu'il dit,
ne lui faites pas dire..., ne laissez pas les gens lui faire dire ...

-plus facile qui est fait mais peut-être à bien "conscienciser":
quelle probabilité j'avais d'obtenir ce résultat, et que signifie de l'avoir obtenu
l'idée étant ce n'est pas parce que en pile ou face:
FFPFPPFFP était difficile à obtenir, peu probable,
cela ne signifie pas que ce n'est pas le hasard qui l'a produit.
donc nous sommes là dans les analyses d'étude à postériori,
j'étudie ce qu'il s'est passé et je me dis ah ben zut c'était peu probable, donc c'est pas un hasard.
bref se confronter à ce genre de situation,
et alors ce qui est dit dans les vidéos du p inf 0,05, le si vous faites une étude avec 30 critères, ben dedans c'est bien le diable si du chapeau on ne va pas sortir un critère avec du p inf 0,05
et donc les protocoles doivent se méfier, les analysants le resultat doivent se méfier etc...

[beagle]

2) sur les études scientifiques.
les vidéos sur la tyranie du p inf 0,05 sont intéressantes, mais là aussi elles méritent un débat.
Ben314 dit 20% des études de bio sciences molles ne tiennent pas la route en analyse statistique.
Je pense que c'est vrai.
mais celles-ci n'invalident pas le p inf 0,05, c'est juste que c'est mal ficélé et que l'on peut en tirer peu de choses.
On nous dit avec un p trop élevé on a trop de faux positif, baissons le.Hum pourquoi pas mais peut-on encore discuter cela?
Je le répète, mais UNE étude avec UN p inf 0,05 ne fait pas le printemps.
Et donc les etudes sont reprises et déjà deux avec 0,05 x0,05 on est à ,0025
Donc est-il préférable de lancer une seule grande étude à grande échelle ou deux plus petites?
Sans compter que c'est souvent difficile dans certains sujets d'avoir un grand nombre de "tirage".
Oui nous dit-on mais vous ne publiez pas les négatifs à venir.
Ben déjà cela n'invalide pas le p inf 0,05 mais cela questionne les journaux scientifiques.
Ensuite vous pensez bien que dans les congrès , dans les papiers publiés ensuite, ces études négatives heureusement "fuitent".
Ensuite lorsqu'on vous donne en ref une étude à p inf 0,05 qui date d'il y a 20 ans avec rien derrière, ben tout de suite tu te doutes du loup, t'es plus que méfiant.Euh c'est bizarre non?

Ensuite si on considère que UNE étude donneé cherche juste à trouver un filon.
Que préférez-vous 100 études très sérieuses qui donnent k filons à finaliser explorer approfondir
Ou bien 1000 études un peu moins rigoureuses qui donnent j filons à finaliser, avec j nettement supérieur à k.
C'est quoi qui fait avancer la science?
Il ya un soucis avec la lourdeur actuelle de la science.Le temps béni du type chercheur dans sa chambre à la fois mathématicien, physicien, philosophe, ah tout de même...

[beagle]

Plus idiot que la tyrannie du p inf 0,05:
http://information.tv5monde.com/terrien ... tre-judith