Importance du nombre d'observations dans une série statistique

[takashi]

Bonjour à tous,

Je me permets de poster ici car j'aurais voulu savoir si le nombre d'observations dans une série statistique avait une réelle importance, notamment dans le cadre de la réalisation de prévisions, et s'il existait un lien fort entre le nombre d'observations et la qualité d'une prévision.

Alors je sais, au premier abord, on serait tenter de dire "oui", et même ajouter "plus il y a d'observations dans la série, plus la prévision sera pertinente car elle sera plus précise".

Cependant, j'aimerais recueillir l'avis de praticiens concernant cette théorie, histoire de savoir s'il s'agit uniquement d'une légende urbaine ou si, au contraire, un nombre d'observations conséquent dans un série est facteur de réussite pour une éventuelle prévision.

Merci d'avance pour vos réponses.

PS : Évitons les réponses du type : "ça dépend quelle est la nature des données présentes dans ta série" >> je cherche une approche au niveau général, pas uniquement sur telle ou telle nature de données.

[fatal_error]

salut,

c'est une question délicate.
Il n'y a pas de truc général.

Globalement, passé un certain nombre de données, ca sert à rien d'en ajouter. C'est pas gênant, (si ce n'est que ca prend du temps à calculer quand le nombre d'échantillons est grand) mais c'est inutile. Le but c'est que tes données recouvrent les cas qui vont tomber pour la prédiction.

Bref, tu peux looker pour du leave one out error , ou chopper les échantillons au pif et t'arrêter quand l'erreur de prédiction semble converger

[takashi]

Oui je sais que c'est une question délicate, c'est bien pour cela que je postais ^^ histoire de collecter plusieurs avis, ouvrir le débat, partager des idées, pour éclaircir ma pensée.

[beagle]

"histoire de savoir s'il s'agit uniquement d'une légende urbaine ou si, au contraire, un nombre d'observations conséquent dans un série est facteur de réussite pour une éventuelle prévision."

Globalement oui,
cela n'a rien d'urbain, c'est valable aussi pour les vaches à la campagne.
Ensuite la réponse de fatal est de dire passé un certains niveau je n'ai plus besoin d'augmenter n, car cela ne m'apporte plus.Cela ne signifie pas cette phrase que la précision n'augmente plus, cela signifie je n'ai pas besoin de plus de précision.
Donc si je joue à pile ou face,
j'ai n=10 tirages avec 7 pile, 3 face,
la mise est de 1 euro, je suis prèt à jouer pile
j'ai n= 10 000 tirages de ..., cela me donne 99.99% chances estimée, sauf que là je mise ma vie,
euh, ben vous permettez mais j'ai plus beaucoup envie de jouer, et encore moins de d'avoir à jouer un grand nombre de fois.
Si on prend le fameux p inf à 0,05, on dit statistiquement significatif,
oui ben OK, cela veut dire il se passe probablement quelque chose, mais cela sera à repréciser par un grand nombre d'études avec résultat similaire avant que d'ètre accepté acceptable.
Et si la première étude comportait 1000 cas, cela signifie répéter encore un grand nombre de 1000 cas.
Bien sur que n augmentant c'est mieux.
mainteant si pièce pile face déséquilibrée 0,51-0,49 il faudra plus de tirage pour s'apervoir du déséquilibre que si la pièce est déséquilibrée 0,70-0-30, la confiance sera plus rapidement acquise,
mais idem si cette pièce fait dépendre votre vie, on prend peut-ètre pas le mème n que pour jouer en famille avec des allumettes (déjà consummées).

[fatal_error]

Cela ne signifie pas cette phrase que la précision n'augmente plus, cela signifie je n'ai pas besoin de plus de précision.

Si, ca signifie bien la precision naugmente plus. Plus precisement, lerreur de prediction ne diminue plus.

[beagle]

Si, ca signifie bien la precision naugmente plus. Plus precisement, lerreur de prediction ne diminue plus.

OK, merci fatal de le préciser, je ne connais pas.
Pis aussi l'expérience des stats que je peux avoir est dans l'autres sens si j'ose dire.

[takashi]

"histoire de savoir s'il s'agit uniquement d'une légende urbaine ou si, au contraire, un nombre d'observations conséquent dans un série est facteur de réussite pour une éventuelle prévision."

Globalement oui,
cela n'a rien d'urbain, c'est valable aussi pour les vaches à la campagne.
Ensuite la réponse de fatal est de dire passé un certains niveau je n'ai plus besoin d'augmenter n, car cela ne m'apporte plus.Cela ne signifie pas cette phrase que la précision n'augmente plus, cela signifie je n'ai pas besoin de plus de précision.
Donc si je joue à pile ou face,
j'ai n=10 tirages avec 7 pile, 3 face,
la mise est de 1 euro, je suis prèt à jouer pile
j'ai n= 10 000 tirages de ..., cela me donne 99.99% chances estimée, sauf que là je mise ma vie,
euh, ben vous permettez mais j'ai plus beaucoup envie de jouer, et encore moins de d'avoir à jouer un grand nombre de fois.
Si on prend le fameux p inf à 0,05, on dit statistiquement significatif,
oui ben OK, cela veut dire il se passe probablement quelque chose, mais cela sera à repréciser par un grand nombre d'études avec résultat similaire avant que d'ètre accepté acceptable.
Et si la première étude comportait 1000 cas, cela signifie répéter encore un grand nombre de 1000 cas.
Bien sur que n augmentant c'est mieux.
mainteant si pièce pile face déséquilibrée 0,51-0,49 il faudra plus de tirage pour s'apervoir du déséquilibre que si la pièce est déséquilibrée 0,70-0-30, la confiance sera plus rapidement acquise,
mais idem si cette pièce fait dépendre votre vie, on prend peut-ètre pas le mème n que pour jouer en famille avec des allumettes (déjà consummées).

Je trouve que tu pars un peu en vrille dans tes explications, par moments j'ai eu du mal à faire le parallèle avec la question posée^^ mais bon en gros tu serais plus partant pour dire que plus il y a d'observations dans la série, mieux c'est ?

[beagle]

Je trouve que tu pars un peu en vrille dans tes explications, par moments j'ai eu du mal à faire le parallèle avec la question posée^^ mais bon en gros tu serais plus partant pour dire que plus il y a d'observations dans la série, mieux c'est ?

Le problème de ta question, c'est qu'elle est générale,
et que en plus tu as verrouillé avec cette phrase:
"Évitons les réponses du type : "ça dépend quelle est la nature des données présentes dans ta série" "
Le résultat c'est que tu as eu peu de personnes interressées à répondre sur de telles généralités.
la meilleure réponse pour le moment est celle de fatal-error.
Ensuite si tu as un truc particulier en tète, le mieux serait de le préciser .
La plus grande partie des stats va ètre de choisir n tel que l'on puise répondre à une question posée.
Et on va chercher plutot le n minimal qui permet une réponse exploitable.
Tu trouveras par exemple un développement dans ce fil, bien que le PDF soit indigeste pour une première approche:
http://www.maths-forum.com/statistiques-coup-pouce-notion-precision-126720.php

Maintenant si tu demandes dans l'expérience de chacun,
je réponds non pas comme mathématicien que je ne suis pas,
je réponds dans l'usage que je vois faire des stats, et cette expérience est diamétralement opposée à celle de l'expérience d'un Dlzlogic par exemple.
Comme déjà dit, cela fait au moins deux usages différents,
Dlzlogic va par exemple avoir une série de mesure de ..., il va éliminer les valeurs anormales, il va dire avec n=... j'en sais assez pour ce que je veux faire.
dans mon expérience les stats servent à valider une loi, un phénomène,
et là on compare ce phénomène à ce qui se passerait si hasard, on cherche justement à se situer, à trouver de l'anormal.
Exemple, je fais une étude pour savoir si un médicament est efficace.
Je teste ce médoc par rapport à un placébo.
les résultats seront analysés ainsi:
les résultats du médoc sont comparables au résultat du placebo, ben c'est que le médoc ne marche pas
les résultats du médoc sont "anormaux pr rapport au placebo, ben c'est probablement parce que le médoc est efficace.
Maintenant, une étude statistiquement significative de l'efficacité d'un médoc,
ne prouve en rien son efficacité.
je fais une étude, je trouve résultat statistiquement significatif avec un p=0,04.
Tout ce que j'ai montré est la chose suivante:
si le médoc était comparable au placébo (= si médoc inneficace),
j'avais 4 chances sur 100 de trouver les résultats de cette étude.
Cela ne dit rien, cela ne dit absolument pas médoc efficace, j'ai peut-ètre eu du bol ou absence de bol selon son point de vue.
de sorte que cette étude qui comportait par exemple 1000 cas (oui, oui Dlzlogic qs MP),
devra ètre suivie d'encore plusieurs études retrouvant le fameux p inférieur à 0,05
Dans l'expérience où les stats servent à valider un phénomène, une loi,
plus n est grand et mieux c'est,
c'était mon expérience
et ce n'est pas toutes les stats,
donc retour à la réponse de fatal.

[beagle]

"Je pense comme Jean Delacour qui disait :

"Le statisticien est un homme qui fait un calcul juste en partant de prémisses douteuses pour aboutir à un résultat faux.""

C'est justement ce qu'il faut éviter(cette boutade rigolote).
Du peu de cours que j'ai reçu sur le sujet, j'ai justement apprécié de mes profs,
puis ensuite de ceux qui analysent les études,les précautions dans le:
-voilà ce que vous avez montré
-voilà ce que vous avez trouvé
et c'est radicalement différent de l'exploitation par les non statisticiens
qui reformulent ensuite les résultats à leur convenance.Et où les mots sont utilisés en abus de langage!
Maintenant des statisticiens qui répondent pour faire plaisir à celui qui demande l'étude en caressant dans le sens du poil, cela doit bien exister, mais cela n'est pas l'attitude scientifique.
c'est une ettitude commerciale!

[Black Jack]

"Je pense comme Jean Delacour qui disait :

"Le statisticien est un homme qui fait un calcul juste en partant de prémisses douteuses pour aboutir à un résultat faux.""

C'est justement ce qu'il faut éviter(cette boutade rigolote).
Du peu de cours que j'ai reçu sur le sujet, j'ai justement apprécié de mes profs,
puis ensuite de ceux qui analysent les études,les précautions dans le:
-voilà ce que vous avez montré
-voilà ce que vous avez trouvé
et c'est radicalement différent de l'exploitation par les non statisticiens
qui reformulent ensuite les résultats à leur convenance.Et où les mots sont utilisés en abus de langage!
Maintenant des statisticiens qui répondent pour faire plaisir à celui qui demande l'étude en caressant dans le sens du poil, cela doit bien exister, mais cela n'est pas l'attitude scientifique.
c'est une ettitude commerciale!

Ca c'est le discours que doit avoir un prof.

Il va dans le sens de "Le statisticien est un homme qui fait un calcul juste" .. et je ne réfute pas du tout cet aspect des choses.

Cette boutade de Delacour n'est pas que rigolote mais pointe le doigt sur un vrai problème.

Ce sont les "prémisses douteuses".

On n'est pas dans le cadre d'exercices d'école de lancer de dés ou de pièces de monnaie où les paramètres pouvant influencer l'étude statistique sont réduit à pratiquement rien du tout.

Dans une étude "utile" ce nombre de paramètres peut être tellement grand que certains ne sont pas pris en compte, par a priori, par ignorance ou pire volontairement ...

Le statisticien ne peut exploiter que les données qui lui sont fournies et dont le relevé est évidemment influencé par la manière de concevoir le problème...
Et comme la plupart des demandes d'étude le sont par ceux qui ont un intérêt certain dans les résultats ... je te rejoins sur le constat "mais cela n'est pas l'attitude scientifique, c'est une attitude commerciale".
Mais souvent, ce n'est pas seulement sur l'interprétation des résultats que cette "déviance" est amenée mais sur la manière de relever les données où souvent des a priori (ou ignorance ou pire volontairement) font choisir un échantillon "biaisé" par des "prémisses douteuses".

N'empêche, ce sont sont bien ces résultats qui sont exploités.

... Et qui me pousse à être en accord avec Delacour.

:zen:

[beagle]

"Mais souvent, ce n'est pas seulement sur l'interprétation des résultats que cette "déviance" est amenée mais sur la manière de relever les données où souvent des a priori (ou ignorance ou pire volontairement) font choisir un échantillon "biaisé" par des "prémisses douteuses".

N'empêche, ce sont sont bien ces résultats qui sont exploités."

Nous pouvons ètre d'accord aussi la-dessus, sauf que
c'est bien là que le caractère reproductible ou non des expériences
permet ensuite de clarifier les choses,
et donc oui, il y aura bagarre d'experts sur ce qui a été démontré,
mais qui débouchera sur de nouvelles expériences qui iront dans le sens de...ou plutot de ...

Donc oui on peut baratiner et orienter dans son sens
mais un jour ou l'autre, mème si c'est long
la "vérité" éclatera.

[Black Jack]

"Mais souvent, ce n'est pas seulement sur l'interprétation des résultats que cette "déviance" est amenée mais sur la manière de relever les données où souvent des a priori (ou ignorance ou pire volontairement) font choisir un échantillon "biaisé" par des "prémisses douteuses".

N'empêche, ce sont sont bien ces résultats qui sont exploités."

Nous pouvons ètre d'accord aussi la-dessus, sauf que
c'est bien là que le caractère reproductible ou non des expériences
permet ensuite de clarifier les choses,
et donc oui, il y aura bagarre d'experts sur ce qui a été démontré,
mais qui débouchera sur de nouvelles expériences qui iront dans le sens de...ou plutot de ...

Donc oui on peut baratiner et orienter dans son sens
mais un jour ou l'autre, mème si c'est long
la "vérité" éclatera.

C'est malheureusement beaucoup moins évident que tu sembles le penser dans de nombreux cas.

Cas simplissime (tout à fait imaginaire) :

Supposons qu'on veuille étudier statistiquement l'influence d'un vaccin sensé protéger contre une maladie A sur le fait d'attrapper bien plus tard une maladie B
"exemple on essaie de savoir si le vaccin contre le choléra augmente les risques d'attraper la maladie de Parkinson dans le futur". Why not ?

On va faire des stat à partir de 2 échantillons de personnes, l'un avec des personnes ayant reçus le vaccin choléra et l'autre ne l'ayant pas reçu ...
et analyser les pourcentages dans les 2 groupes de ceux qui ont développé bien plus tard la maladie de Parkinson.

Et pan dans les dents, cela ne rime probablement à rien.

Une des raisons simples est que dans ceux qui ont reçus le vaccin contre le cholera, beaucoup auront "visité" des contrées à risques pour le choléra ... mais aussi pour une multitude d'autres maladies ou parasite ou ... non présents si on n'a pas fait ces voyages. Il se peut même bien qu'il n'y ait pas de symptômes visibles dus à ces parasites ... sauf peut-être celui d'augmenter le risque de Parkinson (mais on risque fort de ne pas le savoir lors de l'étude statistique ... puisque ces "risques ne sont, a priori pas connus et pas étudiés ici).

Et il se peut fort bien que les variations observées sur la maladie de Parkinson entre les 2 groupes n'ait rien à voir avec le vaccin contre le choléra mais bien à un des autres parasites ou conjonctions de parasites rencontrés dans les voyages du groupe "à risques".

Et on peut recommencer ce genre de tests 36 fois, les conclusions pourraient bien être les mêmes (puisque les risques des parasites autres sera toujours plus grand dans un groupe que dans l'autre) ... mais toujours aussi fausses.

Les conclusions tirées de l'analyse statistique de l'influence du vaccin du choléra sur la maladie de Parkinson risquent fort de ne rien vouloir dire du tout.

Cela, c'est un cas imaginaire simpliste à souhait, mais il y a tellement de paramètres autres que celui analysé qui peuvent influencer de telles études, paramètres plus que très souvent ignorés que ...

On rejette ces cas d'un revers de la main par "On étudie 2 groupes dont le seul paramètre qui diffère est la prise ou non du vaccin contre le Choléra" ... Mon oeil.

Mais, je n'ai nulle intention de convaincre qui que ce soit.

:zen:

[beagle]

"C'est malheureusement beaucoup moins évident que tu sembles le penser dans de nombreux cas."

"On rejette ces cas d'un revers de la main par "On étudie 2 groupes dont le seul paramètre qui diffère est la prise ou non du vaccin contre le Choléra" ... Mon oeil."

Bah tu sais de par ma profession je suis dans une science inexacte.
J'ai donc l'habitude de voir passer des querelles de scientifiques.
Et c'est arguments-études contre autres arguments-études.
Et certaines discussions ne sont pas closes.
Donc j'ai l'habitude du moins évident que tu sembles que je pense.
Mais faut avancer quand mème,
et que faire d'autres que d'augmenter les capacités du sens critique,
en ce sens je trouve que l'enseignement reçu en stats est une aide.

[fatal_error]

Mais, je n'ai nulle intention de convaincre qui que ce soit.

Je nuance tout de même ton propos :
Tu réponds à la question augmenter n permet de prédire plus fiablement par peut importe n, si les données sont d'apprentissage sont mal choisies, quelque soit n, on prédira mal.

Effectivement, si pour deux échantillons x, on a une valeur y différente (ces deux échantillons ont été pris à des instants t différents et ca joue dans y par exemple), alors ouais c'est probable qu'on prédise de la merde.

Mais d'un autre coté, c'est pas si négatif, on arrive quand même à dépasser les 50% de prédictions dans pas mal de cas :we:

[Black Jack]

Je nuance tout de même ton propos :
Tu réponds à la question augmenter n permet de prédire plus fiablement par peut importe n, si les données sont d'apprentissage sont mal choisies, quelque soit n, on prédira mal.

Effectivement, si pour deux échantillons x, on a une valeur y différente (ces deux échantillons ont été pris à des instants t différents et ca joue dans y par exemple), alors ouais c'est probable qu'on prédise de la merde.

Mais d'un autre coté, c'est pas si négatif, on arrive quand même à dépasser les 50% de prédictions dans pas mal de cas :we:

Oui, c'est par là que cela a dérivé ...

Mais les liens que j'ai donnés donnent des infos sur la question posée initialement.

:zen:

[takashi]

Je vous remercie tous pour votre participation, mais bon je suis assez déçu de ne pas avoir eu une réponse du type : "Il y a un moyen mathématique de savoir combien de N prendre en compte pour que ta prévision soit la plus précise possible (sans prendre en compte des indicateurs comme des résidus (notamment dans le cadre de l'économétrie)."

Mais bon je suis peu être un peu trop exigeant.

Bonne soirée à tous !

[beagle]

Je vous remercie tous pour votre participation, mais bon je suis assez déçu de ne pas avoir eu une réponse du type : "Il y a un moyen mathématique de savoir combien de N prendre en compte pour que ta prévision soit la plus précise possible (sans prendre en compte des indicateurs comme des résidus (notamment dans le cadre de l'économétrie)."

Mais bon je suis peu être un peu trop exigeant.

Bonne soirée à tous !

Non, pas trop exigeant, tu as surtout été très imprécis, tu as posé une question générale quasi-philosophique.
Depuis le début on t'a demandé si tu avais une question plus précise en tète.
Cette question arrive enfin, et j'ignore si elle est encore assez précise,
je sais juste que je n'ai rien à dire sur ce sujet,
...

[Black Jack]

Je vous remercie tous pour votre participation, mais bon je suis assez déçu de ne pas avoir eu une réponse du type : "Il y a un moyen mathématique de savoir combien de N prendre en compte pour que ta prévision soit la plus précise possible (sans prendre en compte des indicateurs comme des résidus (notamment dans le cadre de l'économétrie)."

Mais bon je suis peu être un peu trop exigeant.

Bonne soirée à tous !

"Il y a un moyen mathématique de savoir combien de N prendre en compte pour que ta prévision soit la plus précise possible "

A cela, la réponse est immédiate : plus N est grand, plus la précision sera bonne.
Mais cela n'avance à rien car cela dit simplement que si toute la "population" est incluse dans l'échantillon et bien le résultat sera exact.

Et donc ce n'est pas le bon chemin, pour évaluer le N à prendre. Il faut choisir N pour que la "marge d'erreur" soit acceptable en fonction de ce qu'on veut faire.

Les liens donnés dans mes messages permettent de voir l'influence de N sur la marge d'erreur.

Tu peux aussi lire ceci :
http://www.analyse-donnees.fr/Blog/taille-echantillon.html

Mais comme je l'ai déjà ecrit, ce n'est pas aussi "straight forward" qu'on le voudrait, car le N calculé pour obtenir la marge d'erreur désirée dépend de ce qu'on sera sensé trouver au final.
... C'est le serpent qui se mord la queue.

:zen:

[beagle]

"Mais cela n'avance à rien car cela dit simplement que si toute la "population" est incluse dans l'échantillon et bien le résultat sera exact."

La meilleure estimation du résultat final des résultats du premier tour,
est probablement pas loin de n-1, où n est le nombre total de votants,
et si on ne considère plus n total comme une estimation.
On parle ici de votes exprimés et non des sondages prévotes.
Mais je ne sais pas si c'est de l'économétrie.

[beagle]

c'était pour donner un exemple, qui va dans le sens de Black Jack, et le mien,
n augmente, la précision augmente.
J'aimerais bien connaitre les exemples dont fatal-error nous a parlé,
où n n'augmente plus la précision passé un certains nombre.
C'est lié à des contraintes physiques, où la précision ne peut plus avoir de sens?,
où ce sont des exemples "mathématiques"?.
Fatal si tu peux nous faire un petit truc sur ça.