Tester une substance

[leon1789]

Bonjour à tous,

Un labo ne connait pas l'effet d'une substance par rapport à une caractéristique des êtres humains.
La question est de savoir si cette substance a un effet significatif par rapport à la caractéristique.

Cette caractéristique se mesure assez bien, mais on n'en connait pas de modèle théorique sur des sujets "normaux". Tout ce que l'on espère est que la substance augmente la valeur numérique de la caractéristique.

8 individus ont été pris charge par le labo : on mesure préalablement la caractéristique sur chaque individu (série A), puis on fait boire la substance à tous, et on mesure à nouveau la caractéristique sur chaque personne (série B).
série A : 63 , 42 , 74 , 37 , 51 , 43 , 80 , 62
série B : 82 , 69 , 73 , 44 , 58 , 56 , 76 , 65

Je précise que dans les séries, les premières valeurs 63 et 82 sont associées à la même personne,
les secondes 42 et 69 à une seconde personne, etc 62 et 65 à la huitième personne.

Comment savoir si cette substance a un effet significatif ?

[leon1789]

Personnellement, n'ayant pas de modèle théorique sur lequel m'appuyer, je considère les rangs des éléments de des séries A et B dans la réunion des deux séries (qui est l'ensemble de la population étudiée).
Si les rangs sont "exceptionnellement particuliers" alors on peut conclure à un effet.

Voici les rangs de la série A dans l'union A v B ordonnée :
1, 2, 3, 5, 8, 9, 13, 15

...et ceux de la série B :
4, 6, 7, 10, 11, 12, 14, 16

Ces deux séries sont-elles significativement différentes ?

[lyceen95]

En travaillant sur les rangs uniquement, tu perds certaines informations. C'est peut-être voulu.
Mais imaginons que la substance augmente le score de chaque individu de 5 exactement (série B=68,47,79,42,56,48,85,67). En convertissant en rangs, on aurait un résultat 'mitigé', alors que l'effet serait clair, net, précis : augmentation du score de 5 pts.

Ici, même en travaillant sur les rangs, on trouve que les 2 séries sont bien différentes. Les 3 plus petits éléments sont dans la série A, ce n'est pas neutre.

J'ai fait une régression : B = 0.5885 A + 32.123 avec R²=0.5667
Le coefficient directeur est loin de 1 , le 32.123 est loin de 0, et le R² est relativement grand : le produit a un effet indéniable.
En fait, si la valeur de A est faible (37,42,43), le produit B permet d'augmenter le score d'une quinzaine de points (valeur 32.123 nettement positive), et plus la valeur de A augmente, plus l'effet diminue (coefficient 0.5885 nettement plus petit que 1).

8 mesures, c'est peu, trop pu pour utiliser des outils 'sérieux'. Mais assez pour conclure ici.

[LB2]

Bonjour,

on peut faire un test t de Student de comparaison de moyennes.
Avec Hypothèse Nulle H0 "La substance n'a pas d'effet" versus hypothèse alternative H1 "La substance a un effet" (qui peut être positif ou négatif).

[lyceen95]

Ici, on a une information importante, c'est que la mesure 82 correspond à la mesure 63 : C'est le même individu, avant et après la prise du produit. Et idem pour chaque individu.

Avec un test de Student, on va anonymiser les individus. Et donc on perd une information qui est essentielle.

Si malgré cette perte d'information, le test de Student dit que le produit a un impact, alors ok.
Mais si le test conclue à l'absence d'impact, c'est certainement parce qu'on a effacé en route cette information essentielle.

[leon1789]

8 mesures, c'est peu, trop pu pour utiliser des outils 'sérieux'.

oui, je suis d'accord, mais j'ai trouvé cet exemple dans un bouquin de cours sur les stats...

Mais assez pour conclure ici.

Ben, je n'en suis pas si certain. Je m'en expliquerai une autre fois, quand j'aurai davantage de temps.

En travaillant sur les rangs uniquement, tu perds certaines informations. C'est peut-être voulu.
Mais imaginons que la substance augmente le score de chaque individu de 5 exactement (série B=68,47,79,42,56,48,85,67). En convertissant en rangs, on aurait un résultat 'mitigé', alors que l'effet serait clair, net, précis : augmentation du score de 5 pts.

Certes, mais cela se verrait aussi sans problème dans les rangs (sans les ordonner !) car ceux de la série B serait respectivement strictement plus grand que ceux de la série A.

Ici, même en travaillant sur les rangs, on trouve que les 2 séries sont bien différentes. Les 3 plus petits éléments sont dans la série A, ce n'est pas neutre.

J'ai fait une régression : B = 0.5885 A + 32.123 avec R²=0.5667
Le coefficient directeur est loin de 1 , le 32.123 est loin de 0, et le R² est relativement grand : le produit a un effet indéniable.

En faisant de la régression linéaire, tu fais une hypothèse : est-ce qu'une augmentation de 5 passant de 40 à 45 et de même nature quantitative qu'un passage de 80 à 85 . On n'en sait rien, donc la droite que tu trouves n'a possiblement pas de sens dans cette situation.

[leon1789]

on peut faire un test t de Student de comparaison de moyennes.

Avec ce test, quelle serait la conclusion ?
Et l'hypothèse d'application du test t n'est-elle pas liée à la loi normale ? ici, avec les effectifs réduits, on n'est pas en position pour appliquer le TCL permettant d'approcher une loi inconnue d'une moyenne par une loi normale.

[beagle]

1) Le Student est le-un test des petits échantillons
l'objection de léon 1789 du fait de la taille réduite semble étrange.

2)On peut avoir peu de valeurs mais avoir au moins confiance dans ces valeurs.
ici, si la dispersion de la mesure n'est pas connue, on ne pourra pas attribuer la moindre variation à un effet substance,
on aura peut-être un effet mesure.

Donc si je refais immédiatement le dosage pour tester mon appareil et que j'ai ces valeurs là, ces variations là,
c'est tout à fait possible.

Donc il ya ou pas une variation,
statistiquement significative ou non.
Et cette différence si elle existe est-elle liée à la boisson.

[leon1789]

Salut Beagle,
pour te répondre au 1), voici un document (qui vaut ce qu'il vaut) :
https://help.xlstat.com/s/article/test- ... anguage=fr

voir le dernier paragraphe :

Comme tout test paramétrique, le test t de Student pour échantillons appariés n’est valable que si la distribution des différences entre paires suivent une distribution normale. (...). Si cette condition n’est pas respectée, une solution est d’opter plutôt pour un test non paramétrique de Wilcoxon.

On n'a pas d'hypothèse sur la loi suivie par les différences, et l'effectif de 8 est faible, je ne vois pas comment on peut faire apparaître la loi normale pour appliquer le test t.
Comme le suggère le document, on peut utiliser le test de Wilcoxon qui utilise le rang.

[beagle]

Ma reflexion sur le Student est une interrogation.

dans la ref que tu donnes:
"Les données ont été obtenues sur un échantillon de 24 patients en dépression. Deux mesures ont été effectuées sur les patients (0 : avant le début du traitement, 1 et 6 : 6 mois après). La variable étudiée représente un score permettant d’évaluer l’état de dépression du patient."
comment sait-on que: "la distribution des différences entre paires suivent une distribution normale"

[beagle]

la question sinon était :
"Comment savoir si cette substance a un effet significatif ?"

Wilcoxon permet-il dans le document d'affirmer un truc, ou aurait-il permit d'affirmer un truc quelconque sur l'effet substance,
sans connaissance de l'outil qui mesure?
Ils disent quoi dans ton document.

[Ben314]

Salut,
J'y connait que dalle en statistique (et je peut pas blairer ça) et je ne poste que pour signaler que la question telle qu'elle est posée me semble "sans queue ni tête" :

Si on essaye de modéliser la situation en faisant comme si on connaissait parfaitement l'effet de la substance (i.e. comme si on l'avait testé sur l'ensemble des êtres humains), on aurait un immense tableau de données donnant pour chaque être humain la valeur de la caractéristique avant et après avoir bu la substance.

1) Premier problème : Il me semble très peu réaliste de supposer que la valeur de la caractéristique après absorption ne dépend que de la valeur avant absorption (ce qui semble fortement confirmé dans le cas présent par les deux valeurs de départ de 62 et 63 donnant respectivement 65 et 82 comme valeur d'arrivé). Dans ce cas, pour une valeur de départ X donnée, on prend quoi comme valeur d'arrivée f(X) ? Le max. des valeurs possible ? le min. ? Autre chose ? Là, j'imagine parfaitement le statisticien de base dire "on va prendre la moyenne" pour mesurer l'effet moyen. Sauf que si par exemple ce qu'on teste c'est un vaccin contre un virus mortel, mais relativement rare (du style qui atteint une personne non vacciné sur 1000) et qu'il s'avère que dans 99% des cas le vaccin est totalement efficace (donc que la personne vaccinée est sûre et certaine de ne pas contracter la maladie) mais que dans 1% des cas le vaccin provoque la maladie. Dans un tel cas où le bénéfice du vaccin est modéré (sans vaccin on n'a qu'une chance sur 1000 de contracter la maladie) mais où l’échec du vaccin est dramatique, est ce que ça vous semble malin de calculer l'efficacité moyenne du vaccin ?
Bon, après, je reconnais qu'ici, c'est un peu un faux problème vu que la question posée n'est pas de savoir si la substance est "bénéfique" mais de savoir si elle est "efficace" sauf que dans un vrai cas concret, il me semble quand même que la question qu'on se pose dans ce type de cas, c'est bien de savoir si c'est bénéfique ou pas.

2) Deuxième problème : En admettant qu'on ait résolu le premier problème et que, pour une valeur X de la caractéristique avant ingestion du produit on ait réussi à dégager une valeur f(X) de cette même caractéristique après ingestion, connaissant cette fameuse fonction f, ça veut dire quoi de savoir si "la substance est efficace" ? Si on avait uniquement un réel, il serait évidement soit positif, soit négatif négatif. Sauf qu'une fonction, ben ça peut être positif sur une parti de son domaine de définition et négatif ailleurs. Et on se retrouve avec le même problème qu'au point 1) concernant la méthode à employer pour résumer la totalité de la fonction à une unique valeur réelle (qui elle sera soit positive, soit négative). Est-ce qu'on prend la valeur moyenne de la fonction ? la moyenne pondérée par le nombre d'individu ayant cette valeur de caractéristique ? le min de la fonction ? le max ? A mon sens (et de nouveau) tout dépend du problème concret, c'est à dire des bénéfice obtenu en cas de "réussite" et des inconvénients obtenus en cas "d'échec".

Bref, même en supposant que l'on connait entièrement l'effet de la substance (i.e. son effet sur l'ensemble des êtres humains) et pas uniquement son effet sur un échantillon, ben je vois pas comment on pourrait répondre par un laconique OUI/NON à la question "la substance augmente-elle la valeur numérique de la caractéristique ?"

[beagle]

ah ah sacré Ben314, tu n'aimes pas les stats, mais tu nous manques quand meme pour analyser tout cela.

Je ne comprends pas ton bénéfice et ton risque dans le cas de déterminer si une valeur est juste bougée par un phénomène.
On étudie la mesure de je sais pas quoi et on regarde si apres absorption cela a bougé,
ce qui se passe chez qui cela bouge dans le bon sens (il yen a un bon?) ou en sens inverse n'est pour le moment pas le sujet de l'étude, il me semble.
On veut ici juste savoir si cela fait décaler.

Les sous-population bons répondeurs mauvais répondeurs sont analysées ultérieurement.

[beagle]

Moi ce qui me gène c'est que si je suis à 63 avant absorbtion le matin et que l'on me refait le dosage l'apres-midi, je suis à 82 alors que je n'ai rien absorbé,
parce que ce sont des variations normales quand on ne fait rien

je me vois mal interpréter une réponse qui passera de 70 à 75 quand on fait quelque chose.

[Sylviel]

Bonjour,

il s'agit de test apparaillé. Pour moi Student ou Wilcoxon (http://www.math-evry.cnrs.fr/_media/mem ... echapp.pdf).

Fondamentalement l'idée c'est d'étudier la variable (X_après - X_avant). Si on suppose que X est un estimateur du coeff d'absorption moyen d'un individu, si la substance n'a aucun effet (hypothèse nulle) alors (X_apres - X_avant) doit être de moyenne nulle et symétrique.

[LB2]

Pour répondre à lycéen 95 sur la problématique de la perte d'information par anonymisation : c'est la raison pour laquelle le test est apparié. Il existe aussi une version non appariée du test, non appropriée ici.

[leon1789]

Salut,
J'y connait que dalle en statistique (et je peut pas blairer ça) et je ne poste que pour signaler que la question telle qu'elle est posée me semble "sans queue ni tête" :

C'est tiré d'un document qui présente des tests statistiques utilisant le rang (notamment Wilcoxon nommé ci-dessus). Mais il me semble moi aussi que cet exemple est surtout présenté pour effectuer les calculs nécessaires à la mise en place du test, de manière à le faire comprendre "par calcul". Mais coté réalisme, c'est loin d'être convaincant, en effet.

[beagle]

Sinon les tests disent quoi le Student et le Wilcoxon?

[beagle]

euh, sinon a part Pierre sur son site, ni LB2, ni Sylviel n'ont dit pourquoi on était autorisé à faire le Student qui nécessite loi normale ...

[beagle]

Et sans test , à l'oeil il ya une forte assymétrie lorsque hausse versus la faible baisse lorsque baisse:
les hausses:,19 , 27 , 7, 13
les baisses : -1,-7 ,-4 ,- 3

donc perso je regarde les groupes
baisses où on a peutètre fluctuations de base normales
les hausses un effet

Et je persiste à penser que étudier une variation par changment lorsque on ne connait pas la variation sans changement, c'est quand meme périlleux, haute voltige...