Bonjour,
En effet, cet article est très bien écrit, et bravo à son auteur.
Toutefois, il me semble qu'il aurait pu approfondir un peu plus le début de son article (je ne l'ai pas lu en entier, en particulier le double Simpson).
Concernant le 1er cas exposé (le placebo est préférable au médicament pour les groupes hommes et femmes pris individuellement, mais c'est l'inverse pour l'ensemble fusionné des 2 groupes), j'en conclus simplement que l'agrégation des résultats donne des conclusions fausses (ou du moins, qui a plus de chances d'être fausse).
En effet, les hommes guérissent dans l'ensemble mieux que les femmes (50/80 contre 20/80), et ils ont plus pris le médicament (60/80 pour les hommes contre 20/80 pour les femmes). (Mais leur taux de guérison est plus élevé avec le placebo). Donc l'agrégation donne faussement l'illusion que le médicament est meilleur que le placebo.
En fait, le taux de guérison est plus élevé globalement avec le médicament, non pas parce qu'il guérit mieux, mais parce que les hommes l'ont plus pris que les femmes, et qu'ils guérissent mieux indépendamment du traitement qu'ils ont pris.
Si j'étais médecin, je n'hésiterais pas sur la marche à suivre ... le placebo ...
en l'absence d'informations plus détaillées, qui peuvent faire basculer le choix ... Plus l'information est détaillée (réduite à un groupe restreint), plus elle a des chances d'être juste. A la limite, si on ne fait le test que sur une seule personne...
Autrement dit, l'agrégation fausse les résultats (il peut y avoir des biais dans le découpage de la population). Cela ne m'étonnerait pas tout cela soit étudié dans le détail avec l'échantillonnage.
Je pense que pour les yeux clairs - yeux foncés, cela doit être pareil.