Mesure de précision optimale

[Ouimet21]

J'ai une question qui me trotte dans la tête.

En statistique, on utilise généralement l'EQM pour mesurer la qualité d'un estimateur (pour des raisons pratiques)

Mais pourquoi ne pas utiliser une mesure plus générale, une mesure qui tiendrait compte de tous les moments de la variable aléatoire T(X1,...,Xn)-\theta

où \theta est le paramètre à estimer et T une statistique

L'idée vient du fait qu'on détermine la distribution d'une variable aléatoire uniquement par sa fonction génératrice des moments

Alors une mesure pourrait être quelque chose comme

\sum_{k=1}^\infty E(\abs(T(X1,...,Xn)-\theta)^k)/k!

ca serait tres jolie, et au fond le but serait de trouver en quelque sorte une espece de mesure optimale pour la qualite d'un estimateur

idees ou commentaires?

[Dlzlogic]

Bonjour,
Il y a eu plusieurs discussions à ce sujet.
Très longues discussions, quelque-fois assez âpres.
C'est amusant que vous utilisiez le terme EMQ, (moi j'écris emq) on ne sait généralement pas ce que cela veut dire et on préfère "écart-type". :we:
Concernant directement votre question, le choix de l'emq est tout à fait justifié, démontré et tout ce que vous voulez.
La discussion en cours s'appelle "loi uniforme".

[Sylviel]

Ben EQM correspond parfois à la variance... Et le terme d'écart-type est celui qui est rentré dans quasiment tous les cours de proba-stat.

La discussion sur la loi uniforme n'a rien à voir avec cette question : elle est là pour essayer de montrer à un intervenant (Dlzlogic) que les probas sont un poil plus complexe que la vision étriquée qu'il en a.

En ce qui concerne l'estimateur : un estimateur peut avoir différentes qualités, et être optimaux dans des sens différents (minimisation de la variance, pas de biais, maximum de vraisemblance). En pratique il y a souvent un compromis a faire entre biais et variance. En théorie on utilise souvent des estimateurs sans biais, et dans ce cas on veut minimiser le premier ordre non nul, partant du principe que l'ordre suivant n'aura pas d'importance. Je gagerais que chercher à contrôler les moments suivants demande leur estimation, et l'estimation de ces moments induirait une erreur plus grande que la précision gagnée. Mais il faudrait regarder en détail...

[Dlzlogic]

Ben EQM correspond parfois à la variance... Et le terme d'écart-type est celui qui est rentré dans quasiment tous les cours de proba-stat.

La discussion sur la loi uniforme n'a rien à voir avec cette question : elle est là pour essayer de montrer à un intervenant (Dlzlogic) que les probas sont un poil plus complexe que la vision étriquée qu'il en a.

Bonjour,
Avec tout le respect que je te dois, EMQ ou emq veut dire "Ecart Moyen Quadratique". Cette expression a été remplacée pour cause d'uniformité.
Sa formule est la même que celle de l'écart-type (forcément). La variance, c'est le carré de l'emq.
Je n'ai pas la prétention de connaitre quoi que ce soit en matière de probabilité, sauf que une expérience aléatoire, équiprobable, a toujours une répartition conforme à la loi normale figurée pas la courbe de Gauss. Je n'ai jamais rien dit d'autre.

[Sylviel]

Si, tu as dis que "tout était gaussien". Alors que là tu viens d'ajouter équiprobable dans la sauce. Mais dis comme cela c'est toujours faux. Ne serait-ce que parce que le support de la courbe de gauss est infini, alors que celui d'une loi uniforme est fini.

Par contre on ne dévie pas le sujet de ce fil, s'il te plaît, j'ai répondu mainte fois sur l'autres, et dis que je n'y participerais plus. Mais d'autres peuvent le faire.

[Ouimet21]

Ben EQM correspond parfois à la variance... Et le terme d'écart-type est celui qui est rentré dans quasiment tous les cours de proba-stat.

La discussion sur la loi uniforme n'a rien à voir avec cette question : elle est là pour essayer de montrer à un intervenant (Dlzlogic) que les probas sont un poil plus complexe que la vision étriquée qu'il en a.

En ce qui concerne l'estimateur : un estimateur peut avoir différentes qualités, et être optimaux dans des sens différents (minimisation de la variance, pas de biais, maximum de vraisemblance). En pratique il y a souvent un compromis a faire entre biais et variance. En théorie on utilise souvent des estimateurs sans biais, et dans ce cas on veut minimiser le premier ordre non nul, partant du principe que l'ordre suivant n'aura pas d'importance. Je gagerais que chercher à contrôler les moments suivants demande leur estimation, et l'estimation de ces moments induirait une erreur plus grande que la précision gagnée. Mais il faudrait regarder en détail...

mais si justement le poids des moments superieurs decroit dans la mesure qu'on cherche a construire, ca pourrait avoir du sens, non?

Au fond la motivation vient du fait quil nest pas difficile de trouver des densites pour lesquels il ne serait pas tres fiable de juger de la qualite dun estimateur en se restreignant aux 2 premiers moments de la variable T(X1,...,Xn)-\theta

on a juste a penser a une densite asymetrique ou multimodale

De plus, imagine une situation ou quelquun a un enorme echantillon

alors on jeterait au poubelle toute linfo concernant les moments superieurs a 2 alors que les estimations pourraient etre precises

on peut aussi imaginer des situations ou les moments sont calculables explicitement

[Ouimet21]

Bonjour,
Avec tout le respect que je te dois, EMQ ou emq veut dire "Ecart Moyen Quadratique". Cette expression a été remplacée pour cause d'uniformité.
Sa formule est la même que celle de l'écart-type (forcément). La variance, c'est le carré de l'emq.
Je n'ai pas la prétention de connaitre quoi que ce soit en matière de probabilité, sauf que une expérience aléatoire, équiprobable, a toujours une répartition conforme à la loi normale figurée pas la courbe de Gauss. Je n'ai jamais rien dit d'autre.

c'est EQM, et ca veut dire ecart quadratique moyen

on peut montrer facilement que EQM_\theta(T)=Var(T)+(Biais_\theta(T))^2

cette quantite est tres connue en statistique pour juger de la qualite d'un estimateur

ce n'est pas l'ecart-type
en fait, on retombe sur la variance si l'estimateur est sans biais

Concretement, pour un estimateur T(X1,...,Xn) de \theta
On a
EQM(T(X1,...,Xn))=E((T(X1,...,Xn)-\theta)^2)
et
Var(T(X1,...,Xn))=E((T(X1,...,Xn)-E(T(X1,...,Xn)))^2)

donc cest completement different

[Dlzlogic]

c'est EQM, et ca veut dire ecart quadratique moyen

on peut montrer facilement que EQM_\theta(T)=Var(T)+(Biais_\theta(T))^2

cette quantite est tres connue en statistique pour juger de la qualite d'un estimateur

ce n'est pas l'ecart-type
en fait, on retombe sur la variance si l'estimateur est sans biais

Concretement, pour un estimateur T(X1,...,Xn) de \theta
On a
EQM(T(X1,...,Xn))=E((T(X1,...,Xn)-\theta)^2)
et
Var(T(X1,...,Xn))=E((T(X1,...,Xn)-E(T(X1,...,Xn)))^2)

donc cest completement different

Bonjour,
Oui, il ne faut pas confondre "Ecart Quadratique Moyen" (EQM) avec "Ecart Moyens Quadratique" (emq).

Et,

En mots : "Si vous devez deviner la valeur de la prochaine réalisation de X, votre meilleur choix (au sens de l'EQM) est l'espérance de X".

L'EQM est alors appelé Erreur Quadratique Moyenne Minimale (EQMM), qui est clairement égale à la variance de X.

Je rappelle que la variance est aussi le carré de l'écart-type, qui lui est l'expression de remplacement pour "Ecart Moyen Quadratique". Y'a de quoi s'y perdre non ? :doh:
Là, je me suis planté. :hum:

[Sylviel]

@Ouimet : il faudrait savoir précisément ce que tu cherche à estimer : un paramètre ou une loi ?

Il y a deux choses distinctes je pense :
- construire un estimateur, et là exploiter les propriétés de la loi dont on veux estimer le paramètres peut conduire à utiliser des moments d'ordre supérieur.
- Donner des propriétés de l'estimateur construit pour en mesurer sa qualité.

Si je ne m'abuse on parle du second cas. Du coup il me paraît compliqué d'interpréter une mesure de qualité qui soit directement adaptée à la fonction dont on estime le paramètre...

Enfin bon, je ne suis pas expert en stat et j'ai l'impression de m'embrouiller un peu. Au final je pense que l'idée est intéressante, et maintien que les gains apportés par des moments d'ordre >=3 risque d'être du même ordre que l'incertitude que l'on aurait sur ces mêmes moments...

Toutefois si tu veux approfondire le sujet il faut effectivement se tourner du côté d'une loi violemment asymétrique par exemple, et essayer de voir ce que l'on pourrait faire avec les trois premiers moments.

@Dlzlogic : comme je l'ai dis le terme EMQ n'est pas très stabilisé dans la littérature, mais je ne l'ai jamais vu utilisé pour remplacer écart-type sauf peut-être dans le poly que tu as mis en lien. C'est peut-être a rapprocher de RMS (root mean square) que l'on trouve dans la littérature physique...

[Dlzlogic]

@Sylviel

Citation Envoyé par Dlzlogic
Concernant l'écart-type. D'abord je n'ai pas trouvé l'origine de ce terme. Vers les années 1960-1961, au moins, il n'était pas utilisé et sa formule portait le nom d'écart moyen quadratique.

Et la réponse de isozv.

Oui je confirme. C'est aussi parfois appelé "moyenne quadratique des écarts". Mais le vocabulaire des normes internationales actuelles doit être respecté et donc c'est "écart-type".

[Sylviel]

"moyenne quadratique des écarts" me semble déjà plus clair (si on sait ce que veux dire moyenne quadratique) : c'est une moyenne (un peut différentes de la moyenne arithmétique) des écarts (sous entendu à la moyenne).
Ecart Moyen Quadratique : qu'est-ce qui est quadratique ? L'écart moyen ? L'écart des formes quadratiques (dans ce cas on aurait plutôt de la variance) ?

Bref, on ne va pas épiloguer sur le vocabulaire. J'ai parcouru pas mal de domaine où ce genre de notion apparaisse avec des termes différents. L'usage aujourd'hui est de parler d'écart-type.

[Ouimet21]

Par exemple, imaginez que nous travaillons avec une densité très asymétrique et que les calculs de tous les moments puissent être fait explicitement. On a X1,...,Xn iid qui proviennent de cette densité.

La densité en question dépend d'un certain paramètre \theta que nous cherchons à estimer.

Maintenant, il y a plusieurs méthodes populaires pour trouver un estimateur de \theta, par exemple, la méthode des moments, la méthode du maximum de vraisemblance, la méthode bayésienne où \theta est maintenant vue comme une variable aléatoire et alors un estimateur pourrait être une statistique sur la densité a posteriori de \theta (sachant X1,...,Xn) comme la moyenne échantionnale, le mode, etc.

Ainsi, on se retrouve avec plusieurs estimateurs de \theta qui ont tous une forme explicite.

Normalement, pour juger de la qualité de chacun des estimateurs, on se tournerait vers l'EQM (ou MSE en anglais qui je rappelle n'est pas l'écart-type, ni la variance, sauf si l'estimateur est sans biais)
Or, un estimateur biaisé peut être meilleur qu'un estimateur non biaisé au sens de l'EQM.

Le problème en jugeant de la qualité des estimateurs avec l'EQM, c'est qu'on ne tient compte que du 2e moment de la variable aléatoire T(X1,...,Xn)-\theta où T est un certain estimateur de \theta.

Or, imaginez maintenant que l'asymétrie de la densité pour X1,...,Xn fait en sorte que la densité pour notre statistique T est asymétrique et puisque \theta est un paramètre inconnu fixe, il en est de même de la densité de T(X1,...,Xn)-\theta.

Intuitivement, on peut voir qu'une autre mesure de la qualité des estimateurs qui prendrait en compte l'asymétrie des densités (par exemple) des différents estimateurs que nous avons trouvé nous mènerait à choisir possiblement un autre estimateur qui serait meilleur au sens de notre nouvelle mesure et par le fait même serait un choix plus éclairé car la nouvelle mesure prendrait en compte plus d'informations que l'ancienne mesure sur la densité de T(X1,...Xn)-\theta.

Si nous pouvons faire tous les calculs explicitement, il n'y aurait pas le problème d'approximation.
De plus, les moments supérieur pour une certaine variable aléatoire ont en général de moins en moins d'importance pour déterminer la forme de la densité, alors intuitivement, une idée serait de considérer une mesure qui tient compte de tous les moments de T(X1,...,Xn)-\theta et qui donne de moins en moins d'importance au terme E((T(X1,...Xn)-\theta)^n) dans la mesure qu'on cherche à construire, plus n augmente.

À la limite on pourrait considérer des mesures qui sont des séries de fonctions des moments de T(X1,...,Xn)-\theta, etc.

La question ultime serait alors, existe-t-il une telle mesure qui soit optimale pour la densité de départ, ici le mot optimale reste à définir.

Ce que je trouve intéressant, c'est qu'on pourrait faire ce travail pour des familles de densités connues, car rien nous garanti que la mesure EQM nous donne toujours le meilleur estimateur lorsque nous considérons une famille d'estimateur pour les paramètres de d'une certaine famille de densités.

Une mesure pourrait être optimale par rapport à notre famille de densités si, pour un ensemble quelconque d'estimateurs des paramètres de notre famille, l'estimateur qui minimise la mesure serait le "plus proche" d'un estimateur exhaustif minimal pour notre famille.
Il resterait à clarifier la notion lorsque nous avons un ensemble infini d'estimateurs...

Finalement, l'intérêt de tout ça serait de pouvoir trouver de très bon estimateurs lorsqu'un estimateur exhaustif minimal pour notre famille n'est pas calculable explicitement.

Tout ça me fait penser un peu à l'analyse fonctionnelle. Je n'ai pas beaucoup de connaissances en statistiques non plus alors peut-être que la question à déjà été traitée.

[Sylviel]

Je comprends mieux ton problème maintenant. Je n'ai pas trop d'idée sur le sujet...

[Ouimet21]

D'ailleurs je me demande, est-ce que les séries de Fourier ont une application quelconque en probabilité?

[JackeOLanterne]

D'ailleurs je me demande, est-ce que les séries de Fourier ont une application quelconque en probabilité?

Déjà la fonction caractéristique d'une v.a. est la transformée de Fourier de sa densité de probabilité...