Statss

[Sylviel]

D'une part, il y a la méthode des moindres carrés qui est basée sur le fait (et non le principe) qu'une série de mesures en sur-nombre devant mener à une formule donnera le résultat le plus probable si la somme des carrés des écarts correspondant à chaque mesure est minimale.

Tiens ça faisait longtemps... Sous quelles hypothèses, quelle loi de proba ?

En fait le résultat le plus probable est l'estimateur du maximum de vraisemblance, qui coïncide parfois, sous hypothèses idoines, avec l'estimateur des moindres carrés... Mais parfois seulement :zen:

Ensuite il n'y a pas que 4 formes de regression possible, il y en a une infinité. Et en particulier il y a tout plein de modèles statistique des séries chronologiques (exemple ARMA, GARCH...) où l'estimation des paramètres peuvent se faire via un estimateur des moindres carrés... ou pas.

[Dlzlogic]

Tiens ça faisait longtemps... Sous quelles hypothèses, quelle loi de proba ?

En fait le résultat le plus probable est l'estimateur du maximum de vraisemblance, qui coïncide parfois, sous hypothèses idoines, avec l'estimateur des moindres carrés... Mais parfois seulement :zen:

Ensuite il n'y a pas que 4 formes de regression possible, il y en a une infinité. Et en particulier il y a tout plein de modèles statistique des séries chronologiques (exemple ARMA, GARCH...) où l'estimation des paramètres peuvent se faire via un estimateur des moindres carrés... ou pas.

Bonjour Sylviel.
Bon, il y a des estimateurs de maximum de vraisemblance autre que celui des moindres carrés et que je ne connais pas. C'est naturellement la raison pour laquelle je ne peux pas en parler.

Je ne pense pas avoir dit qu'il n'y avait que 4 formes de régression possible, mais que avec une fonction de la forme Y = A + BX et un changement de variable avec log, il y avait 4 formes.

Pourtant j'ai bien essayè de séparer les 2 problèmes :
d'une part la méthode des moindres carrés
d'autre part la régression de fonction à 2 variables. sous la forme Y = A + BX.

Mais on n'a pas parlé du cas où il y avait plus de 2 variables, trois variables, c'est intéressant, une bonne dizaine, ça l'est encore plus.

J'essayerai d'être plus clair et plus détaillé la prochaine fois.

[Sylviel]

Ok, j'ai mal interprété ton passage sur les 4 formes de regression.

En ce qui concerne les estimateurs... Essayons de faire simple : tu as un ensemble de loi de proba paramétrées par un paramètre theta par exemple : . On suppose qu'une variable aléatoire donnée est dans cet ensemble, et on cherche son paramètre (c'est le principe même de l'estimation). Si on dispose d'une série de réalisation de cette variable aléatoire, alors on peut estimer le theta réel.

L'estimateur du maximum de vraisemblance est celui qui donne le theta tel que la réalisation effective soit la plus probable. L'estimateur des moindres carrés celui tel que la variance soit la plus faible. Ce sont donc deux estimateurs différents, qui peuvent parfois coïncider.

Exemple : on lance une pièce (et on compte le nombre de pile). Donc l'ensemble de loi c'est l'ensemble des loi de bernouilli de paramètre p. Ie la pièce à une proba p de tomber sur pile (et 1-p sur face). Si on tire la pièce 1000 fois, et qu'on obtiens 540 fois face, l'estimateur du maximum de vraisemblance sera 540/1000=0.54. Il faudrait le démontrer, car ça n'a rien d'évident a priori... C'est la choix de p tel que ce tirage à la plus de chance de se produire.

[Dlzlogic]

Oui, j'ai un peu de mal à suivre, mais j'admets que c'est possible.
Pour répondre à une question précédente, je cite JJ Levallois "On démontre d'ailleurs que cette solution est la 'plus probable' au sens du calcul des probabilités".

[Elerinna]

Question : si la fonction recherchée était une exponentielle, parlerait-on aussi de "droite des moindres carrés" où y a-t-il un cours intitulé "Exponentielle des moindres carrés" ?

C'est assez superflu d'expliquer par le menu une méthode d'ajustement connue de tous : par contre, il faut souligner que les transformations de données par linéarisation sont toujours possibles en régression avec les changement de variables : etc. En outre, comme précisé par ailleurs, une quantité de méthodes d'ajustement co-existent, dont certaines à vocation commune coïncident aussi de manière idoine (i.e. adéquate) en Multi-Points (à explorer...) :zen:. Quant aux modèles de régression, un panel figure ici.

[Sylviel]

Oui, j'ai un peu de mal à suivre, mais j'admets que c'est possible.
Pour répondre à une question précédente, je cite JJ Levallois "On démontre d'ailleurs que cette solution est la 'plus probable' au sens du calcul des probabilités".

Certes, sauf qu'il s'agit d'un cours d'introduction, orienté applications (en particulier les problèmes de mesures). Ce genre de phrase n'est pas mathématique, elle donne une idée générale, et sous entend un certain nombre d'hypothèses. C'est très bien pour donner l'intuition, mais il ne faut pas aller la répéter et l'asséner comme un crédo si on a pas compris l'ensemble des enjeux derrière. Surtout si en face il y a des gens qui connaissent bien le sujet...

D'ailleurs son 'la plus probable au sens du calcul des probabilités' signifie justement que cela coïncide avec l'estimateur du maximum de vraisemblance...