Méthode des moindres carré

[guiguipelloq]

Tu m'as fait un peu peur parce que le "théorème des moindres carrés" je viens de le voir en 2è année de prépa (après bac S).
Donc question 3 : tu connais les abscisses de ces points. Tu voudrais connaître leurs ordonnées. Tu sais qu'ils appartiennent à la droite que tu as tracée, qui a une équation en fonction de a. Leurs ordonnées vont sortir de là.

[Clemoute]

Tu m'as fait un peu peur parce que le "théorème des moindres carrés" je viens de le voir en 2è année de prépa (après bac S).
Donc question 3 : tu connais les abscisses de ces points. Tu voudrais connaître leurs ordonnées. Tu sais qu'ils appartiennent à la droite que tu as tracée, qui a une équation en fonction de a. Leurs ordonnées vont sortir de là.

Lol
La question 3 j'ai trouver les coordonnèes mais juste par lecture graphique sur ma droite d'equation mais il est ecrit "en fonction de a, c'est ca qui me perturbe a vrai dire :s

[Dlzlogic]

Tu m'as fait un peu peur parce que le "théorème des moindres carrés" je viens de le voir en 2è année de prépa (après bac S).
Donc question 3 : tu connais les abscisses de ces points. Tu voudrais connaître leurs ordonnées. Tu sais qu'ils appartiennent à la droite que tu as tracée, qui a une équation en fonction de a. Leurs ordonnées vont sortir de là.

Bonjour,
Je connais la "méthode des moindres carrés", mais pas le "théorème des moindres carrés". De quoi s'agit-il?

[guiguipelloq]

Bonjour,
Je connais la "méthode des moindres carrés", mais pas le "théorème des moindres carrés". De quoi s'agit-il?

Pour ma part je ne connaissais pas la "méthode". Ce théorème est enseigné en prépa ECS2 tel que suit :

[Dlzlogic]

Pour ma part je ne connaissais pas la "méthode". Ce théorème est enseigné en prépa ECS2 tel que suit :

Un théorème se démontre. Où je peux trouver sa démonstration ?
Le texte emploie le terme "matrice", il est à prendre dans le sens "représentation d'une application linéaire" ou dans le sens "tableau à n lignes et p colonnes".
Avez-vous des exemples d'utilisation ou d'application de ce théorème ?
Par contre je n'ai pas vu dans son énoncé la référence à "carré".
Il me semble qu'une norme est de degré 1, et non de degré 2.

[Clemoute]

je ne comprends deja pas l exercice alors si vous me sortez le theoreme dans lequel je ne cpmprend pas un mot je serai paume xD
je suis qu en 1ere S lol
je posterai la suite de l exo vers 4h30
merci ;-)

[guiguipelloq]

Voici sa démonstration :

Le terme matrice désigne toujours à la fois vos deux termes, car il y a bijection réciproque entre l'ensemble des matrices et celui des applications linéaires.
Ce que je vous ai donnée ici est tiré d'un livre trouvé sur internet, mais dans mon cas, nous ne nous en sommes servi qu'une fois en cours, avec effectivement des carrés. L'exemple était assez flou j'ai trouvé. Je pourrais le poster ici au besoin.
Enfin, une norme est un nombre, elle est donc de degré 0, non ? (si tenté qu'il soit pertinent de parler de degré d'une norme).

[Dlzlogic]

Bon, merci pour la réponse.
Mai je vous avoue que je je ne suis pas convaincu.
La méthode des moindres carrés est (très) connue et utilisée pour les applications qui mettent en œuvre une certain nombre de mesures.
Soit des mesures d'une même chose. Le terme "mesure" est à prendre dans le sens le plus général ainsi que le terme "chose".
Il y des mesures en sûr-nombre, la préoccupation est de calculer le résultat le plus probable.
On démontre (de façon parfaitement rigoureuse) que le résultat le plus probable est celui qui minimise la somme des carrés des écarts entre la moyenne arithmétique et chacune des mesures.
Un exemple très simple consiste à trouver l'équation de la droite la plus probable définie par un ensemble de couples (X,Y), ce qu'on appelle une régression.
La méthode consiste à écrire la somme des carrés des différences, ce sera de la forme S=somme((Vi-V)²)
S sera minimum pour la valeur qui annule sa dérivée. On obtient donc un système de 2 équations à 2 inconnues.
Il y a lieu de préciser que dans le cas de la régression linéaire, la valeur que l'on minimise est la différence d'ordonnée, et non la distance à la droite.
Dans les cas habituels de l'utilisation de la méthode des moindres carrés, c'est l'écart entre la valeur observée et la valeur adoptée que l'on minimise.

[Clemoute]

Oh rassurez-vous, cette question ne vous était pas adressée, mais seulement à guiguipelloc.
Pardon, je sais bien que c'est un peu HS. :doh:

Pas grave
Je vais mettre la deuxieme partie de mon exercice, elle est encore plus obscure pour moi xD :

5/ Quelles valeur de minimise ?

6/ Tracer la droite correspondant à la valeur de precedente Ca devrais le faire !

7/La droite obtenue à la question precedente est la droite qui passe au plus pres des points A, B et C selon la méthode des moindres carrées. Pourquoi appelle-t-on cette methode la methode des mondre carrés ? c'est une exellente question, pour moi cela ne veut rien dire :hum:

[Clemoute]

Un théorème se démontre. Où je peux trouver sa démonstration ?
Le texte emploie le terme "matrice", il est à prendre dans le sens "représentation d'une application linéaire" ou dans le sens "tableau à n lignes et p colonnes".
Avez-vous des exemples d'utilisation ou d'application de ce théorème ?
Par contre je n'ai pas vu dans son énoncé la référence à "carré".
Il me semble qu'une norme est de degré 1, et non de degré 2.

Une representation d'une application linéaire ?

[Dlzlogic]

Une representation d'une application linéaire ?

Pas ce message là, celui d'une heure plus tard qui commence par "merci pour votre réponse".

[Sylviel]

Un théorème se démontre. Où je peux trouver sa démonstration ?
Le texte emploie le terme "matrice", il est à prendre dans le sens "représentation d'une application linéaire" ou dans le sens "tableau à n lignes et p colonnes".
Avez-vous des exemples d'utilisation ou d'application de ce théorème ?
Par contre je n'ai pas vu dans son énoncé la référence à "carré".
Il me semble qu'une norme est de degré 1, et non de degré 2.

@Dlzlogic : en fait ce théorème et la méthode des moindres carrés linéaires c'est la même chose. Il n'y a pas de carré ici car minimiser ||AX-B|| ou minimiser son carré c'est la même chose. La somme de carré à laquelle tu fais référence est caché dans la définition de la norme euclidienne, puisque

On démontre (de façon parfaitement rigoureuse) que le résultat le plus probable est celui qui minimise la somme des carrés des écarts entre la moyenne arithmétique et chacune des mesures.

évite ce genre de phrase car il donne un énoncé incomplet. La régression fournit la meilleure approximation au sens de la norme euclidienne (c'est ça définition) et sous des hypothèses supplémentaires on a ce que tu annonces (i.e les coefficients de la regression donnent le maximum de vraisemblance), mais il ne faut pas croire que c'est vrai en toute généralité.

[Dlzlogic]

@Dlzlogic : en fait ce théorème et la méthode des moindres carrés linéaires c'est la même chose. Il n'y a pas de carré ici car minimiser ||AX-B|| ou minimiser son carré c'est la même chose. La somme de carré à laquelle tu fais référence est caché dans la définition de la norme euclidienne, puisque

évite ce genre de phrase car il donne un énoncé incomplet. La régression fournit la meilleure approximation au sens de la norme euclidienne (c'est ça définition) et sous des hypothèses supplémentaires on a ce que tu annonces (i.e les coefficients de la regression donnent le maximum de vraisemblance), mais il ne faut pas croire que c'est vrai en toute généralité.

Je ne cherche pas à polémiquer. Je comprends bien que la définition d'une norme euclidienne, est la racine carré d'une somme de carrés, c'est donc un nombre.
Dans la méthode des moindres carrés la valeur S que l'on calcule est une fonction. On n'en prendra jamais la racine carrée. Par contre, on cherche à minimiser cette fonction et la méthode consiste à annuler sa dérivée. Donc en gros, je ne comprends pas le rapport qu'il y a entre le "théorème 11" et la méthode des moindres carrés.
L'application à la régression linéaire est une petite application simple et bien pratique, mais ce n'est pas plus que ça.
Sauf cas contraire que je ne connais pas et que je ne demande qu'à connaitre, chaque fois que l'on a plusieurs mesures pour la même chose, on utilise la méthode des moindres carrés.

[Sylviel]

la méthode des moindres carrés linéaire consiste à chercher X (les coefficients) tel que
soit le plus petit possible, es-tu d'accord ?
Cela s'écrit synthetiquement : "on cherche X tel que ||AX-B||² soit le plus petit possible". Ce qui est la même chose que "on cherche X tel que ||AX-B|| soit le plus petit possible". Après la manière de trouver ce X est une autre question, dans le cas purement linéaire (ici) on a une formulation algébrique donnée dans le théorème ci dessus, qui découle effectivement d'une recherche de gradient nul de la fonction carré. Si c'était un peu plus compliqué on utiliserais un algo d'optimisation, et il est fort probable que la fonction à minimiser que l'on choisirait soit ||AX-B||² (pour des question de différentiabilité et de forte convexité). Mais au niveau de l'interprétation je comprends qu'on préfère dire : "je cherche le X tel que la distance entre AX et B soit la plus petite possible", plutôt que "je cherche le X tel que la distance au carré entre AX et B soit la plus petite possible" car le "au carré" n'apporte rien dans l'interprétation et brouille un peu le message.

Donc effectivement ce théorème est le cas particulier (linéaire) des moindres carrés, là où "la méthode des moindres carrés" consiste simplement à dire que l'on minimise la norme euclidienne.

Sinon je ne nie pas que les moindres carrés soient très souvent utilisés mais ce n'est pas systématique. J'essairais de remettre la main sur un exemple pratique d'estimateur du maximum de vraisemblance qui n'est pas celui des moindres carrés. Tu peux jeter un oeil ici où tu voies que pour que les moindres carrés coïncident avec le maximum de vraisemblance il faut que les bruits soient indépendants, gaussien, et de même variance.

Un exemple pratique pourrait être celui de mesures distinctes mais corrélés et/ou venant d'appareils ayant une plus ou moins grande précision. Dans ce cas il faudrait sans doute pré-traiter les données et/ou pondérer les valeurs... Bref le simple "moindre carré" considérant toutes les mesures comme équivalentes ne serait pas optimal.

[Dlzlogic]

@Sylviel,
Ceci est un topic niveau lycée.
L'exercice proposé par le professeur est numériquement très simple, mais a l'énorme avantage d'introduire cette notion "minimiser la somme des carrés des écarts".
Pour mémoire, la régression telle qu'on l'utilise habituellement (ta formule) où on minimise (yi-(A+Bxi))² donne Y = 1.5 -0.5 X, qui est la formule "approchée" donnée au début de l'exercice.
Sauf erreur, la droite à obtenir pas la méthode des moindres carrés est Y = 2.0 - X.

En d'autres termes, l'utilisation courante qui consiste à minimiser la somme des écarts sur l'ordonnée, telle que décrite dans Wiki n'est qu'une application de la méthode des moindres carrés, rien de plus. Il y a lieu de regretter que ce ne soit pas présenté comme tel.

La méthode des moindres carrée est parfaitement générale et applicable à toute mesure.
Voici une définition que j'ai donnée, est-tu d'accord ?

Soit des mesures d'une même chose. Le terme "mesure" est à prendre dans le sens le plus général ainsi que le terme "chose".
Il y des mesures en sur-nombre, la préoccupation est de calculer le résultat le plus probable.
On démontre (de façon parfaitement rigoureuse) que le résultat le plus probable est celui qui minimise la somme des carrés des écarts entre la moyenne arithmétique et chacune des mesures.

Naturellement on attribue un poids aux mesures, si c'est nécessaire.
Prenons un cas très simple. On mesure un triangle, on obtient 3 angles et 3 distances. On connait la précision avec laquelle on a fait ces 6 mesures, naturellement, elles sont prises en compte dans le calcul.

[Sylviel]

Bien sur mes réponses sortent du niveau lycée.

Je ne comprends pas trop comment on peut obtenir deux résultats différents en minimisant la même chose...

Plusieurs choses sur ta "définition" :
- le résultat "le plus probable" n'est pas quelque chose de bien défini dans ta présentation
- il faut des hypothèses supplémentaires sur l'aléa pour que le résultat 'le plus probable' (maximum de vraisemblance) soit celui des moindres carrés
- je ne sais pas trop ce que la moyenne arithmétique vient faire ici d'ailleurs...

La méthode des moindres carrés se présente plutôt ainsi : on se donne une classe de fonctions F(typiquement les fonctions linéaires), et on considère un ensemble de couples de points (xi,yi). On cherche à trouver la fonction f dans F qui minimise . Il y a un certain nombre de classe de fonctions pour lesquelles on trouve ce minimum de manière analytique. Sous des hypothèses adéquates cette méthode conduira à "la valeur la plus probable" (même si cette formulation est définitivement floue...).

[Dlzlogic]

Je ne comprends pas trop comment on peut obtenir deux résultats différents en minimisant la même chose...

Si on a un "nuage de points", on peut chercher 2 choses différentes, (en supposant que ce soit une droite).
1- la fonction y=f(x) qui minimise les écarts sur l'ordonnée y
2- l'équation de la droite y = ax +b qui minimise les distances de points à la droite.
C'est justement sur cette nuance que porte l'exercice et c'est ce qui le rend particulièrement intéressant.

Plusieurs choses sur ta "définition" :
- le résultat "le plus probable" n'est pas quelque chose de bien défini dans ta présentation
- il faut des hypothèses supplémentaires sur l'aléa pour que le résultat 'le plus probable' (maximum de vraisemblance) soit celui des moindres carrés
- je ne sais pas trop ce que la moyenne arithmétique vient faire ici d'ailleurs...

C'est un sujet maintes fois évoqué, et je ne pense pas qu'il soit utile d'y revenir. Ma réponse peut tenir en un mot : TCL.

La méthode des moindres carrés se présente plutôt ainsi : on se donne une classe de fonctions F(typiquement les fonctions linéaires), et on considère un ensemble de couples de points (xi,yi). On cherche à trouver la fonction f dans F qui minimise . Il y a un certain nombre de classe de fonctions pour lesquelles on trouve ce minimum de manière analytique. Sous des hypothèses adéquates cette méthode conduira à "la valeur la plus probable" (même si cette formulation est définitivement floue...).

Encore une fois, l'application de la recherche des paramètres d'une fonction est un cas particulier. Imagine tout simplement un changement de repère, tel que rotation.
L'exemple que j'ai cité, le triangle, est une application type de la méthode. Il n'y a là aucune "fonction f" mais le but est de calculer la valeur des 3 angles et des 3 longueurs de ce triangle.
Pour résumer, concernant la méthode des moindres carrés, les mots clés ne sont ni matrice, ni application linéaire, ni norme, ni modèle mathématique, mais mesures indépendantes, écart moyen quadratique, moyenne arithmétique.

Autre exemple d'utilisation très courante : on dispose d'une image (par exemple photo aérienne) et d'un plan (par exemple le cadastre). On souhaite "superposer" les 2 documents.
On va choisir un certain nombre de points que l'on peut identifier sur les 2 documents, disons entre 6 et 10.
On a donc 2 séries de coordonnées, dans les 2 systèmes. A l'aide de 3 points connus dans les deux systèmes on peut définir les paramètres de changement de repère. Les autres sont en sur-nombre. On utilise la méthode des moindres carrés.
Les GPS utilisent cette méthode de calcul.

[Sylviel]

Oui je sais très bien que tu n'as toujours pas compris le TCL (et il y a bien des hypothèses pour). Mais ton explication est pour le moins peu claire ici. Tu veux minimiser l'écart entre des mesures et leur moyenne arithmétique ? Quel est la variable de contrôle dans ce que tu décrit ?

Non, non, la recherche d'une fonction n'est pas un cas particulier, mais bien un cas général. Une rotation est une fonction. Si tu veux prendre l'exemple du triangle détaille un peu ta démarche, et je te montrerais un ensemble de fonction F qui y correspond.

Pour ton exemple de GPS c'est exactement ce que je t'ai présenté. F est l'ensemble des changements de repère possible. Les x-i sont les points dans ton premier système de coordonnées, les y_i les points dans ton second système, et tu cherches donc le changement de repère qui minimise la somme des carrés des distances entre f(x_i) et y_i. Où vois-tu apparaître la moyenne arithmétique ici ?

[Dlzlogic]

Assurément, tu as raison.

[Sylviel]

Bon, puisque tu refuses la discussion je ne saurais jamais où tu voies une moyenne arithmétique dans la détermination d'un changement de repère pour le GPS...