Approxiamtion, méthode des moindres carrés

[Mathusalem]

Pardonnez mon ignorance, mais quel est le rapport avec les approximations par la méthode des moindres carrés ?

Premièrement, tu prends V un e.V muni d'un (-,-) et W un sous-espace vectoriel de V.
Prends u dans V. Tu peux montrer que

Quelque soit . C'est-à-dire que proj_W(u) est la meilleure approximation de u par des vecteurs de W.

[Dlzlogic]

Dans l'intervalle [0;1], et pour la fonction citée, l'approximation Y=2.87 * e^(-0.416 X) est meilleure, mais ce n'est pas un polynome de degré 1.

[Skullkid]

ǒest la base derrière les moindres carrés, et ça n’a évidemment rien à voir avec les probabilités. Après on peut montrer que cette approximation est optimale dans certains contextes probabilistes, mais ici il n’y a pas d’aléatoire, il s’agit juste de trouver la droite qui passe au plus près d’une parabole sur un intervalle donné, au sens des moindres carrés.

Quant à ton approximation d'un polynôme de degré 2 par une exponentielle... plutôt étonnant pour quelqu'un qui se veut "proche des applications réelles".

[Dlzlogic]

ǒest la base derrière les moindres carrés, et ça n’a évidemment rien à voir avec les probabilités. Après on peut montrer que cette approximation est optimale dans certains contextes probabilistes, mais ici il n’y a pas d’aléatoire, il s’agit juste de trouver la droite qui passe au plus près d’une parabole sur un intervalle donné, au sens des moindres carrés.

Quant à ton approximation d'un polynôme de degré 2 par une exponentielle... plutôt étonnant pour quelqu'un qui se veut "proche des applications réelles".

Qui a parlé de probabilités, pas moi, je pense.
Concernant ta dernière phrase, "réelle" ne veut pas dire "simpliste". L'approximation d'un arc de parabole par un segment de droite n'a pas grand rapport avec une application réelle, ce calcul n'est justifié que dans le cadre d'un exercice. Soit on calcule la parabole, courbe exacte, soit on transforme cette parabole en polygone.
Les formulations basées sur les puissances sont très utilisées dans la réalité, ci dessous un exemple
Q(F) = k^(1/u) I^(v/u) c^(1/u) A^(w/u)
où k, u, v, w sont des fonctions de (a,b et F) lesquels sont des paramètres connus.

[sigualex]

O3=e3-((o1,e3)/(o1,o1))*o1-((o2,e3)/(o2,o2))*o2=x^2-x+1/6

je trouve donc bien le meme résultat.
Je vous remercie beaucoup pour votre aide qui me permet de comprendre et réalisé l'exercice souhaité.
Malheureusement je suis incapable de faire les autres exercices donnés sur le meme chapitre... Je pense que mon prof est allé beaucoup trop vite sur ce chapitre finalement pas si simple et que je n'ai pas bien compris celui-ci. De plus n'ayant traité aucun exemple ni exercice en cours c'est difficile de "déchiffrer" les formules de mon cours.

En tout cas merci à tous et à bientot !

[Skullkid]

Qui a parlé de probabilités, pas moi, je pense.

Bonjour,
L'ai pas du être assez clair.
1- on démontre que la valeur chercher la plus probable est obtenue quand la somme des carrés est minimum. [je sais cela est controversé mais cela reste vrai pour l'immense majorité].

Just for the record.

[Dlzlogic]

Just for the record.

Encore une fois, ou comme toujours, tu as raison.
Quand je l'ai écrit, je n'ai pas trouvé de synonyme.
Mais en fait, j'aurais dû mettre plutôt "la meilleure approximation".
Tu ne m'as pas dit ce que serait pour toi la meilleure approximation, si ce n'est le système qui minimise la somme des carrés des écarts.

PS d'ailleurs je devais pas avoir les yeux en face des trous, en tout cas j'ai pas relu, 2 fautes dans une ligne c'est beaucoup :hum:

[Skullkid]

La meilleure approximation d'une fonction f c'est la fonction f elle-même. Quand on n'a pas ce luxe, il faut définir des critères qui permettent de comparer deux approximations, de dire que l'une est meilleure que l'autre. Le plus souvent, on choisit de représenter la qualité d'une approximation par un nombre. Dans le cas des moindres carrés (qui est un critère parmi d'autres) ce nombre est la norme L² de f-g avec f la fonction à approcher et g la fonction approchante. Dans le cas où f est une fonction sur un intervalle, c'est la racine carrée de l'intégrale de (f-g)² sur l'intervalle en question. Dans le cas où f et g sont des suites, c'est la racine carrée de la somme des (f(k)-g(k))². Plus ce nombre est proche de zéro, meilleure est l'approximation au sens des moindres carrés (si on précise, c'est pas pour rien).

Le critère des moindres carrés a certains avantages appréciables comparé à d'autres critères, par exemple le fait qu'il est plus facile de faire des calculs sur des carrés que sur des valeurs absolues, mais surtout le fait qu'utiliser ce critère revient ni plus ni moins à faire de la géométrie, puisque la norme L² est une norme euclidienne. Et donc on a un théorème euclidien qui devrait te dire quelque chose : étant donné un point M et un plan P quelconques dans l'espace, il existe un unique point X de P qui minimise la distance euclidienne MX : le projeté orthogonal de M sur P. Donc il suffit de projeter la fonction à approcher sur l'espace des fonctions approchantes considéré (ici l'ensemble des fonctions affines), c'est ce qu'on a fait ici.

J'insiste : "meilleure approximation" ça ne veut rien dire (à part la fonction à approcher elle-même), on ne peut juger de la qualité d'une approximation qu'en choisissant des critères, ce choix est libre et dépend du problème ainsi que des fonctions qu'on s'autorise à utiliser comme fonctions approchantes. Il y a des cas où les moindres carrés ne sont pas satisfaisants.

[Dlzlogic]

Oui, je crois avoir compris ce que tu m'as dit.
Cependant il y a un point qui m'échappe, quel besoin a-t-on de chercher une approximation à une fonction que l'on connait ? A part faire des exercices, comme je le supposais, j'en vois pas vraiment l'utilité.
En tout cas, merci pour ton explication.
Petite question, dans le cas présent, on a une parabole et l'intervalle étudié est proche de son point bas, donc la pente de la droite est disons "faible", donc la comparaison de Y est caractéristique.
Imaginons que l'intervalle étudié se situe là où la pente est beaucoup plus forte, la comparaison des Y aura-t-elle encore une signification ?
Quand j'assimile une parabole à une ligne polygonale, le critère de limite que j'examine est la distance euclidienne entre la courbe et la corde.
Bonne soirée.

[Skullkid]

Cependant il y a un point qui m'échappe, quel besoin a-t-on de chercher une approximation à une fonction que l'on connait ? A part faire des exercices, comme je le supposais, j'en vois pas vraiment l'utilité.

Tu en as donné toi-même un exemple : quand tu approches une parabole que tu connais par une ligne polygonale, tu connais bien la fonction à approcher, mais pour certaines raisons tu veux avoir une ligne polygonale et pas une parabole. C'est aussi le cas lorsqu'on fait une régression sur un nuage de points. On connaît exactement la suite qu'on veut approcher (le nuage de points), mais on veut l'approcher par une suite qui satisfait des conditions supplémentaires, typiquement d'être la restriction d'une fonction "simple".

Petite question, dans le cas présent, on a une parabole et l'intervalle étudié est proche de son point bas, donc la pente de la droite est disons "faible", donc la comparaison de Y est caractéristique.
Imaginons que l'intervalle étudié se situe là où la pente est beaucoup plus forte, la comparaison des Y aura-t-elle encore une signification ?

Encore une fois, c'est un choix de critère. Pour les moindres carrés on choisit de regarder la somme des carrés des écarts "verticaux", on pourrait aussi par exemple choisir de regarder la somme des écarts géométriques entre un nuage de points "expérimentaux" et une courbe "théorique" (si on veut dessiner par exemple), ou ne s'intéresser qu'à l'écart maximal (si la modélisation est très sensible aux grands écarts), ou mélanger plusieurs critères. Ils ont tous une signification, mais selon le problème on estime qu'il y a des critères plus pertinents que d'autres.

[Dlzlogic]

Ue cas classique que je connais est le changement de base. Il y a d'autres cas classiques, mais celui-ci est facile à expliquer.
On dispose d'un document graphique obtenu par des moyens partiellement mécaniques : un scan.
On peut identifier sur ce document un certain nombre de points dont on connait par ailleurs les coordonnées réelles (X,Y). Donc on dispose d'un certain nombre de points (une petite dizaine) connus dans le système "général" (X,Y) et le système "local" : les coordonnées mesurées sur le document graphique.
On sait que la formule de transformation est de la forme :
X = TX + XX.x + XY.y
Y = TY + YX.x + YY.y
Cette équation comporte 6 paramètres. Donc trois points suffisent pour les calculer. Pour des raisons évidentes de précision, on souhaite utiliser la petite dizaine de points connus, sachant que l'on considère que chaque point est "a priori" aussi précis que les autres.
C'est un exemple typique d'utilisation de la méthode des moindres carrés.