Régression linéaire

Réponses à toutes vos questions après le Bac (Fac, Prépa, etc.)
Clu
Membre Relatif
Messages: 214
Enregistré le: 17 Mar 2007, 13:24

régression linéaire

par Clu » 12 Fév 2012, 20:14

Bonsoir,

mon tipe porte sur une expérience de physique et quelques aspects théoriques, dont la méthode des moindres carrées utilisées pour des régressions et des déterminations de constantes.

J'ai commencé par regarder le truc de base : la régression linéaire.
Etant donné une distribution de n points (n > 2), on veut trouver une droite qui approche le mieux possible cette distribution de points.
On cherche en fait à trouver une droite affine qui minimise la somme des distances au carré des points à la droite. Précisément, notant l'abscisse du point n°p et son ordonnée, on veut trouver deux réels a et b tels que la somme
soit minimale.

Je voudrais montrer qu'il y a effectivement un minimum.

J’étudie donc la fonction f associée, i.e. la fonction de dans et qui à (a,b) associe la somme ci-dessus.
Il s'agit d'une fonction de classe C2 (et même de classe C infinie).
Les minimums sont à chercher parmi les points critiques de cette fonction : on chercher a et b tels que les deux dérivées partielles soient nulles. On trouve une solution unique et cette solution correspond à la formule utilisée par tous les logiciels de régression linéaire.
Maintenant il faut montrer qu'il s'agit bien d'un minimum et c'est là mon problème.
Je ne sais pas comment montrer qu'il s'agit bien d'un minimum global (au passage, en calcul la matrice hessienne de f en ce point on trouve que son déterminant est supérieur ou égal à 0. En faisant abstraction du cas où le déterminant est nul, cela montre bien qu'il s'agit d'un minimum local, mais pas nécessairement global).
Vu l'état des solutions soustraire le résultat à la fonction f et vérifier que la différence est toujours positive ne me semble pas faisable.

Je pense donc à montrer l'existence d'un minimum, indépendamment de l'étude ci-dessus, auquel cas le minimum est forcément celui trouvé plus haut.
Seulement je ne vois pas comment faire. Ma 1ère idée serait de me ramener à un compact mais je ne trouve pas lequel.

Merci d'avance pour vos idées



Avatar de l’utilisateur
fatal_error
Membre Légendaire
Messages: 6610
Enregistré le: 22 Nov 2007, 12:00

par fatal_error » 12 Fév 2012, 21:35

je risque de dire une betise, mais
a partir du moment ou t'as le minimum local, là ou la fonction peut atteindre un minimum global c'est sur les frontières du domaine, sinon on aurait aussi choppé le minimum avec le gradient nul.

Du coup, jdirais que faut regarder pour a tend vers linfini, -l'infini, idem pour b.

Mais bon, je serais incapable d'expliquer ca mathématiquement donc c'est a prendre avec pincettes.
la vie est une fête :)

Eric1967
Messages: 1
Enregistré le: 17 Jan 2013, 19:59

par Eric1967 » 17 Jan 2013, 21:16

Clu a écrit:Bonsoir,

mon tipe porte sur une expérience de physique et quelques aspects théoriques, dont la méthode des moindres carrées utilisées pour des régressions et des déterminations de constantes.

J'ai commencé par regarder le truc de base : la régression linéaire.
Etant donné une distribution de n points (n > 2), on veut trouver une droite qui approche le mieux possible cette distribution de points.
On cherche en fait à trouver une droite affine qui minimise la somme des distances au carré des points à la droite. Précisément, notant l'abscisse du point n°p et son ordonnée, on veut trouver deux réels a et b tels que la somme
soit minimale.

Je voudrais montrer qu'il y a effectivement un minimum.

J’étudie donc la fonction f associée, i.e. la fonction de dans et qui à (a,b) associe la somme ci-dessus.
Il s'agit d'une fonction de classe C2 (et même de classe C infinie).
Les minimums sont à chercher parmi les points critiques de cette fonction : on chercher a et b tels que les deux dérivées partielles soient nulles. On trouve une solution unique et cette solution correspond à la formule utilisée par tous les logiciels de régression linéaire.
Maintenant il faut montrer qu'il s'agit bien d'un minimum et c'est là mon problème.
Je ne sais pas comment montrer qu'il s'agit bien d'un minimum global (au passage, en calcul la matrice hessienne de f en ce point on trouve que son déterminant est supérieur ou égal à 0. En faisant abstraction du cas où le déterminant est nul, cela montre bien qu'il s'agit d'un minimum local, mais pas nécessairement global).
Vu l'état des solutions soustraire le résultat à la fonction f et vérifier que la différence est toujours positive ne me semble pas faisable.

Je pense donc à montrer l'existence d'un minimum, indépendamment de l'étude ci-dessus, auquel cas le minimum est forcément celui trouvé plus haut.
Seulement je ne vois pas comment faire. Ma 1ère idée serait de me ramener à un compact mais je ne trouve pas lequel.

Merci d'avance pour vos idées


Ca se peut que je me gourre, mais bon je me lance ...

S=Sum(y - (Ax + B))^2
S=Sum(y^2 - 2*(Ax+B)*y + (Ax+B)^2)
dS/dA = Sum ( -2*y*x + 2*(Ax+B)*x ) = 0
dS/dB = Sum ( -2*y + 2*(Ax+B) ) = 0
Soit le set d'equations pour faire la regression.
La derivee premiere etant soit un maximum, soit un minimum
ensuite
d2S/dA2 = Sum ( 2x^2 )
d2S/dA2 = Sum ( 2 )
Les deux derivees secondes etant d'office > 0, ca devrait etre des minimums ...
Est-ce que ca se tient ?

 

Retourner vers ✯✎ Supérieur

Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 15 invités

Tu pars déja ?



Fais toi aider gratuitement sur Maths-forum !

Créé un compte en 1 minute et pose ta question dans le forum ;-)
Inscription gratuite

Identification

Pas encore inscrit ?

Ou identifiez-vous :

Inscription gratuite