Régression linéaire vectorielle

[tournesol]

Bonjour à tous .
En travaillant sur la question posée par sylvain231 du 07/04/2020 intitulée "Moindres carrés sur une équation matricielle" il m'est venue l'idée de tenter de résoudre le cas d'une approximation affine en adaptant la méthode de résolution exacte proposée par Ben314 , j'ai rencontré une difficulté .
Je repose donc le pb.
On donne deux familles de vecteurs de
On veut minimiser
La norme est la norme 2 sur .
M appartient à et P appartient à
Si on pose , , et , on a:

GaBuZoMeu dixit :
C'est un problème simple de minimisation. On cherche un point critique de l'application
.
J'ai obtenu un point critique unique lorsque est inversible .
Par contre je ne sais pas démontrer que S(M,P) atteint sa borne inférieure .
Ce que je sais :
Une fonction de dans définie ,continue sur et minorée n'atteint pas nécessairement sa borne inférieure comme
Si E est un evn de dimension finie et si f est une fonction de E dans , définie et continue sur E telle que , alors f est minorée et atteint sa borne inférieure .
Par avance merci .

[GaBuZoMeu]

Pour la formulation matricielle du problème, tant qu'à faire je considérerais plutôt la matrice
et j'ajouterais des lignes de 1 au bas des matrices pour obtenir .
Alors ton est un polynôme quadratique dont la partie homogène de degré 2 est une forme quadratique positive, définie si les colonnes de engendrent l'espace affine.
Dans ce dernier cas la hessienne est définie positive et le point critique de est un minimum strict.
Un petit détail : la condition inversible ne suffit pas pour assurer l'unicité du point critique, me semble-t-il. C'est plutôt inversible.

[Ben314]

Salut,
Il me semble bien que si on fixe X et L et qu'on fait varier M et P, l'ensemble des MX+PL décrit un sous espace vectoriel F de Mmn(R). Et ce qu'on cherche à minimiser, c'est en fait la distance de Y (fixé) à un vecteur de F.
Vu sous cet angle, ça garanti clairement l'existence d'un unique minimum ainsi que l'unicité de l'élément de F où ce minimum est atteint (qui est le projeté orthogonal de Y sur F vu que la distance en question est issue d'un produit scalaire).
Par contre pour en déduire l'unicité de M et P, il faudrait que l'application (M,P) -> MX+PL soit injective.

[GaBuZoMeu]

Par contre pour en déduire l'unicité de M et P, il faudrait que l'application (M,P) -> MX+PL soit injective.

Comme je l'écrivais plus haut, c'est exactement la condition que les colonnes de engendrent affinement l'espace, ce qui revient à dire que leurs images par une application affine déterminent entièrement celle-ci.

[tournesol]

Merci à vous deux pour vos raccourcis et éclairages . Je n'ai plus qu'à rédiger . Je reviendrai vers vous lorque j'aurai mes résultats .

[tournesol]

La formulation matricielle condensée est scripturalement efficace puisque mais complique l'optimisation qui se fait alors sous la contrainte . J'ai donc utilisé ma formulation initiale pour déterminer les points critiques en développant les termes du premier ordre dans
La différentielle est donc définie par
Sa nullité est équivalente au système: et
C'est ici à mon avis que la formulation matricielle condensée trouve toute son efficacité.
En effet la nullité de la différentielle équivaut à
On peut donc en déduire que si est inversible , alors

[GaBuZoMeu]

Le détour avec et n'était pas très utile, puisque la contrainte est automatiquement vérifiée par une des matrices qui minimise (par l'unique en cas d'unicité). Cela tient au fait que la dernière ligne de est la même que la dernière ligne de .

[tournesol]

Je te remercie mais je trouve cela très subtil . Je n'ai pas encore analysé . A plus donc .

[GaBuZoMeu]

Oh ça n'a absolument rien de subtil.
Soient des matrices carrées de même taille vérifiant . Si la dernière ligne de est égale à la dernière ligne de , alors la matrice obtenue en remplaçant la dernière ligne de par vérifie aussi . En particulier, si est inversible, la dernière ligne de est .

[tournesol]

Elémentaire mon cher tournesol ...
Ceci étant dit , l'argument est magnifique .Encore merci pour m'avoir jusqu'au bout et malgré ma résistance , tiré vers le haut .

[GaBuZoMeu]

Avec plaisir.