A propos de régression

[Dlzlogic]

Bonjour,
Il s'agit souvent de régression ces temps-ci, qu'elle soit simple ou multiple.
Or, apparemment il s'agit toujours, ou presque, de régression linéaire. La raison en est-elle une limitation des programmes ou y a-t-il une autre raison ?

[EV1S]

Hello,
il suffit de consulter un manuel de mathématiques de 2nde ou de 1ère pour s'en rendre compte.
Et encore! je ne sais même pas s'il faut vraiment que je me targue d'être épargné par cette refonte des programmes, car le notre est aussi très allégé, en comparaison de ce qui fut jadis de vrais exercices de mathématiques.

[Dlzlogic]

Hello,
il suffit de consulter un manuel de mathématiques de 2nde ou de 1ère pour s'en rendre compte.
Et encore! je ne sais même pas s'il faut vraiment que je me targue d'être épargné par cette refonte des programmes, car le notre est aussi très allégé, en comparaison de ce qui fut jadis de vrais exercices de mathématiques.

Oui, mais je faisais aussi et surtout allusion à des cours au niveau supérieur.
Par contre, ces cours sont pleins de tas de choses qui ne me semblent pas vraiment utiles.
Je ne parle pas d'exercices de mathématiques, mais de formation.
En d'autres termes, si au niveau professionnel, un ingénieur doit trouver une formule de régression, sait-il que la régression linéaire n'est pas la seule utilisable ?

[Elerinna]

En d'autres termes, si au niveau professionnel, un ingénieur doit trouver une formule de régression, sait-il que la régression linéaire n'est pas la seule utilisable ?

@AllFolks: un clic depuis n'importe quel moteur de recherche est facile : après, il suffit de savoir lire ...

[Dlzlogic]

@AllFolks: un clic depuis n'importe quel moteur de recherche est facile : après, il suffit de savoir lire ...

Un peu plus de détail, ce serait sympa. C'est naturellement après avoir beaucoup lu que j'ai posé cette question.
Mais il est vrai qu'il y a un monde entre lire et savoir lire.
Disons que je ne "sais" pas lire, alors j'ai besoin d'aide.
[EDIT]
Je faisais allusion à la réponse d'un universitaire à mes questions.

Enfin, concernant la linéarité. Oui, il se peut effectivement que des
expressions non linéaires (par rapport aux coefficients) soient plus
puissants pour votre problème. Il y a un souci. La résolution de la méthode
telle qu'elle est présentée, basée sur un simple calcul matriciel, n'est
plus valable. Il vous faudra trouver des solutions de minimisation directe
du critère "somme des écarts au carré" (souvent des méthodes approchées). On
parle alors de "régression non linéaire". On peut simplifier l'affaire en
linéarisant la relation.

[Dlzlogic]

Bonjour,
Malgré les qualités de documentaliste d'Elerinna, je n'ai pas trouvé de réponse à ma question.
Je la reformule donc autrement, en faisant l'hypothèse suivante :
Pour une raison quelconque, probablement inconnue, les régressions font partie des programmes scolaires. Pour éviter de trop compliquer les choses, on s'est limité à la régression linéaire. Des mathématiciens en recherche de sujets de thèse ont imaginé toute sorte de conditions de validité des résultats.
On est allé jusqu'à la régression multiple, mais toujours linéaire.
Je voudrais bien savoir pour quelle raison la variation de deux paramètres indépendants serait proportionnelle.
Suivant mon hypothèse, controversée, que les mathématiques sont faites pour servir, les scientifiques n'utiliseraient donc que la régression linéaire ?

[Elerinna]

Suivant mon hypothèse, controversée, que les mathématiques sont faites pour servir, les scientifiques n'utiliseraient donc que la régression linéaire ?

Ceci confirme bien que malgré sa mise à disposition ici, le recours à l'information pertinente reste absent.
L'habitude d'usages et coutumes installées ne doit pas s'opposer à la mise en cause permanente hors des ornières de sentiers battus, pour aller au devant de voies élargies en autoroutes et chemins de traverse.

Une panoplie de types de régressions co-existent; allant des modèles multiples, multivariés, multinomiaux,
pondérés, paramétriques, isotoniques, d'arêtes aux non paramétriques, quantiques, infinis, aléatoires, etc.

[Dlzlogic]

Petit exemple très simple : Comment formaliser une régression avec cet échantillon.

100 50
200 60
300 68
400 74
500 78
600 80
700 81

Bien-sûr quelques mots d'argumentation en plus du résultat seront bien venus.

[Dlzlogic]

@AllFolks: un clic depuis n'importe quel moteur de recherche est facile : après, il suffit de savoir lire ...

Quand on se permet ce type de réflexion, c'est qu'on croit dominer la question.
Tu es un peu comme quelqu'un à qui on pose une question, qui pour seule réponse indique le chemin de la bibliothèque municipale et en prenant bien soin d'ajouter "Y'avait qu'à regarder un plan du quartier".

Donc, j'étais en droit de m'attendre au moins à une réponse du type "T'as qu'a utiliser tel ou tel logiciel" ou t'as qu'à faire comme ça.
Dans un premier temps, et ça me parait la moindre des choses, il faut trouver une formule de régression, par n'importe quel moyen.
Dans un deuxième temps, il faut un minimum de justification.
C'est à ce moment que la discussion relative à la question posée pourra commencer.

Je constate qu'Elerinna n'a pas encore franchi la première étape. A-t-elle réellement un diplôme d'ingénieur seulement une expérience de documentaliste ?

[fatal_error]

slt,

les régressions font partie des programmes scolaires. Pour éviter de trop compliquer les choses, on s'est limité à la régression linéaire ... les scientifiques n'utiliseraient donc que la régression linéaire ?

tu ecris des generalisations grotesques.

Je me demande si tu te fous pas non plus de notre gueule. Tu rabaches les moindres carres a tout bout de champs, et pourtant cest une methode qui permet typiquement de faire de la regression et pas que sur des cas lineaires...

Et enfin la justification dune regression, ben ca depend evidemment du modele quon cherche a "approximer".

Tu es un peu comme quelqu'un à qui on pose une question, qui pour seule réponse indique le chemin de la bibliothèque municipale et en prenant bien soin d'ajouter "Y'avait qu'à regarder un plan du quartier".

je ne suis pas daccord. La reponse serait plutot "Il ne tient qua suivre lorientation deduite dune cartographie citadine habilement dechiffree de la phrase qui fait 50 mots de longs aux fioritures dissonantes et de surcroit obsoletes"

[Dlzlogic]

@Fatal-error,
Réponse par MP.

[Dlzlogic]

Bonjour,
Petit up.

Petit exemple très simple : Comment formaliser une régression avec cet échantillon.
Citation:
100 50
200 60
300 68
400 74
500 78
600 80
700 81

Bien-sûr quelques mots d'argumentation en plus du résultat seront bien venus.

La question me parait simple et assez basique : on veut établir une relation entre 2 évènements du type y=f(x).
On a observé 7 couples (x,y).
Le but étant naturellement de prévoir la valeur Y pour la valeur X = 800 par exemple.
C'est, sauf erreur le ma part, l'établissement d'un modèle.

[Elerinna]

Quand on se permet ce type de réflexion, c'est qu'on croit dominer la question.

Quand on sollicite quelqu'un, son argument peut survenir obligeamment sans assommer d'invectives.
Notamment, critiquer à tort et à travers ne contribue pas à augmenter les taux d'actions à l'entraide.

La régression linéaire est une méthode statistique des plus utilisées car commode à l'approximation.
Deux types cohabitent: la régression simple (une seule variable explicative) et la régression multiple (plusieurs variables explicatives) or le cadre conceptuel et méthodes de calculs s'avèrent identiques.

Le principe de la régression linéaire est de modéliser une variable dépendante quantitative Y, au travers d'une combinaison linéaire de p variables explicatives quantitatives, X1, X2, …, Xp. Le modèle déterministe (ne prenant pas en compte d'aléa) s'écrit pour une observation i (CF. logiciels XLSTAT/ R):

yi = a1x1i + a2x2i + ... + apxpi + ei

où yi est la valeur observée pour la variable dépendante pour l'observation i, xij est la valeur prise par la variable j pour l'observation i, et ei est l'erreur du modèle.

La minimisation par la méthode des moindres carrés (minimisation de la somme des erreurs quadratiques e²i) fournit une solution analytique exacte. Les erreurs ei suivent une même loi normale N(0,s) et sont indépendantes.

Le cadre statistique et les hypothèses qui l'accompagnent ne sont pas nécessaires pour ajuster ce modèle. Cependant, il permet de tester des hypothèses et mesurer le pouvoir explicatif des différentes variables explicatives dans le modèle.

Le principe en étapes pour une application de méthodes quelconques à déployer demeure le suivant :
1) on spécifie le modèle
2) on estime les coefficients
3) on teste les diagnostiques (avec va-et-vient en 2)
4) on revoit les tests d'hypothèses
5) on effectue de la prévision
6) on fait des scénarios de politique de décisions

Lorsque le modèle atteint une complexité insoluble par le modèle linéaire, le non-linéaire est adapté.

[Dlzlogic]

Bonjour Elerinna,
Merci de cette réponse détaillé.
Ma question d'origine me paraissait assez claire et EV1S l'a comprise.
Pour répondre concrètement et en utilisant l'exemple suggéré;

N° 1 x=100.00 y=50.00
N° 2 x=200.00 y=60.00
N° 3 x=300.00 y=68.00
N° 4 x=400.00 y=74.00
N° 5 x=500.00 y=78.00
N° 6 x=600.00 y=80.00
N° 7 x=700.00 y=81.00
Régression linéaire Y=A + B * X nbpts= 7 A = 49.7 B = 0.0511 R2 = 0.907
Ajustement exponentielle Y=A * e puis(B * X) nbpts= 7 A = 50.9 B = 0.00077 R2 = 0.873
Ajustement logarithmique Y=A + B * ln(X) nbpts= 7 A = -27.9 B = 16.8 R2 = 0.992
Ajustement puissance Y=A * X puiss(B) nbpts= 7 A = 15.3 B = 0.259 R2 = 0.989

Le meilleur, extrapolation Logarithmique
X=100.00 ==> Y= 49.63
X=200.00 ==> Y= 61.30
X=300.00 ==> Y= 68.13
X=400.00 ==> Y= 72.98
X=500.00 ==> Y= 76.74
X=600.00 ==> Y= 79.81
X=700.00 ==> Y= 82.41

et

N° 1 x=100.00 y=50.00
N° 2 x=200.00 y=60.00
N° 3 x=300.00 y=68.00
N° 4 x=400.00 y=74.00
N° 5 x=500.00 y=78.00
N° 6 x=600.00 y=80.00
N° 7 x=700.00 y=81.00
Régression linéaire Y=A + B * X nbpts= 7 A = 49.7 B = 0.0511 R2 = 0.907
Ajustement exponentielle Y=A * e puis(B * X) nbpts= 7 A = 50.9 B = 0.00077 R2 = 0.873
Ajustement logarithmique Y=A + B * ln(X) nbpts= 7 A = -27.9 B = 16.8 R2 = 0.992
Ajustement puissance Y=A * X puiss(B) nbpts= 7 A = 15.3 B = 0.259 R2 = 0.989

Le meilleur, extrapolation Logarithmique
Fonction imposée, extrapolation Linéaire
X=100.00 ==> Y= 54.82
X=200.00 ==> Y= 59.93
X=300.00 ==> Y= 65.04
X=400.00 ==> Y= 70.14
X=500.00 ==> Y= 75.25
X=600.00 ==> Y= 80.36
X=700.00 ==> Y= 85.46

Je pense que la simple lecture de ces deux résultats expliquera sans difficulté le sens de ma question.

L'utilisation d'un modèle linéaire suppose que les variables explicatives et le modèle étudié sont liés par une relation proportionnelle, ce qui serait réellement de la chance si c'était toujours le cas.

Dans le recherche de la formule liée à un modèle mathématique avec lequel on risque de faire de prévisions, on devrait, à mon avis et c'est le but initial de ma question, s'orienter vers d'autres formules d'ajustement que linéaire et par exemple la fonction puissance qui s'écrit
Y = K * x1^a1 * x2^a2 * x3^a3 * ...

J'aimerais dire aussi que étant donné une série d'observations, la seule valeur de comparaison de qualité est le coefficient de détermination lorsqu'il y a une seule variable et l'écart-type dans les autres cas.
Une recherche approfondie pourrait être
1- détermination de la relation entre variable explicative prise indépendamment, et Y
2- élimination éventuelle des variable pour les quelle le coefficient de détermination est trop faible
3- établissement d'une formule globale avec toutes les variables validées.

Enfin, la régression linéaire ne devrait être qu'un cas parmi d'autres.

[Elerinna]

Ma question d'origine me paraissait assez claire et EV1S l'a comprise..

Vous devriez relire ma première réponse avec la distance imposée : le programme scolaire des lycées ne restreint pas les acquis de l'apprenant autodidacte allant de lui-même au-delà des notions imposées.
Les ajustements affines, exp, log, homographiques sont normalement chez les terminales d'aujourd'hui.
Maintenant nombre de calculatrices offrent depuis 25 ans au moins toutes les fonctions en option STAT.

[Dlzlogic]

Je ne crois avoir parlé nulle part de programme "scolaire", mais de programme en général.
Je n'ai trouvé nulle part de référence à la forme "puissance" que j'ai citée dans ma réponse précédente.
[HS] Vous m'expliquerez à l'occasion, la différence entre l'ajustement linéaire et l'ajustement affine[HS].

[fatal_error]

Je ne crois avoir parlé nulle part de programme "scolaire", mais de programme en général.

Pas de chance tu as edite ton poste, mais je t'avais déjà cité. C'est bien tenté...

Je n'ai trouvé nulle part de référence à la forme "puissance" que j'ai citée dans ma réponse précédente.

Pourquoi faudrait-il fournir des references pour ta fonction puissances? et pourquoi tu proposes pas une fonction f(x) = 1/(1+x^b)

[HS]

Vous m'expliquerez à l'occasion, la différence entre l'ajustement linéaire et l'ajustement affine.

Troll recurrent lineaire affine[/HS]

[Dlzlogic]

Bonjour,

Pas de chance tu as edite ton poste, mais je t'avais déjà cité. C'est bien tenté...

Effectivement j'ai édité mon post, c'était pour RAJOUTER les références auxquelles je faisais allusion : programmes supérieurs (la réponse vient d'un maître de conférence) et non programme scolaire. Et j'ai fait ce rajout environ 1 heure après l'avoir écrit. Si tu cherches à m'accuser de mauvaise foi, tu fais fausse route.

Pourquoi faudrait-il fournir des references pour ta fonction puissances? et pourquoi tu proposes pas une fonction f(x) = 1/(1+x^b)

Mais, c'est justement l'objet de ma question.
1- l'ajustement linéaire suffit-il à résoudre les problèmes d'ajustement ?
Pour l'ajustement simple, la réponse est NON, cf exemples cités
Pour l'ajustement à 3 variables, la réponse est NON, cf étude faite à propos de numérisation d'abaques.
Pour l'ajustement multiple, je pense que NON, j'ai pas assez d'exemples à tester.
2- Des formules de modèles utilisent cette fonction puissance. Est-ce un cas particulier, ou plutôt, comme je le crois, une méthode qui a été perdue de vue ?
3- Je ne suis pas théoricien, j'aimerais bien effectivement (help Doraki) m'assurer que la fonction y=K.x1^a1.x2^a2.x3^a3.x4^a4... peut être considérée comme un compromis généralisable, ou au contraire qu'il y ait d'autre formes, en plus de la linéaire, qu'il serait utile de tester.