[STATS] Estimation des résidus et de la variance

[Anonyme]

Bonjour,

On considère un modèle de régression linéaire multiple à partir d'un
échantillon de taille n et de p paramètres, avec un résidu E.

Matriciellement: Y_(n*1) = X_(n*p). B_(p*1) + E_(n*1)

Pourquoi est-ce que
ô ² = 1/(n-p) * sum_{i=0}^{n} E_i où ô² représente l'estimateur de la
variance (c'est le n-p qui m'échappe).

Par ailleurs, à quoi sert de connaître la variance des résidus? Est-ce utile
pour justifier l'utilisation du modèle?
Merci de votre aide.

Jean Dufac.

[Anonyme]

Le 02/10/04 17:59 , Catilina a exprimé son opinion en les termes suivants:
> Bonjour,

Bonsoir,

> On considère un modèle de régression linéaire multiple à partir d'un
> échantillon de taille n et de p paramètres, avec un résidu E.
>
> Matriciellement: Y_(n*1) = X_(n*p). B_(p*1) + E_(n*1)
>
> Pourquoi est-ce que
> ô ² = 1/(n-p) * sum_{i=0}^{n} E_i où ô² représente l'estimateur de la
> variance (c'est le n-p qui m'échappe).

Ce ne serait pas plutôt e_i, cad les estimateurs de E_i dans la formule
de ô²?

De mémoire, on considère d'abord, "naïvement" l'estimateur où l'on
divise par n,mais, en calculant son espérance, on s'a perçoit qu'il
n'est pas sans biais (bref l'espérance de l'estimateur de la variance
n'est pas la variance). Du coup, on corrige l'estimateur de façon à
obtenir un estimateur sans biais donc plus agréable.

En gros, considérer des vecteurs de taille p nous oblige à diminuer le
nombre de degré de liberté.

> Par ailleurs, à quoi sert de connaître la variance des résidus? Est-ce utile
> pour justifier l'utilisation du modèle?

Oui. En gros, dans ce modèle, on connaît un estimateur B_chapeau qui
donne des estimateurs e_i de E_i. Cependant, pour connaître la loi et
les convergences de ces estimateurs, il nous faut calculer leur
variance, qui n'est autre que la variance des E_i. Or elle est inconnue,
donc on l'estime par la formule précédente.

En gros, grâce à cette formule, on peut estimer la loi asymptotique d'un
estimateur et construire des intervalles de confiance pour notre
estimateur ce qui est souvent le but final de notre méthode.

> Merci de votre aide.

De rien.

--
Denis

Pour me joindre, enlever les _ !

Nous sommes esclaves des lois pour pouvoir être libre.
-Ciceron

[Anonyme]

>"Denis" a écrit
dans le message de news: cjnflo$36d$1@lucas.loria...
>Le 02/10/04 17:59 , Catilina a exprimé son opinion en les termes suivants:[color=green]
>> Bonjour,[/color]

>Bonsoir,
[color=green]
>> On considère un modèle de régression linéaire multiple à partir d'un
>> échantillon de taille n et de p paramètres, avec un résidu E.
>>
>> Matriciellement: Y_(n*1) = X_(n*p). B_(p*1) + E_(n*1)
>>
>> Pourquoi est-ce que
>> ô ² = 1/(n-p) * sum_{i=0}^{n} E_i où ô² représente l'estimateur de la
>> variance (c'est le n-p qui m'échappe).[/color]

>Ce ne serait pas plutôt e_i, cad les estimateurs de E_i dans la formule
>de ô²?

Tout à fait, quelle grossière erreur j'ai fait là, pardonnez moi.



>De mémoire, on considère d'abord, "naïvement" l'estimateur où l'on
>divise par n,mais, en calculant son espérance, on s'a perçoit qu'il
>n'est pas sans biais (bref l'espérance de l'estimateur de la variance
>n'est pas la variance). Du coup, on corrige l'estimateur de façon à
>obtenir un estimateur sans biais donc plus agréable.

Ok, comme pour le cas bivarié en fait. Existe-il un lien vers une
démonstration du cas multivarié?

>En gros, considérer des vecteurs de taille p nous oblige à diminuer le
>nombre de degré de liberté.
[color=green]
>> Par ailleurs, à quoi sert de connaître la variance des résidus? Est-ce[/color]
utile[color=green]
>> pour justifier l'utilisation du modèle?[/color]

>Oui. En gros, dans ce modèle, on connaît un estimateur B_chapeau qui
>donne des estimateurs e_i de E_i. Cependant, pour connaître la loi et
>les convergences de ces estimateurs, il nous faut calculer leur
>variance, qui n'est autre que la variance des E_i.

Comment celà se fait-il?

>Or elle est inconnue,
>donc on l'estime par la formule précédente.


>En gros, grâce à cette formule, on peut estimer la loi asymptotique d'un
>estimateur et construire des intervalles de confiance pour notre
>estimateur ce qui est souvent le but final de notre méthode.
[color=green]
>> Merci de votre aide.[/color]
bis

>De rien.

>--
>Denis
>
>Pour me joindre, enlever les _ !

>Nous sommes esclaves des lois pour pouvoir être libre.
>-Ciceron

[Anonyme]

Le 03/10/04 15:04 , Catilina a exprimé son opinion en les termes suivants:
[color=green]
>>"Denis" a écrit
>> dans le message de news: cjnflo$36d$1@lucas.loria...
>>De mémoire, on considère d'abord, "naïvement" l'estimateur où l'on
>>divise par n,mais, en calculant son espérance, on s'a perçoit qu'il
>>n'est pas sans biais (bref l'espérance de l'estimateur de la variance
>>n'est pas la variance). Du coup, on corrige l'estimateur de façon à
>>obtenir un estimateur sans biais donc plus agréable.
>
>
> Ok, comme pour le cas bivarié en fait. Existe-il un lien vers une
> démonstration du cas multivarié?[/color]

Comme l'indique mon "de mémoire", j'ai vu ça dans un cours
d'économétrie, dans lequelle on nous avait donné un poly non publié....
Je n'ai donc pas de références.... Mais je pense que le calcul est
exactement le même que dans le cas bivarié sauf qu'on s'occupe de
vecteurs et que les variances sont des matrices....
[color=green]
>>Oui. En gros, dans ce modèle, on connaît un estimateur B_chapeau qui
>>donne des estimateurs e_i de E_i. Cependant, pour connaître la loi et
>>les convergences de ces estimateurs, il nous faut calculer leur
>>variance, qui n'est autre que la variance des E_i.
>
>
> Comment celà se fait-il?[/color]

Car dans ce type de modèle, soit on considère les X_{i,j} déterministes,
soit on cherche à expliquer les Y_i par les X_{i,j}, donc dans tous les
cas on cherche la loi de Y connaissant celle de X, donc, "en espérance"
esp(X*B)=X*B et la variance de Z+a avec a déterministe est la même que
celle de Z. Ici Z=E. Suis-je clair? 8-(
[color=green][color=darkred]
>>>Merci de votre aide.[/color]
>
> bis[/color]

De rien².

--
Denis

Pour me joindre, enlever les _ !

Vieillir est un luxe de jeune et une manie de vieux.

[Anonyme]

"Denis" a écrit dans
le message de news: cjp2j5$949$1@lucas.loria...
Le 03/10/04 15:04 , Catilina a exprimé son opinion en les termes suivants:
[color=green]
>>"Denis" a écrit
>> dans le message de news: cjnflo$36d$1@lucas.loria...
>>De mémoire, on considère d'abord, "naïvement" l'estimateur où l'on
>>divise par n,mais, en calculant son espérance, on s'a perçoit qu'il
>>n'est pas sans biais (bref l'espérance de l'estimateur de la variance
>>n'est pas la variance). Du coup, on corrige l'estimateur de façon à
>>obtenir un estimateur sans biais donc plus agréable.
>
>
> Ok, comme pour le cas bivarié en fait. Existe-il un lien vers une
> démonstration du cas multivarié?[/color]

Comme l'indique mon "de mémoire", j'ai vu ça dans un cours
d'économétrie, dans lequelle on nous avait donné un poly non publié....
Je n'ai donc pas de références.... Mais je pense que le calcul est
exactement le même que dans le cas bivarié sauf qu'on s'occupe de
vecteurs et que les variances sont des matrices....
[color=green]
>>Oui. En gros, dans ce modèle, on connaît un estimateur B_chapeau qui
>>donne des estimateurs e_i de E_i. Cependant, pour connaître la loi et
>>les convergences de ces estimateurs, il nous faut calculer leur
>>variance, qui n'est autre que la variance des E_i.
>
>
> Comment celà se fait-il?[/color]

Car dans ce type de modèle, soit on considère les X_{i,j} déterministes,
soit on cherche à expliquer les Y_i par les X_{i,j}, donc dans tous les
cas on cherche la loi de Y connaissant celle de X, donc, "en espérance"
esp(X*B)=X*B et la variance de Z+a avec a déterministe est la même que
celle de Z. Ici Z=E. Suis-je clair? 8-(

oui. Merci.

Jean Dufac.