Modèle de régression linéaire multiple

Thèmes abordés

Régression linéaire multiple, variable dépendante, variables indépendantes, paramètres, variance, sélection des variables

Résumé du document

Le modèle de régression multiple permet de décrire la liaison entre une variable dépendante (à expliquer) Y et un ensemble de variables indépendantes (explicatives) X1,X2, . . . ,Xk. Sa forme générale est
Y = b0 +b1X1 +b2X2 +. . .+bkXk +ℇ,
où b0, b1, . . . , bk sont les paramètres du modèle et ℇ est l'erreur vérifiant
les hypothèses décrites dans la partie "régression simple". Sa variance est
var(ℇ) = ơ2.
Pour un individu i = 1, . . . , n, le modèle s'écrit
Yi = b0 +b1X1i +b2X2i +. . .+bkXki +ℇi.
Ici, X1i est le ième observation de la variable X1. Et ainsi de suite, jusqu'à Xki est le ième observation de la variable Xk.

Extraits

[...] Analyse de la variance Analyse des sources de variabilit´ e La formule de d´composition de la variance pr´sent´e en “r´gression e e e e simple” s'applique en “r´gression multiple”. e Pour i = on a ˆ ˆ Yi Y = ( Yi Y ) + ( Yi Yi ) , Ainsi ( Yi Y ) 2 = SCT n i=1 i=1 ˆ ˆ ( Yi Y ) 2 + ( Yi Yi ) i=1 SCR SCE n n C'est la formule de d´composition de la variance. [...]

[...] Intervalle de pr´vision de Yi e La valeur estim´e par le mod`le de Yi est e e ˆ ˆ ˆ ˆ Yi = b0 + b1 X1i + . + bk Xki . L'intervalle de pr´vision de Yi pour les valeurs X1i , X2i Xki est e ˆ ˆ [Yi t1−α/2 .s(ei Yi + t1−α/2 .s(ei lici uici avec s2 (ei ) = CME . + hi 14 / 24 VI. S´lection des variables e On rencontre parfois des situations dans lesquelles on dispose de trop de variables explicatives. [...]

[...] Xkn b0 ε1 . . b = . ε = . . bk εn ˆ On montre que l'estimteur b de b est le vecteur ˆ b0 . ˆ b = ( X X ) ( X Y ) = . . ˆ bk La notation X d´signe la transpos´e de la matrice X. e e 4 / 24 II. [...]

[...] le e 2 s'appelle le “coefficient de corr´lation muliple”. Sa racine carr´e R = R e e Remarque : Parfois, on pr´f`re utiliser le R2 -ajust´ qui permet de tenir en ee e compte du nombre d'observations et du nombre de variables explicatives. Il est donn´ par la formule suivante : e R2 ajust´ = 1 e ( 1 R2 ) . 11 / 24 IV. (suite) Test d'hypoth`se global e On veut tester si la r´gression est significative dans son ensemble e (globalement) : H0 : b1 = b2 = . [...]

[...] (suite) Cas d'invalidit´ des hypoth`ses d'une r´gression e e e En cas d'invalidation, l'analyse graphique des r´sidus donne une id´e des e e pistes ` explorer pour rem´dier aux probl`mes. a e e Quelques rem`des en cas d'h´t´rosc´dasticit´ : e e e e e Transformer Y ou Xj par une fonction racine carr´e, ou Log, ou carr´, e e pour aplatir les variances. Utiliser une r´gression pond´r´e en prenant comme poids 1 e ee si la f (Xj ) variance σ 2 est une fonction connue f de Xj . Appliquer les moindres carr´s g´n´ralis´s. [...]