La régression linéaire multiple

Résumé du document

Cherche à expliquer le comportement d'une variable quantitative Y en utilisant un modèle basé sur p variables quelconques X1, X2,…, Xp.

Buts :

1) Comprendre comment et dans quelles mesures les variables X influencent Y.

2) Prévision : développer un modèle pour prévoir des valeurs de Y futures à partir des variables X.

3) À la fois 1) et 2).

Le modèle de régression linéaire et ses ramifications sont les modèles les plus utilisés en pratique. Les idées générales qui seront présentées ici seront toujours valides dans à peu près tous les contextes de modélisation d'une variable Y (c'est seulement la structure des modèles qui changent).

• Régression linéaire multiple : Y est quantitative

cas particulier : analyse de la variance (ANOVA)

Ramifications :

• Régression logistique : Y est binaire.

• Régression multinomiale (par exemple « multinomial logit model ») : Y est qualitative.

• Régression ordinale (par exemple « proportional odds model ») : Y est ordinale.

• Modèle autorégressif (série chronologique): observe une variable Y à travers le temps et on la modélise en utilisant les valeurs passées.

• Régression linéaire multidimensionnelle (cas particulier : MANOVA).

• Modèles non-linéaires (mènent aux réseaux de neurones).

• Régression non-paramétriques et méthodes de lissage (« smoothing »).

• Modèles à équations structurales (SEM).

Extraits

[...] Exemple 1 (suite) : nous allons utiliser seulement X1 (budget publicitaire) dans un 1er temps pour expliquer Y (profit). Coefficient de corrélation entre X1 et Y = 0,515. Estimation de la droite de régression (droite des moindres carrées) : On dispose de n observations sur X et Y : Modèle postulé : ; où sont des variables aléatoires indépendantes de moyennes 0 et de variance Ce modèle compte 3 paramètres et , que l'on va estimer. Note : variable explicative fixe ou aléatoire. [...]

[...] Régression linéaire simple On dispose d'observations sur 2 variables X et Y. On suppose que la relation entre X et Y peut être approchée par une droite. Modèle : Y = variable dépendante outcome variable expliquée) X = variable indépendante (prédicteur, variable explicative, régresseur) = ordonnée à l'origine du modèle = pente du modèle (effet de la variable = terme d'erreur. Vient modéliser le fait qu'il n'y a pas de relation exacte entre X et Y. Première chose à faire : inspecter diagramme de dispersion de X et Y. [...]

[...] tableau lien avec les . Remarque : . 1ère utilisation : estimation de la variance conditionnelle de Y ) = = SSE/(n-2)=MSE exemple 1 : (suite) = 4077,5 et = 63,86 Cette estimation est ensuite utilisée dans la construction d'intervalles de confiance (et de prévisions) pour les paramètres du modèle ainsi que pour faire des tests d'hypothèses comme on le verra à l'instant. Propriétés des estimateurs Si le modèle est bien spécifié et sont des estimateurs sans biais de leurs paramètres respectifs. [...]

[...] Régression linéaire multiple On dispose d'observations sur p+1 variables X1, X Xp et Y. Modèle : Dispose de n observations sur ces variables : où = valeur de la jème variable pour la ième observation et où = valeur de Y pour la ième observation. Le modèle postulé est : ; où sont des variables aléatoires indépendantes de moyennes 0 et de variance Ce modèle compte p+2 paramètres et , que l'on va estimer. tableau retour sur la méthodes des moindres carrés Exemple 1 : (suite) On veut utiliser X2 (=qualité de l'emplacement) en plus de X1 pour développer un modèle. [...]

[...] Le mesure la force de la relation linéaire entre X et Y. Il peut aussi être interprété comme étant la proportion de la variation de Y expliquée par X. tableau explication en terme de modèles ajustés et visualisation SAS/INSIGHT. Exemple 1 (suite) : = 0,2648 (1996734 -1467901)/1996734) Remarques : = carré du coefficient de corrélation (de l'échantillon) entre X et Y = carré du coefficient de corrélation (de l'échantillon) entre les valeurs prédites et Y Plus le grand, plus il existe une relation linéaire forte entre X et Y Résidus Une fois qu'on a ajusté un modèle, on peut calculer les résidus ; Le ième résidu est l'erreur commise lorsqu'on utilise le modèle ajusté pour prévoir la ième observation. [...]