La régression linéaire et les problèmes de multicolinéarité

Résumé du document

Cours d'économétrie traitant de la régression linéaire et des problèmes de multicolinéarité. Il sera ici présenté comment détecter la multicolinéarité et comment y remédier (si nécessaire). Un document très complet d'une quarantaine de pages illustré par des exemples.

Extraits

[...] En général, cela faussera l'interprétation des paramètres estimés car l'effet du prédicteur enlevé sera rajouté aux autres qui sont impliqués dans la multicolinéarité. - Créer une nouvelle variable avec les prédicteurs impliqués dans la multicolinéarité. En faisant cela, on perd la possibilité d'estimer les effets des variables individuellement. - Utiliser la régression ridge. Peut importe la méthode utilisée, il est important de comprendre qu'il peut être très difficile (et même parfois impossible) d'isoler l'effet individuel d'un prédicteur lorsque ce dernier est impliqué dans la multicolinéarité. L'exemple suivant illustrera ce fait. [...]

[...] Mesures possibles pour remédier à la multicolinéarité : - Essayer d'obtenir des observations supplémentaires. Si la multicolinéarité est spécifique à l'échantillon (échantillon bizarre cela va possiblement briser le pattern de multicolinéarité. Par contre, il est plus probable que la multicolinéarité soit une caractéristique de la population. Si c'est le cas, les observations supplémentaires vont aussi refléter la même multicolinéarité et cela ne règlera pas le problème de multicolinéarité directement. Par contre, cela va améliorer la situation car les écart-types vont diminuer dû au fait d'avoir un plus grand échantillon. [...]

[...] Comme on le verra, X1, X2 et X3 sont impliqués dans un problème de multicolinéarité qui ne touche pas X4. Notre but est d'estimer l'effet des 4 variables le plus exactement possible (chaque paramètre est égal à 1). Utilisons seulement les 100 premières observations pour commencer : Modèle de régression ordinaire : The REG Procedure Model: MODEL1 Dependent Variable: Y y Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model Intercept Intercept 1 X1 x X2 x X3 x X4 x discussion, modèle sans la variable X3, examen de la trace ridge avec SAS/INSIGHT, choix de k. [...]

[...] Souvent, lorsqu'il y a multicolinéarité, certaines estimations des paramètres sont gonflées. Une façon de les forcer à diminuer est d'ajouter une pénalité sur leurs tailles dans le critère a minimiser. L'estimateur ridge minimise : Notes : - Les prédicteurs sont standardisés (moyenne=0 et écart-type=1) au départ. - Le paramètre k sert à calibrer le terme de pénalité. Plus il est grand, plus les estimations auront tendance à rétrécir (l'estimateur ridge est un shrinkage estimator»). - k=0 correspond à OLS. Lorsque k , 0 pour ,p. [...]

[...] La régression linéaire et les problèmes de multicolinéarité Influence Quelquefois, une (ou un petit groupe d'observations) a un grand effet sur l'estimation des paramètres. On dira qu'une observation est influente si l'interprétation du modèle ajusté varie grandement selon qu'elle est utilisée ou non dans l'analyse. Il est important de détecter ces observations car elles peuvent potentiellement changer les conclusions tirées d'une analyse. Il peut être assez difficile de détecter les valeurs influentes lorsqu'il y a un grand nombre de prédicteurs (tout comme il est difficile de détecter les valeurs extrêmes en haute dimension). [...]