La régression linéaire multiple: prédire les valeurs d’une variable continue

Thèmes abordés

Régression linéaire multiple, variable continue, modèle linéaire, inférence statistique, coéfficients, intervalle de prédiction

Résumé du document

La démarche de modélisation est toujours la même:
- Estimer les paramètres « a » en exploitant les données,
- Evaluer la précision de ces estimateurs (biais, variance, convergence),
- Mesurer le pouvoir explicatif global du modèle,
- Evaluer l'influence des variables dans le modèle,
- Globalement (toutes les p variables),
- Individuellement (chaque variable),
- Un bloc de variables (q variables, q ≤ p) [c'est une généralisation],
- Sélectionner les variables les plus « pertinentes »,
- Evaluer la qualité du modèle lors de la prédiction (intervalle de prédiction),
- Détecter les observations qui peuvent fausser ou influencer exagérément les résultats (points atypiques).

Extraits

[...] ^ H 0 : a1 = a 2 = L = a p = 0 H 1 : / a j 0 z h ^ SCE R2 CME p p F = = = 2 SCR CMR p 1 R p ( ) Z , F Fisher ( p , n p coef. [...]

[...] Noter la colonne représentant la constante xij x1 p a0 ε 1 a1 xip + ε i xnp a p ε n Y = Xa + ε = p + ( p + + Bien noter les dimensions des matrices Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 7 La méthode des moindres carrés Valeur observée yi ˆ yi ei Valeur fournie par le modèle xi La méthode des moindres carrés cherche la meilleure estimation des paramètres a en minimisant la quantité S = ei i 2 ˆ avec ei = Y Xa ε 8 e l 'erreur observée (le résidu) est une évaluation du terme d'erreur Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC Les hypothèses de la méthode des MCO â deviennent les EMCO (estimateurs des moindres carrés ordinaires) Hypothèses probabilistes (hypothèses stochastiques) les X sont observés sans erreur (non aléatoires) E(ε) = en moyenne le modèle est bien spécifié E(ε2)= σ2ε la variance de l 'erreur est constante (homoscédasticité) E(εi, εj)=0, les erreurs sont non-corrélées (non-autocorrélation des erreurs) Cov(ε,x)=0, l 'erreur est indépendante des variables explicatives ε Normale(0, σε ) Hypothèses structurelles Rang(X 'X) = p+1 c.-à-d. [...]

[...] Var-covar des coefficients - 1.26324 - 0.60803 - 9.03960 - 0.02055 - 0.93908 0.39900 - 6.71991 - 0.01528 - constante tar nicotine weight sigma(epsilon) 1.159826222 DROITEREG weight coef ecart-type nicotine tar constante - 20 26.9039373 - 1.26324 0.53673 - 9.03960 - 0.02055 - Ecart-types des coefficients constante tar nicotine weight Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 17 Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 18 Distribution de â W ε N ( σ ε ) ˆ aj N σ aˆ j ˆ σ ε2 p 2 χ 2 p σε Z d ˆ σ aˆ2 ˆ σ ε2 p 2 = p 2 σε σ aˆ j j ˆ aj aj ℑ p ˆ σ aˆ j > ^ d y , K d W , z / Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 19 Exemple des cigarettes ˆ aj ˆ σ aˆ coef. [...]

[...] Var-covar des coefficients constante tar nicotine weight - 1.26324 0.60803 - 0.02055 - 1.26324 0.53673 - 9.03960 - 0.02055 - Ωa1 ) ˆ(q 10.57766 0.53673 ^ 0.51847 0 ˆ 0.51847 0 ˆ ˆ Ωa = 0.23274 a(q ) c(q ) ' Ωa1q ) q ) q ) = ˆ( ˆ q 2 2.07934 0 ( q ) 2.07934 0 [ ] [ ] & F1−α ( q , n p = F 0.95 ( ) = > Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 29 Test de q contraintes linéaires sur les coefficients Peut être utilisé pour comparer des coefficients d Z H 0 : Ra = r H 1 : Ra r ˆ ˆ (Ra X ' X (Ra q SCR n p [ ] ^ Z , F Fisher , n p F F1−α ( q , n p > > Z Z = ( L = Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC L L = r = M M L 30 Exemple Cigarettes Tester l'égalité des coefficients de TAR et NICOTINE H 0 : a tar = a nicotine 0 : 0 a constante + 1 a tar 1 a nicotine + 0 a weight = 0 H 1 : a tar a nicotine = ( = ^ ˆ ˆ (Ra X ' X (Ra q SCR n p ( 0.3691 8.7957 ] ( 0.3691 = = = [ ] - constante tar nicotine weight - 0.93908 - 6.71991 0.45200 0.01528 - 0.39900 - 6.71991 - 0.01528 - & F1−α ( q , n p = F 0.95 ( ) = > Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 31 Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 32 Prédiction E Prédiction ponctuelle et intervalle de prédiction X = xi L x i p ) W ˆ ˆ ˆ ˆ ˆ y i * = y ( x ) = a 0 + a1 x i + L + a p x i p ˆ = X a W ˆ E ( y ) = y ˆ ˆ E (ε ) = E ( y y ) = 0 ˆˆ ˆ 1 σ ε2 = σ ε2 [ + X ( X ' X ) X ˆ εˆi* y y = ℑ ( n p ˆ ˆ σ εˆ σ εˆ ˆ ˆ y t1−α 2 σ εˆi* Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 33 Prédiction Exemple cigarettes constante TAR Prédiction ponctuelle et intervalle de prédiction NICOTINE WEIGHT CO - n p ddl sigma²(epsilon) 0.93908 - 0.45200 - 6.71991 - 0.01528 - 0.93908 0.39900 - 6.71991 - 0.01528 - constante tar nicotine weight sigma(epsilon) 1.15983 X (à prédire) Pred. [...]

[...] ecart-type weight DROITEREG nicotine tar constante - F F1−α ( p , n p Source de variation Modèle Résiduelle Totale F Tableau d'analyse de variance Somme des carrés Degrés de liberté Carrés moyens Rejet de H0 F = = ddl1 ddl2 F-théorique Conclusion Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 25 Diagnostic graphique Evaluer la qualité de la prédiction Détecter les cas pathologiques z Z z z z z z > Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 26 Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 27 Test de conformité Peut être utilisé pour tester la nullité simultanée de plusieurs coefficients d a1 c1 H : a2 = c2 a = c 0 M M H 1 : / a j c j h ^ Z , 1 ˆˆ ˆ ˆ ' Ω−1q) q [ ] [ ] F Fisher , n p F F1−α ( q , n p > Équipe de recherche en Ingénierie des Connaissances Laboratoire ERIC 28 Exemple Cigarettes Tester la nullité simultanée des coefficients de WEIGHT et NICOTINE (qui individuellement ne sont pas significatives ) - 0.55170 constante 0.88758 tar 0.51847 nicotine 2.07934 weight a nicotine 0 0 : weight 0 H : / a c j j 1 ˆ q ) = Mat. [...]