Bagging and Boosting

Résumé du document

Problématique :
- Les Classifieurs peuvent ne pas être précis.
- Les Classifieurs ne sont pas toujours performants.
- Les Classifieurs peuvent être instables : si on modifie une données (ajout ou suppression d'instances ou d'attributs) on provoque des changements du modèle.

(...)

- C'est une méthode d'agrégation et d'optimisation des classifieurs.
- Stratégie aléatoire.
- Accronyme de : Bootstrap aggregation.
. "Bootstrap" est un ensemble de données obtenu en sélection au hasard avec remise n observations parmi les n observations de l'ensemble d'apprentissage.
. Certaines observations sont dupliquées alors que d'autres sont absentes.

(...)

- Créer x échantillons bootstrap.
- Obtenir x modèles relatifs à chaque échantillon.
- La classification d'une nouvelle instance : par vote majoritaire entre les résultats de chaque modèle.

(...)

- Soit K=3 (nombre d'ensemble construits).
- Soit n=15 (taille de BP).
- Soit le classifieur = Arbre de décision.
- Construire le 1er ensemble Base 1 (B1) à partir de la Base Principale (BP).
- Construire le 1ère Arbre de décision A1 relatif à B1.
. Refaire le même travail pour B2 et B3.
- Tester une nouvelle instance.
. La classe gagnante est le résultat du vote entre les trois classifieurs.

(...)

- Sélectionner BP.
- Appliquer un algorithme d'apprentissage A1 sur ces données.
-> Résultat : classifieur C1.
- Sélectionner n2 observations de manière judicieuse : 1/2 bien classées par C1 et 1/2 mal classées par C1.
- Appliquer A2 sur cet ensemble D2 de données.
-> Résultat : classifieur C2.
- Sélectionner n3 observations qui ne sont pas classées de la même manière par C1 et C2.
- Entraîner A3 sur cet ensemble D3.
-> Résultat : classifieur C3.
- Vote majoritaire(C1,C2,C3).

(...)

Extraits

[...] OUI OUI < number > Bagging – Vote Classification en utilisant A3 : Nombres de Portes OUI Alarme NON Portes Fermées OUI 4 Oui Non Non Oui Nombres de Portes OUI NON 2 Type de maison Alarme Portes Fermées Nombres de Porte Cambrioler appartement Non Non 2 ? OUI OUI < number > Bagging – Vote Conclusion Résultat de : A1 : ? [...]

[...] =OUI Vote (A1,A2,A3) = Vote(NON,OUI,OUI) = OUI < number > Boosting C'est une méthode d'agrégation et d'optimisation des classifieurs Stratégie adaptative Réunir un « comité d'experts » Chacun peut se tromper, mais en combinant les avis, on a plus de chance d'avoir la bonne prédiction < number > Boosting Contexte: Face à des exemples jugés dur Ensembles de classifieurs binaires ( –1) But: Améliorer la pertinence de la classification Trouver une hypothèse (règle de prédiction) qui classifie correctement des nouvelles instances < number > Boosting Basé sur 2 notions apprenant fort introduite par Valiant en 84 apprenant faible Valiant et Kearns en 89 < number > Apprenant faible : Algorithme qui fournit des classifieurs faibles ,c.a.d qui donne une hypothèse un peu plus meilleure que le hasard ( hypothèse : classifieur) Combiner les résultats des apprenants faibles qui seront équivalente au résultat d'un Apprenant fort. [...]

[...] . < number > Bagging & Boosting < number > Plan Introduction Boosting Bagging Conclusion < number > Introduction Problématique : Les classifieurs peuvent ne pas être précis Les classifieurs ne sont pas toujours performants Les classifieurs peuvent être instables : si on modifie une donnée (ajout ou suppression d'instances ou d'attributs) on provoque le modèle induit. [...]

[...] Type de maison Appartement Villa NON OUI Type de maison Alarme Portes Fermées Nombres de Porte Cambrioler appartement Non Non 2 ? NON NON < number > Bagging – Vote Classification en utilisant A2 : Nombres de Portes OUI Alarme NON Portes Fermées OUI 3 Oui Non Non Oui Type de maison OUI NON Appartement Villa Type de maison Alarme Portes Fermées Nombres de Porte Cambrioler appartement Non Non 2 ? [...]

[...] < number > Principe : Créer x échantillons bootstrap. Obtenir x modèles relatifs à chaque échantillon La classification d'une nouvelle instance : par vote majoritaire entre les résultats de chaque modèle. [...]