Machine Learning : Classification bayésienne

Thèmes abordés

Machine Learning, théorème de Bayes, classification bayésienne, classification probabiliste, classification de textes, probabilité conditionnelle, attribut numérique, hypothèse d'indépendance, distribution normale, densité de probabilité, discrétisation, classification naïve bayésienne, probabilité individuelle, probabilité naïve

Résumé du document

La classification bayésienne est une technique de classification probabiliste basée sur le théorème de Bayes, largement utilisée dans la classification des textes. Cette classification permet d'estimer l'étiquette de classe la plus probable pour un objet donné. Cette présentation explique cette notion de classification bayésienne.

Extraits

[...] Exemple: Calculez la probabilité P pour toutes les valeurs de C en utilisant le théorème de Bayes. P est le même pour toutes les classes. Ainsi, il suffit d'estimer P et P Choisissez la valeur de C qui maximise P X). [...]

[...] 𝑃 𝑋𝐶 𝑃 𝐶 𝑋 𝑃(𝐶) 𝑃( = 𝑋) Utile dans les situations où P est inconnu tandis que P , P et P sont connus ou faciles à estimer.  Probabilité antérieure de l'événement nous jouons au golf dans 70% des cas: P = 0,7  Probabilité postérieure de l'événement il y a du vent et de la pluie P = 0,2  Probabilité d'événement C sachant L'enregistrement X 𝑃 𝑋 Probabilité conditionnelle de X sachant C 𝑃 𝑋𝐶 𝐶 𝑃(𝐶) 𝑃( = 𝑋) La probabilité à priori de la classe C La probabilité à priori de X L'enregistrement X Probabilité conditionnelle de X La probabilité a priori de la classe C 1. [...]

[...] Parce que la classification ne nécessite pas une estimation précise de la probabilité tant que la probabilité maximale est attribuée à la classe correcte Caractéristiques du classifieur bayésien naïf  Robuste aux points de bruit isolés car ils seront moyennés  Ajouter trop d'attributs redondants peut poser des problèmes  Solution: sélectionnez un sous-ensemble d'attributs car la classification naïve bayésienne fonctionne souvent mieux avec seulement un sous-ensemble d'attributs.  Avantages techniques  L'apprentissage n'est pas coûteux en calcul car les probabilités peuvent être estimées en un seul passage sur les données d'apprentissage. [...]

[...] froide Elevée Oui ? Vraisemblance de la classe “Oui” = 3/9 x 3/9 x 3/9 x 9/14 = 0.0238 Vraisemblance de la classe “Non” = 1/5 x 4/5 x 3/5 x 5/14 = 0.0343  P(“Oui”) = 0.0238 / (0.0238 + 0.0343) = 41%  P(“Non”) = 0.0343 / (0.0238 + 0.0343) = 59%  Que faire si une valeur d'attribut ne se produit pas avec chaque valeur de classe  Exemple : “Ciel = Nuageux” pour la classe “Non”) P(Ciel=Nuageux Non) =05 = 0 La probabilité conditionnelle est nulle : Problème: la probabilité postérieure sera également nulle Peu importe la probabilité des autres valeurs d'attrbuts P(Non Ciel Oui Non Ensoleillé Nuageux Pluvieux Ensoleillé 2/9 3/5 Nuageux 4/9 0/5 pluvieux 3/9 2/5 Solution : ajoutez 1 au nombre d'élements pour chaque attribut (Laplace Estimator) Résultat: les probabilités ne seront jamais nulles 𝑃 𝑥𝑖 𝐶 � � 𝑁𝑖 𝑐 = 𝑐 devient : 𝑁𝑖 𝑐 + 𝑃 𝑥 𝐶 1 où 𝑉𝑖 est le nombre de valeurs de l'attribut 𝑖 𝑁� + xi � 𝑉𝑖 = Ciel Oui Non Ensoleillé Nuageux Pluvieux Ensoleillé 3/12 4/8 Nuageux 5/12 1/8 pluvieux 4/12 3/8 Caractéristiques du classifieur bayésien naïf Le classifieur bayésien naïf fonctionne étonnamment bien pour de nombreuses tâches de classification  même si l'hypothèse d'indépendance est clairement non respectée  Pourquoi? [...]

[...] Machine Learning : Classification Bayésienne Machine Learning Classification bayésienne Plan Définition Théorème de Bayes Application du théorème de Bayes pour faire la classification Gestion de quelques types d'attributs Technique de classification probabiliste basée sur le théorème de Bayes largement utilisée dans la classification des textes  Objectif: Estimer l'étiquette de classe la plus probable pour un objet donné.  Formulation probabiliste de la tâche de classification: Considérer chaque attribut et étiquette de classe comme des variables aléatoires Etant donné un objet avec les attributs (𝑥1, 𝑥 𝑥𝑛 le but est de trouver la classe C qui maximise la probabilité conditionnelle : 𝑃(𝐶 𝑥1, 𝑥 𝑥𝑛 ) = 𝑃(𝐶 𝑋) Exemple: Devrions-nous jouer au golf? [...]