L'utilisation des machines à vecteurs de support SVM pour la reconnaissance des chiffres manuscrits

Résumé du document

Dans ce travail, nous nous intéressons à une nouvelle méthode d'apprentissage et de classification basée sur la théorie de l'apprentissage artificiel de Vapnik. Cette méthode appelée les Machines à Vecteurs de Support (SVMs pour Support Vector Machines) a été adaptée et appliquée au problème de la reconnaissance des chiffres manuscrits. L'avantage des SVMs est qu'un nombre restreint d'échantillon suffit à la détermination des vecteurs de support (SVs) permettant la discrimination entre les classes contrairement à l'estimation statistique. Les résultats obtenus sur des images de la base USPS sont satisfaisants et très encourageants.

Extraits

[...] En plus, dans cette reformulation du problème, seules les données d'apprentissage apparaissent sous forme de produit scalaire. Ainsi, on introduit des multiplieurs αi positifs, i = 1,K , l dans ( 2.4 Les contraintes dans ( 2.4 ) sont multipliées par les α i et sont ensuite soustraites de w pour former le Lagrangien ( 2.5 ) ( 2.6 ) Lp = Lp est appelé lagrangien primal. l l w α i y i ( xi w + b ) + α i 2 i i ( 2.7 ) On doit minimiser le Lagrangien par rapport à w et simultanément exiger que ses dérivées par rapport à tous les multiplieurs du Lagrangien α i disparaissent. [...]

[...] S'il y a un bon apprentissage, le réseau répond ax+b pour toute valeur de x présentée. S'il y a surapprentissage, le réseau répond un peu plus que chaque couple ou un peu moins, car positionné en dehors de la droite va influencer la décision. 8 Chapitre1 Reconnaissance des Chiffres Manuscrits Support Vecteur Machine (Machines à Vecteur de Support) : Les réseaux de neurones éprouvent de grandes difficultés à traiter les données de très haute dimension, de plus, ils possèdent un grand nombre de paramètres d'apprentissage à fixer par l'utilisateur. [...]

[...] Sous certaines circonstances inusuelles, η n'est pas négatif. Alors, SMO évalue (max LD ) aux deux points de fin du segment. (Voir figure 2.5 ) Choix des deux multiplieurs du Lagrangien L'algorithme SMO est basé sur l'évaluation des conditions de KKT. Quand tous les multiplieurs vérifient ces conditions, l'algorithme s'arrête. En pratique ces conditions sont vérifiées à une erreur près ε. Choix du premier multiplieur D'abord, la boucle externe de l'algorithme effectue une itération sur toute la base d'entraînement pour vérifier s'il existe des exemples qui violent les conditions de KKT. [...]

[...] new,clipped new old old b2 = E 2 + b old + y1 α1 + y 2 2 α 2 22 ( 2.64 ) 25 Chapitre2 x2 Machines à vecteurs de support (SVMs) τ λ δ θ 0 1 α i = C [...]

[...] On définit E i comme étant l'erreur sur l'ieme exemple d'apprentissage, soit : Ei = u i yi Où u i est la sortie fournie par le SVM à l'exemple (xi , yi ) . ( 2.53 ) u1 = y jα j k1 j b j l ( 2.54 ) On trouve : ν 1 = u1 + b y 2α 2 k12 sy 2α1k11 Similairement, ( 2.55 ) ν 2 = u 2 + b y1α1k12 y 2α 2 k 22 est nulle. [...]