Les méthodes d’optimisation et les réseaux de neurones de type « Levenberg-Marquardt »

Résumé du document

Les progrès réalisés en matière de résolution ont vitalisé l'intérêt porté aux méthodes d'optimisation numérique de systèmes de plus en plus complexes. Par exemple, l'application des méthodes d'optimisation aux réseaux de neurones est une technique désormais couramment abordée par voie numérique dans l'industrie. Dans ce travail, nous nous intéressons à l'application d'une méthode d'optimisation de type « Levenberg-Marquardt » aux réseaux de neurones.
Nous tenons à citer au passage deux types de méthodes d'optimisation :
- Les méthodes probabilistes à savoir : Les algorithmes évolutionnaires (par exemple les algorithmes génétiques) qui sont des méthodes de résolution des problèmes qui copient de façon extrêmement simplifiée certains aspects de l'évolution naturelle. Ce sont des outils d'optimisation très robustes, efficaces lorsque les fonctions à optimiser sont fortement irrégulières, et dépendantes de paramètres variés en nature et en type. Ils sont actuellement largement employés dans des domaines d'applications extrêmement variés. Les développements visés concernent un domaine assez largement expérimenté et pour lequel il semble qu'une approche évolutionnaire permettra une avancée des domaines classiques comme la thermique, la mécanique industrielle, l'électronique, l'imagerie médicale, l'hydrologie et aussi en environnement. Cependant, ces méthodes sont couteuses car elles nécessitent un temps de calcul important lorsqu'il s'agit de problèmes d'optimisations numériques lourds.

- Les méthodes de type gradients : à savoir les algorithmes classiques de gradient modernisés qui sont performants en vitesse de convergence asymptotique. Même s'ils sont délicats à mettre en oeuvre pour plusieurs raisons : ils s'accommodent mal des problèmes où les paramètres à optimiser sont de différents types (logiques, entiers, réels, fonctionnels).

Extraits

[...] L'objectif de ce travail est d'appliquer les réseaux de neurones pour la reconnaissance en utilisant la méthode de Levenberg-Marquardt. La première phase d'utilisation des réseaux de neurones est sa construction qui se déroule selon quatre étapes : 1. La construction de la structure du réseau La constitution d'une base de données de vecteurs représentant au mieux le domaine à modéliser. Celle-ci est scindée en deux parties : une partie servant à l'apprentissage du réseau (on parle de la base d'apprentissage) et une autre partie réservée aux tests (on parle de la base de test) Le paramétrage du réseau par apprentissage. [...]

[...] Les différents algorithmes cherchent donc à trouver le point, dans l'espace des paramètres, pour lequel la fonctionnelle coût est minimale Fonctionnelle coût des moindres carrées Pour un exemple i d'un ensemble d'observations E , la fonctionnelle coût des moindres carrés est égale à la somme, sur les Ns neurones de la couche de sortie des carrés des écarts entre la sortie du modèle (sortie du réseau de neurones ) et la sortie désirée (grandeur mesurée notée t). Comme la sortie du réseau de neurones dépend du vecteur de paramètres la fonction de coût en dépend également. On la note : Cette fonction dépend du vecteur des paramètres w et de l'ensemble d'exemples considérés. III. [...]

[...] : matrice des entrées, de dimension . 1 colonnes correspondant aux P variables descriptives du modèle, et N lignes représentant les N exemples W : vecteurs de dimension P des paramètres inconnus du modèle ( dans ce cas , P est égale au nombre de descripteurs ) . ω : vecteur du bruit, centré, non corrélé, de dimension normalement distribué ( de moyenne nulle et de variance σ2 III.2 Modèle non linéaire par rapport aux paramètres Un modèle non linéaire par rapport aux paramètres est défini pat l'équation suivante. [...]

[...] Jk-1 µk-1 est évalué avec une méthode de minimisation unidimensionnelle. A la première itération, la matrice M0 est égale à la matrice identité. III Méthode de Levenberg- Marquardt La méthode de Levenberg-Marquardt consiste à modifier les paramètres selon la relation suivante wk=wk-1-[Hk-1+λk-1.I]-1 Jk-1 avec I = Matrice Identité 12 Cette méthode est particulièrement astucieuse car elle s'adapte d'elle-même à la fois de la fonctionnelle coût. Elle effectue un compromis entre la direction du gradient et la direction donnée par la méthode de Newton. [...]

[...] les méthodes de type gradients : à savoir les algorithmes classiques de gradient modernisés qui sont performants en vitesse de convergence asymptotique. Même s'ils sont délicats à mettre en œuvre pour plusieurs raisons : ils s'accommodent mal des problèmes où les paramètres à optimiser sont de différents types (logiques, entiers, réels, fonctionnels). On distingue deux type de méthode du gradient, les méthodes du premier ordre et celles du deuxième 4 ordre. Les méthodes du premier ordre consistent à calculer uniquement le gradient de la fonctionnelle coût. [...]