Apprentissage des machines

L'apprentissage automatique (machine-learning en anglais) est un des champs d'étude de l'intelligence artificielle.

L'apprentissage automatique fait référence au développement, à l'analyse et à l'implémentation de méthodes qui permettent à une machine (au sens large) d'évoluer grâce à un processus d'apprentissage, et ainsi de remplir des tâches qu'il est difficile ou impossible de remplir par des moyens algorithmiques plus classiques.

Voici deux exemples d'applications de l'apprentissage automatique:

• On peut concevoir un système d'apprentissage automatique permettant à un robot, ayant la capacité de bouger ses membres mais ne sachant rien de la coordination des mouvements permettant la marche, d'apprendre à marcher. Le robot commencera par effectuer des mouvements aléatoires, puis, en privilégiant les mouvements lui permettant d'avancer, mettra peu à peu en place une marche de plus en plus efficace.
• La reconnaissance de caractères est une tâche complexe car deux caractères similaires ne sont jamais exactement égaux. On peut concevoir un système d'apprentissage automatique qui apprend à reconnaître des caractères en observant des exemples, c'est-à-dire des caractères connus.

Il est tentant de s'inspirer des êtres vivants pour concevoir des machines capables d'apprendre. Ainsi, même si l'apprentissage automatique est avant tout un sous-domaine de l'informatique, il est également intimement lié aux sciences cognitives, aux neurosciences, à la biologie et à la psychologie.

Types d'apprentissage

Les algorithmes d'apprentissage peuvent se catégoriser selon le type d'apprentissage qu'ils emploient:

• L'apprentissage supervisé : un expert (ou oracle) est employé pour étiqueter correctement des exemples. L'apprenant doit alors trouver ou approximer la fonction qui permet d'affecter la bonne étiquette à ces exemples. L'analyse discriminante linéaire ou les SVM sont des exemples typiques.
• L'apprentissage non-supervisé (ou classification automatique): Aucun expert n'est disponible. L'algorithme doit découvrir par lui-même la structure des données. Le clustering et les modèles de mélanges de gaussiennes sont des algorithmes d'apprentissage non supervisés.
• L'apprentissage par renforcement^[1] : l'algorithme apprend un comportement étant donné une observation. L'action de l'algorithme sur l'environnement produit une valeur de retour qui guide l'algorithme d'apprentissage. L'algorithme de Q-learning^[2] est un exemple classique.

Les algorithmes que l'on rencontre le plus souvent dans ce domaine sont :

• les machines à vecteur de support
• le boosting
• les réseaux de neurones^[3] pour un apprentissage supervisé ou non-supervisé
• la méthode des k plus proches voisins pour un apprentissage supervisé
• les arbres de décision^[4]
• les méthodes statistiques comme par exemple le modèle de mixture gaussienne
• la régression logistique
• l'analyse discriminante linéaire
• la logique floue
• les algorithmes génétiques^[5] et la programmation génétique

Ces méthodes sont souvent combinées pour obtenir diverses variantes d'apprentissage. L'utilisation de tel ou tel algorithme dépend fortement de la tâche à résoudre (classification, estimation de valeurs, etc.). L'apprentissage automatique est utilisé dans un spectre très large d'applications: moteur de recherche, aide au diagnostic, bio-informatique, détection de fraudes, analyse des marchés financiers, reconnaissance de la parole, de l'écriture manuscrite, analyse et indexation d'images et de vidéo, robotique...

Liens internes

• Théorème de Cox-Jaynes

Notes

Bibliographie

• (en) Bishop, C. M. (1995). Neural Networks for Pattern Recognition, Oxford University Press. (ISBN 0-19853-864-2)
• Richard O. Duda, Peter E. Hart, David G. Stork, Pattern classification, Wiley-interscience, 2001 (ISBN 0-471-05669-3)  [détail des éditions]
• Antoine Cornuéjols, Laurent Miclet, Yves Kodratoff, Apprentissage Artificiel : Concepts et algorithmes, Eyrolles, 2002 (ISBN 2-212-11020-0)  [détail des éditions]
• (en) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003 [détail des éditions]
• (en) Tom M. Mitchell, Machine Learning, 1997 [détail des éditions]
• Christopher M. Bishop, Pattern Recognition And Machine Learning, Springer, 2006 (ISBN 0-387-31073-8)  [détail des éditions]
• (en) Huang T.-M., Kecman V., Kopriva I. (2006), Kernel Based Algorithms for Mining Huge Data Sets, Supervised, Semi-supervised, and Unsupervised Learning, Springer-Verlag, Berlin, Heidelberg, 260 pp. 96 illus., Hardcover, (ISBN 3-54031-681-7)[1]
• (en) KECMAN Vojislav (2001), LEARNING AND SOFT COMPUTING, Support Vector Machines, Neural Networks and Fuzzy Logic Models, The MIT Press, Cambridge, MA, 608 pp., 268 illus., (ISBN 0-26211-255-8)[2]
• (en)Sholom Weiss and Casimir Kulikowski (1991). Computer Systems That Learn, Morgan Kaufmann. (ISBN 1-55860-065-5)

• Portail de l’informatique
• Portail des probabilités et des statistiques