Traitement automatique du langage naturel

Le Traitement automatique du langage naturel ou de la langue naturelle (abr. TALN) ou des langues (abr. TAL) est une discipline à la frontière de la linguistique, de l'informatique et de l'intelligence artificielle, qui concerne l'application de programmes et techniques informatiques à tous les aspects du langage humain^[1]. En tant que tel, le TAL ou TALN appartient à l'ingénierie linguistique.

Histoire

L'histoire du TAL commence dans les années 50, bien que l'on puisse trouver des travaux antérieurs. En 1950, Alan Turing éditait un article célèbre sous le titre "Computing Machinery and Intelligence"^[2] qui propose ce qu'on appelle à présent le test de Turing comme critère d'intelligence. Ce critère dépend de la capacité d'un programme informatique de personnifier un humain dans une conversation écrite en temps réel, de façon suffisamment convaincante que l'interlocuteur humain ne peut distinguer sûrement - sur la base du seul contenu de la conversation - s'il interagit avec un programme ou avec un autre vrai humain. L'expérience de Georgetown en 1954 comportait la traduction complètement automatique de plus de soixante phrases russes en anglais. Les auteurs prétendaient que dans un délai de trois ou cinq ans, la traduction automatique ne serait plus un problème^[3].

Pendant les années 60, SHRDLU, un système de langage naturel appelé "blocks world" dont la base était des vocabulaires relativement restreints, fonctionnait extrêmement bien, invitant les chercheurs à l'optimisme. Cependant, le progrès réel était beaucoup plus lent, et après le rapport ALPAC (en) de 1966, qui constatait qu'en dix ans de recherches les buts n'avaient pas été atteints, l'ambition s'est considérablement réduite.

ELIZA était une simulation à la manière de la psychothérapie rogérienne, écrite par Joseph Weizenbaum entre 1964 à 1966. N'employant presque aucune information sur la pensée ou l'émotion humaine, ELIZA parvenait parfois à offrir un semblant stupéfiant d'interaction humaine. Quand le « patient » dépassait la base de connaissances (par ailleurs très petite), ELIZA pouvait fournir une réponse générique, par exemple, en réponse à « J'ai mal à la tête» dire « Comment cela se manifeste-t-il ? ».

Pendant les années 70 beaucoup de programmeurs ont commencé à écrire des "ontologies conceptuelles", dont le but était de structurer l'information en données compréhensibles par l'ordinateur. C'est le cas de MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), SCRUPULE (Lehnert, 1977), Politics (Carbonell, 1979), Plot Units (Lehnert 1981).

Pendant ce temps, beaucoup de chatterbots à la manière d'ELIZA ont été écrits comme PARADE, Racter, et Jabberwacky. Dès les années 80, à mesure que la puissance informatique augmentait et devenait moins chère, les modèles statistiques pour la traduction automatique ont reçu de plus en plus d'intérêt.

TAL statistique

Les utilisations statistiques du traitement du langage naturel reposent sur des méthodes stochastiques, probabilistes ou simplement statistiques pour résoudre certaines difficultés discutées ci-dessus, particulièrement celles qui surviennent du fait que les phrases très longues sont fortement ambiguës une fois traitées avec des grammaires réalistes, autorisant des milliers ou des millions d'analyses possibles. Les méthodes de désambiguïsation comportent souvent l'utilisation de corpus et d'outils de formalisation comme les modèles de Markov. Le TAL statistique comporte toutes les approches quantitatives du traitement linguistique automatisé, y compris la modélisation, la théorie de l'information, et l'algèbre linéaire^[4]. La technologie pour TAL statistique vient principalement de l'apprentissage automatique et le data mining, tous deux en tant qu'ils impliquent l'apprentissage à partir des données venant de l'intelligence artificielle.

Les applications TAL

Parmi les applications les plus connues, on peut citer :

• la traduction automatique (historiquement la première application, dès les années 1950) ;
• la correction orthographique ;
• la recherche d'information et la fouille de textes ;
• le résumé automatique de texte ;
• la reconnaissance d'entités nommées ; étant donné un texte, déterminer les noms propres, tels que des personnes ou des endroits;
• la résolution d'anaphores;
• la génération automatique de textes ;
• la synthèse de la parole ;
• la reconnaissance vocale ;
• la détection de registre ;
• la classification et la catégorisation de documents ;
• la reconnaissance de l'écriture manuscrite ;
• les agents conversationnels.
• La reformulation^[5].
• Les agents virtuels

Voir aussi

Articles connexes

• Linguistique informatique
• Ingénierie linguistique
• Lexical markup framework (LMF), travaux de normalisation ISO des lexiques du TAL
• Modular Audio Recognition Framework (MARF)
• Simplification de textes (TS)

Liens externes

• Technolangue: le portail des technologies de la langue

Références

• Portail de l’informatique