LLF – Bât. ODG – 5e étage – Salle du conseil (533)
Guillaume Wisniewski (LLF)
Sonder les représentations neuronales pour (essayer de) mieux comprendre les langues
L'introduction récente d'une nouvelle architecture computationnelle, le modèle Transformer, a permis d'obtenir des améliorations spectaculaires et inattendues (voire inespérées) dans de nombreuses applications de traitement automatique des langues comme la traduction automatique, les systèmes de dialogues et d'aide à la rédaction: la presse grand public a même récemment parlé de début d'une « nouvelle ère » après la présentation du dernier modèle à base de Transformer, ChatGPT (Le Monde, 21/01/2023) . Le succès de cette architecture résulte principalement de sa capacité à faire émerger automatiquement et de manière non supervisée (c.-à-d. sans utiliser aucune annotation « humaine ») des représentations des unités linguistiques.
L'objectif de cet exposé est de montrer que, derrière son succès technologique, le modèle Transformer soulève de nombreuses questions scientifiques liées notamment à l'interprétation des représentations de la langue construites automatiquement par les réseaux de neurones. Après avoir donné un aperçu du fonctionnement des Transformer et des différentes approches explorées aujourd'hui (notamment au LLF) pour mieux comprendre leur fonctionnement, nous essayerons de montrer comment l'étude de ce modèle peut apporter un nouveau regard sur des questions de linguistiques.