Bingzhi Li

Docteurs récents

Enseignement

2020-2021 :     

- Bases programmation, CM niveau M1 
- Langages formels TD niveau M1 
- Projets TAL (L3)

2021-2022:

- Bases programmation, CM niveau M1 
- Langages formels et parsing TD niveau M1 
- Projets TAL (L3)

2022-2023:

- Projets TAL (L3) 

 

 

Thèse

Titre : Étude des capacités abstractives de modèles de langue neuronaux

Date de soutenance : 2023-11-28

Inscription : 2020 à Université Paris-Cité

Jury :

• Thierry POIBEAU, Université Sorbonne Nouvelle - CNRS, rapporteur
• François YVON,  Sorbonne Université - CNRS, rapporteur
• Barbara HEMFORTH, Université Paris Cité - CNRS, examiner
• Dieuwke HUPKES, Meta AI, examiner
• Benoît CRABBÉ, Université Paris Cité, thesis supervisor
• Guillaume WISNIEWSKI, Université Paris Cité, thesis supervisor.

Résumé :

Les théories linguistiques traditionnelles postulent que la compétence linguistique humaine est fondée sur des propriétés structurelles innées et des représentations symboliques. Cependant, les modèles de langue à base de Transformeurs excellent dans diverses tâches de TAL sans intégrer explicitement de tels prérequis linguistiques. Leur succès empirique remet en question ces hypothèses linguistiques établies et soulève des interrogations sur les mécanismes sous-jacents des modèles. Cette thèse vise à éclaircir si les Transformeurs se basent essentiellement sur la reconnaissance de motifs superficiels pour représenter des structures syntaxiques, ou s'ils sont capables d’abstraire implicitement des règles plus générales. Deux objectifs principaux guident cette recherche : i) évaluer le potentiel du modèle de langue Transformeur autoregressif comme outil explicatif du traitement syntaxique humain ; ii) améliorer l’interprétabilité du modèle. Nous abordons ces objectifs en examinant les abstractions syntaxiques des modèles Transformeur sur deux niveaux : leur capacité à modéliser des structures hiérarchiques, et leur capacité à généraliser compositionnellement des structures observées. Nous introduisons un cadre d'analyse intégré comprenant trois niveaux interdépendants : évaluation comportementale à travers des ensembles de test de défis, analyse représentationnelle à l'aide de sondes linguistiques, et analyse fonctionnelle par interventions causales. Nos résultats montrent que les Transformeurs parviennent à représenter des structures hiérarchiques pour une généralisation syntaxique nuancée. Cependant, au lieu de s'appuyer sur des règles compositionnelles systématiques, il semble qu'ils se basent davantage sur l'abstraction lexico-catégorielle et des analogies structurelles. Si cela leur permet de gérer une forme sophistiquée de productivité grammaticale pour des structures familières, ils rencontrent des difficultés avec des structures qui nécessitent une application systématique des règles compositionnelles. Cette étude met en évidence à la fois la promesse et les limitations potentielles des modèles Transformeur autoregressifs comme outils explicatifs pour le traitement syntaxique humain, et fournit un cadre méthodologique pour leur analyse et leur interprétabilité.

Bibliographie

Publications:

Bingzhi Li, Lucia Donatelli, Alexander Koller, Tal Linzen, Yuekun Yao, Najoung Kim. 2023. SLOG: A Structural Generalization Benchmark for Semantic Parsing, accepted by EMNLP 2023

Bingzhi Li, Guillaume Wisniewski, and Benoit Crabbé. 2022a. Assessing the capacity of transformer to abstract syntactic representations: a contrastive analysis based on long-distance agreement. Transactions of the Association for Computational Linguistics

Bingzhi Li, Guillaume Wisniewski, and Benoit Crabbé. 2022b. How Distributed are Distributed Representations? An Observation on the Locality of Syntactic Information in Verb Agreement Tasks. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics,Volume 2, pages 501–507, Dublin, Ireland. Association for Computational Linguistics.

Bingzhi Li, Guillaume Wisniewski, and Benoît Crabbé. 2022c. Les représentations distribuées sont-elles vraiment distribuées ? Observations sur la localisation de l’information syntaxique dans les tâches d’accord du verbe en français. Traitement Automatique des Langues Naturelles, pages 384–391, Avignon, France. ATALA.

Bingzhi Li, Guillaume Wisniewski, and Benoit Crabbé. 2021. Are Transformers a Modern Version of ELIZA? Observations on French Object Verb Agreement. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pages 4599–4610, Online and Punta Cana, Dominican Republic. Association for Computational Linguistics.

Bingzhi Li and Guillaume Wisniewski. 2021. Are Neural Networks Extracting Linguistic Properties or Memorizing Training Data? An Observation with a Multilingual Probe for Predicting Tense. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pages 3080–3089, Online. Association for Computational Linguistics.