@inproceedings {simoulinModeleTransformerGeneratif2021,
	title = {Un mod{\`e}le Transformer G{\'e}n{\'e}ratif Pr{\'e}-entrain{\'e} pour le fran{\c c}ais Generative Pre-trained Transformer in French (We introduce a French adaptation from the well-known GPT model)},
	year = {2021},
	month = {jun},
	pages = {246{\textendash}255},
	publisher = {ATALA},
	address = {Lille, France},
	abstract = {<p>Nous proposons une adaptation en fran\&ccedil;ais du fameux mod\&egrave;le Generative Pre-trained Transformer (GPT). Ce dernier appartient \&agrave; la cat\&eacute;gorie des architectures transformers qui ont significativement transform\&eacute; les m\&eacute;thodes de traitement automatique du langage. Ces architectures sont en particulier pr\&eacute;-entra\&icirc;n\&eacute;es sur des t\&acirc;ches auto-supervis\&eacute;es et sont ainsi sp\&eacute;cifiques pour une langue donn\&eacute;e. Si certaines sont disponibles en fran\&ccedil;ais, la plupart se d\&eacute;clinent avant tout en anglais. GPT est particuli\&egrave;rement efficace pour les t\&acirc;ches de g\&eacute;n\&eacute;ration de texte. Par ailleurs, il est possible de l\&$\#$39;appliquer \&agrave; de nombreux cas d\&$\#$39;usages. Ses propri\&eacute;t\&eacute;s g\&eacute;n\&eacute;ratives singuli\&egrave;res permettent de l\&$\#$39;utiliser dans des conditions originales comme l\&$\#$39;apprentissage sans exemple qui ne suppose aucune mise \&agrave; jour des poids du mod\&egrave;le, ou modification de l\&$\#$39;architecture.</p>
},
	author = {Simoulin, Antoine and Beno{\^\i}t Crabb{\'e}}
}
