About this role
Mission
La personne recrutée contribuera à l'évaluation de la capacité des modèles génératifs à adapter leurs productions linguistiques aux variétés régionales (français de France et du Québec, anglais britannique et américain, différentes formes d'occitan), aux registres de langue (formel, informel, professionnel) et aux situations de communication. L'objectif principal sera de concevoir et de mettre en œuvre des protocoles et des mesures permettant d'évaluer ces capacités d'adaptation linguistique et contextuelle. Une offre de thèse est susceptible d'être ouverte sur ces sujets en octobre 2027.
Activités
- Réaliser un état de l'art sur l'évaluation des modèles génératifs et leur adaptation linguistique et sociolinguistique.
- Concevoir des protocoles expérimentaux et des métriques d'évaluation adaptés aux différentes dimensions étudiées.
- Participer à la constitution de jeux de données et de benchmarks multilingues et multivariétaux.
- Développer des scripts d'expérimentation et d'évaluation des modèles de langue.
- Analyser les résultats à l'aide de méthodes statistiques et identifier les forces et limites des modèles évalués.
- Contribuer à la documentation des protocoles, à la diffusion des résultats et aux activités scientifiques du programme ELOQUENT (lab CLEF).