Stage de recherche - Explicabilité de l'apprentissage contextuel dans les modèles de fondation F/H @ Orange

Publication date : Nov 10, 2026, 2:28PM

Contract duration : 6 months

L'apprentissage contextuel (In-Context Learning, ICL) désigne la capacité d'un modèle pré-entraîné, notamment un grand modèle de langage (LLM) ou modèle de fondation tabulaire ou sur séries temporelles, à réaliser une nouvelle tâche à partir d'exemples fournis dans l'entrée, sans mise à jour de ses paramètres. Ces modèles ont récemment montré leur potentiel sur des benchmarks complexes, mais leur fonctionnement reste opaque ce qui peut poser problème pour un déploiement industriel. Le stage consistera à explorer des méthodes d'explicabilité appliquées à de l'ICL.

A titre indicatif, le ou la stagiaire pourra être amené à effectuer les activités suivantes :

• Réaliser une revue de littérature sur l'ICL.
• Concevoir des tâches synthétiques contrôlées pour isoler les facteurs influençant l'ICL.
• Analyser les mécanismes d'attention et les représentations internes.
• Appliquer et comparer des méthodes d'attribution sur étagère, et des méthodes développées en interne.
• Étudier l'effet de la sélection, de l'ordre et du format des exemples sur le comportement du modèle.
• Développer des métriques de fidélité et de robustesse des explications.
• Mener des expériences sur des modèles de tailles et d'architectures variées.
• Si les résultats sont publiables, participer à la rédaction d'un article scientifique.
• Vous préparez un Bac+5 (école d'ingénieur ou Master 2) en intelligence artificielle, data science ou mathématiques appliquées.
• Vous maîtrisez Python, Pytorch, Git, Linux ou êtes capables de monter en compétences rapidement. Vous avez de solides bases en mathématiques et en apprentissage automatique.
• Vous êtes à l'aise avec l'anglais technique (lecture d'articles scientifiques).
• Vous avez une appétence pour la recherche, soit démontrée par une expérience passée (stage en laboratoire par exemple), soit pour poursuivre en doctorat
• Vous faites preuve de curiosité, de créativité et d'autonomie, et vous aimez résoudre des problèmes complexes de façon méthodique.
• Vous avez de fortes capacités d'analyse et de synthèse, aimez travailler en équipe et communiquez aisément à l'écrit comme à l'oral.

Orange Innovation constitue la vitrine technologique du groupe, et se donne à ce titre les moyens d’explorer les sujets les plus avancés touchant aux métiers de l’opérateur.

Au sein de cette entité, la division Data & AI est reconnue pour son expertise. Vous serez intégré dans des programmes de développement de pointe et serez au contact d’experts reconnus dans leur domaine.

Vous rejoindrez une équipe d’une vingtaine de personnesbasées à Châtillon. Les profils très variés (chercheurs, data scientists, data engineers) et les sujets à la pointe technologiquement permettent d’évoluer dans un environnement riche techniquement et humainement.

Votre bonne humeur, votre esprit d’équipe, votre curiosité ainsi que votre excellence technique vous permettront de vous intégrer au mieux dans cet environnement passionnant.

Desired start date : Mar 01, 2027, 12:00AM

At Orange, only your skills matter.

Regardless of your age, gender, background, origin, religion, sexual orientation, disability, neurodiversity, or appearance, we actively encourage diversity within our teams, as it is a collective strength and a driver of innovation. Orange is a disability-inclusive employer: please feel free to let us know about any specific needs you may have.