Data Scientist - Contrat court H/F

Financé par l’Agence nationale de la recherche, l’ANR PACMAM associe Inria, le CNRS et le PEReN dans l’objectif de poser les bases d'un audit efficace en boîtes noires des modèles à grande capacité sous contrainte budgétaire. Le projet est organisé en trois groupes de travail, dont le dernier a pour objectif de mettre en place des méthodes opérationnelles permettant de surveiller efficacement les modèles d’intelligence artificielle (IA) générative, et en particulier les grands modèles de langage (LLM), fréquemment mis à jour par leurs fournisseurs. En effet, la plupart des LLM sont aujourd’hui accessibles à distance et fonctionnent en boîte noire : l’utilisateur envoie une requête, le fournisseur renvoie une réponse, sans visibilité sur ce qui s’exécute réellement. Or, et en particulier pour des usages critiques, il est essentiel de connaître précisément le modèle utilisé à un instant t, ainsi que son historique de modifications, y compris les éventuels changements silencieux. Si un modèle est adapté à un usage spécifique à un moment donné, il est essentiel d’en assurer un suivi continu afin de détecter toute évolution susceptible de modifier son comportement. Dès lors, il est crucial de se doter de solutions de monitoring robustes, à faible coût, capables d’assurer la surveillance continue des modifications des modèles d’IA générative.

Un premier exemple d’un tel outil opérationnel est TrackLLM, développé par des équipes Inria et CNRS avec le soutien d'INESIA, à partir de travaux de recherche du CNRS, d’Inria, et du PEReN. TrackLLM est le premier observatoire à mesurer ce phénomène en continu et à grande échelle depuis juin 2026 et sur des essais ponctuels depuis début 2026. Cet outil repose actuellement sur deux méthodes de monitoring.
L’objectif du poste et d’enrichir la banque de méthodes disponibles afin d’élargir les capacités de monitoring et d’identification en condition réelles.
Intégré(e) au sein d’une équipe d’experts en sciences des données au PEReN et au contact des équipes de recherche Inria et CNRS de l’ANR PACMAM, vous serez chargé(e) du développement de cet outil.
Vous serez amené(e) à :
• Identifier dans la littérature les méthodes les plus pertinentes, en appréciant notamment leur performance, leur complémentarité, leur opérationnalisation ainsi que leur adéquation avec les besoins du projet
• Tester et valider ces méthodes
• Intégrer les solutions retenues à l’outil TrackLLM afin qu’elles soient utilisées en conditions réelles
• Analyser les résultats du monitoring afin d’en évaluer l’impact et ajuster si nécessaire
• Assurer le suivi des usages et usagers de TrackLLM, répondre à leurs besoins

Profil recherché :
Vous savez mobiliser vos savoirs en autonomie :
• Connaissance de l’écosystème Python (Python 3.11, bibliothèques usuelles d’analyse de données, écriture de tests unitaires) et des bonnes pratiques de développement associées ;
• Maîtrise des processus de développements logiciels collaboratifs (revue de code, forge logicielle, git, système de ticket, CI/CD) ;
• Solide compréhension du fonctionnement des modèles de langage (LLM)
• Utilisation de modèles d’intelligence artificielle générative (LLM, modèles de diffusion, etc.)
• Expérience en évaluation de LLM via API (sans accès au poids ni au logits), par exemple via OpenRouter.

Vous disposez d’une expérience professionnelle de 3 ans minimum ou d’une thèse de doctorat. Vous savez par ailleurs mobiliser vos savoirs en autonomie aussi bien en développement logiciel qu’en analyse de données et apprentissage automatique.
Les expériences et connaissances suivantes seront considérées comme des atouts sans pour autant être strictement requises dans le contexte de cette fiche de poste :
• Une expérience dans une administration, une autorité administrative indépendante ou dans une instance européenne ;
• la participation à des projets associatifs ou des logiciels libres (mainteneur, contributeur, animation de communauté, …) ;
• la participation à des projets en lien avec les thématiques de régulation des plateformes numériques et de l’intelligence artificielle abordées par le PEReN (publicité en ligne, modération de contenus, protection des mineurs, gestion des données personnelles, etc.) ;
• une expérience de conduite de projets.

L'employeur :
La Direction générale des Entreprises est au service du ministre chargé de l’Économie et des Finances. Son action est au cœur des chantiers du Gouvernement en faveur de la transformation économique et de l’autonomie stratégique du pays.
Au service de la compétitivité des entreprises, elle porte la politique industrielle, définit les mesures de régulation du numérique ainsi que les politiques de soutien à l’économie de proximité. Elle accompagne les entreprises dans la transformation écologique ainsi que numérique de l’économie et œuvre en faveur de la simplification règlementaire et d’une politique d’innovation ambitieuse.

Ses missions comportent à la fois une dimension internationale forte et une dimension territoriale qu’elle met en œuvre grâce à un réseau de services déconcentrés au sein des Directions régionales de l’économie, de l’emploi, du travail et des solidarités (DREETS).
Engagée et à la pointe de l’innovation publique, la direction déploie une politique ambitieuse en faveur de l’égalité professionnelle entre les femmes et les hommes ainsi que des mesures impactantes en matière d’écoresponsabilité.
Descriptif du service
Il a également vocation à animer un réseau de recherche dédié à la régulation des grandes plateformes numériques, et peut être amené à réaliser à son initiative des travaux de recherche académique liés aux différentes thématiques.
En savoir plus sur l'employeur