Responsable expérimentations et données - Département Évaluation (H/F)

Qui sommes-nous

Chez Pix, nous travaillons pour permettre à chaque citoyen de mesurer, d'améliorer et de valoriser tout au long de sa vie son niveau de maîtrise des usages numériques.
Comment ?
- En développant une plateforme en ligne gratuite adaptée à tous les niveaux pour s'auto-évaluer et progresser dans 5 grands domaines du numérique ;

- En proposant une expérience ludique via des questions-défis apprenants et des activités interactives axées sur la pratique ;

- En valorisant les acquis via le passage de la Certification Pix, reconnue par l'État et le monde professionnel ;

- En outillant les acteurs de l'enseignement, de la formation professionnelle, de l'insertion et de la médiation numérique, en France et à l'international.

Aujourd'hui, Pix c'est :
7 millions d'utilisateurs par an
Plus de 7 millions de Certifications Pix passées
Utilisé dans plus de 40 pays
Candidater chez Pix, c'est vouloir intégrer une structure innovante, comportant des effectifs issus des domaines de la tech (privé / public), avec des outils collaboratifs, un environnement dynamique au sein d'un projet d'utilité sociale d'envergure nationale. et même plus ;-)

La Direction des Contenus pédagogiques et de l'Enseignement scolaire et ses missions

La Direction des Contenus pédagogiques et de l'Enseignement scolaire contribue à la conception, à la qualité et à l'amélioration continue des contenus et des dispositifs d'évaluation proposés par Pix.
Au sein de cette direction, le Département Évaluation veille à la pertinence pédagogique, à la fiabilité et à la qualité des épreuves permettant de mesurer les compétences numériques des utilisateurs.
Dans ce cadre, nous recherchons un Responsable expérimentations et données pour renforcer notre capacité à analyser les contenus d'évaluation, à mesurer leur qualité et à orienter leur évolution sur la base d'indicateurs objectifs et robustes.
À la croisée de l'analyse de données, de la méthodologie scientifique et de l'ingénierie pédagogique, vous contribuerez à garantir la crédibilité des évaluations Pix et à éclairer les décisions relatives à l'amélioration de nos contenus.
Vous travaillerez en étroite collaboration avec les équipes du Département Évaluation, les équipes Contenus pédagogiques, Produit, Engineering, Data ainsi qu'avec l'Observatoire Pix des compétences numériques.
Sous la responsabilité de la responsable du département évaluation, la personne recrutée aura pour missions :
1. Définir et déployer des indicateurs pour mesurer la qualité des évaluations Pix
- Recueillir et analyser les besoins en indicateurs quantitatifs auprès des équipes.

- Concevoir des indicateurs fiables et pertinents permettant d'évaluer la qualité des contenus à différentes échelles : référentiel, domaine, compétence, thématique, sujet, acquis et épreuve.

- Exploiter les données disponibles en réalisant des requêtes sur les bases de données.

- Consolider et analyser les données afin de produire des indicateurs utiles au pilotage de l'activité.

- Documenter les indicateurs, assurer leur suivi et les faire évoluer en fonction des besoins.

- Accompagner les équipes dans la prise en main et l'utilisation de Metabase pour favoriser leur autonomie dans l'exploitation des données.

2. Concevoir et piloter des expérimentations pour améliorer les contenus d'évaluation
- Identifier les problématiques à investiguer et formuler des hypothèses de travail.

- Recueillir et analyser les données existantes pour éclairer les choix méthodologiques.

- Concevoir et mettre en œuvre des protocoles expérimentaux et des plans de test adaptés aux objectifs poursuivis.

- Analyser les résultats des expérimentations et en tirer des enseignements exploitables.

- Produire des synthèses et formuler des recommandations concrètes pour améliorer la pertinence pédagogique et la fiabilité des contenus.

- Présenter les résultats aux équipes concernées en tenant compte des contraintes techniques, pédagogiques et opérationnelles de Pix.

3. Contribuer à une approche pilotée par les données à l'échelle de Pix
- Participer aux travaux de calibration de la difficulté des contenus utilisés dans la Certification Pix.

- Contribuer ponctuellement aux études menées par l'Observatoire Pix des compétences numériques.

- Être l'interlocuteur ou l'interlocutrice privilégié des équipes Data pour les sujets liés à l'évaluation.

- Favoriser l'utilisation des données dans les réflexions et les prises de décision du département.

- Participer à l'amélioration continue de l'offre et du produit Pix en apportant une expertise analytique et méthodologique.

4. Assurer une veille scientifique et méthodologique sur l'évaluation
- Mettre en place et structurer une veille scientifique sur les méthodes d'évaluation automatique et les évolutions du domaine.

- Identifier les publications, travaux de recherche et conférences pertinents pour les activités du département.

- Analyser des articles scientifiques en français et en anglais.

- Synthétise