I

Fiabilité de l'apprentissage multimodal sous modalités manquantes : évaluation d'architectures à mél

salary Salary :

€1,000 - 1,300 weekly

icon building Compagnie : Irt Systemx
icon briefcase Type d'emploi : Stage

Description de l'emploi - Fiabilité de l'apprentissage multimodal sous modalités manquantes : évaluation d'architectures à mél

Vous travaillerez au sein du projet SystemX - Recherche exploratoire 2027 - intitulé « Modèles multimodaux à experts fiables : routage informé et évaluation sous modalités manquantes » dont le partenaire académique est Mimi Zhang, Assistant Professor au Trinity College Dublin.

Vous serez encadré par Faïcel Chamroukhi, responsable de l’axe scientifique science des données, IA et Interaction, en collaboration avec Mohamed Ibn Khedher, Ingénieur-Chercheur à SystemX, et Mimi Zhang.

Le poste est basé à l’IRT SystemX - Palaiseau.

Des déplacements à Dublin peuvent être organisés dans le cadre du stage.

Contexte scientifique. Les systèmes d’IA opérant sur des flux multimodaux doivent souvent décider à partir d’une information partielle : une modalité est fréquemment indisponible, parce que l’examen n’a pas été réalisé, que le capteur est défaillant ou que la scène est occultée. Les architectures à mélange d’experts adaptent le calcul aux modalités effectivement présentes, mais leur routage traite de la même façon ce qui a été effectivement observé et ce qui a été reconstruit. Cette recherche prolonge la recherche exploratoire 2026, qui a produit MIMOSA, un cadre multimodal combinant la reconstruction des modalités absentes, la factorisation des représentations en une part partagée et une part spécifique, et un routage par mélange d’experts porté sur ces facteurs. Son évaluation a mis en évidence un point précis : selon la tâche, une modalité peut être absente dans 75 à 80 % des cas – ex. la radiologie –, de sorte que la décision porte le plus souvent sur une représentation reconstruite - et une métrique agrégée (par exemple AUROC, F1) ne dit rien de la fiabilité de cette décision. C’est ce verrou que le stage contribue à lever.

La recherche exploratoire accueillant le stage poursuit deux objectifs : (O1) un routage informé par la fiabilité,  et (O2) l’évaluation de la fiabilité sous manquance structurée. Le stage porte sur un lot délimité au sein de ce second objectif : le banc d'évaluation et les scénarios de manquance reproductibles. La conception du mécanisme de routage (O1) est assurée par les permanents du projet.

Objectifs du stage :

  • Objectif 1 : Banc d’évaluation. Industrialiser la chaîne d’expérimentation MIMIC-IV existante (trois tâches : mortalité hospitalière à 48 h, durée de séjour, phénotypage à 25 classes), y intégrer les méthodes de référence du domaine, et stratifier les résultats selon la configuration de modalités effectivement présentes.
  • Objectif 2 : Dégradation et scénarios de manquance. Conduire l’étude de dégradation sous manquance structurée (MCAR/ MAR / MNAR) par ablation contrôlée des modalités, et développer un générateur reproductible de scénarios, y compris des régimes absents des données réelles. Une question ouverte sera examinée : sous manquance informative (MNAR), dans quelle mesure un modèle gagne-t-il en performance en exploitant le seul fait qu’une modalité soit absente ?
  • Objectif 3 : Calibration et prédiction sélective. Mettre en œuvre et comparer des mesures de calibration conditionnées à la configuration de modalités observées, ainsi que la prédiction sélective qui permet au modèle de s’abstenir lorsque l’information disponible est trop dégradée.

Missions :

  • Réaliser l’état de l’art sur la quantification d’incertitude et la calibration en apprentissage multimodal robuste aux modalités manquantes.
  • Prendre en main le cadre MIMOSA et la chaîne de préparation et d’évaluation développés en 2026.
  • Implémenter le banc d’évaluation, le protocole de fiabilité et le générateur de scénarios, en veillant à la reproductibilité des expériences.
  • Conduire les expérimentations, analyser les résultats et en discuter l’interprétation.
  • Contribuer à la brique logicielle destinée à une diffusion en open source.
  • Participer aux échanges avec Mimi Zhang (Trinity College Dublin) et présenter les travaux en séminaires internes.
  • Contribuer à la préparation d’une communication scientifique.
  • Rédiger le rapport de stage.

Livrables :

  • Rapport de stage.
  • Codes sources documentés et reproductibles.
  • Contribution à une soumission pour une communication internationale, en conférence ou en workshop d’apprentissage automatique et d’IA.

Références bibliographiques sur le sujet :

  1. Brkic, M., Chamroukhi, F., Ibn Khedher, M. (2026). MIMOSA: Multimodal learning with mIssing MOdalities via Structured MoE Architectures. ECML PKDD 2026, Workshop REHMED.
  2. Guo, C., Pleiss, G., Sun, Y., Weinberger, K. Q. (2017). On Calibration of Modern Neural Networks. ICML.
  3. Geifman, Y., El-Yaniv, R. (2017). Selective Classification for Deep Neural Networks. NeurIPS.
  4. Wu, R., Wang, H., Chen, H.-T., Carneiro, G. (2026). Deep Multimodal Learning with Missing Modality: A Survey. TMLR.

PROFIL ET COMPETENCES:

Compétences souhaitées :

  • Être actuellement inscrit en Master 2 ou en troisième année de cycle ingénieur, en Informatique ou en Mathématiques Appliquées/Statistique avec un intérêt avéré pour la recherche exploratoire ;
  • Très bonnes connaissances théoriques en Machine Learning, en Statistiques, et en Optimisation ;
  • Une première expérience en modèles génératifs ou probabilistes serait un plus ;
  • Très bonnes compétences en programmation Python.

Aptitudes personnelles :

  • Rigueur et autonomie dans la conduite des expériences.
  • Esprit critique sur les résultats obtenus.
  • Capacité à documenter clairement son travail.
  • Aisance à communiquer à l’écrit et à l’oral en français et en anglais.

Pour postuler, merci d’envoyer en un seul fichier .pdf les documents suivants :

  1. CV
  2. Lettre de motivation
  3. Relevés de notes des deux dernières années d’étude de Master ou de cycle ingénieur

4.Au moins une lettre de recommandation

Application deadline

As long as the job is online

Study level

Master level or equivalent

Job Category

Engineering
Original job Fiabilité de l'apprentissage multimodal sous modalités manquantes : évaluation d'architectures à mél posted on GrabJobs ©. To flag any issues with this job please use the Report Job button on GrabJobs.
Share Job
Share Job

Similar Fiabilité de l'apprentissage multimodal sous modalités manquantes Jobs in France

GrabJobs est le portail d'emploi n°1 en :country, te connectant rapidement à des milliers d'emplois ! Trouve les meilleurs emplois de dans France, postule en 1 clic et obtiens un emploi dès aujourd'hui !

Copyright © 2026 Grabjobs Pte.Ltd. All Rights Reserved.