Développement dune plateforme déchanges automatisés de données entre les SI de lIneris et le Centre

Description de l’offre

Contexte :

Dans le cadre de ses activités d’expertise et de recherche, l’Ineris développe et exploite différents codes et modèles numériques dont l’exécution peut nécessiter des capacités importantes en matière de calcul et de stockage de données. Pour répondre à ces besoins, l’Institut s’appuie notamment sur les ressources de calcul haute performance (HPC) du CCRT.

L’utilisation de ces infrastructures implique cependant des échanges réguliers de données entre les systèmes de l’Ineris et les environnements de calcul distants : transfert des données nécessaires aux simulations, récupération des résultats produits, gestion de volumes importants de données ou encore collecte d’informations relatives à l’utilisation des ressources de calcul et de stockage.

Dans ce contexte, l’Ineris souhaite fiabiliser et automatiser ces échanges, aujourd’hui susceptibles de dépendre des outils et des besoins propres à chaque projet. L’objectif est de disposer d’un mécanisme générique, sécurisé et auditable, pouvant être réutilisé pour différents codes de calcul et cas d’usage, et permettant également de capitaliser les informations relatives à l’exécution des échanges et des traitements.

Le stage s’inscrit ainsi dans une démarche plus large visant à faciliter et industrialiser l’accès aux ressources de calcul intensif, tout en améliorant la traçabilité, la supervision et, à terme, l’optimisation de leur utilisation.

Objectifs du stage :

Le stage consistera à concevoir et développer une solution générique permettant d’assurer de manière sécurisée, fiable et planifiée les transferts de données entre les systèmes d’information de l’Ineris et le cluster de calcul. La solution devra répondre à plusieurs cas d’usage : transfert périodique de volumes importants de données vers des espaces de stockage dédiés, récupération automatique de fichiers produits sur le cluster, collecte d’informations d’exploitation (comptes utilisateurs, consommations de stockage et d’heures de calcul), ainsi que rapatriement des résultats de simulations, notamment dans le cadre du projet CAPSULE.

Une attention particulière sera portée à la capitalisation des données de supervision associées aux traitements. Les développements devront par exemple permettre de tracer l’ensemble des opérations réalisées : dates et heures d’exécution, durées des traitements, volumes de données échangées, indicateurs de performance, erreurs rencontrées lors des différentes étapes (authentification, accès aux ressources, transferts de données, exécution ou récupération des résultats). Ces informations seront historisées afin de constituer une base de connaissances sur le fonctionnement de la plateforme.

Selon l’avancement du projet, une seconde phase pourra consister à valoriser ces données au travers d’un tableau de bord de supervision ou d’outils d’aide à la décision. Les données collectées pourront notamment être utilisées pour développer des modèles d’analyse prédictive avec des modèles d’IA permettant d'estimer les temps de transfert ou de traitement, d'identifier les périodes les plus favorables à l'exécution de certaines opérations ou encore d'anticiper les anomalies de fonctionnement.

Profil

Bac +4/5 - Ce stage s’adresse à la spécialité : Informatique, Data Science…

Votre curiosité et votre ouverture aux nouvelles technologies, vous facilitent la recherche d'informations auprès de vos collègues mais aussi des acteurs du domaine.

Vous connaissez déjà les infrastructures de calcul haute performance

La pratique du lancement de codes sur un cluster de calcul haute performance serait un plus.

Compétences recherchées : développement Python, Linux, API REST, automatisation de traitements, gestion de données, supervision et observabilité, transferts sécurisés (SSH/SFTP), bases de données, visualisation de données et intérêt pour les approches d'intelligence artificielle appliquées à l'exploitation des systèmes.

Vous êtes à l'aise avec l'anglais et comprenez les documentations techniques du domaine.

Vous possédez un sens du contact qui vous permet de vous adresser facilement à des experts métier de tous domaines et de tous niveaux.

Divers

Durée : 4 à 6 mois (fin 2026 ou début 2027)

Stage conventionné et indemnisé

Stage basé au siège de l’INERIS à Verneuil en Halatte (60550 - Oise), en présentiel

Indemnisation des frais de transport sous conditions

Envoyer votre candidature (CV et LM) par courriel

Ce poste est ouvert aux personnes en situation de handicap.