Stage Ingénieur(e) R&D - Développement d'un moteur d'exécution distribué en Python et Rust - Spatial - Toulouse

Nous recrutons un(e) Stagiaire R&D; pour développer un moteur d'exécution distribué en Python et Rust pour les plateformes scientifiques de demain.

Vous rejoignez notre Business unit Espace au sein de notre agence Downstream spécialisée dans le traitement et l’hybridation des données spatiales.

Vos missions

Au sein d'une équipe de 4 personnes et encadré(e) par votre référent technique, vous intégrez le projet AntFlow, une plateforme open source de nouvelle génération dédiée à l'exécution et à l'orchestration de traitements scientifiques et géospatiaux à grande échelle.

Développée dans le cadre de projets européens majeurs liés à l'Observation de la Terre et aux Digital Twins environnementaux, AntFlow permet d'exécuter, superviser et mettre à l'échelle des traitements complexes sur des infrastructures cloud, Kubernetes, HPC et hybrides.

Face à la croissance continue des volumes de données et à la complexité croissante des workflows scientifiques, nous souhaitons faire évoluer AntFlow vers une architecture plus réactive et événementielle, capable de coordonner dynamiquement des milliers de traitements distribués.

L'objectif du stage est de participer à la conception et au développement de cette nouvelle génération de moteur d'exécution en explorant une architecture combinant Python et Rust.

Vous contribuez notamment à :

• la conception d’une nouvelle génération de moteur d’exécution « Event Driven » pour les workflows scientifiques 
• la gestion de graphes de traitements distribués et dynamiques 
• l'optimisation des performances et du passage à l'échelle ;
• l'intégration native avec les environnements Kubernetes et HPC 
• la mise en œuvre et la promotion des standards ouverts du domaine (CWL, WDL, OGC API Processes, EOAP) 
• l'observabilité et le suivi temps réel des exécutions
Technologies

• Python / Rust
• Kubernetes / Docker / SLURM
• Argo Workflows
• OpenTelemetry
Les plus de ce stage 

• Développer sur des problématiques réelles de performance, de concurrence et de systèmes distribués.
• Travailler avec des technologies cloud modernes (Python, Rust, Kubernetes) et des standards ouverts internationaux (CWL, WDL, …)
• Contribuer à un projet open source utilisé dans plusieurs programmes spatiaux européens
• Participer au développement d'innovations pouvant avoir un impact direct sur les futures plateformes de traitement de données d'Observation de la Terre au CNES et à l'ESA
• Être encadré(e) par des experts des domaines Cloud, géospatial, calcul scientifique et Observation de la Terre
• Possibilité de poursuite en CDI à l'issue du stage

Department: Engineering, Development, Applications
Function: Engineering
Experience Level: Internship