Data Engineer Cloud GCP / AWS (CDI - H/F)
Prefer a full account with a password? Sign Up to Apply
Job Description
Vous rejoignez notre agence bordelaise au sein de l’équipe Data & IA et intervenez auprès de nos clients sur des projets de conception, d’industrialisation et d’optimisation de plateformes data modernes.
Vous travaillez en lien direct avec les équipes métiers, Data, Cloud et BI afin de comprendre les besoins, proposer des solutions pragmatiques et robustes, puis les mettre en œuvre dans des environnements cloud et Big Data.
Vos principales missions :
• Concevoir, développer et maintenir des pipelines de données robustes, scalables et industrialisés,
• Développer, transformer, manipuler et optimiser les données à l’aide de Python et SQL.
• Mettre en œuvre des traitements distribués de grands volumes de données avec Apache Spark, PySpark et Databricks.
• Contribuer à des architectures de streaming et de traitement temps réel autour d’Apache Kafka et Apache NiFi.
• Intervenir sur des environnements cloud data et Data Warehouse, notamment AWS Glue et Redshift ou GCP BigQuery.
• Participer à la construction de plateformes data modernes, de type data warehouse, data lake ou lakehouse, selon les besoins clients.
• Garantir la qualité, la performance, la fiabilité et la sécurité des données tout au long de leur cycle de vie.
Dans l’environnement technique suivant (cette liste n’est pas exhaustive et surtout, elle indique les outils et technos qui nous intéressent et qui sont utilisés par nos clients) :
• Langages : Python, SQL.
• Big Data et traitement distribué : Apache Spark, PySpark, Databricks.
• Streaming et temps réel : Apache Kafka, Apache NiFi.
• Cloud GCP BigQuery ou AWS (Glue, Redshift) selon les projets.
Requirements
Department: Business Intelligence
Function: Information Technology
Experience Level: Mid-Senior Level