Data Engineer - Transport - Nantes
Job Description
L’agence Data Transport de Nantes vous propose d’évoluer au sein de projets variés et à fort enjeux pour des grands comptes leaders dans leur domaine (Ferroviaire, Logistique, Courrier, …)
Composée de plus de 60 data ingénieurs, vous y rencontrerez des experts en data ingénierie, data architecte, data analyste et autres spécialistes de la valorisation de la donnée.
Vous aurez en nous rejoignant l’opportunité de découvrir des solutions data du marché et d’être formé(e) à leur utilisation, ainsi qu’aux méthodes et pratiques de la data ingénierie
Votre rôle et vos missions :
En fonction de votre cursus de formation et de votre expérience, vous rejoignez une de nos équipe projet en totale immersion et serez accompagné(e), formé(e) et même selon le contexte certifié(e) sur toute ou parties des étapes de mise en œuvre et/ou de la maintenance d’une data plateforme, à savoir :
• L’ingestion des données
• Le stockage
• La préparation et transformation de la donnée
• La valorisation
• L’exposition et la visualisation
Dans le cadre de la mise en place de plateforme Data pour nos clients et selon votre expérience et votre appétence, vous participez à :
• La compréhension des besoins métiers et la traduction solution de data ingénierie et ou data analyses
• La conception de la solution pour répondre au besoin
• La mise en œuvre de solution d’ingestion des données, quelles soit en batch et/ou en streaming dans un contexte Cloud
• La structuration du datalake, la mise en place des processus de gouvernance et de sécurisation des données
• Le traitement de la donnée jusqu’à l’exposition au métier
• Les tests de la solution mise en place
• La mise en place de la chaine CI /CD et de sa supervision
• La veille technologique avec nos partenaires éditeurs et la mise en place de prototype design, proof of concept ou encore MVP dans un objectif d’idéation pour nos clients.
Environnement technique : Spark, Hadoop, Hive, Kafka, Nifi, Cloudera, Databricks, Dataiku, Power BI, Python, Airflow, Ansible, Terraform
Requirements
Department: Engineering, Development, Applications
Function: Information Technology
Experience Level: Mid-Senior Level