Ingénieur/e Data – Services Publics – Bordeaux
Job Description
Mission
Au sein de l'équipe Data, vous participez à la conception, au développement et à l'exploitation des plateformes de données des différents projets. Vous garantissez la fiabilité, la sécurité et la disponibilité des données nécessaires aux usages métiers.
En termes de responsabilités, vous serez interviendrez sur les activités suivantes :
Ingestion des données
• Développer des pipelines d'ingestion.
• Connecter des sources variées (API, bases de données, fichiers, flux).
• Automatiser les traitements.
Transformation des données
• Développer des traitements de données batch et streaming.
• Concevoir des modèles de données adaptés aux usages.
• Grantir la qualité de la donnée.
Sécurité et gouvernance
• Mettre en œuvre les mécanismes d'habilitation et de contrôle d’accès aux données.
• Participer à la gestion des métadonnées.
• Garantir la traçabilité des traitements.
Collaboration
• Travailler avec les Data Analysts, Data Scientists et experts métier.
• Participer aux choix techniques.
Compétences techniques
Intégration et stockage des données
• Kafka, Iceberg, Postgresql
Développement et traitement des données
• Python, SQL, Spark, Git
• Kubernetes
Industrialisation et conteneurisation
• Git, kubernetes
Compétences appréciées : Data catalog, sécurité des données
Requirements
Department: Engineering, Development, Applications
Function: Information Technology
Experience Level: Mid-Senior Level