Au sein des équipes techniques d'iad Digital et sous la responsabilité du Data Engineering Manager, vous intégrez une équipe constituée d’autres Data Engineers. Vous participez à la gestion et l’évolution de notre infrastructure de données et aurez la charge de concevoir, déployer et maintenir des pipelines de données pour répondre aux besoins analytiques et opérationnels de l’entreprise. 

Vos missions 

• Concevoir, développer et optimiser des pipelines de données sécurisés et fiables,
• Gérer et orchestrer les infrastructures de données sur la stack AWS,
• Automatiser l’infrastructure pour garantir des déploiements reproductibles et standardisés (CI/CD),
• Développer des scripts et outils pour extraire, transformer et charger des données (ETL - ELT),
• Industrialiser avec les Data Scientists des workflows de Machine Learning
• Assurer la qualité des données via des processus de validation et de monitoring,
• Maintenir en condition opérationnelle le Datalake et le suivi de production,
• Collaborer étroitement avec les équipes BI & Analytics, Products et Ops,
• Rédiger et maintenir la documentation technique relative aux pipelines et à l’architecture de données,
• Réaliser une veille technique en vue de proposer des améliorations continues et partager son expérience.

Stack technique 

• Langages : Python, Spark et SQL
• Bases de données : PostgreSQL, MySQL, DynamoDB
• AWS : S3, Lambda, Athena, Glue, DMS, Step Function, Kinesis, Bedrock, SageMaker
• Infrastructure as Code : Terraform, CloudFormation
• Monitoring : Datadog
• Outils et intégration continue : GitHub, Github Action, Jira, Confluence, Slack

• Vous maîtrisez les langages Python, Spark, SQL et la stack AWS,
• Vous avez une expertise dans l’automatisation des traitements de données et CI/CD,
• Vous êtes à l’aise avec les bases de données relationnelles et NoSQL,
• Vous possédez des connaissances en MLOps, ce qui serait un atout,
• Vous collaborez efficacement avec des équipes multidisciplinaires,
• Vous êtes curieux et rigoureux, avec un intérêt pour l’amélioration continue et une bonne capacité de documentation.