Conception et développement d’un système de surveillance pour garantir la souveraineté des flux de données analytiques

Le Why du stage:

Avec l'importance croissante des réglementations française et européenne sur la gestion des données (dont le RGPD), les entreprises et les organisations publiques seront amenées à garantir la souveraineté et la protection de leurs données.

Ce stage permet de répondre à cet enjeu dans le domaine particulier du data engineering pour la création de systèmes décisionnels ou d’IA en développant une preuve de concept qui assure la conformité des flux de données analytiques aux normes de sécurité et de protection des données.

Les missions du stage:

• Concevoir et développer un POC d’un système de surveillance des flux de données analytiques pour garantir leur souveraineté, en s’appuyant sur le framework de traçabilité openlinage https://openlineage.io/
• Inclure des processus de traçabilité des traitements de données et localisation géographique de données
• Ouvrir à des améliorations et capacités d’industrialisation de la solution développée

Le déroulement du stage:

Etape 1 : Découverte et cadrage

• Prise en main des outils DBT et openlineage
• Etude des réglementations en terme de souveraineté des données
• Analyse de l'état de l'art pour réaliser la traçabilité de la souveraineté des traitements de données
• Cadrage du POC et modélisation de la solution de traçabilité de la souveraineté
• Définition du référentiel de suivi de cette traçabilité

Etape 2 : Développement du POC

• Développement d’un flux de données analytique type avec DBT sur une plateforme du cloud
• Mise en place d'un système de traçabilité des flux de données avec openlinage. Démonstration de la conformité des données avec les exigences réglementaires via un tableau de bord

Etape 3: Partage

• Partage aux autres Octos et à la fin du stage, rédaction d'un article de blog

Etape 4: Ouverture

• Envisager les possibilités de généralisation dans d'autres environnements technologiques

Stack technique: Python, AWS, Azure ou GCP, DBT, Openlinage

• Vous préparez un BAC+5 et vous êtes à la recherche d'un stage de fin d'études (Formation en big data et software engineering)
• Vous maitrisez des langages de développement informatique et Python -
• Vous maîtrisez certaines bases de données et avez des connaissance en analyse de données et statistiques
• Vous êtes en capacité à travailler en équipe et à communiquer des résultats complexes de manière claire