Data Engineer / Developpeur Python-Spark (La Défense)

Résumé du poste
CDI
Suresnes
Salaire : 40K à 60K €
Début : 03 novembre 2024
Télétravail fréquent
Expérience : > 5 ans
Éducation : Bac +5 / Master
Compétences & expertises
Contenu généré
Réglementation environnementale
Aptitude à résoudre les problèmes
Kubernetes
Pyspark
Postgresql
+3

Key Consulting
Key Consulting

Cette offre vous tente ?

Questions et réponses sur l'offre

Le poste

Descriptif du poste

Rejoignez une équipe composée de deux développeurs, un Business Analyst et un Team Lead, travaillant pour un acteur majeur du secteur de l’énergie. Vous contribuerez au développement d’une solution de gestion et d’intégration de données pour plusieurs fournisseurs d’énergie.

Votre mission :

L’objectif principal de cette application est de récupérer des données provenant de divers fournisseurs d’énergie à travers l’Europe, pour ensuite les ingérer et les rendre accessibles via une application web dédiée. Vous jouerez un rôle clé dans la mise en place et l’évolution de cette solution, en lien direct avec les besoins métiers et techniques de notre client.

En tant que membre central de l’équipe, vous serez directement impliqué dans le développement et la maintenance des modules de gestion des contrats et transactions, ainsi que dans la gestion des risques (P&L, risk management).

Principales responsabilités :

  • Récupération et ingestion de données : Extraction des données de différents fournisseurs via Spark (traitement distribué de grande échelle).

  • Transformation en time series : Traitement des fichiers de données dans Databricks pour générer des séries temporelles, en optimisant et en scalant la solution pour un usage extensif.

  • Formation et montée en compétence : Contribuer à l’augmentation des compétences de l’équipe sur Databricks, y compris via des formations fournies par l’éditeur.

  • Migration de base de données : Participer à la migration des données de PostgreSQL vers AWS S3 pour une infrastructure cloud optimisée.

Environnement technique :

  • Langages & Frameworks : Python, PySpark

  • Outils & Plateformes : AWS (S3), Databricks, Docker, Kubernetes

  • Méthodologies : Agile / Scrum


Profil recherché

Key Consulting recherche un profil…

  • 5 ans d’expérience en CDI en développement Python et Spark

  • Appétence et attrait pour résoudre des problèmes complexes

  • Les connaissances Databricks et AWS sont un plus au même titre que Docker et Kubernetes

Nous adapterons la rémunération selon l’expertise apportée


Déroulement des entretiens

  • Un entretien avec Pauline Talent Acquisition Specialist et Anthony Ingénieur d’Affaires

  • Un entretien avec notre client

Envie d’en savoir plus ?

D’autres offres vous correspondent !

Ces entreprises recrutent aussi au poste de “Données/Business Intelligence”.