Mission du Stage :

Votre mission consistera à enrichir la solution d’identification et consolidation des metadatas associés aux différents objets connus dans l’atmosphère.

Vous vous appuierez sur des méthodes de type web scrapping ou intégration d’API pour multiplier les sources de données.

Vous proposerez des outils de comparaisons de résultats. Vous travaillerez en collaboration avec un autre stagiaire

Votre mission consistera à renforcer notre solution en matière de suivi applicatif lié à la bonne exécution de nos pipelines de traitement de données Big Data (de manière massive comme au fil de l’eau). Vous serez responsable de l’intégration de sondes remontants évènements et métriques, de la configuration et de l’optimisation d’outils de dashboarding, alerting et indexation de données massives (Time Series). Vous intègrerez la solution en suivant les bonnes pratiques liées aux solutions cloud natives. Vous serez amenés à interagir avec des solutions Open Source telles que Prometheus, Alerta, Alertmanager, Grafana, ElasticSearch et Loki pour garantir une visibilité complète de notre stack applicative Kubernetes.

Responsabilités :

• Etude, présentation et défense de l’architecture détaillée de la solution.

• Définition du format et puits de collecte des évènements et métriques d’intérêt

• Configuration de la solution de centralisation et la recherche d’évènements et métriques.

• Vérifier le fonctionnement de collecte en mode batch comme stream.

• Analyse des données d’ingestion pour identifier les performances anormales et les problèmes potentiels.

• Développement de tableaux de bord complets en participant à la définition de l’expérience utilisateur souhaitée.

• Gestion des canaux de notification des alertes.

• Collaboration avec les équipes de développement pour l’instrumentation des applications.

Compétences / appétences souhaitées:

• Connaissance en architectures distribuées, big data comme cloud natives.

• Connaissance des outils de monitoring tels que Prometheus, Alerta, Alertmanager, Grafana, ElasticSearch et Loki.

• Compréhension des concepts de métrics, stack d’observabilité et centralisation de logs applicatifs.

• Connaissance de Kubernetes.

• Compétences en programmation (Java, Python).

• Connaissance de ElasticSearch et Apache Spark est un plus.

• Autonomie, créativité et esprit d’équipe.

• Force de proposition et capacité à s’appuyer sur la communauté open source pour répondre à une problématique.

Profil ingénieur en stage de fin d’étude, avec une appétence pour les sujets d’architecture big data, kubernetes et développements associés.

Echange avec le tuteur du stage, idéalement en présentiel dans les locaux Look Up Space (Toulouse).