Contexte :

Au sein d'Eviden BDS, la Business Line Advanced Computing est responsable des lignes de produits HPC/AI/Quantum et Business computing.
L'organisation Portfolio & Strategy est responsable des gammes de produits HPC/AI/Quantum, avec des groupes de chefs de produits matériels et logiciels, d'ingénierie produits et performances et de responsables du cycle de vie des produits.
Pour soutenir notre croissance dans le domaine de l'IA et du LLM, nous recherchons un ingénieur en apprentissage automatique - Model Serving (MLEMS) pour concevoir notre pile matérielle et logicielle AI Serving.


Missions : 

Le/la MLEMS sera responsable de :

• Participer à la sélection de partenaires logiciels et d'outils open source pour le service IA, avec un accent initial sur le service LLM sur GPU. Puis extension à d'autres domaines d'IA et au matériel de service d'IA (CPU, autres) ;
• Intégrer de manière optimale des produits internes, des partenaires logiciels ou des outils open source d'inférence IA, et notamment d'inférence LLM sur nos serveurs matériels. Cela peut inclure, sans s'y limiter, l'écosystème de bibliothèques Huggingface, KServe, Triton, DeepSpeed, OpenLLM, RayServe, VLLM, TGI, ainsi que des solutions axées sur les cas d'utilisation (par exemple, résumé de texte, chatbots de connaissances) ;
• Concevoir et configurer des logiciels d'inférence optimisés + des piles matérielles pour les LLM pour GPU et CPU, en tenant compte des performances, du prix et de la consommation d'énergie en étroite relation avec l'équipe de benchmark. Pour cela vous aurez accès à notre portefeuille matériel comprenant des technologies Nvidia, AMD et Intel et autres ainsi que des technologies internes innovantes (refroidissement, interconnexions, etc).
• Lire et appliquer les idées discutées dans les documents de recherche dans ce domaine, en sélectionnant et en testant des partenaires logiciels et matériels appropriés en exploitant ces idées dans leur pile.

Description du profil :

Profil :

Qualifications requises:

• Anglais courant et volonté d’évoluer dans un contexte international ;
• Expérience pratique dans le déploiement et la surveillance de l’apprentissage automatique (MLOps) avec preuve de réussite de projets dans l’industrie ou le milieu universitaire à l’aide de frameworks tels que PyTorch ou TensorFlow ;
• Compréhension des transformateurs, LLM ou autres types de modèles de fondation, notamment les modèles open source comme Llama2, Mixtral ou Zephyr.

Qualifications souhaitable :

• MS. ou un doctorat. en informatique ou dans un domaine connexe ou une vaste expérience professionnelle pertinente ;
• Expérience dans le déploiement de LLM avec des techniques telles que le parallélisme de modèles, les mécanismes de mise en cache de l’attention, la quantification, le traitement par lots continu, le décodage spéculatif ou la compression ;
• Expérience dans les frameworks traitant de l’inférence LLM (par exemple, Triton, DeepSpeed, OpenLLM, RayServe, vLLM, TGI, etc.) ;
• Intérêt démontré pour le suivi et la gouvernance des LLM ;
• Compétences en matière d’analyse des performances des systèmes et d’analyse comparative.

Le MLEMS relèvera directement du vice-président de l’organisation Portfolio & Solutions et en relation étroite avec les chefs de produits et les parties prenantes R&D.

Lieu de travail : France (les Clayes) de préférence ou France.