Projet: Optimisation de l’Efficacité de l’IA : Exploration de la Distillation des Connaissances pour les Grands Modèles de Langage (LLMs)

Description du projet:

Le Data Scientist en Intelligence Artificielle et Machine Learning aide à développer des logiciels et des processus qui peuvent être utilisés pour la robotique, les programmes et les applications d’intelligence artificielle. En étroite collaboration avec les métiers et les équipes commerciales, le data scientist propose des modèles mathématiques et statistiques à partir des données collectées pour augmenter, améliorer ou accélérer les décisions humaines dans le secteur du pétrole et du gaz. Chez SLB, vous aurez l’opportunité d’appliquer votre expertise et de déployer des solutions d’apprentissage profond à grande échelle sur des problèmes réels, soutenant de nombreux domaines d’activité de Schlumberger. Schlumberger est la première entreprise de services pétroliers et gaziers à déplacer ses processus et flux de travail dans le cloud. Cela offre au laboratoire d’IA embarqué l’occasion parfaite de tirer parti de ces technologies et ressources innovantes. En tant que membre du laboratoire d’IA embarqué, vous pourrez tester, expérimenter et rechercher dans un environnement de pointe avec des pétaoctets de données. Vous superviserez l’application de la recherche et la livraison de solutions Proof of Concepts, répondant à des besoins commerciaux clairs et spécifiques.

Description:

Les Grands Modèles de Langage (LLMs) ont révolutionné le paysage de l’IA, devenant de plus en plus puissants avec des modèles tels que LLaMA 3.1 affichant jusqu’à 405 milliards de paramètres et GPT-4o atteignant un impressionnant 1,8 trillion de paramètres. Bien que ces avancées repoussent les limites des capacités de l’IA, elles apportent également de nouveaux défis, tels que l’escalade des coûts de calcul et les exigences en ressources. Cela crée un compromis crucial pour les industries : équilibrer le déploiement de modèles puissants et la gestion des coûts d’infrastructure.

La distillation des connaissances présente une solution prometteuse à ce dilemme. Cette technique transfère les connaissances d’un modèle volumineux et coûteux en calcul (le “professeur”) à un modèle plus petit et plus efficace (l’”élève”). Ce faisant, le modèle plus petit conserve une grande partie des performances et des connaissances de son homologue plus grand, tout en étant optimisé pour une consommation de ressources moindre, ce qui le rend faisable pour une inférence et un déploiement rentables.

Livrable:

Le stagiaire recevra des conseils de la part des ingénieurs de recherche en IA du SLB AI Lab et sera pleinement intégré à l’équipe NLP, en collaboration avec des experts du domaine. Le stage commencera par une revue de l’état de l’art, suivie d’une compréhension du contexte commercial, avant de passer aux phases de recherche, de construction de prototypes et de tests. Le stagiaire pourra s’engager dans des recherches théoriques et appliquées de haut niveau dans ce domaine. Il/Elle contribuera au développement de nouveaux produits et collaborera avec des experts de projet et des data scientists au sein de l’AI Lab et de diverses équipes SLB à travers le monde.

Objectif de ce stage :

1- Apprendre : Acquérir une compréhension approfondie de la distillation des connaissances dans le contexte des grands modèles de langage.

2- Benchmark : Évaluer les compromis entre la performance des modèles et l’efficacité computationnelle en utilisant différentes méthodes de distillation.

3- Développement : Implémenter diverses techniques de distillation des connaissances pour compresser les grands modèles sans perte significative de performance.

4- Application : Edge-computing. Déployer des grands modèles de langage compressés dans des installations éloignées (par exemple, une plateforme de forage en mer), où l’accès à Internet est limité et les appels d’API classiques sont impossibles.

Le stagiaire aura accès à une infrastructure GPU sur site équipée de puces H100, facilitant l’inférence et le fine-tuning des modèles publics tels que Llama3.1. De plus, le stagiaire pourra utiliser des environnements de test cloud pour travailler avec des modèles de pointe provenant d’organisations leaders, notamment OpenAI, Anthropic, Google et Mistral AI.

• Master (Master 1 ou MAster 2) en IA générative, NLP & LLM, mathématiques appliquées, probabilités & statistiques, apprentissage profond, ou équivalent

• IA générative, NLP & LLM, mathématiques appliquées, probabilités & statistiques, apprentissage profond

• Langage de programmation : Python, PyTorch, LangChain

• Compétences en communication orale et écrite en anglais

• Bonne motivation, autonomie, esprit d’équipe et ingéniosité

Le processus de recrutement est simple : si votre profil correspond aux attentes pour le poste, vous serez recontacté pour un entretien de pré-qualification en vidéo différée ou par téléphone. Cette étape vous offrira la possibilité de décrocher un rendez-vous pour un entretien avec nos équipes. 

Chez SLB, nous célébrons la diversité et nous vous accueillons tel que vous êtes, sans distinction aucune. Rejoignez-nous pour une expérience professionnelle unique et enrichissante !