Faire évoluer d'un niveau l'accélérateur interne UCT ("Universal Code Transformer"), pierre angulaire de nombreux projets de modernisation de patrimoines analytique des clients d'OCTO.

Le Why du stage:

Les assistants de code se démocratisent et font leurs preuves sur des langages communément utilisés. Comment faire d'OCTO le seul détenteur d'un outil performant sur des langage propriétaires et spécialisés dans le traitement de la donnée ?

Les missions du stage:

• Identifier les leviers à l'état de l'art pour rendre efficace un LLM sur une tâche spécialisée : le LLM doit "comprendre" les subtilités du code propriétaire afin de le traduire de façon générique
• Implémenter au moins une des méthodes short-listées et en mesurer les performances sur notre jeu de données d'évaluation
• Si la performance de la traduction est supérieure à la performance courante d'UCT alors déployer la fonctionnalité dans la prochaine version de l'accélérateur
• Livrer des perspectives sur d'autres expérimentations à mener pour favoriser l'amélioration continue de l'accélérateur

Le déroulement du stage:

1. Cadrage

Réaliser l'état de l'art des techniques permettant de spécialiser un LLM sur des tâches non génériques

2. Montée en compétences
Prendre en main de l'accélérateur UCT et monter en compétences sur la base de code avec le Lead Dev d'UCT

3.Exploration
Expérimenter une ou plusieurs technique de spécialisation (fine-tuning, RLHF, few-shot learning..) selon les performances de traduction observées

4. Réalisation et partage à OCTO

• Déployer les fonctionnalités offrant la capacité jugée la plus performante dans la phase d'expérimentation dans la codebase d'UCT
• Partage régulier de votre avancée et vos découvertes auprès des OCTOs, écrire un ou plusieurs articles sur le blog OCTO

• Vous préparez un BAC+5 et vous êtes à la recherche d'un stage de fin d'études
• Vous êtes issu(e) d'une formation en Informatique avec une spécialité Data Science (projet d'étude/expérience perso sur la GenAI)

Vous avez:

• Une culture technique sur l'état de l'art des modèles de fondation
• Des compétences solides python (Bonus : compétences en node.js)
• Des connaissance sur cloud service provider (par priorité AWS, GCP et Azure) et sur git (une expérience sur les LLMs d'Anthropic ou Gemini Pro sera fortement appréciée)
• Une bonne capacité de travail en équipe