Votre rôle est d’effectuer un travail de thèse sur la détection et la mitigation des biais de résumé par des LLM dans les services Entreprise, pour des usages de l’Intelligence Artificielle (IA) tels que : des résumés de réunions ou verbatims dans une organisation ; synthèses d’interactions client ; résumés d’échanges interpersonnels non structurés via des services de communication et de collaboration. Il ne s’agit pas ici simplement de résumer des échanges, mais d’en produire une synthèse utile pour son destinataire, dont les besoins peuvent être différents en fonction de son métier / de ses objectifs.

Les biais dans la production de synthèse peuvent entraîner des inégalités, des inexactitudes ou des préjudices résultant de divers facteurs. Or, avec l’apparition des self supervised pretrained large language model, il n’est plus possible de mesurer des corrélations entre les signaux d’entrées, les choix algorithmiques et les biais observés. Concernant la détection de ces biais, seule une approche fondée sur des observations est réalisable, reposant sur la construction de métriques avec des évaluations effectuées par des humains et/ou des modèles de langage (LLM as a Judge).

Les étapes principales de la thèse seront donc :
1. Etudier puis élaborer une méthodologie et des protocoles d’évaluation adaptée, dans une optique de modularité et généricité et mise en place d’un benchmark les implémentant.
2. Conduire des tests basés sur ce benchmark en définissant des métriques dédiées.
3. Identifier des stratégies de mitigation des biais, en comparant les approches avec ou sans entraînement supplémentaire des modèles.

Les data sets privés Orange non contaminés ou publics seront utilisés. Les métriques seront élaborées par itération progressive, les biais se manifestant de manière statistique. Il faudra aller au-delà de l’aspect test et d’étendre à la recherche de règles heuristiques sur la corrélation entre les différentes étapes de construction et d’utilisation des LLMs avec la présence de biais. Enfin, il s’agira de construire une méthode adaptée pour les corriger en identifiant les stratégies d’alignement avec apprentissage supervisé ou avec apprentissage par renforcement. La solution proposée sera comparée à des méthodes de mitigation de biais sans entrainement supplémentaire (auto-diagnostic, prompt engineering et roleplay).
Contexte : https://hellofuture.orange.com/fr/ne-pas-reproduire-prejuges-et-erreurs-humaines-dans-les-llms-comment-faire/

Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste : forte autonomie, écoute, motivation et rigueur scientifique, compétences en modèles de langages (LLM), apprentissage (deep learning), intelligence artificielle (IA) et bonnes capacité en développement logiciel.

Formation demandée : Master 2 ou diplôme d’ingénieur avec une spécialisation en intelligence artificielle

Expériences souhaitées : une expérience liée aux biais dans les LLM serait un plus