Ce stage explorera des réflexions sur l’explicabilité des modèles de Deep Learning dans un contexte d’optimisation de portefeuille. Le projet s’inscrit dans un contexte d’utilisation de Transformers pour l’allocation de portefeuille. Plus précisément, le modèle utilise des historiques de prix d’actifs pour générer une allocation de portefeuille. C’est pourquoi la problématique d’explicabilité des modèles est importante, afin d’améliorer le niveau de transparence dans les décisions d‘investissement générées.

L’explicabilité des modèles d’intelligence artificielle (XAI) est un domaine de recherche visant à améliorer la compréhension des décisions réalisées par un modèle. Nous nous concentrerons sur les modèles de Deep Learning, qui présentent un phénomène de “boîte noire” rendant difficilement compréhensible et interprétable les sorties des modèles.

En particulier, des modèles appelés Transformers, combinant des mécanismes d’attention et des réseaux de neurones, seront étudiés.

Plusieurs approches peuvent être implémentées pour améliorer l’explicabilité de ces modèles. En effet, en considérant un modèle entraîné, nous pouvons d’une part perturber les données d’entrée et observer les conséquences sur les sorties du modèle, et d’autre part utiliser les sorties du modèle pour remonter (par back-propagation) vers l’entrée du modèle. Ces différentes méthodes permettent d’estimer les relations entre les données d’entrée et de sortie du modèle.

Ce stage a donc pour objectif d’améliorer l’explicabilité d’un modèle de Transformers. Plusieurs méthodes pourront être abordées, en particulier pour étudier les mécanismes d’attention et visualiser les gradients du modèle. Une revue de littérature sera alors nécessaire, puis différentes méthodes pourront être implémentées, avant de réaliser une analyse des résultats obtenus.

Pour ce stage, nous recherchons un(e) étudiant(e) en dernière année d’école d’ingénieur ou master M2, avec des connaissances en mathématiques appliquées et un intérêt pour l’apprentissage automatique et la recherche. L’implémentation sera faite en Python.

Sélection de CV, puis 1 entretien avec 2 personnes de Raise Partner, puis décision. En cas de besoin, un 2ème entretien sera proposer, mais il n’est pas initialement prévu