Votre rôle est d’effectuer un travail de thèse sur le sujet : “ Codage neuronal avancé pour les signaux audio mono et stéréo “.

Contexte global et problématique du sujet
La compression audio (ou codage audio) est un domaine issu du codage de source, avec un long historique marqué par le développement de nombreux codecs (codeurs-décodeurs), dont certains sont très connus du grand public comme MP3 ou AAC pour la transmission ou le stockage de musique.
Depuis quelques années, le domaine du codage audio est révolutionné par les technologies de l’apprentissage profond (deep learning). Les réseaux de neurones artificiels permettant d’atteindre des débits de compression très faibles.
Ainsi, une nouvelle génération de méthodes de compression de signaux multimédia a émergé avec le deep learning. Les architectures de type autoencodeur s’appuyant sur un apprentissage antagoniste (GAN pour Generative Adversarial Network) donnent de très bons résultats, avec des codecs comme SoundStream, EnCodec, ou Descript Audio Codec (DAC). D’autres approches, telles que les modèles de diffusion, sont aussi étudiées.
Les codecs audio neuronaux actuels sont pour l’essentiel en mono. Comparés aux codecs “ traditionnels “, ils sont en général bien plus complexes (en termes de ressources de calcul), requièrent un stockage très significatif (par exemple de l’ordre de 10 à 80M de paramètres).

Objectif scientifique - résultats et verrous à lever
Dans ce contexte, l’objectif de la thèse est de concevoir et développer des méthodes de codage audio innovantes basées sur le deep learning, pour les signaux mono et stéréo.
La thèse visera en particulier à lever les verrous scientifiques suivants :

Obtenir une représentation audio par réseaux de neurones (artificiels) qui soit capable de couvrir à la fois le mono et le stéréo
Réduire la complexité des modèles de représentation en codage audio neuronal
Obtenir un espace latent interprétable (donnant une séparation de type fréquentielle ou une séparation de contenus)

Il s’agira par exemple d’étudier les approches récentes comme les transformers ou les modèles de diffusion, et de tester et explorer de nouvelles architectures de réseaux de neurones.

Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste
Bases solides en mathématiques (probabilités, algèbre…) et traitement numérique du signal
Appétence pour le traitement de parole/audio
Connaissances approfondies en Python - la connaissance du langage C et de MATLAB serait un plus
Expérience en apprentissage automatique, notamment réseaux de neurones profonds (deep learning), bonne pratique sur le framework PyTorch
Rigueur et créativité
Bonne maîtrise de l’anglais
Formation demandée : Master Recherche et/ou école d’ingénieur (avec un stage dans un laboratoire de recherche)


Références indicatives
1.     Minje Kim and Jan Skoglund, “Neural Speech and Audio Coding,” arXiv:2408.06954v1, 2024
2.     Thomas Muller, Stephane Ragot, Laetitia Gros, Pierrick Philippe, Pascal Scalart, Speech quality evaluation of neural audio codecs, Interspeech, 2024
3.     N. Zeghidour et al., “SoundStream: An End-to-End Neural Audio Codec,” IEEE/ACM Trans. TASLP, 2021, arXiv:2107.03312
4.     R. Kumar et al., “High-Fidelity Audio Compression with Improved RVQGAN,” in Advances in Neural Information Processing Systems, vol. 36, 2023.
5.     J.D Parker et al., Scaling Transformers for Low-Bitrate High-Quality Speech Coding, arXiv:2411.19842, Nov. 2024
6.     Yaoxun Xu, et al., “ MuCodec: Ultra Low-Bitrate Music Codec,” arXiv:2409.13216, Sep. 2024