Produire un modèle 3D d’une scène réelle est beaucoup plus difficile et en est encore au stade de la recherche.
Cependant, les progrès réalisés ces dernières années ont été remarquables, et la famille d’algorithmes à la pointe de la technologie (basée sur [1] 3d gaussian splatting) parvient à produire un modèle satisfaisant à partir d’un nombre raisonnable d’images d’entrée.
L’utilisation opérationnelle de tels modèles implique de les compresser, pour le stockage et surtout pour la transmission. En effet, un modèle 3D de cette famille nécessite des millions de points avec leurs positions, couleurs et autres caractéristiques, ce qui représente un volume de données substantiel. C’est particulièrement vrai lorsqu’il s’agit de vidéo 3D, qui implique de mettre à jour les données 30 fois par seconde. Certaines publications intéressantes ont déjà eu lieu sur le sujet. On peut penser à HAC [2] pour la compression d’un modèle statique, ou Spacetime Gaussian [3] pour la représentation de scènes dynamiques.
La compression des modèles 3d gaussian splatting est encore un domaine de recherche, et de nombreuses idées restent à explorer. Le sujet de ce stage est l’utilisation de la compensation de mouvement pour la compression de séquences de points 3D.
La mission de ce stage est d’entrainer un modèle représentant une scène à partir d’un ensemble de vidéos 2D d’entrée, en intégrant les données 3D et le mouvement. L’entrainement sera réalisé avec un objectif de débit/distorsion, de manière à se concentrer dès la création du modèle sur la compression.

Activités principales :
1. Lire la documentation sur le 3d gaussian splatting et les modèles vidéo 3D qui en dérivent.
2.Produire un modèle dynamique avec la solution à l’état de l’art au moment du stage. Le tester sur nos propres données et identifier les limitations.
3. Décider du modèle de mouvement à mettre en oeuvre, en collaboration avec le reste de l’équipe, en priorisant en fonction de l’impact attendu et de la complexité.
4. Mettre en oeuvre le modèle discuté, le tester et l’améliorer de manière incrémentale.
Réf :
[1] Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/ />[2] Chen, Y., Wu, Q., Lin, W., Harandi, M., & Cai, J. (2025). Hac: Hash-grid assisted context for 3d gaussian splatting compression. In European Conference on Computer Vision (pp. 422-438). Springer, Cham.

formation souhaitée
dernière année d’école d’ingénieur ou de master
 Pré-requis techniques :
Connaissances en développement in python and/or C++
Compétences pointues et appétence pour les mathématiques
Culture sur les techniques d’entrainement d’IA
Aptitudes personnelles :
you speak (read!) English
vous aimez vous heurter à des problèmes complexes
vous voulez travailler dans un domaine d’évolution rapide, ou tout peut être remis en cause à chaque instant