Apprentissage de capacités de mouvements avec des humanoïdes virtuels – HUSKI

Au lieu de suivre une approche de référence qui considérerait le mouvement humanoïde comme un simple exemple de problème pouvant être résolu par de l'apprentissage par renforcement, nous proposons de concentrer notre travail sur les particularités du mouvement des humanoïdes et sur la manière dont des algorithmes d'apprentissage par renforcement spécialisés peuvent en tirer parti. Le projet se concentre en particulier sur trois aspects de l'apprentissage par renforcement : l'exploration, l'apprentissage de représentations et la modularité.

A la fin du projet, les algorithmes développés seront mis à disposition dans un outil open-source.

La perspective principale des résultats scientifiques du projet est de faire progresser les domaines de l'apprentissage par renforcement, de la robotique humanoïde de l'animation de personnages virtuels.

1. Thomas Pierrot, Guillaume Ligner, Scott Reed, Olivier Sigaud, Nicolas Perrin, Alexandre Laterre, David Kas, Karim Beguir, Nando De Freitas, Learning Compositional Neural Programs with Recursive Tree Search and Planning, NeurIPS 2019.
2. Astrid Merckling, Alexandre Coninx, Loic Cressot, Stephane Doncieux, Nicolas Perrin, State Representation Learning from Demonstration, LOD 2020.
3. Matheron et al., Understanding Failures of Deterministic Actor-Critic with Continuous Action Spaces and Sparse Rewards, ICANN 2020.
4. Guillaume Matheron, Nicolas Perrin, Olivier Sigaud, PBCS: Efficient Exploration and Exploitation Using a Synergy Between Reinforcement Learning and Motion Planning, ICANN 2020.
5. Alexandre Chenu, Nicolas Perrin-Gilbert, Stéphane Doncieux, Olivier Sigaud, Selection-Expansion: A Unifying Framework for Motion-Planning and Diversity Search Algorithms, ICANN 2021.
6. Thomas Pierrot, Nicolas Perrin-Gilbert, Olivier Sigaud, First-Order and Second-Order Variants of the Gradient Descent in a Unified Framework, ICANN 2021.

Le mouvement humain a plusieurs particularités qui le rendent difficile à reproduire avec des algorithmes. Il fait appel à de nombreuses heuristiques qui se combinent parfaitement et sont mobilisées et ajustées avec une grande flexibilité. Pour la commande des robots humanoïdes, un état de l'art très complet existe, principalement basé sur des liens entre mécanique, cinématique, algèbre linéaire et optimisation. Ces approches (que l'on qualifiera de méthodes basées modèles) ne permettent cependant pas d'obtenir des comportements autonomes complexes, car de nombreuses composantes des mouvements doivent être décrites par des tâches précises. Récemment, des approches d'apprentissage ont permis d'aboutir à des résultats remarquables sans exploiter les méthodes basées modèles. L'objectif de ce projet est d'aller plus loin en mettant au point des techniques d'apprentissage spécifiques qui reprennent certains aspects des méthodes basées modèles et permettent de construire automatiquement des répertoires de capacités de mouvements avec des humanoïdes virtuels.