INteraction Gestuelle cREDIBLE – INGREDIBLE

Le projet INGREDIBLE a pour objectif de proposer un ensemble d’innovations scientifiques dans le domaine de l’interaction entre humains et acteurs virtuels. Il propose de développer un prototype d’acteur virtuel autonome doté d'une capacité de couplage dynamique corporel affectif avec un humain dont les gestes sont analysés en temps réel. L'accent est mis sur la dynamique du couplage des gestes qui est considérée comme la clé de voûte du ressenti de la « présence de l’autre » et d’un « engagement » des utilisateurs dans les systèmes de réalité virtuelle du futur. Chaque geste ou variation de geste d'un acteur modifie celui de l'autre et ce réciproquement. Selon les états affectifs des interlocuteurs, ceci donne lieu à l'apparition d'une coordination, d'un dialogue gestuel, composé d’initiatives et d’imitations qui est singulier. C’est cette singularité qui est spécifique aux interactions humaines « réelles » qu’il est très difficile d’aborder que l’on cherchera à recréer dans un espace réel/virtuel.
En particulier, notre approche englobera de manière originale plusieurs phénomènes observés en interaction corporelle : intégration les différents canaux véhiculant l’expressivité (posture du corps, qualité du mouvement, gestuelle), imitation, convergence posturale et synchronie. Le projet se focalisera notamment sur les expressions corporelles des émotions dans des situations d’interaction ainsi que sur la dynamique temporelle des enchaînements gestuels.
Le projet n’abordera pas les aspects verbaux ou linguistiques. Ce choix se justifie par une estimation réaliste de la complexité de la tâche à réaliser en un temps limité. L’abord de l’interaction gestuelle temps réel est à elle seule un domaine à part entière qui peut être dans un premier temps séparé de l’analyse du discours. Il faut néanmoins, pour atteindre la richesse comportementale souhaitée, contextualiser l’interaction par le biais de cadres scénaristiques prédéfinis. La généricité des mécanismes d’interaction gestuelle, au travers de différents contextes, permet cette étude séparée pour mieux préparer une future liaison entre l’interaction verbale et l’interaction gestuelle.
Sur le fond, le projet tend à mettre en synergie plusieurs axes scientifiques :
- L’étude et la formalisation de la dynamique des interactions gestuelles entre humains.
- L’étude de l’expression gestuelle et posturale des émotions.
- La reconnaissance de gestes en temps-réel ainsi que leur anticipation.
- La modélisation d’agents autonomes interactifs et adaptatifs.
- La synthèse de mouvements d’interaction expressifs en temps réel.
Le projet INGREDIBLE est également ancré vers des préoccupations applicatives, en s’appuyant sur :
- Une démarche générique s’appuyant sur l’application à plusieurs plateformes d’animation et à plusieurs scénarios applicatifs.
- Une évaluation des capacités offertes par différents dispositifs (Kinect , Optitrack, softKinetic, Moven ..) et plateformes d’animations (MARC, AReVi/HLIB, SMR, Unity).
- Des scénarios d’usages provenant de différents domaines (théâtre, sport, formation)
- Des utilisateurs externes qui proposent des scénarios et permettent de garantir la pertinence des besoins.