AVATARS SONORES ET INTERACTIONS LUDIQUES PAR L'AUDITION – EARTOY

Les images dominent notre perception du monde. Ainsi, les applications de réalité virtuelle, qu’,elles relèvent du jeu, de l’,apprentissage ou même de l’,art, s’,adressent principalement à la vision. Peu de travaux s’,attachent à exploiter le potentiel fourni par les stimulations du système auditif de l’,utilisateur. L’,audition est pourtant la seule modalité sensorielle de l’,homme à pouvoir le mettre en relation avec l’,ensemble de l’,espace qui l’,entoure. Elle se distingue de toutes les autres modalités sensorielles dont la disposition des organes récepteurs sur le corps ne permet la captation des stimuli que dans un champ limité (vision, toucher). Par ailleurs, si les dispositifs de reproduction restituant un champ sonore cohérent spatialement restent encore confinés au monde du laboratoire, ils sont paradoxalement en avance sur leurs équivalents visuels : harnachement moins lourd, diffusion sans fil, liberté de mouvement sur de grandes distances. Libéré de la contrainte du regard porté vers un écran, l’,utilisateur peut explorer sans restriction les relations qui le lient à l’,espace immersif. L’,objectif principal d'EarToy est d’,étudier l’,interaction audition/corps/espace dans les dispositifs de reproduction sonore dits immersifs, de promouvoir les applications interactives accordant la primauté à la modalité sensorielle auditive et de développer de nouveaux paradigmes d’,interaction avec un contenu sonore. La conception de tels environnements interactifs centrés sur la modalité auditive soulève des questions scientifiques stimulantes et présente un potentiel d’,applications innovantes dans de nombreux domaines. Le projet EarToy consiste à exploiter les technologies de restitution audio 3D et de capture du mouvement dans leurs développements les plus récents, et à explorer le potentiel de la modalité d’,interaction audition/corps/espace à travers des scénarios d’,usage ludiques s’,appliquant, en particulier, au domaine du jeu musical. Nous démontrerons les potentialités offertes par les stimulations auditives pour la RV en explorant trois axes : 1) la création de mondes virtuels auditifs évolutifs, 2) la création d’,un avatar sonore, et 3) la mise en place de nouvelles modalités d’,interaction entre l’,utilisateur et le monde virtuel. Dans les mondes virtuels, les tâches de navigation sont généralement confiées à la vision associée à des dispositifs gestuels auxquels sont délégués les contrôles de déplacement et de sélection. Dans EarToy, l’,utilisateur est placé dans une situation de navigation par l’,audition et par l’,action. Il n’,a à manipuler aucun périphérique de contrôle, souris, joystick ou autre. Les avantages attendus d’,une telle interaction auditive sont de reposer sur des modalités sensorielles éminemment tridimensionnelles. Par ailleurs, notre connaissance et notre représentation spatiale sont intimement liés aux processus d’,apprentissage engageant le corps. C’,est la maîtrise conjointe de ces deux modalités, audition et action, qui nous permettra de synthétiser et contrôler des espaces sonores interactifs. Ces modalités deviennent les candidates pour une IHM intuitive et émotionnelle. Un des objectifs du projet EarToy est d’,élaborer un répertoire de modes d’,interaction sur la base de règles de mise à jour du monde sonore en fonction des mouvements de l’,utilisateur. Cette phase s’,appuiera sur la constitution d’,outils d’,édition de l’,interaction permettant de décrire sous forme symbolique les règles d’,association entre une classe de gestes et les procédés d’,articulation, de transformation et de spatialisation d’,un corpus sonore. La pertinence au niveau perceptif et cognitif de ce répertoire d’,interactions sera évaluée expérimentalement. Il est proposé de travailler sur le concept d’,avatar sonore, manifestation auditive de la présence de l'utilisateur dans le monde virtuel. La notion d’,avatar sonore nécessite la prise en compte de la nature particulière du son pour concevoir les caractéristiq