Plate-forme de programmation interactive multimodale pour le Méta-Instrument n°3, et cinq projets pilotes associés – 2PIM / MI3

Le Méta-Instrument est une interface Homme-Machine embarquée, de haut niveau, qui suscite un geste expert proche de celui du chef d'orchestre. Trois prototypes, compatibles ascendant, ont été développés en 1989, 1996 et 2004 par Puce Muse. Sa technologie fait appel à des développements électroniques, informatiques, mécaniques spécifiques. Le Méta-Instrument de 3e génération (MI3) est un mesureur de gestes de grande précision. Cet ensemble de qualités ergonomiques couplées à une grande précision des mesures gestuelles a motivé son acquisition, dès la réalisation du MI3 il y a quelques mois, par le Laboratoire d’,Acoustique Musicale (LAM - ParisVI), le Laboratoire Bordelais de Recherche en Informatique (LaBRI - Bordeaux) et le département Music Technology de l'Université MacGill (Montreal). Par ailleurs, la collaboration entre Puce Muse, le LAM et le LIMSI (Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur) est déjà riche avec notamment deux publications communes en 2005 et 2006. L’,équipe temps réel de l’,IRCAM a participé à l’,élaboration du MI3. Enfin, la Grande Fabrique, compagnie de spectacle multimédia, utilise le MI2 depuis 6 ans. C'est donc naturellement que ces structures souhaitent associer leurs compétences sur ce projet : Cette interface haptique est aussi intéressante par son histoire puisque la première génération de Méta-Instrument a plus de 17 ans, et l’,ensemble des quelques 150 programmes développés pour lui sont encore accessibles aujourd’,hui et compatibles avec la dernière génération MI3. Ils peuvent nourrir cette recherche et donner du recul sur la problématique centrale complexe et multidisciplinaire de ce projet: la relation entre geste, mouvement, son et instrument. Cette question ne peut être résolue qu’,après plusieurs projets de recherches sur des instruments logiciels utilisant une même plate-forme pour tenter de dégager et d’,expliciter des lois et des archétypes qui sous tendent cette relation. Le projet s’,articule en deux temps : 1) Développement de la Plate-forme de Programmation Interactive Multimodale Permettre le co-développement et l’,échange de projets de recherches utilisant cette interface haptique, il est nécessaire de définir normaliser et développer une Plate-forme de Programmation Interactive Multimodale (2PIM). Cette plate-forme est destinée à héberger des projets d’,instruments logiciels prototypes, fonctionnant en temps réel, audios et visuels, dans un environnement 3D. 2) Exploration sur 2PIM des relations entre geste, son et image dans cinq projets pilotes, utilisant le MI3. 2.1 - Développer et évaluer cinq Instruments de musique virtuels visuel dirigés par le MI3, et mettre en évidence les interrelations entre mouvement gestuel, mouvement visuel et synthèse sonore 2.2 - Développer un programme de synthèse vocale contrôlé par le MI3. 2.3 - Développer un MODELE de composition musicale basé sur une représentation hiérarchique liant micro et macro-structures musicales. 2.4 - Développer un environnement de haut niveau insérable dans 2PIM pour connecter facilement le MI3 à des logiciels « grand public » 2.5 - Porter la banque d’,instruments logiciels utilisés par les générations précédentes de MI sur 2PIM et documenter ce patrimoine musical. Les conséquences de ce travail sont multiples aussi bien du coté du geste expert et des instruments logiciels, que sur l’,économie du geste. Les débouchés sont donc triples : - Pour la communauté scientifique travaillant sur la communication homme machine expressive (CHME) et les Interfaces Homme/Machine (IHM), les interfaces musicales et la réalité virtuelle. - Pour la communauté des musiciens utilisant l’,ordinateur, grâce à la mise en ligne ou la commercialisation des programmes développés. - Pour les infographistes, plasticiens, vidéastes utilisant l’,image en temps réel dans des performances, des spectacles, des émissions en direct. De plus, cette réflexion sur les relations entre geste, mouvement et son favorise un