Reconstruction Visuelle Temps-réel en Mixant des Caméras de Profondeur et Couleur – MIXCAM

Les humains ont l'extraordinaire capacité de percevoir en trois dimensions, essentiellement grâce à leur système visuel binoculaire. Alors que la stéréoscopie biologique et computationelle ont été étudiées en profondeur durant les cinquante dernières années, les méthodes et technologies du cinéma et de la télévision ont exclusivement fait appel à des séquences d'images à deux dimensions, y compris les toutes récentes productions 3D qui utilisent deux séquences d'images, une pour chaque oeil. Cet état de faits est dû à deux limitations fondamentales : it est difficile d'obtenir des reconstructions 3D de scènes complexes, et la technologie d'écrans 3D "sans lunettes" et multi-vues, susceptible d'avoir besoin de contenu 3D, est encore en cours de développement. L'objectif de MIXCAM est de développer de nouveaux concepts scientifiques ainsi que les méthodes et logiciels associés afin de produire du contenu 3D "live" pour des écrans 3D multi-vues et sans lunettes. MIXCAM combinera (i) des principes théoriques de stéréoscopie, (ii) des méthodologies de reconstruction multi-caméras ainsi que (iii) des capteurs utilisant de la lumière active, afin de développer une chaîne méthodologique complète de production et de visualisation de contenu, ainsi qu'un démonstrateur "preuve-de-concept" implémenté sur une plate-forme multi-capteurs et multi-PC capable d'effectuer les traitements en temps réel et de manière distribuée. MIXCAM planifie de développer une approche originale basée sur des méthodes combinant des caméras couleurs et des caméras temps-de-vol (TOF) : matching robuste TOF-stereo, reconstruction 3D précise et rapide, rendu photo-réaliste, traitements temps-réels et répartis, ainsi que le développement d'une nouvelle plate-forme mixant des caméras couleur et temps-de-vol. Le projet comporte deux partenaires français (INRIA et 4D View Solutions) et un partenaire international (Samsung Electronics). Les partenaires developperont du logiciel scientifique qui sera démontré sur deux prototypes d'une nouvelle plate-forme, conçue est construite par 4D View Solutions, et qui seront disponibles à l'INRIA et à Samsung, facilitant de la sorte l'exploitation scientifique et industrielle des résultats. Vers la fin du projet, les principes scientifiques et la technologie associée seront demontrés à la foire annuelle de Samsung, à Seoul en Corée.