Reconnaissance de Végétaux Récréative, Interactive et Educative sur Smartphone – ReVeRIES

Les travaux de recherche seront validés par l’expérimentation de 2 prototypes d’applications mobiles fondées sur des algorithmes de reconnaissance de plantes à partir de photos.
Le premier prototype concerne des jeux éducatifs sur mobiles que l’on peut créer à partir d’un outil auteur ne nécessitant pas de connaissance en programmation. Par exemple, un joueur est mis dans la « peau » d’un botaniste dont l’objectif sera de localiser et d’identifier des plantes, selon des mécanismes de jeux prédéfinis (jeux de rôles, collaboration, compétition, …).
Le second prototype est un outil pour réaliser des inventaires de plantes de façon collaborative. L’objectif est de mesurer l’impact de la ludification et de l’adaptation de ce type d’activités.
Ces prototypes s’appuieront sur les résultats du projet ANR ReVeS et l’application Folia (application Android et IOS) ainsi que sur des nouveaux algorithmes de reconnaissance multimodale. Ils permettront de reconnaitre des arbres et arbustes que l’on trouve en France (plantes indigènes et principales plantes exotiques).

- Proposition d’un méta-modèle permettant de créer une grande variété de jeux éducatifs mobiles
- Reconnaissance d’un arbre à partir d’images de ses feuilles et de son écorce
- Une étude menée auprès de 400 étudiants et 50 enseignants en botanique
- Analyse des besoins auprès du parc Echologia

Grâce aux résultats du projet ReVeRIES et des prototypes développés qui seront publiquement disponibles, nous pensons que le projet aura un impact important sur une grande variété d'utilisateurs.
Le premier type d’applications s'adresse aux néophytes dans le cadre d’une sortie dans un parc botanique par exemple. Les mécaniques de jeu, tels que la chasse au trésor et les activités de groupe, rend leur utilisation particulièrement adaptée aux enfants et aux familles. Ces applications pourront également être utilisées pour des sorties scolaires ou des sorties organisées par des associations de botanistes et des parcs nationaux.
Le deuxième type d’application s'adresse aux botanistes amateurs qui veulent améliorer leurs compétences d'identification et recueillir des données pour les inventaires botaniques. Cet outil pourra être utilisé par des parcs naturels ou des associations botaniques qui voudraient créer des atlas locaux, en devant pour cela former et motiver un grand nombre de bénévoles pour collecter des données.

P.-Y. Gicquel, S. George, I. Marfisi « Technologies sémantiques pour l’apprentissage de la botanique en mobilité », Presented at the SemWebPro professional Conference, 21 November 2016, Paris, France.

S. George, D. Coquin, T. Joliveau, V. Malécot, L. Tougne (2016), Conception d’applications ludo-éducatives mobiles en botanique, Colloque Ludovia, 23-26 août 2016, Ax-les-Thermes, France.

I. Marfisi, P.-Y. Gicquel, S. George (2016), Meta Serious Game: Supporting Creativity Sessions for Mobile Serious Games, 10th European Conference on Games Based Learning (ECGBL), 6 - 7 October 2016, Paisley, Scotland,

I. Marfisi, P.-Y. Gicquel, A. Karoui, S. George (2016), From Idea to Reality: Extensive and Executable Modeling Language for Mobile Learning Games, 11th European Conference on Technology Enhanced Learning (EC-TEL), 13 - 16 September 2016, Lyon, France,

R. Ben Ameur, L. Valet, D. Coquin (2016), Sub-Classification Strategies for Tree Species Recognition, 23rd International Conference on Pattern Recognition, IEEE ICPR 2016, 4-8 December 2016, Cancun, Mexico.

R. Ben Ameur, L. Valet, D. Coquin, S. Galichet (2016), Système d’aide à la reconnaissance d’espèces d’arbres à partir d’une base de connaissance incomplète, partielle et conflictuelle. 25ème Rencontres Francophones sur la Logique Floue et ses Applications (LFA 2016), La Rochelle, France.

R. Ben Ameur, L. Valet, D. Coquin (2016), Fusion System Based on Belief Functions Theory and approximated Belief Functions for Tree Species Recognition. 6th International Conference on Image Processing Theory, Tools and Applications, IEEE IPTA, 12-15 December 2016, Oulu, Finland.

R. Ben Ameur, L. Valet, D. Coquin (2016), A Fusion System for Tree Species Recognition through Leaves and Barks. IEEE Symposium Series on Computational Intelligence, 6-9 December 2016, Athens, Greece.

S. Bertrand, G. Cerutti, L. Tougne (2016), Bark Recognition to Improve Leaf-based Classification in Didactic Tree Species Identification, VISAPP 2017

L’urbanisation de ces dernières décennies a indéniablement fait évoluer notre rapport aux plantes dans notre vie quotidienne. Il n’en reste pas moins que, d’une part, des générations de botanistes ont accumulé des connaissances concernant ces espèces et que, d’autre part, nombreuses sont les personnes intéressées par la nature qui les entoure et qui sont conscientes que les ressources naturelles sont un trésor à préserver. Cependant, il faut bien avouer que pour une majorité de gens, la botanique reste difficilement abordable.
Dans le cadre du projet ReVeRIES (Reconnaissance de Végétaux Récréative, Interactive et Educative sur Smartphone), nous nous proposons d’utiliser les technologies mobiles pour aider l’homme à connaître son environnement et plus précisément les végétaux qui l’entourent.

Le projet ReVeRIES s’appuie sur une application mobile, nommée Folia et développée dans le cadre du projet ANR ReVeS, capable de reconnaître les espèces d’arbres et d’arbustes à partir de photos de leurs feuilles. Ce prototype se différencie des autres outils car il est capable de simuler le comportement du botaniste. Dans le contexte du projet ReVeRIES, nous nous proposons d’aller beaucoup plus loin en développant de nouveaux aspects : l’apprentissage par le jeu sur dispositif mobile, la reconnaissance multimodale d’images et les sciences citoyennes.
Premièrement, nous visons la conception d’applications ludo-éducatives mobiles qui aideront les utilisateurs à acquérir des connaissances sur les plantes et sur les méthodes employées par les experts en botanique pour reconnaître les familles, les genres et les espèces. Afin de motiver les enfants et les néophytes en botanique dans l’exploration de la nature, nous avons pour objectif d’utiliser des mécaniques de jeu afin de concevoir des activités ludiques d’identification des plantes. Les utilisateurs pourront ainsi améliorer leurs compétences en comparant leurs résultats à ceux obtenus par l’algorithme de reconnaissance d’images.
Concernant l’algorithme de reconnaissance d’images, nous allons l’étendre aux principaux arbres et arbustes exotiques que l’on trouve en France. De plus, nous allons désormais prendre en compte d’autres organes. Cette multimodalité est essentielle si nous souhaitons que l’utilisateur apprenne et s’entraîne aux différentes méthodes de reconnaissance, pour lesquelles les botanistes utilisent la variété des organes (i.e. les feuilles, les fleurs, les fruits, les écorces, etc.). Par ailleurs, l’utilisation combinée de différents organes devrait grandement améliorer le taux de bonne classification. L’ancienne méthode proposée pour la reconnaissance de feuilles ne pouvant pas s’appliquer directement aux autres organes, de nouveaux verrous scientifiques se posent, tant au niveau du traitement des images qu’au niveau de la fusion de données.
Pour finir, nous allons explorer des pistes pour accroître la conscience sociale des ressources naturelles et soutenir la science citoyenne. Les photos et les informations géolocalisées, prises avec l’application mobile et validées par des experts, pourront être transférées à des réseaux spécialisés, tel que Tela-Botanica, intégrées à des systèmes d’information géographique, tel que OpenStreetMap, et mobilisées par des institutions locales pour soutenir des actions et des projets impliquant des citoyens. Ceci soulève des problèmes liés au champ de l’Information Géographique Volontaire.

Globalement, le projet s’attaque à plusieurs défis scientifiques en EIAH-Serious Game, analyse d’images, fusion de données, IHM et aussi dans le domaine des inventaires collaboratifs. Les impacts possibles sont nombreux : enseignement de la botanique à des publics variés, l’intelligence collective, la science citoyenne, la préservation de la nature et les jeux collaboratifs environnementaux. Au-delà des citoyens intéressés par la nature, ce système peut être utile aux enseignants et à leurs étudiants, aux botanistes et également aux parcs naturels.