Couplage Apprentissage et Vision pour Contrôle de Robots Aeriens – CLARA

Différentes approches et méthodes sont étudiées dans les travaux en cours. Parmi celles ci, on peut citer :
1) l'étude de l'estimation du flux optique dans les images sphériques à l'aide des méthodes basées sur l'apprentissage profond,
2) L'étude de la prise en compte de la géométrie de la scène à l'aide d'un capteur de profondeur pour améliorer les filtres de convolution
3) L’étude des stratégies de commande avancées pour la navigation de robots aériens dans des environnements complexes et non structurés.

Le projet avance bien et les résultats préliminaires obtenus sont très bons. Certains ont déjà fait l’objet de publications dans des conférences et d’autres sont en cours de rédaction.
Les interactions avec tous les membres du consortium sont très bonnes.

Les deux thèses financées par l'ANR ont commencé fin 2019 et début 2020. Les objectifs initiaux restent d'actualité, à savoir :
- La commande du drone dans un environnement complexe et inconnu ;
- La perception et la représentation d'un environnement complexe et non structuré pour l'évitement d'obstacle et l'étude de la traversabilité ;
- La reconstruction 3D et la localisation d’un robot volant dans un environnement où les objets sont peu discriminants/différentiables.

Z. Wu, G. Allibert, C. Stolz, C. Demonceaux, Depth-Adapted CNN for RGB-D Cameras, Asian Conference on Computer Vision (ACCV20), Kyoto, Japan, December 2020
hal.archives-ouvertes.fr/hal-02946902

C.O. Artizzu, H. Zhang, G. Allibert, C. Demonceaux, OmniFlowNet: A Perspective Neural Network Adaptation for Optical Flow Estimation in Omnidirectional Images, in IEEE International Conference on Pattern Recognition (ICPR20), Milan, Italia, January 2021
hal.archives-ouvertes.fr/hal-02968191

I.S. Mohamed, G. Allibert, P. Martinet, Model Predictive Path Integral Control Framework for Partially Observable Navigation : A Quadrotor Case Study, IEEE International Conference on Control, Automation, Robotics and Vision (ICARCV20), Shenzhen of China, December 2020
hal.archives-ouvertes.fr/hal-02545951

A.R. Sekkat, Y. Dupuis, P. Vasseur, P. Honeine, Génération d'images omnidirectionnelles à partir d'un environnement virtuel, GRETSI, 2019.
hal-normandie-univ.archives-ouvertes.fr/hal-02183033

Les drones aériens sont désormais des robots très utilisés pour des tâches de surveillance, de prévention ou d'analyse de lieux. Dans le cas d'un espace libre d'obstacles, la navigation autonome est alors envisageable par un asservissement sur une trajectoire de points de passage GPS comme dans le cas d'un relevé hydrique sur une parcelle agricole par exemple. Pour des situations plus complexes comme le contrôle d'ouvrages d'art, un pilote est alors souvent nécessaire pour assurer la sécurité pendant le vol. Dans des environnements encore plus complexes tels que l'intérieur d'une forêt, les pilotages autonome et humain deviennent tout aussi impossibles l'un que l'autre de par les multiples contraintes rencontrées :
- la perte des signaux GPS est classique dans ce genre d'environnement difficile rendant la navigation par points de passage très compliquée voire impossible,
- l'environnement dense et non structuré (branches, broussailles, ...) rend la visualisation par écran interposé ou lunettes d'immersion très difficile pour un pilote qui ne pourra pas sécuriser totalement le vol.
Néanmoins, l'usage des drones aériens dans ce genre d'environnement est d'un intérêt primordial et peut se décliner en de multiples applications de prévention et/ou de surveillance telles que la détection préventive d'incendie, la recherche de personnes, la cartographie pour l'entretien forestier, etc.
Dans ce projet, nous proposons donc de relever le défi de la navigation autonome d'un drone aérien au sein d'une forêt dans l'objectif d'une cartographie 3D. Pour cela, nous distinguons trois verrous scientifiques à résoudre pour permettre de réussir ce défi :
- La commande du drone dans un environnement complexe et inconnu ;
- La perception et la représentation d'un environnement complexe et non structuré pour l'évitement d'obstacle et l'étude de la traversabilité ;
- La reconstruction 3D et la localisation d’un robot volant dans un environnement où les objets sont peu discriminants/différentiables.
Dans le projet CLARA, pour répondre aux contraintes et aux verrous scientifiques identifiés, nous supposerons que le drone ne dispose ni de carte de l’environnement, ni de GPS et qu'il doit reconstruire une cartographie frustre tout en se déplaçant de manière autonome vers une position prédéfinie. Pour cela, le drone sera équipé d'une centrale inertielle et d'un système de vision stéréoscopique composé de deux caméras à 360 degrés.