L'Agence nationale de la recherche Des projets pour la science

Translate this page in english

Blanc - SVSE 4 - Neurosciences (Blanc SVSE 4)
Edition 2011


LU2


L’apprentissage sous incertitude: dynamique fonctionnelle du traitement de l’information dans les circuits fronto-striataux

Principes computationnels et neuronaux pour adapter le comportement en condition d'incertitude: vers une définition des systèmes flexibles autonomes.
Apprendre et agir en situation d'incertitude nécessitent avant tout d'évaluer cette incertitude et les issues de chaque action entreprise. Notre projet a pour objectif de définir les principes computationnels permettant d'adapter le comportement en condition d’incertitude et de préciser les mécanismes neuronaux mis en jeu chez des espèces caractérisées par leurs capacité de flexibilité, les rats et les primates.

Comprendre l'apprentissage sous incertitude pour le développement de modéles computationnels adaptatifs et mieux analyser les troubles pathologiques du comportements
Apprendre et agir en situation d'incertitude nécessitent avant tout d'évaluer cette incertitude et les issues de chaque action entreprise. Comprendre ces mécanismes permettrait de fournir des solutions puissantes à tout problème nécessitant la construction d'artéfacts autonomes (robots) capables de gérer l'ambigüité des situations, mais aussi d'apporter des outils analytiques clairs pour mieux évaluer l'effet de pathologies mentales marquées par la production de comportements inadaptés, compulsifs, ou autodestructeurs.
Les neurosciences montrent que des régions cérébrales déterminées du cortex préfrontal et du striatum, et leurs innervations dopaminergiques, jouent un rôle prépondérant. Selon les hypothèses actuelles les interactions entre ces régions et leur modulation permettent la flexibilité du comportement, et ceci de façon adaptée aux incertitudes générées par l'environnement. Des données préliminaires venant des partenaires de ce projet montrent que le cortex préfrontal médian et certaines parties du striatum représentent différents niveaux d'incertitude sur l'environnement. Ces structures pourraient ainsi intégrer des informations sur les statistiques des conséquences des choix pour optimiser les mécanismes d'apprentissage. Toutefois, la synergie entre les différentes régions, le rôle de la dopamine, et les principes fondamentaux qui régissent ces mécanismes restent inconnus.
Nous proposons de résoudre ces questions par une étude interdisciplinaire des mécanismes d'apprentissage en incertitude.

Comportement, physiologie et neurosciences computationnelles pour caractériser l'apprentissage sous incertitude
Nous avons regroupé des expertises dans le champ des théories du comportement et des fonctions cérébrales, et en neurosciences expérimentales. Le consortium ainsi formé est unique en Europe. Notre projet a pour objectif de définir les principes computationnels permettant d'adapter le comportement en condition d’incertitude et de préciser les mécanismes neuronaux mis en jeu. Les buts spécifiques sont:
(1) de déterminer l'influence de l’incertitude sur l’apprentissage par des expériences comportementales sur deux modèles animaux (rat, et singe) en décodant les principes de l’apprentissage dans des situations manipulant le degré d’incertitude.
(2) d'analyser la contribution respective et les interactions entre régions striatales et signaux dopaminergiques dans la gestion de l'incertitude, grâce à des enregistrements électrophysiologiques chez le singe et des manipulations pharmacologiques chez le rat.
(3) de définir le rôle des signaux dopaminergiques dans le traitement de l’incertitude par le cortex préfrontal, grâce aux enregistrements simultanés du cortex cingulaire antérieur et des neurones du mésencéphale pendant l’apprentissage sous incertitude chez le singe, et grâce à l'analyse des effets d’inactivations pharmacologiques chez le rat.
(4) de synthétiser les principes de fonctionnement des réseaux neuronaux qui contribuent à l’apprentissage sous incertitude, par le développement d'outils de modélisation théorique et de simulation neuronale.

Résultats

Nos recherches ont permis de mettre au point un test comportemental adaptable à plusieurs espèces (rongeurs, primates) permettant d'analyser les capacités d'adaptation comportemental sous incertitude. L'incertitude est modifiée régulièrement afin de tester la régulation des stratégies d'exploration. Les données préliminaires montrent comment les stratégies d'utilisation des feedback positifs et négatifs obtenus pendant l'exploration sont modulées selon le niveau d'incertitude.
Les travaux du partenaire ISIR ont tout d'abord visé à étudier quels modèles computationnels d'apprentissage par renforcement rendent le mieux compte des signaux dopaminergiques en lien avec l'apprentissage rapportés dans la littérature, afin d'en déduire des prédictions précises pour les expériences du projet. Ces modèles ont de plus été appliqués à l'analyse des données comportementales enregistrées par les partenaires du projet : données chez le singe provenant de l'INSERM (Khamassi et al., en révision) ; données chez le rat provenant de l'INCIA.

Perspectives

Une question centrale des neurosciences concerne le substrat biologique de la prise de décision en environnement changeant. Notre projet vise au-delà des considérations actuelles sur l'apprentissage basé sur les erreurs à déterminer les bases neuronales de la prise de décision sous incertitude. Comprendre comment le cerveau résout l'incertitude pour faire des choix est aussi un problème fondamental pour les théories de la prise de décision économique (Neuroéconomie) et pour comprendre les réponses individuelles face au risque et à l'ambigüité.
Notre projet a, de plus, de fortes implications pour la clinique puisqu'il traite des bases neuronales de mécanismes cruciaux pour la flexibilité comportementale, dont les atteintes se retrouvent dans les troubles compulsifs, dans l'addiction, ou les atteintes exécutives (Parkinson, schizophrénie).
Ce projet est à l'interface entre neurosciences cognitives et robotique. Il ouvre des prospectives importantes pour l'application des données fondamentales pour la production d'artéfacts robotiques doués de flexibilité et d'autonomie comportementale. Nos données auront un fort potentiel d'intégration dans le design d'agent robotiques autonomes.

Productions scientifiques et brevets

Une partie de ces travaux a déjà donné lieu à publications : Coutureau E, Esclassan F, Di Scala G, Marchand AR (2012) The Role of the Rat Medial Prefrontal Cortex in Adapting to Changes in Instrumental Contingency. PLoS ONE 7(4): e33302. doi:10.1371/journal.pone.0033302 et un article de conférence ayant obtenu le best paper award à la conférence SAB 2012 (Bellot et al., 2012), un article de journal soumis (Lesaint et al.) et un article de journal en préparation (Bellot et al.). Un nouveau cadre computationnel a de plus été proposé pour distinguer les mécanismes d'apprentissage dopamine-dépendant mettant en jeu différentes boucles cortico-striatales (Khamassi & Humphries, 2012).

Partenaires

CNRS-Université de Bordeaux CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE - DELEGATION AQUITAINE LIMOUSIN

CNRS DR12 _ LNC CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE - DELEGATION REGIONALE PROVENCE ET CORSE

Inserm INSTITUT NATIONAL DE LA SANTE ET DE LA RECHERCHE MEDICALE - DELEGATION REGIONALE RHONE-ALPES AUVERGNE

CNRS - Université Pierre et Marie Curie UNIVERSITE PARIS VI [PIERRE ET MARIE CURIE]

Aide de l'ANR 640 476 euros
Début et durée du projet scientifique décembre 2011 - 48 mois

Résumé de soumission

La complexité des sociétés, la nécessité d'agir dans l'urgence, et le besoin de s'adapter aux progrès techniques continus, impliquent de prendre des décisions dont les conséquences sont incertaines. Apprendre et agir en situation d'incertitude nécessitent avant tout d'évaluer cette incertitude et les issues de chaque action entreprise. Différentes approches théoriques (machine learning, neuroeconomie) ont apporté des outils mathématiques importants pour comprendre les mécanismes de prise de décision sous incertitude. Toutefois, ces outils restent contraints et incapables de rendre compte des étonnantes capacités d'adaptation des animaux et a fortiori de l'espèce humaine. Pourtant, comprendre ces mécanismes permettrait de fournir des solutions puissantes à tout problème nécessitant la construction d'artéfacts autonomes (robots) capables de gérer l'ambigüité des situations. Cela permettrait aussi d'apporter des outils analytiques clairs pour mieux évaluer l'effet de pathologies mentales marquées par la production de comportements inadaptés (Schizophrénie), compulsifs (TOC), ou autodestructeurs (addictions).
Les neurosciences montrent que des régions cérébrales déterminées du cortex préfrontal et du striatum, et leurs innervations dopaminergiques, jouent un rôle prépondérant. Selon les hypothèses actuelles, les interactions entre ces régions et leur modulation permettent la flexibilité du comportement, et ceci de façon adaptée aux incertitudes générées par l'environnement. Des données préliminaires venant des partenaires de ce projet montrent que le cortex préfrontal médian et certaines parties du striatum représentent différents niveaux d'incertitude sur l'environnement. Ces structures pourraient ainsi intégrer des informations sur les statistiques des conséquences des choix pour optimiser les mécanismes d'apprentissage. Toutefois, la synergie entre les différentes régions, le rôle de la dopamine, et les principes fondamentaux qui régissent ces mécanismes restent inconnus.
Nous proposons de résoudre ces questions par une étude interdisciplinaire des mécanismes d'apprentissage sous incertitude. Nous avons regroupé des expertises dans le champ des théories du comportement et des fonctions cérébrales, et en neurosciences expérimentales. Le consortium ainsi formé est unique en Europe. Notre projet a pour objectif de définir les principes computationnels permettant d'adapter le comportement en condition d’incertitude et de préciser les mécanismes neuronaux mis en jeu. Les buts spécifiques sont:
(1) de déterminer l'influence de l’incertitude sur l’apprentissage par des expériences comportementales sur deux modèles animaux (rat et singe) en décodant les principes de l’apprentissage dans des situations manipulant le degré d’incertitude.
(2) d'analyser la contribution respective et les interactions entre régions striatales et signaux dopaminergiques dans la gestion de l'incertitude, grâce à des enregistrements électrophysiologiques chez le singe et des manipulations pharmacologiques chez le rat.
(3) de définir le rôle des signaux dopaminergiques dans le traitement de l’incertitude par le cortex préfrontal, grâce aux enregistrements simultanés du cortex cingulaire antérieur et des neurones dopaminergiques pendant l’apprentissage sous incertitude chez le singe, et grâce à l'analyse des effets d’inactivations pharmacologiques chez le rat.
(4) de synthétiser les principes de fonctionnement des réseaux neuronaux qui contribuent à l’apprentissage sous incertitude, par le développement d'outils de modélisation théorique et de simulation neuronale.
Ces expériences permettront d'apporter des connaissances fondamentales sur la régulation du comportement et des outils applicables aussi bien aux nouvelles technologies qu'à la clinique humaine.

 

Programme ANR : Blanc - SVSE 4 - Neurosciences (Blanc SVSE 4) 2011

Référence projet : ANR-11-BSV4-0006

Coordinateur du projet :
Monsieur Procyk Emmanuel (INSTITUT NATIONAL DE LA SANTE ET DE LA RECHERCHE MEDICALE - DELEGATION REGIONALE RHONE-ALPES AUVERGNE)
emmanuel.procyk@nullinserm.fr

 

Revenir à la page précédente

 

L'auteur de ce résumé est le coordinateur du projet, qui est responsable du contenu de ce résumé. L'ANR décline par conséquent toute responsabilité quant à son contenu.