Adaptive learning in humans, brains and neural networks : the role of uncertainty and probabilities
Apprentissage adaptatif chez les humains, dans le cerveau et les réseaux de neurones : le rôle de l'incertitude et des probabilités
Résumé
When learning, the brain faces a difficult problem. It is learning from an environment that is both stochastic and dynamic, i.e. that is characterised by probability distributions that are subject to change. Stochasticity encourages the brain to integrate a large number of past observations in order to achieve greater precision in learned knowledge, while the propensity to change encourages the brain to consider only the most recent observations. This tension leads to a tradeoff in the learning rate to be used, which the brain should ideally adapt constantly. How does the brain achieve such adaptive learning? According to normative theory, it should constantly represent the uncertainty of its knowledge through probability distributions and update its knowledge by weighting the different probabilities, as described by the computations of dynamic Bayesian inference (also known as Bayesian filtering). Guided by this theory, my thesis work has investigated the computational and neural bases of adaptive learning in humans through three studies. In the first study (Foucault & Meyniel, submitted), I examined human behaviour during magnitude and probability learning and tested its alignment with normative theory. Using a new experimental paradigm, I measured the dynamics of human learning rates observation by observation, and related them to the computational factors that govern the adaptations of the learning rate according to normative theory. I have shown that humans adapt their learning rate dynamically and normatively, guided by the uncertainty, which plays a dominant role in probability learning. Overall, I found that human behaviour closely followed normative theory, providing a strong empirical ground for my overarching thesis. How could the normative adaptive learning observed in humans be realised in the brain at the computational and mechanistic level? In the second, theoretical study (Foucault & Meyniel, 2021, published in eLife), I explored this question by studying the computational mechanisms that enable neural networks to achieve normative adaptive learning capabilities. I have shown that with a simple gating mechanism, which could be implemented in the brain by the locus coeruleus-norepinephrine system, a tiny recurrent neural network can perform quasi-optimal Bayesian learning. This mechanism is key to the network's ability to evaluate and use uncertainty to adapt its learning rate, as found by decoding and manipulating the uncertainty represented in the network’s internal recurrent dynamic activities, and it is also key to other adaptive capabilities. A fundamental quantity in our theory is probability. As shown in the first study, humans are clearly capable of estimating probability, but how is it represented in the brain? Neurally, the representation of probability has remained elusive. My third study (Foucault*, Bounmy* et al., in prep.), attempts to answer this question by using a new method that combines encoding models with approximation theory to model the neural coding of probability without making assumptions about the form of the code. This method revealed a previously unknown neural code for probability in human brain activity measured by fMRI during learning within the dorsolateral prefrontal and intraparietal cortices. I characterised this neural code by reconstructing its tuning curves. I found that, compared to the neural code for uncertainty (which had already been observed in previous studies and which I further characterised in this study), the neural code for probability was highly nonlinear and non-monotonic. Altogether, my thesis provides theoretical and empirical insights into the computational and neural bases of the human learning process and the role of uncertainty and probabilities in this process.
Lors de l’apprentissage, le cerveau est confronté à un problème difficile. Il apprend d’un environnement qui est à la fois stochastique et dynamique, c’est-à-dire qui se caractérise par des distributions de probabilité qui sont susceptibles de changer. La stochasticité incite le cerveau à intégrer un grand nombre d’observations passées pour arriver à une meilleure précision des connaissances acquises, tandis que la propension au changement l’incite à ne prendre en compte que les observations les plus récentes. Cette tension donne lieu à un compromis dans le taux d’apprentissage à utiliser, que le cerveau devrait idéalement adapter en permanence. Comment le cerveau parvient-il à un tel apprentissage adaptatif ? Selon la théorie normative, il devrait constamment représenter l’incertitude de ses connaissances par des distributions de probabilité, et les mettre à jour en pondérant les différentes probabilités, comme décrit dans les calculs de l’inférence bayésienne dynamique (aussi appelée filtrage bayésien). Guidés par cette théorie, mes travaux de thèse ont examiné les bases computationnelles et neurales de l’apprentissage adaptatif chez les humains à travers trois études. Dans la première étude (Foucault & Meyniel, soumise pour publication), j’ai examiné le comportement humain lors de l’apprentissage des magnitudes et des probabilités et testé son alignement avec la théorie normative. Grâce à un nouveau paradigme expérimental, j’ai mesuré les dynamiques du taux d’apprentissage des humains observation après observation, et les ai mises en relation avec les facteurs computationnels qui régissent les adaptations du taux d’apprentissage selon la théorie normative. J’ai montré que les humains adaptent leur taux d’apprentissage de façon dynamique et normative, guidés par l’incertitude, qui joue un rôle prépondérant dans l’apprentissage des probabilités. Globalement, j’ai constaté que le comportement humain suivait de près la théorie normative, offrant ainsi un fondement empirique solide pour ma thèse générale. Comment l’apprentissage adaptatif normatif observé chez les humains peut-il être réalisé dans le cerveau au niveau computationnel et mécanistique ? Dans la deuxième étude, théorique (Foucault & Meyniel, 2021, publiée dans eLife), j’ai exploré cette question en étudiant les mécanismes computationnels qui permettent à des réseaux de neurones de réaliser des capacités d’apprentissage adaptatif normatives. J’ai montré qu’avec un simple mécanisme de gating, qui pourrait être implémenté dans le cerveau par le système locus coeruleus-norepinephrine, un très petit réseau de neurones récurrent peut réaliser un apprentissage bayésien quasi-optimal. Ce mécanisme est essentiel pour la capacité du réseau à évaluer et utiliser l’incertitude pour adapter son taux d’apprentissage, comme je l’ai montré en décodant et en manipulant l’incertitude représentée dans les activités dynamiques récurrentes internes au réseau, et il est aussi essentiel pour d’autres capacités adaptatives. Une quantité fondamentale de notre théorie est la probabilité. Comme l’a montré la première étude, les humains sont clairement capables d’estimer la probabilité, mais comment est-elle représentée dans le cerveau ? Au niveau neural, la représentation de la probabilité est restée insaisissable. Ma troisième étude (Foucault*, Bounmy* et al., en préparation) tente de répondre à cette question en utilisant une nouvelle méthode alliant des modèles d’encodage à la théorie de l’approximation afin de modéliser le codage neural de la probabilité sans faire de supposition sur la forme du code. Cette méthode a révélé un code neural de la probabilité jusqu’alors inconnu dans l’activité cérébrale humaine mesurée par IRMf lors de l’apprentissage dans les cortex préfrontal dorsolatéral et intrapariétal. J’ai caractérisé ce code neural en reconstruisant ses tuning curves (fonctions d’encodage). J’ai ainsi constaté que, par rapport au code neural de l’incertitude [...]
Origine : Version validée par le jury (STAR)