中原裕之 先生

Title:脳の強化学習とその展開

中原裕之(なかはら ひろゆき)
理化学研究所・脳科学総合研究センター・理論統合脳科学研究チーム

 脳強化学習は脳型知能の中心的機能の1つである。ヒトや動物のしなやかな知能と行動の土台である「意思決定と学習」の脳機能――目的や報酬の予測と、それを得るための行動選択、環境に適応する学習――を、脳強化学習の研究は鮮やかに切り出す。脳強化学習は、デービッド・マーのいう3つのレベル(計算理論、アルゴリズムと表現、物理的回路の実装)の研究がお互いに刺激を与える稀有な研究分野として発展してきた。これは、強化学習は、心理的な概念や行動理解を、脳活動と脳回路の知見に、脳情報処理を通じた理解でつなぐことで、脳機能を脳計算理解へと統合するからである。さらに、脳強化学習は、意思決定と学習のみならず、そもそも、たとえば動機・注意などの主要な機能と関係が深い。その上で、その理論構成を土台にした研究の射程は、より複雑な経済的意思決定(神経経済学)、さらには感情または他者を鑑みる社会的意思決定(社会脳科学)、そして心の疾患(計算精神医学)などへと広がっている。この講義では、脳強化学習による脳機能理解の発展を、その基本的な原理から最近の研究まで紹介する。

参考文献:
1, Schultz W, Dayan P, Montague PR. 1997. A neural substrate of prediction and reward. Science 275: 1593-1599
2, Rangel A, Camerer CF, Montague PR. 2008. A framework for studying the neurobiology of value-based decision making. Nature Reviews Neuroscience 9: 545-56
3, Suzuki S, Harasawa H, Ueno K, Gardner JL, Ichinohe N, Haruno M, Cheng K, Nakahara H. (2012) Learning to simulate others’ decisions. Neuron. 74: 1125–1137.
4, Nakahara H. (2014) Multiplexing signals in reinforcement learning with internal models and dopamine. Current Opinion in Neurobiology. 25: pp.123-129
5, Dayan P, Nakahara H. (in press) Models and Methods for Reinforcement Learning. The Stevens’ Handbook of Experimental Psychology.Vol 4

ページトップへ