Title：脳の強化学習とその展開

中原 裕之（なかはら ひろゆき）
理化学研究所・脳神経科学研究センター・学習理論・社会脳研究チーム

　ヒトや動物のしなやかな知能と行動の土台である「意思決定と学習」の脳機能――報酬や目的の予測と、それを得るための行動選択、環境に適応する学習――を、脳強化学習の研究は鮮やかに切り出す。脳強化学習は、デービッド・マーのいう３つのレベル（計算理論、アルゴリズムと表現、物理的回路の実装）の研究がお互いに刺激を与えあい、かつ理論研究と実験研究が絶妙な相互作用起こしながら発展してきた、類稀なる研究分野である。これは、強化学習は、心理的な概念や行動理解を、脳活動と脳回路の知見に、脳情報処理を通じた理解でつなぐことで、脳機能を脳計算理解へと統合するからである。さらに、脳強化学習は、意思決定と学習のみならず、そもそも、たとえば動機・注意などの主要な機能と関係が深い。その上で、その理論構成を土台にした研究の射程は、より複雑な経済的意思決定(神経経済学)、さらには感情または他者を鑑みる社会的意思決定(社会脳科学)、そして心の疾患（計算精神医学）などへと広がっている。この講義では、脳強化学習による脳機能理解の発展を、その基本的な原理から最近の研究まで紹介する。

参考文献：
1. Schultz W, Dayan P, Montague PR. 1997. A neural substrate of prediction and reward. Science 275: 1593-1599
2. Rangel A, Camerer CF, Montague PR. 2008. A framework for studying the neurobiology of value-based decision making. Nature Reviews Neuroscience 9: 545-56
3. Nakahara H. (2014) Multiplexing signals in reinforcement learning with internal models and dopamine. Current Opinion in Neurobiology. 25: pp.123-129
4. Dayan P, Nakahara H. (2018) Models and Methods for Reinforcement Learning. The Stevens’ Handbook of Experimental Psychology.Volume 4: pp507-546.
5. Fukuda H, Ma N, Suzuki S, Harasawa N, Ueno K, Gardner JL, Ichinohe N, Haruno M, Cheng K, Nakahara H. (2019) Computing Social Value Conversion in the Human Brain. Journal of Neuroscience. in press