○発表者：
加藤 卓也（研究当時：東京大学 大学院情報理工学系研究科 修士課程2年）
小林 徹也（東京大学 生産技術研究所 准教授）
○発表のポイント：
◆免疫系の学習過程を、強化学習としてとらえる新しい理論を構築した。
◆理論から免疫細胞のクローン選択を強化学習の学習則として導いた。
◆理論から予測される免疫細胞の多様性分布が実験と一致することを確認した。
○発表概要：
免疫は我々の体を病原体などから防御するシステムである。特に多様で未知な病原体を認識し、また過去の感染を記憶して適応する機能を有する。これまで免疫に関わる様々な細胞や分子が見いだされてきたものの、それらの集合体がどういう原理で外敵を学習し的確な免疫応答を実現しているのかは、免疫系の複雑さから十分には理解されていない。
東京大学 大学院情報理工学系研究科 修士課程2年の加藤 卓也 大学院生（研究当時）と同生産技術研究所の小林 徹也 准教授は、人工知能分野で発展の著しい強化学習（注１）の理論を応用し、免疫系が過去の感染経験から学習をする過程を扱う新しい理論を構築した（図１）。この理論により、免疫学で古典的に知られるクローン選択（免疫認識に貢献する免疫細胞が体内で増え、貢献しない細胞が減少することで免疫学習が実現するメカニズム）（注２）が、強化学習の学習ルールの一種とみなせることが示された。またこの理論から、実験的に計測された免疫細胞の集団分布の性質が再現された（図２）。本結果は、免疫系を脳と類似の生体学習システムとして捉え、その複雑かつ非直感的な振る舞いを包括・予測する理論基盤へと発展することが期待される。
本研究成果は、２０２１年３月９日にAmerican Physical Societyによる「Physical Review Research」に掲載された。
○発表内容：
＜研究背景＞
脳に代表されるように、生体は未だ工学では実現できない極めて高度な情報処理機構を持っている。過去の感染履歴などから未知の病原体を学習し、適切な応答を惹起することで我々の体を防御する免疫系もまた生体情報処理機構の一つである。複雑な学習システムの挙動を理解し予測することは、構成要素やその振る舞いを枚挙するだけでは不十分でありシステム全体の動作原理をとらえる理論的な方法が必要になる。しかし、これまでに免疫に関わる様々な細胞や分子が実験的見いだされてきたものの、それらの集合体がどのような原理で外敵を学習し的確な免疫応答を実現しているのかを包括する理論の発展は、例えば脳科学と比較して大きく遅れをとってきている。
＜研究内容＞
東京大学 大学院情報理工学系研究科 修士課程2年の加藤 卓也 大学院生（研究当時）と同生産技術研究所の小林 徹也 准教授は、人工知能分野で発展の著しい強化学習の理論を応用することで、免疫系が過去の感染経験から学習をする過程を包括的に扱う新しい理論を構築した。
１.T細胞ネットワークと強化学習対応
免疫の記憶と学習を担う免疫細胞群にTヘルパー（Th）細胞群がある。Th細胞群は、極めて多様な化学分子受容体（センサー）を持つ細胞で構成される集団で、この多様なセンサー群によって、病原体や自己の細胞、がん細胞などに由来する複雑な分子パターンを認識し、自然免疫系などの他の免疫細胞への司令を出すことで免疫系の制御を担う。この「分子パターン」→「Th細胞群」→「他の免疫細胞群」の流れは多層のニューラルネットの構造と類似する（図１）。また過去の感染の経験に基づき迅速な外敵認識と免疫応答を学習する過程は、強化学習が扱う基本的な枠組みに一致する。我々は人工知能分野で近年発展してきたニューラルネットワークを用いた強化学習の理論を応用することで、Th細胞群による免疫認識と制御を強化学習理論として扱う理論を構築した。
２．強化学習ルールとしてのクローン選択説
Th細胞群が過去の感染病原体などを記憶できるメカニズムとしてクローン選択が古典的に受け入れられている。クローン選択は、多様な受容体を持つT細胞群の中で病原体の認識に関与した細胞群が増え、関与しなかった細胞群が減るという要・不要の機構により病原体の記憶と二度目の感染での速やかな応答を説明する概念である。我々は免疫系で学習が実現するために必要な学習ルールを上述の強化学習の理論に基づき導出をした。その結果、クローン選択を特殊な場合に含む学習ルールが導かれた。またその学習ルールは、実験ではその存在が既知であるもののクローン選択が説明しない、Th細胞への活性化した他の免疫細胞からのフィードバックやTh細胞群全体に作用するグローバルなシグナルも含んだ一般的なものであった。
そしてこの学習ルールに基づき学習されたTh細胞群の集団分布の形状は、近年の実験計測で観測されている冪乗則の性質（注３）をよく再現することがわかった（図２）。これら結果は、強化学習を応用したT細胞ネットワークの学習理論が、免疫学習システムにおける様々な概念を包括する理論的な基盤になりうることを示唆する。
＜今後の予定＞
免疫系は脳と同じく生体の複雑学習システムである。免疫の振る舞いを予測し制御するためには、その学習過程や学習の法則をとらえることが必要になる。本研究で提案された理論は免疫系のうちTh細胞群に着目をしたが、免疫系には自然免疫系をはじめ他にも様々な細胞群が異なる役割を担っている。そしてその多くは学習の理論の観点からとらえることが可能である。強化学習を基礎とした本研究の理論を発展させることで、免疫系がどのような論理や原理に従い外敵を自己細胞と峻別し、学習を成立させているかを包括的にとらえることができるようになる。またこのような理論が定量的な計測と組み合わさることで、免疫系の予測や制御の可能性が大きく広がると期待される。
※本研究は日本学術振興会科学研究費助成事業（19H05799・18H04814・18H05096）および国立研究開発法人 科学技術振興機構CREST（JPMJCR2011）・PRESTO (JPMJPR15E4)などの助成や支援を受けて行われた。
○発表雑誌：
雑誌名：「Physical Review Research」（２０２１年３月９日公開）
論文タイトル：Understanding Adaptive Immune System as Reinforcement Learning
著者：Takuya Kato, Tetsuya J. Kobayashi*
DOI番号：10.1103/PhysRevResearch.3.013222
○問い合わせ先：
東京大学 生産技術研究所
准教授 小林 徹也（こばやし てつや）
Tel：03-5452-6798 Fax：03-5452-6798
E-mail：tetsuya（末尾に@sat.t.u-tokyo.ac.jpをつけてください）
URL：https://research.crmind.net/index_jp.html
○用語解説：
（注１）強化学習
強化学習とは、生物個体やロボットなどのエージェントが、環境の観測と行動選択の試行錯誤を通じて適切な行動選択を学習する過程を捉えた理論の一種である。神経科学の分野で生体の行動や学習するために発展すると同時に、近年では深層学習と組み合わさり、様々な人工知能の問題にも応用されている。
（注２）クローン選択
1950年台にフランク・バーネットにより提唱された、現在では広く受け入れられている獲得免疫の学習を説明する概念。免疫系が多様な抗原（病原体や自己細胞由来の分子断片）を認識できるのは、体内にそれらを認識しうる受容体などの膨大な多様性が事前に準備されており、認識に寄与できた細胞が増殖などで集団内に増えるという体内での選択により、より迅速な認識や免疫の記憶や学習が実現するとするもの。
（注３）冪乗則
冪乗則とはある関数f(x)がxの冪乗としてf(x)=axk+bと表されることを指す。免疫の集団分布のようにf(x)を頻度分布として見た場合、冪乗則は外れ値にあたる稀なデータが、通常の正規分布で期待される確率よりも高い確率出現することを意味する。免疫系では稀な抗原を認識する細胞が多種存在することに結びついている。
○添付資料：
図１：強化学習と対応させたTヘルパー細胞による外敵認識から免疫応答誘導の流れの概念
図２：Th細胞群の集団分布：理論予測と実験計測の比較