○発表者：
中村　絢斗（東京大学 大学院情報理工学系研究科　博士課程２年）
小林　徹也（東京大学 生産技術研究所　准教授）

○発表のポイント：
◆生物が匂いの源を探索する際にとるべき最適な行動制御の原理を、生物に見られるノイズや非線形性を考慮した上で扱える理論を構築した。
◆構築した理論が実際の生物の探索行動を理解する上で役立つことを、大腸菌の嗅覚・運動制御系を例に示した。
◆生物の探索行動の最適性を議論したり、探索ロボットのような探索システムを設計したりするための理論的基礎となることが期待される。

○発表概要：
　生物は、匂い物質など環境中の分子を嗅覚で感知し、その情報に基づき適切に自身の運動を制御することで、匂いの発生源である餌や良い環境などを効率的に探索する。探索行動における運動制御の効率性やその原理は、理学・工学的観点から興味が持たれてきたが、生物特有の大きなゆらぎやノイズ、そして非線形的な振る舞いなどのために、既存の制御理論では扱うことが困難であった。
　東京大学 大学院情報理工学系研究科 博士課程２年の中村 絢斗 大学院生と同 生産技術研究所の小林 徹也 准教授は、確率最適制御理論の一種である部分観測制御（注１）にKullback-Leibler制御（注２）の枠組みを組み合わせることで、ノイズや非線形性を考慮した上で探索行動の最適性を扱う理論を構築した。さらに、大腸菌の嗅覚・運動系を例にして、この理論が実際の生物が示す探索行動の理解や予測に有用であることを示した。この結果は、生体システムの理解のみならず、探索ロボットのような工学的応用にも寄与する理論的基礎となることが期待される。
　本研究成果は、２０２２年２月１５日にAmerican Physical Societyによる「Physical Review Research」に掲載された。

○発表内容：
＜研究背景＞
　嗅覚に基づく探索行動は、哺乳類から昆虫、バクテリアに至る様々な生物が、エサや良い環境を見つけて生き残る上で重要な役割を果たしており、その制御機構は進化の過程で効率化されていると考えられる。実際、バクテリアから哺乳類まで、生体の匂い感知は現代の工学システムではいまだ再現できない高感度性・高効率性を持つことが知られている。したがって、その探索行動を実現する制御機構の原理や効率は、理学的関心のみならず工学的応用の観点からも調べられてきた。中でも移動と方向転換を交互に組み合わせたrun-and-tumble運動による探索は、単細胞から多細胞の個体まで幅広い生物に見られる代表的な探索様式として詳しく研究されている（図１）。run-and-tumble運動において細胞や生物個体は、運動をしつつ匂い物質の濃度変化を感知し、濃度の増減に依存して方向転換の頻度を制御することで、匂い源に近づいたり離れたりすることができる。一見単純な制御機構であるが、微かな匂いの感知や運動制御過程に非常に大きなノイズやゆらぎがあることや、匂いを運動制御に変換する過程が高い非線形性を示すことなどの生体特有の性質があるため、工学で一般的に用いられる線形制御理論では、生体がどれほど効率的かつ最適に探索ができているかを理論的に扱うことは難しかった。

＜研究内容＞
　東京大学 大学院情報理工学系研究科 博士課程２年の中村 絢斗 大学院生と同 生産技術研究所の小林 徹也 准教授は、確率最適制御理論の一種である部分観測制御に、近年強化学習などで注目を集めているKullback-Leibler制御の枠組みを統合することで、ノイズや非線形性を考慮した上で生体の探索行動の最適性を扱う理論を構築した。またこの理論を、大腸菌の嗅覚・運動系に応用することで、大腸菌のシステムが非常に効率的に設計されていることを示し、理論の応用可能性を示した。

１． 最適制御理論による最適な探索行動戦略の導出
　工学システムの設計で歴史と実績のある制御理論の主要な部分は線形の理論に立脚している。工学系では極めて有効であるが、生物のように自然が作り上げたシステムでは大きな非線形やノイズが共存するため、直接このような理論を適用するのがこれまで困難であった。本研究では確率性を持つ非線形システムを扱いうる確率最適制御理論を元に、匂いによる生体の探索問題を部分観測制御に基づき定式化した。また生体運動制御に現れる非線形なコストを自然に表現するため、近年強化学習などの分野で応用が進んでいるKullback-Leibler制御の枠組みを組み合わせてこの問題を解決した。この理論から、ノイズを伴う感知シグナルから匂いの濃度変化を最適に推定するフィルターと、推定された濃度変化を運動制御に最適に変換する非線形制御関数を導出した（図２）。得られた制御関数から、匂い濃度が上昇している、つまり匂い源に向かっている可能性が高いほど、方向転換の頻度を下げるという自然な制御則が得られた。

２. 生物の探索行動の最適性の議論への応用
　構築した理論が生物の探索行動の理解や予測に役立つことを示すために、大腸菌の嗅覚・運動系に本理論を適用した。その結果、理論から導かれた最適な制御構造や得られた非線形感知・制御関数などが、大腸菌の嗅覚系と運動系の実験的知見と良く対応することがわかった。これらの結果は、大腸菌のシステムが探索の観点から効率的に設計されている可能性を示唆するとともに、構築した理論の有用性を示すものである。

＜今後の予定＞
　ノイズ下での匂い源探索行動の最適化問題は、大腸菌に限らず様々な生体システムが直面しており、また探索ロボットのような工学的応用を考える場合にも重要である。非線形性を持ちうる幅広い生体・工学システムの最適な探索行動を解析・設計するために、本研究の理論が拡張・応用されることが期待される。例えば本研究では単一の匂いの感知を仮定していたが、現実の環境では多種類の匂い物質が空間的に分布し、気流によって分布が乱されるような複雑な状況がありうる。より複雑な設定での最適制御を調べることで、生体が複雑な情報を読み解いて適切な行動を示す原理を明らかにし、匂いに代表される環境化学物質をノイズに頑健に処理・探索するシステムの設計など、工学的応用へも寄与することが期待される。

○発表雑誌：
雑誌名：「Physical Review Research」（２月１５日）
論文タイトル：Optimal sensing and control of run-and-tumble chemotaxis
著者：Kento Nakamura*, Tetsuya J. Kobayashi
DOI番号：10.1103/PhysRevResearch.4.013120

○問い合わせ先：　
東京大学 生産技術研究所
准教授　小林 徹也（こばやし てつや）
Tel：03-5452-6798　　Fax：03-5452-6798
E-mail：tetsuya（末尾に"@sat.t.u-tokyo.ac.jp"をつけてください）
URL：https://research.crmind.net/index_jp.html

○用語解説：
（注１）部分観測制御
　制御する対象の状態が直接観測できず、ノイズを伴って観測される設定における制御の最適化を扱う枠組みである。本研究では、運動中の進行方向や匂いの濃度変化が直接観測できない状態に対応する。

（注２）Kullback-Leibler制御
　確率システムの最適制御を扱う定式化の一つである。制御にかかるコストを、システムの確率的振る舞いが制御の有無により変化する大きさによって定式化する。線形制御における二乗コストの自然な一般化と解釈できるとともに、適切な条件下で最適制御の解析的な性質を調べやすくなることが知られており、強化学習をはじめ様々な応用がある。名前は、確率的振る舞いの変化をKullback-Leiblerダイバージェンスと呼ばれる確率分布間の距離のようなもので定量することに由来する。

○添付資料：

図１　生体の匂い探索の概念図
大腸菌から多細胞生物まで様々な生き物が、匂いシグナルに基づいてrun-and-tumble運動を制御することで匂いの源を効率的に探索している。

図２　最適なrun-and-tumble運動の制御
run-and-tumble運動のノイズ下での最適な制御は、まずシグナルから匂いの濃度変化を最適に推定し、得られた推定値を最適制御関数に入力することで実現できることがわかった。