2023.12.28
情報通信研究機構 未来ICT研究所 脳情報通信融合研究センター 主任研究員
西田 知史 氏
脳の情報処理の可視化を目指していた情報通信研究機構の西田氏は、感覚入力に対する脳活動をモデル化し、同じ入力から生じる人の認知や行動との関係を調べていた。この研究成果を応用した脳とAIの融合モデルを開発したところ、既存のAIよりも人の感性に関わる認知や行動の予測がうまくいく可能性を見出した。この脳と融合したAIを利用して、人の感性を個人差も含めて分析できる技術の開発を目指している。
脳は五感を通して外の世界の情報を取り入れて処理を行い、適切な行動や特定の感情に結びつける。この時の脳活動を計測する方法は様々あるが、この活動をただ見るだけではどんな情報が処理されているかはわからない。西田氏は、コンピューター上で脳を模倣することで、どんな情報が処理されているのか可視化することを目指している。その研究の一つでは、映像を見たときの脳活動をモデル化して、再現しようとしている。この研究では、機能的磁気共鳴画像法（fMRI）という手法で、映像を見ている時の脳活動を計測した。その後、映像を入力、fMRIデータを出力として、脳の情報処理を再現するモデルの作成を試みた。さらにこのモデルを解析することで脳の情報処理の仕組みを知ることができると考えた。まず入力の映像に関する説明文を、Word2vecという、文章中の単語を数値ベクトルに変換する自然言語処理の手法を用いてベクトルデータ化する。そして、このベクトルデータからfMRIデータを予測するモデルを構築し、その予測が「正解」であるfMRI計測データに近づくように機械学習する。こうしてつくられたモデルを使うと、入力を映像ではなく単語や文章にしたときにも、どのような脳活動が現れるかを予測できるのだ。その結果、単語による入力に対して、大脳皮質の言語野だけではなく、他の領域も活動していることが分析できた。加えて、単語に対応する脳活動を単語間で比較することで、脳内で表現される単語と単語の似ている・似ていないという関連性を分析することもできる。それをもとに、統合失調症の患者から構築したモデルを健常者モデルと比較して、患者の脳では単語と単語の関連性がうまく表現されていない傾向を発見した。統合失調症の患者では、単語の関連付けが乱雑になっているといわれているが、脳内の情報からその特性を示した結果だといえる。
西田氏は、映像から脳活動を予測するだけでなく、映像がもたらす人の意味理解を脳活動から読み取るモデルも作成している。fMRIで映像を見ているときの脳活動を記録するのは変わらないが、この場合の入力は脳活動で、出力が意味理解となる。特に西田氏は単語の形で出力を行うモデルを作成した。このモデルを使うことで、様々な単語にもとづいて人の意味理解を読み取り、解釈できるのだ。この2つのモデルを使うことで、映像からどのような脳活動が発生し、どのような意味理解に繋がるかを調べることができる。さらに、感覚入力としては動画や文章、音楽なども使用でき、出力は意味理解だけでなく価値判断や意欲といったものまで適用できるのだ。
図1 画像を見た時の脳活動を再現するモデル
西田知史(2022). 「情報通信研究機構研究報告」Vol. 68 No.1, pp.11-19.から引用
西田氏は、この技術を使うことで、画像や映像から人が受ける印象や感情を予測する脳モデルをつくれるのではないかと考えた。近年では、脳の構造から発想を得たニューラルネットワークを用いたAIが盛んに開発されている。しかし、文章、画像の生成や異常検知など特定の目的に対する精度を向上させるためにAIの構造が複雑になっており、年々脳とは離れたモデルになってきている。一方で西田氏の研究は、AIを使って脳の情報処理を再現することを目的としている。これは、脳のように振る舞うAIモデルを作る技術であるともいえる。この技術に応用可能性を見出した西田氏は、様々な入力から脳の活動を予測するモデルと、予測した脳活動から人の認知や行動を読み取るモデルをつくり、それらを組み合わせて「脳融合AI」と名付けた。これを映像入力に適用して調べたところ、映像を最後まで視聴するユーザーの割合のような人の興味が関わる予測対象では、既存のAIよりも精度良く予測できたのだ。「物体認識のような客観的な対象の分析なら既存のAIの方が良い精度を示すが、感性のように人間らしさが関わる対象の分析はうまくできない。そのようなAIに脳の情報を融合することで解決できるのではと考えています」と西田氏は語る。
図2 脳活動を解読するモデルの概要
脳融合AIを個人ごとにつくることで、その人の好みや個性を反映できる可能性がある。脳融合AIに広告を入力して、一人ひとりの認知の個人差を分析したところ、同じ人の脳活動から分析した個人差と一貫性が見られた。これは、脳内情報の個人差をAIが再現できていることを示唆している。これを発展させると、究極的には、コンピューターで個人を完全に再現できる可能性を秘めている。例えば、著名な作家が亡くなった後も、その人の作品をAIが代わりに再現してつくるような未来も考えられる。「 現在のAIは人間の情報処理とは異なる仕組みで出力の精度を高め、そこから学習によって人間を模倣するアプローチを取っています。しかし人間を模倣するのであれば、より脳に近い構造のAIの方が良いのではないでしょうか」と西田氏は語る。感性を生み出す脳の情報処理はいまだにブラックボックスだが、それを模倣するAIは感性を理解するための糸口になるのだろう。
