細かな目の動きの中に聴覚的注意の状況が現れることを発見
～より豊かなコミュニケーションをめざした簡易な手法によるマインドリーディングを実現～

1．研究の背景

目の動きは、その人の心の状態を反映しています。ある人の意図や注意の対象、覚醒状態、感情や情動といった心の状態を、その人の目の動きの測定データから読み取ろうとするアイメトリクスに基づくマインドリーディング技術（※1）（図1）の研究が、さまざまな研究機関で進められています。NTT研究所が進めるこれらの研究では、人の顔画像に対して感じられる魅力度の比較（※2）や、たまにしか起こらず予測が難しい出来事に対して、素早く反応をする課題での成績予測（※3）が、少なくとも部分的に、アイメトリクスに基づくマインドリーディングで可能であることが明らかになっていました。
　アイメトリクスからな様々な内部状態が読み取れる理由の一つとして、目の運動が私たちの脳内の活動を反映していることが挙げられます。例えば、瞳孔反応（※4）は自律神経系のバランスと様々な生体制御にかかわる青斑核（※5）と呼ばれる脳部位の活動を反映していることが知られています。また、瞳孔反応とマイクロサッカード（※6）は、前頭眼野や上丘と呼ばれる脳部位を含む脳内ネットワーク（※7）の活動状態を反映しています。これらの部位は、注意と覚醒度にかかわる機能の一部を担っていると考えられています。

図1：アイメトリクスによるマインドリーディングの概念。

これらの私たちの取り組みや脳科学・人間科学の研究の進展は、アイメトリクスが視覚にとどまらず、他の感覚、例えば聴覚にかかわる内部状態も読み取れる可能性を示しています。ただし、視覚とはある程度独立した形で、聴覚情報に基づくマインドリーディングが可能であることを示す具体的な証拠はあまり多くなく、聴覚情報に対して向けられた注意をアイメトリクスに基づいて読み出せるかどうかは明らかではありませんでした。

2．研究の成果

今回の研究では、異なる場所の複数の音源からの聴覚情報に対する注意の向きを対光瞳孔反応と呼ばれる瞳孔径の変化（※8）から読み取れる可能性を明らかにしました。先行研究で、対光瞳孔反応は私たちの眼に飛び込んでくる物理的な光の強度（輝度）に対してのみではなく、私たちが視覚的な注意を向けている環境の見かけの明るさに対しても生じます。この知見に基づき、本研究では、ある人が特定の音声に注意を向けるだけで、その音源位置の明るさに応じた対光瞳孔反応が起きることがわかりました。
　このことは、瞳孔径の変化をもとにその人がどの音声（聴覚オブジェクト）に注意を向けているかを読み取れる可能性を示しています。例えば、パーティ会場で多くの人が話している中で、私たちがある人にだけ注意を向けている状況（"カクテルパーティ状況"、図2）を考えてみます。今回の研究の結果に従えば、ある人の瞳孔の大きさは、注意を向けた人（対象）に視線を向けなくても、その対象の人がいる場所の明るさに応じて変化することになります。話の内容に基づいて、特定の他者に視線移動を伴わず注意を向けている状況でも、瞳孔径の変化のデータから、その特定の他者が誰であるかを客観的に読み取れる可能性を示しています。

図2：「カクテルパーティ」状況の概念図

3．実験手法および技術のポイント

実際の実験では、私たちは視覚刺激として左右で明るさの違う図形（背景）を参加者に提示し、目を動かさずに、左右の領域の間にある灰色の中央の領域を見続けるような状況を設定しました。この状況で、2つの音声（聴覚刺激）を参加者の装着したヘッドホンの左右のチャンネルから同時に提示し、2つの音声のどちらかに注意を向けるように指示を行いました。今回の実験では、視覚刺激の背景の明暗の向きと聴覚刺激の左右チャンネルの割り当ては試行ごとにランダムに変化していました。音声の種類と白黒の間には関係がないこのような状況下で、明るい背景領域が提示されていた方向のチャンネルに流れていた音声に注意を向けていた場合と、暗い背景の方向の音声に注意を向けていた場合の2つの条件間で繰り返し測定した実験参加者の瞳孔径を比較しました。（図3）

図3：実際の実験で用いられた状況

その結果、暗い背景の方向から流れる音声に注意した条件の方が、明るい背景の音声に注意した条件よりも、瞳孔径の平均値が大きくなることがわかりました。さらに、瞳孔径だけではく、固視中に観察される微小な眼球運動であるくマイクロサッカードの方向分布も注意している音声の音源方向に偏ることが明らかになりました。これらの結果は、実験参加者の聴覚的注意がどこを向いているかを、瞳孔反応やマイクロサッカードから推定できることを示しています。（図4）

図4：瞳孔径の時系列変化とマイクロサッカード方向の分布

本研究の結果は、私たちに環境から入力される情報の取捨選択を行う選択的注意のメカニズムが、視覚と聴覚の間である程度共通であるという可能性を示します。
　さらに、視線移動を伴わない注意対象の推定の可能性も示されました。対人コミュニケーションなどの場面で見ている方向と聞きたい方向が一致しないケースは珍しくありません。今回の成果はこのような場面でのマインドリーディングを実現する革新的な情報提示技術に応用できる可能性があります。

4．今後の展開

今後は聴覚のみならず、触覚など他の感覚へのマインドリーディング技術の拡張も検討します。また、各種の具体的な日常場面に今回の成果を応用していくためには、明確なアイメトリクスの変化がそれらの日常場面で現れるかどうか、あるいはその変化を積極的に起こすようなしくみや簡便な計測を可能にする機器環境の提案も必要になると考えられます。これらの実用化に必要な応用研究へも取り組むことで、無意識的で言語的には表現しづらい心の内側をも考慮した豊かなコミュニケーション技術の実現をめざします。この意味で、本研究の成果はIOWN下で問題となるユーザの多様性に配慮した、円滑な情報のやり取りが行われる世界の創生につながる一歩です。
　本成果は、6/1から開催されるNTTコミュニケーション科学基礎研究所オープンハウス2023の展示を通じて紹介する予定です。

5．論文情報

H.-I. Liao, H. Fujihira, S. Yamagishi, Y.-H. Yang, S. Furukawa, "Seeing an auditory object: Pupillary light response reflects covert attention to auditory space and object," Journal of Cognitive Neuroscience, Vol. 35, No. 2, pp. 276-290, 2023.

用語解説

^※1アイメトリクスに基づくマインドリーディング技術
アイメトリクス（Eye-metrics）に基づくマインドリーディング（mind-reading）技術の研究は、目の動きや状態を数値化データから、心の状態（内部状態）を読み取ることです。それらの研究の中では、サッカードと呼ばれる大きな視線の移動のデータに加えて、瞳孔反応（※4）やマイクロサッカード（※6）など、無意識に起こる微小な眼球運動からも、主に視覚の脳内処理に関連する様々な内部状態が読み取れることが示されてきました（図1）。

^※2研究の詳細は、米国東部時間2021年2月1日、米国科学誌「Journal of Cognitive Neuroscience」に掲載されました。論文情報：H.-I. Liao, M. Kashino, S. Shimojo, "Attractiveness in the eyes: A possibility of positive loop between transient pupil constriction and facial attraction," Journal of Cognitive Neuroscience, Vol. 33, No. 2, pp. 315-340, 2021.

^※3研究の詳細は、米国東部時間2022年10月20日、米国科学誌「PLOS ONE」に掲載されました。論文情報：Yamashita J, Terashima H, Yoneya M, Maruya K, Oishi H, Kumada T.（2022）Pupillary fluctuation amplitude preceding target presentation is linked to the variable foreperiod effect on reaction time in Psychomotor Vigilance Tasks. PLOS ONE 17（10）: e0276205. コミュニケーション科学基礎研究所とアクセスサービスシステム研究所、京都大学の成果。

^※4瞳孔反応
外的刺激や内的状態（心理状態・生理状態）の変化によって瞳孔の大きさ（瞳孔径）が変化する反応のこと。光の強さに応じて目に入る光量を調整する反応（対光瞳孔反応）だけでなく、覚醒度や特定のタスクへの集中度といった内的状態も反映される。

^※5青斑核（Locus Coeruleus）
脳幹にある神経核のひとつ。覚醒、注意、情動といった人の内的状態の変化に関与している。青斑核から分泌されるノルアドレナリン（神経伝達物質の一種）は広範囲の脳部位に影響を与えることが知られている。

^※6マイクロサッカード（Microsaccade）
ある一点を注視していても発生する固視微動の一種。ゆっくりと視線が動くドリフトや振幅の小さい振動性運動のトレモアといった他の固視微動に比べてスピードが速く、ある対象物から別の対象物へ視線を素早く動かす機能を持つ跳躍性眼球運動（サッカード）とよく似た動特性を有する。通常のサッカードに比べて振幅が小さく、無意識に生じることが知られている。

^※7前頭眼野や上丘を含む脳内ネットワーク
前頭眼野（Frontal Eye Field, FEF）と上丘（Superior Colliculus, SC）を含むニューラルネットワーク。眼球運動や視覚的な注意を制御している。上丘の深部は視覚情報だけでなく聴覚や触覚の情報にも応答することが知られる。

^※8対光瞳孔反応
瞳孔は暗いところを見ているときには拡大し、明るいところを見ているときには収縮します。この瞳孔径の変化を対光瞳孔反応と呼びます。