リモートワールドにおける新しいエンターテインメント視聴の創出に向けて
～視聴者同士の一体感を醸成する「情動的知覚制御技術」の研究開発に着手～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田　純、以下「NTT」）は、遠隔でのスポーツ観戦やエンターテイメント視聴における熱狂や盛り上がりといった情動の変化を、遠隔の視聴者同士であってもお互いに作用し知覚可能とすることで、あたかも満員のスタジアムやイベント会場に集合しているかのような一体感を体感できる、情動的知覚制御技術の研究開発に着手しました。
　本技術は、ユーザの視聴反応・行動に基づく人の情動のセンシング技術と、コンテンツ解析と人の知覚特性に基づく人の情動へのフィードバック技術から構成され、視聴コンテンツのコンテキストに沿って視聴者の感情の動きを捉えて、光と影、音響効果などにより、他者の存在感や躍動感として自然に知覚できる形でフィードバックすることで、遠隔視聴のユーザ同士の一体感や対話性を創出します。
　今後は要素技術の研究開発を推進するとともに、この技術がもたらす世界をご体感いただけるような検証環境を用いた実証実験を推進していきます。

1．背景および目的

新型コロナウイルス感染拡大の影響により、人々の移動や対面のコミュニケーションが減少しWeb会議システムによる遠隔コミュニケーションのツール・システムが急速に普及しつつあります。スポーツやエンターテイメント分野においても、無観客によるライブ中継やライブ配信イベントが増えつつありますが、スタジアムやライブ会場における迫力や非日常感を遠隔地で体感するまでには至っていないというのが現状です。
　NTTはこれまで、精錬な被写体抽出技術や映像・音声の同期伝送技術などにより、会場の空間をまるごとセンシングし、遠隔地に臨場感そのままに伝送、再現する技術の研究開発に取り組んでまいりました。しかし、会場にいる観戦者と遠隔地にいる視聴者がともにイベントに没入しより熱狂するためには、会場の臨場感に加え参加者同士のつながりや相互作用を高める「一体感・対話性」と、適切な演出による「盛り上がり感」を高めることが必要です。
　本研究では簡易なデバイスを利用して、観戦者および視聴者の視線や姿勢、動作からその人の集中度や熱狂度、注目点などを測定し、人の情動を把握するセンシング技術やセンシングした情動情報応じて最適な映像と音場、光と影などを提示する情報提示技術などの研究開発を行っています（図1）。
　また、本研究をもとに、低遅延デバイスによるインタラクション技術を強みとするソニー株式会社（以下、ソニー）との共同研究も推進しており、認知科学や心理学における人の集中度や熱狂度などのファクターの定量化という未知の領域を協業にて解明することを目指しています。

研究概要

2．技術の概要

人の情動を可視化・定量化するセンシング技術

同じスポーツの試合を見ていても、ある特定の選手の動きに注目している人もいれば、全体を俯瞰して戦況を分析しながら見ている人、または周囲の観客と一体となって声を出したい人など、人によって注目するポイントや情動が変化するタイミングは異なります。これは音楽などのライブエンターテイメントにおいても共通することです。本共同研究では人の視線や動作、バイタルデータ（体温・心拍数など）をセンシングすることで、提示した映像や音声をはじめとする様々な情報によって人の情動がどのように変化していったのかを定量的に可視化する技術の開発に取り組んでいます。

人の情動への確実なフィードバックを実現する情報提示技術

会場からの映像と音声の情報に加え、他の参加者の映像と音声、そして影や気配などの存在感につながる情報を融合し、伝送における遅延や視聴者の情動の変化、および試合のコンテキスト情報を考慮した上で適切に情報提示する技術の開発に取り組んでいます。また、没入感を高め、複数のリモート環境下にいる視聴者同士がつながり、互いに距離の壁を越えて熱狂できるように、視聴する空間をどのように再構成すべきか検証を進めています