時空間の壁を超えて自然に体験を創出・共有できる世界の実現に向けた研究開発の開始 ～ゼロレイテンシメディア技術の研究開発を推進～

1．背景および目的

VR/AR技術の進展は目覚ましく、実世界をモデル化しサイバー空間で精密に再現された仮想世界と実世界が融合した空間において、リアルを超える体験をすることが可能になってきています。しかしながら、実世界と仮想世界の間には通信による"遅延"という時間の壁が存在し、全く違和感なく、自然なインタラクションで実世界と仮想世界とをシームレスに体感するまでには至っておりません。また、仮想世界を介して離れた場所にある実世界間をつなぐことが可能になってきていますが、伝送や処理等における物理的遅延はユーザ間での自然な体験の共有における大きな課題となっています。

例えば、実世界と仮想世界での物理的なインタラクションでは、物理モデルから軌道予測を行うことにより、ある程度の遅延を抑えることは可能です。しかしながら遠隔通信を行う際には、物理モデルの予測では限界があり、周囲の状況に加えて、行動パターンなどの情報を利用した予測が必要になります。また、音楽セッションでは演者同士がお互いの演奏を先読みすることにより、人が自ら脳内で予測を行うことによって感覚的遅延を解消しようとしております。
　NTTでは、短期的な未来の状態予測技術と生成モデルを用いた特徴抽出技術により、人が感じる遅延による違和感と、自ら行う脳内予測のメカニズムを解明し、そのメカニズムに即した情報提示を行うことで、遅延を感じさせない自然な体験の創出・共有を実現するゼロレイテンシメディア技術の研究開発に取り組んでいます。

2．ゼロレイテンシメディア技術の概要

感覚的遅延のメカニズムの解明

人の感じる遅延には感覚によって様々な時間軸を持つと言われています。私たちの脳は五感を駆使して世界を理解しようとしており、これらの感覚は各々が独立に働いているわけではなく「視覚-触覚」、「聴覚-視覚」などの組み合わせによって遅延の違和感の時間軸も異なる事がわかっています。
　人は「目に見える」、「耳できこえる」世界をそのまま知覚できているわけではなく、脳の内部では得られた刺激情報から内部モデルを生成し、現在の運動や行動を使って将来の刺激を予測しています。例えばボールをバットで打つ際には、視覚信号からバットを打つ判断を行うのではなく、自然と軌道を予測してタイミングを測っていると言われています。
　そこで、単純な物理モデルのみならず、周囲の状況や行動パターンなど、様々な情報から感覚的遅延のメカニズムを解明し、遅延から生じる違和感のない、より自然な予測技術を構築するべく、研究開発を進めてまいります。

脳内の予測モデルの確立

人は脳の内部モデルを用い、外界からの刺激を元に外界世界をシミュレートしており、周囲の状況から次に起こりうる状態を予測していると言われています。その際には、全ての状況を再現シミュレーションして予測しているのではなく、重要かつ特徴的な情報のみに注目し、必要な情報だけを再現シミュレーションしていると言われます。例えば車の運転では、子供の飛び出しや前方車両の急停車など、注目している対象の動きに注目する処理が行われています。これは背後にある様々な情報を暗黙のうちに捉えることにより、少ない情報から物事を予測することが可能となっているためであると言われています。
　このように現実の世界と、人の脳の内部では必ずしも同じ時間軸を持っているわけではありません。そのため、人の脳の内部では現実との遅延がゼロではなく、更に先読みをした時間との遅延をゼロにする必要があると考えられます。
　そこで、この予測のメカニズムを追求するべく、人が注視する特徴的な情報を抽出し、人の脳の内部で予測している世界との感覚的遅延の解消に向けた研究開発を進めてまいります。

3．今後の展開

今後、NTTの研究開発技術を活用し、ゼロレイテンシメディア技術の各技術要素の確立を進めるとともに、実フィールドにおける検証、ビジネス・サービス化に向けた検討をコラボレーションパートナーと共に行っていきます。
　なお、2019年11月14日・15日に開催する「NTT R&Dフォーラム2019」^※の中で、本技術の目指すゼロレイテンシの世界を実際に体験できるPoC（Proof of Concept、概念実証）を展示します。今回はソニー株式会社のA(i)R Hockey/Doodle Penを利用し、遅延を感じさせない自然なインタラクションをご体感頂けます。また、本技術を含む「IOWN × Entertainmentを支える技術」をB1展示ホール、同技術により実現を目指すリアルな世界ともうひとつの世界とがシームレスにつながることによる本物を超える体験を2Fホールにてご体感頂けます。