リアル世界の体感を再現するXRスポーツ空間を生成する技術を開発
～自転車競技レースを再現した超高臨場メタバース空間において、選手との"共走"体験を創出～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田　明、以下「NTT」）は、広域な屋外環境の空間と時間変化、振動をバーチャル世界に再現し、リアル世界の体験を再現する技術の研究開発を推進しています。
　その最新の成果をもとに、宇都宮市、特定非営利活動法人ジャパンカップサイクルロードレース協会と、2023年10月13日から2023年10月15日にかけて開催予定の「SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース^※1」を再現した超高臨場メタバース空間「XRスポーツ空間」において、選手達と一緒に走っているような"共走"体験を実現する実験を行います。本実験を通じ、時間・空間を超えて、あたかもその場で競技しているような体感を再現し、超高臨場メタバース空間を通じた新たなリモート体験の実現をめざします。
　本成果は、2023年11月14日～17日に開催されるNTT R&D フォーラム― IOWN ACCELERATION^（※2）に展示予定です。

1. 背景・概要

NTTでは、IOWN構想^※3を通じて実現をめざす、「低遅延」、「低消費電力」、「大容量・高品質」のネットワーク・情報処理基盤を活用し、リアルな映像、音響、触覚などの新たな体験を提供する超高臨場メタバース空間の実現に向けた研究開発を行っています。
　今回、宇都宮市、特定非営利活動法人ジャパンカップサイクルロードレース協会と共同で、「SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース」にて超高臨場メタバース空間を活用した"共走"体験を実現する実証を行います。本実証では、ホープフルクリテリウム^※4において、競技レースの映像・音響・路面情報等のデータを収録し、後日競技レースの時間・空間を再現したバーチャル世界「XRスポーツ空間」をレース参加者に体験いただき、技術の効果効用を評価する技術検証を実施します。

2. 技術のポイント

・広域3D映像空間の推定・再現

移動する複数のカメラ映像から3次元の映像空間を生成し、任意視点からの映像を生成可能とする技術です。リアル世界内の動物体により生じる遮蔽領域を、別撮り映像に基づいた画像選択と画像復元により補間することで、広域な映像空間を再現します。

図1. 広域3D映像空間の推定・再現のイメージ

・広域3D音響空間の推定・再現

移動するカメラ・マイクで撮影・収音された映像・音響データから、リアル世界内の選手や観客などの個々の音源を分離し、個々の音の位置を含む音の空間的な広がりまでを含めた音響空間を生成する技術です。オブジェクト識別をベースとした音源分離と奥行推定を組み合わせた個別音源定位、カメラ・マイクの位置情報を活用した音場再構成により、自然な音響空間を再現します。

図2. 広域3D音響空間の推定・再現のイメージ

・広域振動空間の推定・再現

リアル世界を自転車で走行した際の振動音・路面映像を収録し、メタバース空間で走行する際の路面や速度に応じて変化する振動感覚を再現する技術です。カメラで収録した路面を区分けし、一部の場所で収録した振動音を区分けに基づいて空間全体に適用することで、広域な振動空間を再現します。

図3. 広域振動空間の推定・再現のイメージ

3. 今後の展開

「SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース」で収集したデータを活用し、2023年11月14日から17日に開催される「NTT R&D FORUM 2023 -IOWN ACCELERATION」において、本技術の紹介、および共走体験のデモ展示を実施します。また、選手を含む有識者へのヒアリングを通じて、ユーザビリティや体験価値の評価を行い競技者、観戦者のすそ野を広げる活動にも寄与します。
　本研究を通じ、距離・時間・価値観の違いを超えたリモート交流・リモート競技による、新たなWell-being体験の実現をめざします。

^※1「SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース」は、日本で唯一、国際自転車競技連合より、ワールドツアーに次ぐ"プロシリーズ"に認定された、アジア最高位のワンデイロードレースです。「自転車のまち宇都宮」で開催される、宇都宮市森林公園を疾走するロードレース、宇都宮市中心部の大通りを周回するクリテリウムがあり、今年は第30回の記念大会となります。
大会名称：SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース
開催期間：2023年10月13日（金）～2023年10月15日（日）
　会場：宇都宮市森林公園周回コース、宇都宮市大通り周回コース
　主催：宇都宮市
　主管：公益財団法人日本自転車競技連盟、ジャパンカップサイクルロードレース実行委員会、特定非営利活動法人ジャパンカップサイクルロードレース協会
　URL：https://www.japancup.gr.jp/

^※2「NTT R&D FORUM 2023 -IOWN ACCELERATION」公式サイト
URL：https://www.rd.ntt/forum/

^※3IOWN（Innovative Optical and Wireless Network）構想とは、あらゆる情報を基に個と全体との最適化を図り、光を中心とした革新的技術を活用し、高速大容量通信ならびに膨大な計算リソースなどを提供可能な、端末を含むネットワーク・情報処理基盤の構想です。
URL：https://www.rd.ntt/iown/

^※4ホープフルクリテリウムは、「ジャパンカップサイクルロードレース」前日に宇都宮市大通りにて⾏われる 次世代を担う⾼校⽣たちによるレースです。