「TOKYO 2020 5G PROJECT」へ超高臨場感通信技術Kirari!の
技術協力を行い新たな観戦体験を再創造
～セーリング競技の全日程で12K超ワイド合成映像を
遠隔にライブ通信～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田　純、以下、NTT）は、インテルコーポレーション（以下、インテル）、株式会社NTTドコモ（以下、ドコモ）と協力し、東京オリンピック・パラリンピック競技大会組織委員会(以下、東京2020 組織委員会)がオリンピック・パラリンピック期間中に主催する5Gを活用した新たなスポーツ観戦体験を提供するプロジェクト「TOKYO 2020 5G PROJECT」へ超高臨場感通信技術Kirari!（以下、Kirari!）を提供します。Kirari!により、江の島ヨットハーバーで行われるセーリング競技において競技間近で撮影した映像を江の島の観客席へ伝送し、臨場感の高い超ワイド映像の観戦体験を可能にします。さらに、本映像は、江ノ島から遠く離れた、東京ビックサイト（メインプレスセンタ）にも伝送されます。
　本取り組みでは、競技会場における観客や選手、スタッフの観戦体験の向上だけでなく、コロナ禍において会場に来ることが難しくなった人々に対して、現地に近い臨場感と一体感を安心・安全に体験していただきます。これはNTTが進めるリモートワールド（分散型社会）を具現化する取り組みとなります。

背景

NTTは、東京2020オリンピックおよびパラリンピックのゴールドパートナーとして、最先端通信サービスの提供を通じた史上最もイノベーティブな大会の実現に貢献していきます。特に、コロナ禍の状況を考慮し、通信サービスを活用した新しいスポーツ観戦のかたちを提案し、レガシーとすることが新たなミッションとなりました。離れていても、現地に近い臨場感や、選手と観客そして観客同士をつなぐ一体感を感じられる、これが我々NTTがめざすかたちです。
　この実現に向けて、NTT研究所では、観戦者が競技会場から離れた場所にいても、あたかも競技場にいるかのような観戦体験を実現する超高臨場感通信技術Kirari!の研究開発を推進してきました。

一方、東京2020組織委員会は、「史上最もイノベーティブで、世界にポジティブな改革をもたらす大会」を実現するために、様々な新しい取り組みを検討してきました。その中に、5Gという新たなテクノロジーを活用した「TOKYO 2020 5G PROJECT」（※1）の検討が発足しました。NTTは、NTTが有する超高臨場感通信技術Kirari!を用い、そのプロジェクトの実現に貢献します。
　NTTは今後も、現地に行けなくてもスポーツ観戦に大切な臨場感や一体感を感じることができるニューノーマル時代の新しいスポーツ観戦の在り方を世界に向け提案していく予定です。

実施概要：5G x Kirari！によるセーリング競技の新観戦体験

図1. 洋上ワイドビジョン・イメージ図
（画像提供：公益財団法人東京オリンピック・パラリンピック競技大会組織委員会
画像作成協力：NTT）

これまで防波堤から双眼鏡を使って観戦されていたセーリング競技において、あたかも競技コース間近に停泊したクルーズ船の特等席から観戦しているかのような、リアルを超える革新的な観戦体験を提供します(図1)。この取り組みは、一般の観客だけでなく、選手やスタッフにとっても新しい体験を提供します。選手やスタッフは、自国の仲間の応援だけでなく、映像を通して遠く離れた競技エリアの波や風の状況などの重要な情報を、現場に行かずとも自身の目でリアルに把握することが可能となります。
　具体的には、複数台の4Kカメラを搭載したボートやドローンからの撮影映像を、4K映像を3つ並べた横12K解像度の超ワイド映像としてリアルタイムに合成し、セーリング競技観戦場所前の洋上に浮かべた長さ55mの洋上ワイドビジョンにライブ伝送します（図2）。

図2. システム構成図

また、江ノ島会場から離れた、東京ビックサイト(メインプレスセンター)（図3）へも同様の映像が伝送され、国内での移動など行動制限を課せられているメディア関係者へ現地に近い臨場感と一体感を届けます。
　これらの実現には、複数台の4Kカメラをボートやドローンに搭載し安定的に撮影・伝送するための無線通信技術、高速大容量かつ低遅延な通信を実現する5G、Kirari!の「超ワイド映像合成技術」と「高臨場メディア同期技術Advanced MMT」など、さまざまな最先端通信技術を活用しています。
　これまでにも、Kirari!と5G技術を組み合わせ、音楽ライブやスポーツ等の超高臨場感通信に関する実証実験を行ってきましたが（※2）、今回は、商用の5Gサービスを用い、オリンピック競技に対してKirari!を適用する世界初の取り組みとなります。

図3. MPCに設置するワイドビジョン・イメージ図
（画像提供：公益財団法人東京オリンピック・パラリンピック競技大会組織委員会
画像作成協力：NTT）

他にもドローンの映像伝送においては、複数の4Kカメラを搭載したドローンから、ドローン母船間で、大容量ライブ伝送を実施しています。これにはR T K（Real Time Kinematic）(※4)を活用した位置情報を用いて、指向性の高いミリ波無線のアンテナを自動制御する通信技術です。ドローンとドローン母船間の安定した通信を実現し、大容量の映像伝送が可能となります。さらに複数の4K映像をドローン、ドローン母船間で、通信をする際、それぞれの映像データがばらばらに到着しても映像が崩れないように、通信に同期制御機構を搭載しております。

技術ポイント1：超高臨場感通信技術Kirari! (※3)

・超ワイド映像合成技術

複数の4Kカメラ映像をリアルタイムにつなげて合成することで、単一のカメラでは撮影できない高精細かつ広視野角のワイド映像を生成する技術です（図4）。
　本技術のポイントは、カメラ間の映像の合成面をリアルタイムに導出し、合成することです。合成面を導出するため、まず縮小した映像フレームに対して大まかに探索し、その後、先の処理で導出された範囲を細かく探索する2段階探索を行います。これにより品質の高い合成映像のリアルタイムに生成することが可能となります。
　また、各種映像処理をGPU上で並列処理することで、大幅な高速化を実現しています。

図4. 超ワイド映像合成技術説明図

・超高臨場感メディア同期技術（Advanced MMT）

別々のストリームとして生成される映像音声などのデータを、絶対時刻を元に同期し、伝送する技術です。さらに映像データ、音声データのみならず、照明などの環境情報も同期伝送することで、伝送先の照明などを含む環境に適合するように提示し、臨場感を向上させることが可能です。

技術ポイント2：5G

高速大容量、低遅延、多数端末接続を特徴とする第五世代移動通信サービス。本施策では、ドコモが提供する商用5Gサービスを使い、"瞬速"というキャッチフレーズのもと5Gの高速大容量という特徴を活かし、12K超ワイド合成映像を洋上ワイドビジョンにライブ伝送します。

^(※1)TOKYO 2020 5G PROJECT

東京2020組織委員会が、インテルコーポレーション、日本電信電話株式会社、株式会社NTTドコモと協力し、東京2020競技大会において5Gテクノロジーを活かし、会場内における新たなスポーツ観戦体験の提供に向けたショーケースの実施するプロジェクトです。