「TOKYO 2020 未来のスポーツ観戦プロジェクト」へ
超高臨場感通信技術Kirari!の技術実証協力
～バドミントン競技ホログラフィック映像のライブ伝送実証～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田純、以下「NTT」）は、公益財団法人東京オリンピック・パラリンピック競技大会組織委員会(以下「東京2020組織委員会」)が主導する「TOKYO 2020 未来のスポーツ観戦プロジェクト」（※1）において、NTTの超高臨場感通信技術「Kirari!」（※2、以下Kirari!）の技術協力を行います。本プロジェクトは、コロナ禍や障がいなど様々な理由で、競技会場に行けない方々に、あたかもその場にいるかのような臨場感と一体感を提供することをめざした次世代臨場感テクノロジーの実証を目的としたプロジェクトです。
　本プロジェクトでは武蔵野の森総合スポーツプラザで行われるバドミントン競技の様子を遠隔地にある上映会場（日本科学未来館）にKirari!を用いて伝送します。遠隔会場では選手やシャトルの伝送映像がホログラフィックにリアルタイム表示され、次世代臨場感の技術評価（以下「本技術実証」という。）が行われます。スポーツ競技のホログラフィックな映像伝送は史上初となります。
　当初、本プロジェクトでは一般参加者を招いてのライブビューイング実証を計画していましたが、コロナ感染予防の観点から一般参加者の招待を中止しました。しかし、日本科学未来館に協力し、メディアを通じて本技術実証（スポーツ観戦の未来～次世代臨場感テクノロジー実証プログラム～）の公開を行うことで、本プロジュクトの目的であるイノベーティブなスポーツ観戦技術の創造、および価値を広く社会に問い、今後の社会実装につなげてまいります。

^※1「TOKYO 2020 未来のスポーツ観戦プロジェクト」:
https://olympics.com/tokyo-2020/ja/games/vision-innovation/ 当該ページを別ウィンドウで開きます

^※2「Kirari!」の詳細: https://group.ntt/jp/magazine/blog/kirari/ 当該ページを別ウィンドウで開きます

1．背景

NTTは、東京2020オリンピック・パラリンピックのゴールドパートナーとして、最先端通信サービスの提供を通じた史上最もイノベーティブな大会の実現に貢献しています。特に、コロナ禍の状況に鑑みて、通信サービスを活用した新しいスポーツ観戦のかたちを提案し、レガシーとすることを新たなミッションと考えています。離れていても、競技会場と同じような臨場感や、選手と観客そして観客同士をつなぐ一体感を感じられる、これがNTTのめざすかたちです。
　その実現に向けて、NTTの研究所では、観戦者が競技会場から離れた場所にいても、あたかも競技会場にいるかのような観戦体験を可能とするKirari!の研究開発を推進してきました。
　今回、NTTは東京2020組織委員会が主導する「TOKYO 2020 未来のスポーツ観戦プロジェクト」の主旨に賛同し、両者は共通する目標に向かって取り組むことに合意しました。NTTは「TOKYO 2020 未来のスポーツ観戦プロジェクト」におけるKirari!を活用した技術実証を行い、ニューノーマル時代にふさわしい新しいスポーツ観戦の実現に向け貢献していきます。

2．実施概要：Kirari!によるバドミントン競技の新観戦体験

図1. 遠隔会場でバドミントンの選手が投影されるイメージ

東京2020オリンピックのバドミントン競技において、競技会場である武蔵野の森総合スポーツプラザから、遠隔会場である日本科学未来館へ、Kirari!を用いてホログラフィックにライブ映像伝送が行われます。遠隔会場では、あたかも競技会場にいるかのような臨場感を楽しむことができます。具体的には、東京2020組織委員会が武蔵野の森会場に設置した8Kカメラの撮影映像からKirari!の要素技術である「任意背景リアルタイム被写体抽出技術」（技術ポイント1）を用いて選手やシャトルの映像を抽出し、それを「超高臨場感メディア同期技術（Advanced MMT）」（技術ポイント2）を用いてリアルタイム伝送します。
　遠隔会場の日本科学未来館には、競技会場と同様の観客席と実物大のコートが設置され（図2）、伝送された選手とシャトルの映像が、そのコート上に、ホログラフィックに表示されます。その際、俯瞰観戦型多層空中像表示技術（技術ポイント3）により、手前の選手は手前に、奥の選手は奥にと、試合会場と同じ位置で表示されます。その結果、リアルなコートに二人の選手が降り立ったかのような空間を実現します。

図2. 試合コートと観客席の高低差も再現した特別な装置（イメージ）

3．技術ポイント

1. 任意背景リアルタイム被写体抽出技術

映像の中から被写体のみを抽出する場合、一般的にはグリーンバックやブルーバックなどの背景を用意し、クロマキーなどによりその背景色を消す手法が取られます。本技術は、特別な背景環境を用意することなく、現場のそのままの映像からリアルタイムに被写体のみを抽出する技術です。NTTは従来からこの技術の研究開発を進めてきました（※3）。
　今回、従来技術を発展させ、入力画像に疑似深度画像などを加えてバドミントンコートの空間に最適化した深層学習モデルを作成することで、バドミントンのような動きが速く、コートの手前と奥で選手が分かれる競技においても、個別に選手を抽出することを可能とし、安定的且つ高精度な被写体抽出に成功しました（図3 a）。
　また、映像の中で微小かつ高速に移動するシャトルについては、バドミントン専用に開発した深層学習モデルを用いて位置を特定し、さまざまな形に変形するシャトルの輪郭を正確に抽出する方式を確立しました。相対する選手及びシャトルは独立して抽出し、遠隔会場での多層投影に対応可能としました。

^※3「任意背景リアルタイム被写体抽出技術」の紹介:
https://www.ntt.co.jp/journal/1810/JN20181016_h.html 当該ページを別ウィンドウで開きます

2. 超高臨場感メディア同期技術（Advanced MMT）

映像伝送に際しては、上記の任意背景リアルタイム被写体抽出技術を利用して、競技映像から選手の映像、シャトルの映像、声援の音などを分離して、遠隔会場にそれぞれ別々の連続するデータ（ストリーム）として伝送します。本技術は、この別々のストリームを、同期して伝送する技術です。選手やシャトル、観客の声援など、実物大のコートに表現する構成要素をタイミングに合わせて表示することが可能となり（図3 b）、臨場感を向上させることができます。

図3. 競技会場から撮影映像を伝送し遠隔会場でホログラフィックに表示

3．俯瞰観戦型多層空中像表示技術

従来のホログラフィック表示では、ディスプレイの映像を斜め45度に設置したハーフミラーに反射させることで空中像を表示するペッパーズゴーストと呼ばれる手法が多く用いられています。この手法では、空中像が表示される奥行き位置が固定されており、バドミントンのように、手前の選手、ネット、奥の選手などの異なる奥行きをもった空間の再現には様々な課題がありました。
　本技術は、図2のように実際の競技会場に近い高さの観客席を設置し、そこから見下ろす視線を考慮して、コート、2枚のハーフミラー、LEDディスプレイ・プロジェクタなどを最適に設置しています。これにより異なる奥行き位置に2層の空中像の多層投影を実現し、手前の選手は手前のコートに、奥の選手はネットをはさんで反対側のコートにそれぞれホログラフィックに再現します。また、シャトル映像の表示位置を2層の空中像の間でダイナミックに変化させることにより、連続的で繋がりのある自然なシャトルの動きを再現します。さらに、あたかもコート上に巨大なサイネージが浮かんでいるかのような試合中継映像の表示や、コートへのプロジェクションマッピングにより、観戦を盛り上げる演出を可能とします。