2020年に向け、注目する選手個人を擬似3Dでリアルタイム中継！
～ イマーシブテレプレゼンス技術「Kirari!」の研究開発が進展 ～

2．超高臨場感視聴体験を実現したKirari!の成果について

Kirari!による擬似3Dリアルタイム中継実現に向けた主な技術課題は、下記となります。

• 競技会場における試合の模様からリアルタイムで選手の映像や競技の音声を切り出す技術の精度向上。
• 切り出された選手の映像や競技の音声に加え、リアルタイムに合成した試合全景の映像や音声情報に加え、様々な情報の同期伝送と、遠隔地での臨場感の高い再現。

今回開発した技術により、注目する選手個人を擬似3Dでリアルタイム中継することに成功しました。今回開発した要素技術の概要、および成果のポイントは以下となります。

超高臨場感メディア同期技術（Advanced MMT）

これまでNTTは、輻輳などの影響で発生するバースト的なパケットロスを訂正可能な誤り訂正技術（FireFort-LDGM符号^※2）を研究開発し、国際標準のメディア伝送規格MMT^※3に適用することで、IP網を利用した、超高精細映像などの大容量コンテンツの低コストで安定・高信頼な伝送に取り組んでまいりました^※4。
一方、昨年発表した「競技空間をまるごとリアルタイムに配信する」コンセプトに基づき、MMTの枠組みの中で、撮影対象の大きさや位置関係、競技音声の方向などの三次元情報を記述できるMMTシグナリングの記述子を定義することで、映像・音声と共に空間的な情報を同期伝送できる技術を開発しました。この技術により、例えば映像提示デバイスのスクリーンサイズ／解像度／設置位置／姿勢などの物理的空間位置とアセット情報（フレーム内のピクセル情報）との対応付けが可能となり、競技会場を構成する複数の映像や音声と共に、映像の空間的な大きさや音像の定位情報などを遠隔会場に伝送し、伝送先に応じて高臨場に競技空間を再構成することができるようになりました。

任意背景リアルタイム被写体抽出技術

距離や温度のセンサ情報を用いた輪郭検出技術と、高速高精度に被写体の境界を特定する画像処理技術を組み合わせることで、単純な背景の中、少人数が写るシーンでリアルタイムに被写体映像を抽出する技術を開発しました。この技術により、一定の条件下において、屋内外のフィールド環境で行われる個人競技等において、擬似3D表示したい選手の映像だけをリアルタイムで切り出すことができるようになりました。

臨場感デザイン技術（高臨場音像定位技術）

広範囲な視聴エリアに少ないスピーカ数で仮想的な音源を臨場感高く定位させる高臨場音像定位技術を開発しました。この技術により、大画面に等身大で投影した被写体映像の任意の位置に音源を生成することができ、あたかも被写体そのものから声や競技音が発生しているかのような効果をより経済的に実現できるようになりました。

超ワイド映像合成技術

複数台の4Kカメラを並べて撮影した映像をリアルタイムに補正しつなぎ合わせるスティッチング処理技術を開発しました。この技術により、広大な競技会場を写した映像や、陸上競技等の横方向に長いフィールドを使う競技の高精細ワイド映像をリアルタイムに作ることができるようになりました。

3．今後の展開

今回研究開発を行った技術を活用し、今後個人競技を中心に、競技のリアルタイム中継のトライアルを進めてまいります。具体的なユースケースとして、空手やフェンシングなどの競技や、ピッチャー、バッターなど個人のプレイにフォーカスがあたる野球などへの展開に挑戦してまいります。
　さらなる研究開発として、2017年には、Kirari!で実現する競技の幅を広げるため、選手複数人での競技（被写体の重なりの大きい競技）へ対応するための研究開発を推進してまいります。将来的には競技者が大人数、もしくは複数の被写体の移動の大きい競技などへ対応することにより、現在では実現の難しい柔道サッカーなどへの適用を目指します。
　また、Kirari!の適用分野は、スポーツだけではなく、超高臨場感視聴体験に新しい価値を持つことが想定される伝統芸能や、コンサートのパブリックビューイング、講演のライブ中継などへの展開も視野に進めてまいります。
　なお、今回、研究開発を実施した技術は、2016年2月18日～19日に開催する「NTT R&Dフォーラム2016」にてご覧いただけます。公益財団法人　全日本空手道連盟の協力のもと、空手の形の演武におけるリアルタイム中継や、本フォーラムの中で実施される講演のライブ中継を予定しています。
　「NTT R&Dフォーラム2016」サイト　http://labevent.ecl.ntt.co.jp/forum2016/info/

※1http://www.ntt.co.jp/news2015/1502/150218b.html

※2FireFort-LDGM符号
LDGM（Low Density Generator Matrix）符号に基づくパケット伝送用誤り訂正符号の一つで、演算負荷が少なく強力な誤り訂正能力が特長。低解像度映像から超高解像度映像まで様々なビットレートの映像伝送において、高い誤り訂正能力による安定した伝送を可能とし、スマートフォンなどの処理能力や消費電力に制約のあるモバイル端末でも動作可能。

※3MMT（MPEG Media Transport）
国際標準化団体である、ISO/IEC JTC 1/SC 29/WG 11 MPEGで制定するメディアトランスポート規格。IPを含む多様なネットワークに柔軟に対応できるトランスポート規格を目指し、2009年より検討開始。2014年6月、コアパート（23008-1）が国際標準化。

※4http://www.ntt.co.jp/news2014/1405/140515a.html