イマーシブテレプレゼンス技術「Kirari !」の研究開発が進展！ ～　屋内競技を高臨場に伝送可能な技術を開発　～

1．Kirari!のこの1年間の開発成果詳細

　Kirari!による擬似3Dリアルタイム中継実現に向けた主な技術課題は、下記となります。

（1）競技会場における試合の模様からリアルタイムで選手の映像を切り出す技術の精度向上

（2）切り出された選手の映像に加え、リアルタイムに合成した競技空間の映像、競技や歓声などの音声情報、映像・音声以外の様々な情報を同期して伝送し、遠隔地における臨場感の高い再現

　この1年間の技術開発の成果として、（1）については被写体抽出環境に対する頑健化、および、被写体切り出し後の処理の精緻化を実現しました。また、（2）については、競技空間の映像に対してリアルタイムでの合成範囲の拡大、メディア同期伝送の低遅延化、遠隔地での音響再生の立体化を実現しました。今回開発した成果のポイントは以下となります。

開発成果<1>　：任意背景リアルタイム被写体抽出技術

奥行き情報の活用と色学習処理により、照明等がコントロールされていない環境においても頑健に被写体を抽出する技術を開発しました。この技術により、実競技会場において、擬似3D表示をしたい選手の映像を安定的にリアルタイムで切り出すことができるようになりました。
　また、細部まで精緻かつ自然に被写体を抽出する技術も開発しました。この技術により、伝統芸能などにおいて、演者を精緻に切り出すことができるようになりました。

開発成果<2>　：超ワイド映像合成技術

視野角180度以上かつ縦横方向に複数配置した4Kカメラ映像をリアルタイムに合成（横8×縦1、横4×縦2など）する技術を世界で初めて開発しました。この技術により、観客席も含めた広大な競技会場全体の映像など、包み込まれるかのような高精細サラウンド映像をリアルタイムに作ることができるようになりました。

開発成果<3>　：超高臨場感メディア同期技術（Advanced MMT^※3）

映像分割・並列処理により送出処理時間を低減し、遅延時間を大幅に削減、かつ、再生機器の遅延まで含めた同期合わせの技術を世界で初めて開発しました。この技術により、遠隔講演中継において、質疑応答など双方向のコミュニケーションを行うことができるようになりました。

開発成果<4>　：臨場感デザイン技術（高臨場音像定位技術）

スピーカーを置いていない客席近くにまで音が飛び出し、かつ、広範囲な受聴エリアに対応した高臨場音像定位技術を開発しました。映像の任意の位置に音源を生成するこれまでの技術に加え、実際には映っていない観客の声を再現するなど、音響効果だけで競技会場との一体感を感じることができるようになりました。

2．今後の展開

さらなるKirari!の研究開発として、超高臨場感ライブ中継における臨場感や一体感を高めるための取り組みを推進します。
　また、スポーツ分野のパブリックビューイングだけではなく、伝統芸能やコンサートといったエンターテイメント分野でのライブビューイング、セミナーや講演のライブ中継などエンタープライズ分野への展開も視野に、サービス化に向けた取り組みをより一層加速してまいります。

　なお、今回、研究開発を実施した技術は、2017年2月16日～17日に開催する「NTT R&Dフォーラム2017」にてご覧いただけます。スポーツ分野へのKirari!適用イメージとして、公益財団法人　全日本柔道連盟の協力のもと、柔道の超高臨場感パブリックビューイングのステージを予定しています。また、エンターテイメント分野へのKirari!適用イメージもご覧いただく予定です。
　
「NTT R&Dフォーラム2017」サイト　https://labevent.ecl.ntt.co.jp/forum2017/info/