検索パネルを開く 検索パネルを閉じる メニューを開く メニューを閉じる

2018年2月19日

イマーシブテレプレゼンス技術「Kirari!」の研究開発が進展 ~ 中継先において競技空間を取り囲む新しい視聴体験を実現 ~

日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:鵜浦 博夫、以下、NTT)は、あたかもその場にいるかのような超高臨場な体験をあらゆる場所でリアルタイムに感じることができる世界を目指すイマーシブテレプレゼンス技術「Kirari!」のコンセプトを2015年2月に発表しました。
 これまで、スポーツやエンターテイメント分野での実証等を通じて、研究開発を進展させてきましたが、今回、これまでの一方向からのみの視聴形態を拡張し、中継先において競技空間を取り囲む新しい視聴形態「Kirari! for Arena」を実現しました。

1.Kirari! for Arenaについて

 競技空間を複数のカメラで取得して世界に伝送し、中継先で再構成することで、多方向から多人数で競技を観戦する新しい観戦スタイルを提案します。
 Kirari! for Arenaでは、中継元で選手の映像に加えて位置情報を把握することで、従来、主に左右方向の動きによる臨場感の再現であったものが、奥行き方向を含めた前後左右の自然な動きによる臨場感の再現が可能となり、多方向から多人数で観戦する形態で、競技会場をあたかもそこへ再現したかのような空間を実現しました。

(図1) Kirari! for Arenaの利用イメージ(図1) Kirari! for Arenaの利用イメージ

2.Kirari!を支える技術の研究開発の進展について

 「Kirari!」を支える各要素技術のこの1年間の開発成果のポイントは以下の通りです。

1.現場(センシング)技術

開発成果<1> 3次元センシング、オブジェクト追跡技術
 中継先で競技空間を再現するためには、選手の3次元位置情報を把握する必要があります。そこで、選手を認識し位置情報を追跡する技術を開発しました。深層学習による物体認識と、粒子フィルタ※1を用いたオブジェクト追跡、レーザ光を用いた奥行センサの組み合わせにより、選手が見え隠れする場合でも頑健に位置情報の追跡ができるようになりました。

2.中継(処理・配信)技術

開発成果<2> リアルタイム被写体抽出技術
 スポーツ中継や舞台中継など、背景が変化するシーンにも利用可能な高品位な4Kリアルタイム被写体抽出技術を開発しました。ステレオカメラ化した2台の4Kカメラを用いて、背景変化に頑健な被写体抽出が実現できるほか、被写体と背景の色情報を教師データとした機械学習により、わずかな色の違いでも被写体と背景を識別できるようになりました。
開発成果<3> Advanced MMT※2
 複数の映像・音声を同期伝送する従来の技術を拡張し、中継元で取得した複数のセンサ情報を、用途に応じてリアルタイムに統合・加工しながら同期伝送する技術を開発しました。映像のフレームレートと異なるタイミングで変化するセンサ情報を、中継先で求められる用途に合わせて統合・加工し、映像・音声とともに同期伝送することを可能としました。この技術により、中継元のオブジェクトの位置情報に応じて中継先の競技空間で再現する映像素材・音声素材の位置やサイズを制御するなど、様々な再現表現を時間的・空間的に同期して行えるようになりました。

3.再現(提示)技術

開発成果<4> 3次元実空間映像定位技術
 中継先の擬似3D表示系において、被写体映像の自然な奥行き方向への移動を広い視域かつ複数の視点から同時に観察できる3次元実空間映像提示技術を開発しました。本技術を中継先の擬似3D表示に適用することで、あたかも選手が目の前の実空間を動き回るかのような空間的位置関係をよりダイナミックに表現できるようになりました。
開発成果<5> 波面合成音響技術
 人の顔の向きや楽器の形状により生じる方向別の音の強弱を、スピーカよりも前面に飛び出す音像に付与する波面合成音響技術を開発しました。これまでに開発してきた客席近くを含む会場の任意の位置に音源を生成する技術に加え、より現実の音源に近い仮想音像を実現することにより、別会場の観客の声を遠近だけでなく顔の向きまで再現し、競技会場との一体感をより高めることができるようになりました。
開発成果<6> 裸眼3D映像処理・表示技術
 人の視覚メカニズムの知見を積極的に活用することで、少ない数の光源でなめらかな視点移動を実現する裸眼3D映像処理・表示技術を開発しました。本技術により、多人数でスクリーンを囲みながらの3D映像鑑賞や、シーンにのめり込むVRのような3D映像鑑賞を、3Dメガネなどを装着せずに自然に行えるようになりました。

4.サービス化に向けた取り組み:超高臨場の再現コストの低減

 競技場や舞台を実物大で超高臨場に再現する提示系に加えて、講演中継等に適した簡易かつコンパクトに臨場感を体感できる表示装置の実現に取り組みました。今後も多様な提示系を実現し再現コストの低減の取り組みを進めます。

(図2)「Kirari!」を支える技術(図2)「Kirari!」を支える技術

(図3) 各技術の進展(図3) 各技術の進展

3.今後の展開

 さらなるKirari!の研究開発として、各要素技術の高度化と経済化を進めます。高度化については、物理的な空間を超える技術開発に加え、時空間を超えることを目指します。一方経済化については、再現(提示)コストの低減だけでなく、現場(センシング)--中継(処理・配信)--再現(提示)のすべての処理プロセスでの技術開発を進めます。
 これらの取り組みにより、スポーツ・エンターテイメント分野でのライブビューイング、エンタープライズ分野での講演中継などへの展開を視野に、サービス化に向けた取り組みをより一層加速してまいります。

 なお、本研究開発成果は、2018年2月22日~23日に開催する「NTT R&Dフォーラム2018」にてご覧いただけます。
 また、本フォーラム内「Kirari!ホール」において、超高臨場によってお客様の感動を最大化することを目指す「Kirari!」の姿およびそれを支える技術を、演出家とのコラボレーションにより、空間の壁を超えるスポーツ体験、および、時空間を超えるエンターテイメント体験としてご体感いただけます。
 「NTT R&Dフォーラム2018」サイト https://labevent.ecl.ntt.co.jp/forum2018/info当該ページを別ウィンドウで開きます

※1粒子フィルタ
時系列のデータ群において、過去の時系列データを基に次フレームにおける状態の出現確率(選手の追跡の場合、選手が存在する確率が高い位置)を推定する方法。

※2MMT(MPEG Media Transport)
国際標準化団体である、ISO/IEC JTC 1/SC 29/WG 11 MPEGで制定するメディアトランスポート規格。IPを含む多様なネットワークに柔軟に対応できるトランスポート規格を目指し、2009年より検討開始。2014年6月、コアパート(23008-1)が国際標準化。

本件に関するお問い合わせ先

日本電信電話株式会社
サービスイノベーション総合研究所 企画部広報担当
E-mail:randd-ml@hco.ntt.co.jp
Tel:046-859-2032

Innovative R&D by NTT NTTのR&D活動を「ロゴ」として表現しました

ニュースリリースに記載している情報は、発表日時点のものです。
現時点では、発表日時点での情報と異なる場合がありますので、あらかじめご了承いただくとともに、ご注意をお願いいたします。

NTT STORY

NTTとともに未来を考えるWEBメディアです。

NTTグループ