2015年2月18日

あたかもその場にいるかのような超高臨場感をリアルタイムに世界へ配信～イマーシブテレプレゼンス技術「Kirari!」の研究開発を推進～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下NTT）は、2020年に向けて、超高画質、超高音質では実現できない、更なる超高臨場感を創出することによって、「競技空間をまるごとリアルタイムに日本国内はもとより世界へ配信する」ことを目指し、これまでにない超高臨場感につながる伝送技術「イマーシブテレプレゼンス技術Kirari!」の研究開発を推進してまいります。

「イマーシブテレプレゼンス技術Kirari!」とは、NTTが開発した次世代映像圧縮規格（HEVC）などと、新たに開発に着手した高臨場感メディア同期技術「Advanced MMT」を組み合わせて、選手の映像・音声のみならず、選手の置かれた空間や環境の情報を伝送し、伝送先においてプロジェクションマッピング技術で、音とともに3D再現する技術です。

2020年には、4K・8K放送の普及によって、多くの視聴者がテレビで、またパブリックビューイングで、世界各地でスポーツの感動が共有されることが予想されますが、平面ディスプレイで創出可能な臨場感には限界があります。
　そこで、NTTでは、「イマーシブテレプレゼンス技術Kirari!」によって、映像音声などのコンテンツに限らず、照明やロボットなど環境に存在するリアルな物を連動させて表現することで、これまでにない高臨場感を創出することを可能とし、あたかも競技会場にいるかのように競技を世界の多地点で同時刻に体感いただけるようになります。（図1）
　NTTは、2020年に向けて、世界各地でスポーツの感動を共有することに貢献します。

図1　イマーシブテレプレゼンスKirari!が目指す世界

今後の展開

NTTでは、2020年までに、様々なパートナーとのコラボレーションを通じ、スポーツやライブにおいて、超高臨場感のある観戦を世界中の人々に体感いただけるように取り組んでまいります。
　イマーシブテレプレゼンス技術Kirari!によって、遠隔の複数の体育館やライブ会場に向けて、競技空間をまるごと伝送し、再現します。遠隔地にいる世界中の観戦者は、まさに目の前で、競技場などで繰り広げられる競技を観戦することができ、「速い！」「高い！」といった体感を目指します。
　また、地方の祭りなどの無形文化財など、遠隔ゆえにこれまで多くの方が鑑賞することが困難なイベントなどに関しても、イマーシブテレプレゼンス技術Kirari!の活用の検討を進めてまいります。
　具体的には、まず2015年度中に、国内のスポーツ大会の遠隔ライブ観戦トライアルの実施を目指してまいります。

イマーシブテレプレゼンスKirari!の概要について

1.背景

NTTでは、4K ・8K映像をより多くの方に利用いただくために、次世代メディア伝送規格MMT（MPEG Media Transport）の標準化を推進してまいりました。その結果、誤り訂正技術FireFort-LDGM FEC（Forward Error Correction）によりIPネットワークにおいてロバスト/高信頼に動画を伝送することや、コンテンツ再生の絶対時間を制御することで、複数の異なる経路から伝送されるコンテンツの同期再生を実現してまいりました。

2.イマーシブテレプレゼンス技術Kirari!（以下 Kirari!）の概要

Kirari!の技術要素は、NTTがこれまで推進してきた次世代映像圧縮規格 H.265/HEVC（以下、HEVC）、音の情報を歪みなく圧縮するロスレス音声符号化技術MPEG-4 ALSなどの音響技術に加え、新たな研究開発テーマとなる超高臨場感メディア同期技術（Advanced MMT）の3つから構成されます（図1）。

(1)HEVCについて

従来の映像圧縮規格「H.264/AVC」と比較して2倍の性能と言われるところを、NTT独自技術により、最大で約2.5倍の世界最高レベルの圧縮性能を実現しています。

(2)MPEG-4 ALSについて

MPEG-4 ALS準拠のソフトウェアをNTT独自技術で改善することにより、MPEGの参照ソフトウェアよりも圧縮率を改善しつつ、約6倍速いエンコード処理を実現しています。

(3)Advanced MMTについて

従来のMMTが持つ強みである絶対時間による映像・音声の同期に加え、競技を再現するために必要な構成要素の情報も伝送し同期再現します。サイズや照明・音響等の設備が異なる競技会場と伝送先空間であっても、「競技空間をまるごとリアルタイムに日本国内はもとより世界へ配信する」ために、被写体を実物大で伝送しつつ、被写体以外は伝送先のサイズにフィットした情報を伝送し同期再現することで、平面の映像で味わえる臨場感を遥かに超える形で、あたかも目の前で競技が行われているように見えることを目指しました。
　具体的なアプローチ方法の例を以下に示します。

図2　Kirari!の概要

3.Advanced MMTを利用したサッカー競技の体育館での再現事例

例えば、サッカー競技を体育館に転送する場合、スタジアムとのサイズの差異は明らかで、照明・音響の設備も全く異なりますが、以下の（1）～（3）のアプローチによって、あたかも目の前で競技が行われているように見えるようにしました。

選手等の被写体は、座標・形状を競技会場でリアルタイムに計測し、映し出すべき被写体を実物大で切り出して伝送します。
被写体以外の映像・音響空間・照明情報などは、Advanced MMTによって、伝送先の環境、再現空間の情報（例えば、横幅10m、奥行き5m、高さ5m、スピーカ5.1ch、プロジェクターは4Kが4台、照明機器は5つ、等）に基づき、自動的に再構成するための情報を算出します。具体的な事例は以下のとおりです。
・被写体はどの座標に表示させるか（図3(ⅰ)）
・被写体以外はどの領域を切り出すか（図3(ⅱ)）
・音響空間はどれを使うか（図3(ⅲ)）
図3　Kirari!の課題とアプローチ
伝送先では、まず伝送先のサイズにフィットした被写体以外がプロジェクションマッピングされます。次に被写体を、別のプロジェクターで、三次元的に浮かび上がっているように射影します。さらに、音響空間を伝送先のスピーカ数で表現します（図4）。
図4　Kirari!による競技の体感例

観戦者には、平面の映像で味わえる臨場感を遥かに超える形で、あたかも目の前で競技が行われているように見えます。これがKirari!が目指す新しい競技の体感方法です。
　今後は、リアルタイムに被写体の身を切り出すことや、照明の効果的な自動演出などの技術課題の解決に取り組むことで、よりリアルを共有できる世界を実現していきます。

4.Kirari!を使った利用イメージの例

今回、studioTED（スピン社）のホログラフィック技術Eyeliner（※1）と、NTTのリアルタイム波面合成技術（※）の拡張により、イマーシブテレプレゼンス技術Kirari!によって大勢の観戦・鑑賞者に同時にご覧いただくイメージを作成いたしました。
　被写体を立体的に見えるように投影し、被写体以外の情報を背面に投影することで被写体が三次元的に浮かび上がっているように再構築するとともに、音響空間は、浮かび上がった被写体と音源が一致するかのような音源定位を実現することで、再生会場のどの位置にいても、観戦・鑑賞者が高い臨場感を得られます。さらに、被写体に合わせて照明やロボット等のリアルな物を動かすことで、被写体をより一層リアルに感じることができます。

^※リアルタイム波面合成技術
http://www.ntt.co.jp/RD/OFIS/active/2012pdf/hot/ct/01.html 当該ページを別ウィンドウで開きます