検索パネルを開く 検索パネルを閉じる メニューを開く メニューを閉じる

2021年2月16日

エンターテイメント テクノロジー

超高臨場感を世界中の人々へ〜Kirari!

これまでにない超高臨場感を実現するKirari!


Kirari!は 『情報の収集・加工』 『リアルタイム同期伝送』 『演出・再現』 を実現する技術集合で、「競技空間をまるごとリアルタイムに日本国内はもとより世界へ配信する」ことをめざす、これまでにない超高臨場感を実現する技術です。

Kirari!によって、遠隔の複数の体育館やライブ会場に向けて、競技空間をまるごと伝送し、再現することで、遠隔地にいる世界中の観戦者は、まさに目の前で、競技場などで繰り広げられる競技を観戦することができ、「速い!」「高い!」といった体感をめざして行きます。



Kirari!と市中の多様な提示系システムとを組み合わせることで、新しい映像体験を提供します。


Point. 01:競技会場における試合の模様からリアルタイムで選手映像や競技音声を切り出し


NTTが研究する「任意背景被写体抽出技術」では、背景がブルー・グリーンなどの単一色スクリーンを用いたクロマキー※2撮影ではないような状況でも、動いている選手だけをリアルタイムで切り出すことが可能です。


※2クロマキー:
クロマキーとは、特定の色情報を持つ領域を他の画像で置き換える手法のこと

映像は、公益財団法人 全日本空手道連盟のご協力のもと、空手の形の演武の迫力と緊迫感を体感いただく疑似3Dライブ中継を実施した時の映像です。

競技者の映像・競技音のリアルタイム抽出、絶対同期によるライブ伝送、バーチャルスピーカによる音像定位をご観覧いただきました。

Point .02:大画面・4K以上の縦・横を組み合わせた視野角180度の高精細映像をリアルタイムで生成


複数台の4Kカメラで撮影

★ポイント1:二つの映像を自然に結合
★ポイント2:画像間のつなぎ目部分を並列化により高速に探索。リアルタイム化

15,360 x 2,160画素の映像


NTTが研究する「超ワイド映像合成技術」は複数台の4Kカメラで競技場全体を分割して撮影し、リアルタイムにつなぎ合わせ、高精細なワイド映像を作成することを可能にしました。

それにより、180度のパノラマ映像を表示したり、非常にワイドな、自分を取り囲むようなサラウンド像表示が可能になります。

Point .03: 空間・環境情報の同期伝送

技術内容

Advanced MMTとして 提示デバイスのスクリーンサイズ/解像度/設置位置/姿勢などの空間・環境情報を付与するdescriptorを定義。
空間・環境情報により、Advanced MMTではどのようなデバイスで表示した場合も同じ"大きさ"で提示する情報を埋め込める。
更に、映像/空間。環境情報に加え、Depth情報やカメラ位置、姿勢情報を組み合わせることで"等身大"で提示することや、等身大の映像を走らせることで"スピード"等の臨場感を再現。


NTTが研究する「超高臨場感メディア同期技術(Advanced MMT※3)」は、別々のストリームとして生成される映像音声などのデータを、絶対時刻を元に同期して伝送する技術です。

撮影対象の大きさや位置関係、音声の方向などの三次元情報、照明などの環境情報を同期伝送することで対象を再生環境に適合するように提示し、臨場感を向上させることができる技術です。


※3MMT:
Mpeg Media Transportの略称。インターネット、専用線、携帯電話網、無線LAN、 放送まで、さまざまな伝送路に対応する、MPEGで標準化が行われた新たなメディアトランスポート方式。

Point .04: より一体感を感じる迫力ある音響演出


スピーカを置いていない客席近くにまで音が飛び出したり、実際には映っていない観客の声を再現するなど、音響効果だけで競技会場との一体感を感じる演出を可能に。

直線状の2次音源(スピーカアレイ)を制御して、会場中に任意の音場を作り出す高度な音響再生技術。



ピックアップ

NTT STORY の注目記事をご紹介します。