Kirari!は 『情報の収集・加工』 『リアルタイム同期伝送』 『演出・再現』 を実現する技術集合で、「競技空間をまるごとリアルタイムに日本国内はもとより世界へ配信する」ことをめざす、これまでにない超高臨場感を実現する技術です。
Kirari!によって、遠隔の複数の体育館やライブ会場に向けて、競技空間をまるごと伝送し、再現することで、遠隔地にいる世界中の観戦者は、まさに目の前で、競技場などで繰り広げられる競技を観戦することができ、「速い!」「高い!」といった体感をめざして行きます。
Kirari!と市中の多様な提示系システムとを組み合わせることで、新しい映像体験を提供します。
NTTが研究する「任意背景被写体抽出技術」では、背景がブルー・グリーンなどの単一色スクリーンを用いたクロマキー※2撮影ではないような状況でも、動いている選手だけをリアルタイムで切り出すことが可能です。
※2クロマキー:
クロマキーとは、特定の色情報を持つ領域を他の画像で置き換える手法のこと
競技者の映像・競技音のリアルタイム抽出、絶対同期によるライブ伝送、バーチャルスピーカによる音像定位をご観覧いただきました。
複数台の4Kカメラで撮影
★ポイント1:二つの映像を自然に結合
★ポイント2:画像間のつなぎ目部分を並列化により高速に探索。リアルタイム化
15,360 x 2,160画素の映像
NTTが研究する「超ワイド映像合成技術」は複数台の4Kカメラで競技場全体を分割して撮影し、リアルタイムにつなぎ合わせ、高精細なワイド映像を作成することを可能にしました。
それにより、180度のパノラマ映像を表示したり、非常にワイドな、自分を取り囲むようなサラウンド像表示が可能になります。
Advanced MMTとして 提示デバイスのスクリーンサイズ/解像度/設置位置/姿勢などの空間・環境情報を付与するdescriptorを定義。
空間・環境情報により、Advanced MMTではどのようなデバイスで表示した場合も同じ"大きさ"で提示する情報を埋め込める。
更に、映像/空間。環境情報に加え、Depth情報やカメラ位置、姿勢情報を組み合わせることで"等身大"で提示することや、等身大の映像を走らせることで"スピード"等の臨場感を再現。
NTTが研究する「超高臨場感メディア同期技術(Advanced MMT※3)」は、別々のストリームとして生成される映像音声などのデータを、絶対時刻を元に同期して伝送する技術です。
撮影対象の大きさや位置関係、音声の方向などの三次元情報、照明などの環境情報を同期伝送することで対象を再生環境に適合するように提示し、臨場感を向上させることができる技術です。
※3MMT:
Mpeg Media Transportの略称。インターネット、専用線、携帯電話網、無線LAN、
放送まで、さまざまな伝送路に対応する、MPEGで標準化が行われた新たなメディアトランスポート方式。
スピーカを置いていない客席近くにまで音が飛び出したり、実際には映っていない観客の声を再現するなど、音響効果だけで競技会場との一体感を感じる演出を可能に。
直線状の2次音源(スピーカアレイ)を制御して、会場中に任意の音場を作り出す高度な音響再生技術。