NTT、ニコニコ超会議2016とJapan KABUKI Festival in Las Vegas 2016にて、歌舞伎と最新のICT技術の融合を実現

NTTの研究所は、2014年に開かれた「ニコニコ超会議3」に「NTT超未来研究所」を初出展し、「ニコニコ超会議2015」も、規模を拡大した「NTT超未来研究所Z」を出展してまいりました。
　「ニコニコ超会議2016」では、NTTが超特別協賛する「超歌舞伎」に関して、最新技術の提供によって、従来とは全く異なる歌舞伎演出や、歌舞伎の楽しみ方を広げる取り組みを実現していきます。

（1）新たな歌舞伎演出へのチャレンジ

NTTが研究開発を進めてきた、あたかも競技場にいるかのような体験をあらゆる場所で感じることができる世界を目指すイマーシブテレプレゼンス技術「Kirari!」の以下の研究開発成果を用いて、全く異なる歌舞伎演出にチャレンジします。

<1>「被写体抽出技術」を用いた歌舞伎俳優と擬似3D虚像との共演

新しい被写体抽出アルゴリズムを用い、被写体の背景に特別な加工を施す必要なく、自然体の映像から被写体部分のみリアルタイムかつ精緻に抽出します。また、抽出した映像を、被写体が演じている場所とは異なる場所に擬似3D虚像によって立体的に投影します。これにより、従来実現しえなかった、リアルな歌舞伎俳優と擬似3D虚像との共演を実現します。

（2）歌舞伎の楽しみ方を広げる取り組み

2020年に向けて開発を進めてきた、革新的なUI・メディア技術を応用した新しい情報提示技術、並びにエヌ・ティ・ティ・コムウェア株式会社（本社：東京都港区、代表取締役社長：海野 忍、以下NTTコムウェア）が開発を進めてきた情報配信技術を用いて、歌舞伎の楽しみ方を広げる新たな「おもてなし」を提供していきます。

<1>「Kirari! for Mobile」による立体映像コンテンツの視聴体験

NTTが新たに開発した、スマートフォンと組み合わせて手軽に3D映像を視聴できるデバイス「Kirari! for Mobile」の箱型ペーパークラフトを用いて、超歌舞伎に来場された方に初音ミクの立体映像コンテンツを期間限定で視聴いただけます。箱の中に浮かび上がる初音ミクを掌で鑑賞しながら超歌舞伎の余韻を味わうといったことが可能となります。

<2>「スマホ画面同期配信システム」による舞台の進行に合わせた自動解説表示

NTTコムウェアの情報配信技術（※2）を用いて、来場者のスマートフォンのブラウザであらすじをガイドするシステムを提供します。ブラウザのみで動くため専用アプリのダウンロードが不要であり、個人のスマートフォンでも気軽にご利用頂けます。
　利用者は予め指定されたURLへアクセスすることにより、公演開始前は、自由に歌舞伎に関する解説を読むことができます。公演開始後は舞台の進行に合わせた解説に自動的に切り替わります。歌舞伎が初心者の方でも、場面に合わせた解説により理解が深まり、楽しみが更に広がります。

^※2https://www.nttcom.co.jp/news/pr15082401.html

超歌舞伎 Supported by NTT 開催概要

「初音ミク」とは

http://piapro.net/

クリプトン・フューチャー・メディア株式会社が開発した、歌詞とメロディーを入力して誰でも歌を歌わせることができる「ソフトウェア」です。大勢のクリエイターが「初音ミク」で音楽を作り、インターネット上に投稿したことで一躍ムーブメントとなりました。「キャラクター」としても注目を集め、今ではバーチャル・シンガーとしてグッズ展開やライブを行うなど多方面で活躍するようになり、人気は世界に拡がっています。

「KABUKI LION 獅子王」は、松竹が5月3日～7日に米国ラスベガスで開催する「Japan KABUKI Festival in Las Vegas 2016」にて上演される、市川染五郎丈を中心とした華やかな顔触れにより、歌舞伎の魅力と先端のテクノロジーを融合させた"全く新しい新作歌舞伎"です。
　本イベントを通じて、NTTと松竹は、次世代の歌舞伎の実現に向けた以下の共同実験を行います。

（1）本公演模様の遠隔ライブ伝送トライアルの実施

NTTの研究所の研究用ネットワークGEMnet2と米国の研究教育用ネットワークInternet2を組み合わせて日米間の映像伝送ネットワークを構築し、ラスベガスで行われている本公演を遠隔でライブ体験できるような3つの実験を、5月7日に羽田空港国際線旅客ターミナルで行います。本取り組みを通じて、これまで専用劇場で実施していた歌舞伎が、遠隔でも高臨場な視聴が可能となることにより、歌舞伎ファンの裾野が国内外に広がり、日本への観光客の増加、および歌舞伎劇場へのリアル観劇者の増加につながることが期待されます。
　具体的な実験内容は以下のとおりです。

<1>世界初！Kirari! を使った擬似3Dによる遠隔舞台挨拶

Kirari!の被写体抽出技術を用いて、現地にて行われる市川染五郎丈の舞台挨拶をリアルタイムに伝送し、市川染五郎丈が羽田空港の会場に居るかのような体験を実現します。
　また、羽田空港の会場にいるマスコミ関係者との質疑応答も実施します。遠隔国際伝送で擬似3D表示を実現するのは世界初の取り組みとなります。

<2>世界初！4Kマルチ画面を用いた空間再現（全天周ルーム）

ラスベガスの歌舞伎公演会場に設置した9台の高精細カメラの映像を、従来のH.264/AVCに比較して圧縮性能が2倍に向上したH.265/HEVC（※3）ハードウェアエンコード技術により符号化、IPを含む多様なネットワーク間、及び複数の映像・音声といったメディア間の柔軟な同期と誤り訂正（FireFort®-LDGM FEC（※4））によるロバストな伝送が可能となるトランスポート規格MMT（※5）を用いて、世界で初めて国際伝送します。正面舞台（180インチ/面×3面）に加えて、舞台花道（下手側1面と、背面3面）、及び、天井（上方2面）の全天周に4Kマルチ映像として同期提示することで、歌舞伎役者の縦横無尽な演技を再現し、観客は実際の舞台前・花道に囲まれた座席に居るような感覚を体験できます。

^※3H.265/HEVC（High Efficiency Video Coding）
国際標準化団体であるITU-T及びISO／IECによって規格化された、最先端の映像圧縮方式。2014年4月に規格化された。

^※4FireFort®-LDGM FEC
LDGM（Low Density Generator Matrix）符号に基づくパケット伝送用誤り訂正符号の一つで、演算負荷が少なく強力な誤り訂正能力が特長。

^※5MMT（MPEG Media Transport）
国際標準化団体である、ISO/IEC JTC 1/SC 29/WG 11 MPEGで制定するメディアトランスポート規格。

<3>世界初！4K全天球映像のモバイル端末での高画質なライブ配信

ラスベガスの歌舞伎公演会場に設置した360度全天球カメラの映像から、視聴者がヘッドマウントディスプレイ（HMD）を通して、好きな方向を自由に見渡すことのできるライブ視聴を実現します。
　今回、見ている方向の映像を高品質に選択配信する「全天球映像向けインタラクティブ配信技術」を、新たに4K品質の全天球映像のライブ配信にも対応させることで、スマートフォンの様な通信帯域の限られたモバイル環境でも、あたかもその場にいるかのような臨場感あふれる映像をリアルタイムに体験することが世界で初めて可能となります。

なお、本遠隔ライブ伝送トライアルの開催概要は（別紙3）のとおりです。

（2）ラスベガス本公演における変幻灯を用いた斬新な演出の実現

NTTの研究所が開発した、止まった画像にリアルな動きの印象を与える光投影技術「変幻灯」（※6）を、歌舞伎演出に応用します。今回新たに大型化と位置ずれの自動補正技術を取り込むことで、10m程度もの背景画にリアルな動きを与えることに成功しました。歌舞伎で従来用いられる背景画や小物がそのまま動き出すような錯覚をあたえることができるため、高輝度のプロジェクタによる映像の重畳とはまた違った、歌舞伎の伝統の世界に入り込んだ演出が可能となります。

^※6https://group.ntt/jp/newsrelease/2015/02/17/150217a.html

（3）KABUKI LION Interactive Showcase - Henshin Kabuki 変身歌舞伎 -

ラスベガスの劇場前にて、歌舞伎独特の化粧法である隈取をモチーフに、NTTの研究所の先端技術を組み合わせた展示実験を行い、日本が誇る”文化と技術”が織りなす不思議な世界観を体験いただくとともに、さまざまな形態のインタラクティブ展示の可能性を検証してまいります。
　まず、体験者が好みの隈取お面を手に取り大型モニターの前に立つと、お面の種類が「アングルフリー物体検索技術」によりお面の向きや傾きによらず高精度に自動認識され、その隈取模様が、体験者の顔にAR重畳表示（変身歌舞伎）されます。AR重畳表示では、「エッジコンピューティング技術」により遠隔に設置したサーバ側で画像処理を行った場合でも高速追従が可能となり顔を激しく動かしてもぶれにくい重畳表示が実現できます。
　また、巨大な立体顔面オブジェクトに歌舞伎特有の間や表情といったダイナミックな演出と共にプロジェクションマッピングし、その際の体験者の体感を評価します。これにより、演出等における重要形成要素（キーポイント）を抽出して現実以上に際立たせる「Amplified Experience（AX）」というコンセプトと、その実現に必要な「キーポイント抽出・強調技術」の確立に向けた検証を行います。
　加えて、壁面に掛けられた50個もの動くはずのない隈取お面が、公演で用いられている「変幻灯」技術によって、笑ったり、怒ったり、多彩な表情を自在に加えることができます。

KABUKI LION Interactive Showcase - Henshin Kabuki 変身歌舞伎 -の全体イメージ

アングルフリー物体検索技術でお面の種類を分析　分析結果の隈取がAR重畳された様子

Japan KABUKI Festival in Las Vegas 2016の概要

「<1>Kirari! を使った擬似3Dによる遠隔舞台挨拶」「<2>世界初！4Kマルチ画面を用いた空間再現（全天周ルーム）」は、訪日外国人を中心としたモニターによる実験を予定しております。

スケジュールは予告なく変更する場合がございますので予めご了承ください。