ニコニコ超会議2019「超歌舞伎 Supported by NTT 今昔饗宴千本桜」にてNTTの最新技術を用いた新しい歌舞伎演出にチャレンジ ～「分身の術」が進化！新たに「変身の術」も！？～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田純、以下 NTT）は、株式会社ドワンゴ（本社：東京都中央区、代表取締役社長：夏野剛、以下 ドワンゴ）が4月27日・28日に幕張メッセで開催する日本最大級の動画サービス「niconico」の超巨大イベント「ニコニコ超会議2019」内で上演される「超歌舞伎 Supported by NTT 今昔饗宴千本桜（はなくらべせんぼんざくら）」にて、今年もNTTの研究所の最新技術を用いた新たな歌舞伎×ICTの演出に取り組みます。

NTTは、同研究所が研究開発を進める最新ICT技術を用いることで、新しい歌舞伎演出の実現や歌舞伎の新しい楽しみ方の提案を図るべく、2016年より「超歌舞伎 Supported by NTT」にて先進的な取り組みを行ってまいりました。4回目となりました今年は、超高臨場感通信技術「Kirari!」の技術進化を取り入れ、超歌舞伎ではおなじみとなった"分身の術"をさらにパワーアップさせるほか、現場を超える再現をめざした新たな演出として"変身の術"の実現にチャレンジいたします。また、昨年の「積思花顔競 -祝春超歌舞伎賑-」にて、初音ミクが舞台上を練り歩き大きな反響を頂いた「両面透過型多層空中像表示装置」が、今年は国際展示場ホール内に登場。初音ミクがホール内を練り歩き、超歌舞伎公演に花を添えます。

1．取り組みのポイント

（1）「Kirari!」の「被写体抽出技術」を用いた歌舞伎演出の進化

超歌舞伎ではおなじみの"分身の術"を実現してきた「被写体抽出技術」において、深層学習によるリアルタイム被写体抽出システムを新たに開発しました。開発システムでは， RGB-IRカメラからの多チャンネル画像を入力とし、被写体の抽出処理と精緻化処理を含めた統合的な深層学習により処理することで、従来よりもロバスト且つ高精度な被写体抽出を可能としました。

深層学習によるリアルタイム被写体抽出システム

本システムにより、従来システムでは難しかった透過スクリーン前の被写体を抽出できるようになったほか、AR空間上に適切に配置することで出演者と初音ミクとの自然な共演をお届けすることができます。これらの演出は、クライマックスシーンの"分身の術"や、過去と現在が共演する立廻りシーン、ニコニコ生放送の一部シーンとしてご覧いただく予定です。

スクリーン前の被写体抽出の実現イメージ

（2）現場を超える再現を実現する「空間創出技術」を用いた"変身の術"

現場を超える再現をめざし研究開発を進めている「Kirari!」の新たな要素技術「空間創出技術」を歌舞伎の新しい演出に取り組みます。空間創出技術は、得られたセンシングデータ以上のデータを過去の同様のシーンや人物の形状を考慮することで推定する技術です。今回、空間創出技術の1つとして、深層学習を用いて2D映像から3D空間情報をリアルタイムに生成するシステムを開発しました。本来、2D映像には3D情報は内包されていませんが、本システムは過去の同様のシーンを元にしてリアルタイムに3D情報を生成します。

本システムを用いて超歌舞伎の登場人物を別のCGキャラクタへと"変身"させることで、超歌舞伎ならではの新たな演出を可能とします。

空間創出技術の実現イメージ

（3）「両面透過型多層空中像表示装置」によるニコニコ超会議会場内の練り歩き

「積思花顔競 -祝春超歌舞伎賑-」にて、初音ミクがステージ上を練り歩く演出に活用された3層の空中像を正面と背面から同時に視聴できる「両面透過型多層空中像表示装置」を用いた山車が再び幕張メッセに登場します。今回は、国際展示場ホール内を練り歩き、ニコニコ超会議2019会場中で超歌舞伎の公演をアピールしてまいります。

「両面透過型多層空中像表示装置」を用いた山車

2．超歌舞伎 Supported by NTT 開催概要

演目名：	今昔饗宴千本桜（はなくらべせんぼんざくら）
公演日時：	2019年4月27日（土）、28日（日） 各日13：00～、16：00～
公演場所：	幕張メッセ　イベントホール （千葉県千葉市美浜区中瀬2-1）
出演者：	中村獅童、初音ミク 中村蝶紫、澤村國矢、ほか
脚本：	松岡亮
演出・振付：	藤間勘十郎
劇中曲：	「千本桜」（作詞・作曲　黒うさ）／ 著・イラスト　一斗まる
チケット情報：	「ニコニコ超会議 2019」への入場券が必ず必要となります。 2階席&3階席（自由席）...「ニコニコ超会議2019」入場券のみにて観覧可能 超歌舞伎 指定席券（1階アリーナ前方指定席）...各部3,000円 ※チケットはニコニコ超会議2019 公式サイトほかにて購入可能です。 http://www.chokaigi.jp/
主催：	ニコニコ超会議実行委員会
製作：	松竹株式会社／株式会社ドワンゴ
制作協力：	クリプトン・フューチャー・メディア株式会社
超特別協賛／技術協力：	NTT
超歌舞伎特設サイト：	http://chokabuki.jp/