IOWN構想による新たな舞台演出への挑戦
～ICTと古典歌舞伎を融合させた「超歌舞伎 Powered by NTT『今昔饗宴千本桜』」～
東京・歌舞伎座にて初上演

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下 NTT）は、松竹株式会社（本社：東京都中央区、代表取締役社長：髙𣘺 敏弘、以下 松竹）がこの十二月、東京・歌舞伎座において上演する「超歌舞伎」に、今年3月にサービスを開始した、次世代ネットワークAPN IOWN1.0（※1）を導入した超歌舞伎初となるリアルタイムの演出をはじめ、IOWN構想（※2）による新たな舞台演出を提供します。
　最先端のICTと古典歌舞伎を融合させた超歌舞伎は初演から8年目を迎えますが、本公演が歌舞伎座における初めての公演となります。その舞台成果をどうかご期待ください。

^※1APNに関する詳細は以下ホームページをご覧ください。
https://www.rd.ntt/iown/0002.html

^※2IOWN構想とは？
https://www.rd.ntt/iown/index.html

【新たな演出・技術のポイント】

（1）APN IOWN1.0を活用したリアルタイムCG演出

NTTではIOWN構想の一環として、今年3月にAPN IOWN1.0の提供を開始しました。
このサービスにより、低遅延な伝送の実現、更に従来のベストエフォート品質のネットワークとは異なり遅延のゆらぎの無い伝送が可能となるため、遅延の振る舞いを理解した上でネットワークシステムやユーザエクスペリエンスを設計することが可能になります。
本公演では、これらの特徴を活用し、遠隔スタジオで演じる演者の動きをリアルタイムに劇場CGに載せることで、共演者との息の合った遅延なく動く演出を実現します。
また、今回この演出をリアルタイム版 裸眼XR相席対話システムにも適用することで、APNのネットワークを活かした遅延のないシステムならではの、リアルタイムな初音ミクとのやりとりが可能になる相席対話システムとなっております。

図1 リアルタイムCG演出のイメージ

^※3https://www.ntt-east.co.jp/release/detail/20230302_01.html

^※4https://group.ntt/jp/newsrelease/2023/04/29/230429a.html

（2）獅童ツインの更なる進化　～バイリンガルな獅童ツイン～

IOWN構想の柱である、デジタルツインコンピューティング構想においてNTTがめざす方向性の1つ「Another Me」により生まれた獅童ツインは、中村獅童であって中村獅童ではない、本人があたかもそこにいるかのように、デジタル空間上に「獅童ツイン」を再現本公演でこれまで以上に獅童丈らしい声、モーションをAIで再現しています。（※5）
さらに今回、獅童ツインは英語でのご挨拶に初挑戦します。英語音声の生成には、NTTのクロスリンガル音声合成技術（※6）を活用しています。最新のAI技術を用いることにより、日本語しか話せない話者の音声から、話者の声色の特徴を保ったまま他言語の合成音声の生成を実現します。

図2 獅童ツインによるご挨拶
©松竹・超歌舞伎 2022 Powered by NTT『超歌舞伎のみかた』より

^※5https://group.ntt/jp/newsrelease/2022/08/03/pdf/220803aa.pdf

^※6https://www.rd.ntt/research/HI0001.html

（3）点群データによる新たな空間表現

NTTでは、自動運転などにも使われている実際の空間を広範囲かつ簡易に計測・把握することが可能なLiDARと呼ばれるセンサから得られる「点群データ」をもとに、リアルな空間を高精度・高精細に仮想空間上に再現する「3D点群メディア処理技術」の研究開発を進めてきました。
本技術は、粗い点群データを高解像度化する技術や欠損した部分を自動的に補完する技術等多数の要素技術から構成されていますが、元になるLiDARの特性上これまでその対象は動きのない静的な空間に限定されていました。今後は動的な点群データを扱う技術や舞台の世界観に沿った点群表現に関する技術等に取り組むことで、より多様で生き生きとした空間表現を可能にし、超歌舞伎の新たな舞台演出に活用していきたいと考えています。
今回は松竹と、本公演の舞台美術を手掛ける中嶋正留氏の監修のもと、我々がめざす点群データによる新たな空間表現の世界観について、「3D点群メディア処理技術」の一部を活用して制作・編集した映像でご覧いただきます。

図3 歌舞伎美術と調和する表現による桜の点群映像

【超歌舞伎 Powered by NTT『今昔饗宴千本桜（はなくらべせんぼんざくら）』開催概要】

歌舞伎座新開場十周年「十二月大歌舞伎」第一部
公演日程：2023年12月3日（日）～12月26日（火）※休演：12月11日（月）、19日（火）
「超歌舞伎 Powered by NTT『今昔饗宴千本桜』」
主演：中村獅童　初音ミク
脚本：松岡亮
演出・振付：藤間勘十郎
技術協力：NTT
製作：松竹株式会社
公演詳細：歌舞伎美人　https://www.kabuki-bito.jp/theaters/kabukiza/play/846
「超歌舞伎」公式サイト　https://chokabuki.jp/kabukiza/