MOVE FES.にて、ALS共生者の身体拡張に向けた新たな挑戦
～これまで経験のないダンスのパフォーマンスを実現～

日本電信電話株式会社（以下、NTT）は、すべてのひとがWell-beingになれる社会の実現をめざし、病気や障がいがある方だけでなく、サポートする方々も含めて人間中心に課題を解決していくProject Humanityを推進しています。これまで、Project Humanityの一環として、WITH ALS（※1）、Dentsu Lab Tokyo（以下、DLT　※2）と連携し、ALS（Amyotrophic Lateral Sclerosis、筋委縮性側索硬化症）（※3）共生者である武藤将胤氏による点群アバターのDJパフォーマンスなどの取り組みなどを実施してきました（※4）。今年は、武藤氏の身体を拡張する新たな挑戦として、DJパフォーマンスに加え、ダンスパフォーマンスの実現に取り組んで参りました。その取り組みの成果を、今年度のMOVE FES.（武藤氏が代表を務めるWITH ALS主催の音楽フェスティバル）にて、世界で初めて実際のステージパフォーマンスとして発表します。
　また、点群アバターによるDJパフォーマンスは、2023年9月のアルス・エレクトロニカ（※5）、2024年3月のSXSW（※6）等にて、日本から海外に向けて実施してきましたが、今回のMOVE FES.が、国内で初めての披露となります。

各イベントでのパフォーマンスの様子（上段：日本側、下段：現地）

1. 背景

ALSが進行すると、認知機能は正常なまま、全身の筋力が徐々に機能を失っていきます。人工呼吸器をつけることにより、本来の生を全うできると言われていますが、一方で、人工呼吸器をつけるための気管切開手術によって、声を失います。命をつなぐための選択が、声を出せなくなることにもつながってしまうのです。音声言語と身体表現によるコミュニケーション手段を失うことから、社会との断絶を恐れ、生きる希望を失う人も少なくありません。世界的に見ると、9割以上のALSの方が、人工呼吸器装着を拒否しているのが現状です（※7）。

2. これまでの取組み

私たちは、NTT人間情報研究所（以下、人間研）のクロスリンガル音声合成技術を用いて、武藤氏の残されていた録画や録音の音声から、武藤氏らしい声の再現に取り組んできました。本技術は、話者の声色を保ったまま、複数言語の発話を可能とします。2022年当時、YouTubeに残されていた数分程度の武藤氏の日本語音声から、日・英の2カ国語での発話を可能にしました（現在、日英中韓の4カ国語に対応）。2023年のMOVE FES.では、現在は声を発することのできない複数のALS共生者の方々の合成音声による掛け声で、音楽パフォーマンスを盛り上げました。さらに、わずかに動く身体機能を活かした非言語表現のコミュニケーションとして、点群アバターによるDJパフォーマンスを実施しました。DJパフォーマンスは、NTT人間研の生体情報を基にした運動能力転写技術とDLTが開発した点群アバターと表現技術の連携により実現しました。アルス・エレクトロニカやSXSW等のステージでは、メタバース空間においてALS共生者の意思でわずかに動作する自らの身体を動かすことでアバターを操作し、ALS進行前はDJとして観客を盛り上げてきた頃の身体表現を、アバターによって再現し、会場を盛り上げました。

合成音声（掛け声）／筋電IFによるアバター操作

3. 今回のチャレンジ

2024年のMOVE FES.では、武藤氏の顔や髪形、身体、装着している衣類まで含めて詳細に3Dキャプチャしたアバターが登場します。より武藤氏に似ているアバターによるダンスパフォーマンスは、NTT人間研のダンスモーション生成技術（※8）により実現しました。ダンスモーション生成技術は、あらかじめ曲に合わせたダンサーの動きを学習させることで、未知の曲に合わせたダンサーの動きも生成可能な技術です。ダンスについては、武藤氏はALS発症前に経験がありませんが、ダンスモーション生成技術を使うことにより、"アバターが以前の自分を拡張してくれたと考えている"との武藤氏の言葉がありました。
　また、脳波によりロボットアームを操作するパフォーマンスでは、耳を塞ぐことなく脳波を検出するための音を、周囲の観客に漏らさず耳元だけに音を提示するNTTコンピュータ&データサイエンス研究所のPSZスポット再生技術（※9）が使われています。本技術により、観客と同じ会場の音を聴きながら、脳波を用いたDJパフォーマンスを実現しています。さらに、今回EYE VDJ MASAによる音楽パフォーマンスで行う武藤氏の音声には、新たにZero-shot音声合成技術（※10）によって再現された音声も使われています。本技術は、話者の数秒程度の音声から声色の特徴を抽出し、音声合成モデルの学習をすることなくその特徴を再現した音声を生成する技術で、現在声を失った方など極少量の音声しか得られない方を含む万人の音声の簡易な再現をめざしています。
　今後も、病気や障がいなど多様な背景にかかわらず社会参画できる人々が増えていく世界の実現に向けて、このような取り組みを推進して参りたいと考えております。

■イベント概要

【MOVE FES.】
難病ALS（筋萎縮性側索硬化症）の啓発活動を目的としたフェス。総合プロデューサーを務める一般社団法人 WITH ALS代表武藤将胤氏がプロデュース。

【MOVE FES.2024】

（公式サイト）ALS啓発音楽フェス「MOVE FES.2024」当該ページを別ウィンドウで開きます
会場： LINE CUBE SHIBUYA（渋谷公会堂）（〒150-0042 東京都渋谷区宇田川町1-1）
日程： 2024年 11月 24日(日) 16:30 〜 20:30（15:00開場、15:30受付開始）
※1FロビーにあるPOP-UP STOREの営業は15:00～21:00
主催：一般社団法人WITH ALS