NTTでは、すべてのひとがWell-beingになれる社会の実現をめざし、病気など様々な背景がある方だけでなく、それをサポートする方々も含めて人間中心に課題を解決していく「Project Humanity」を推進しています。「Project Humanity」では、当事者に寄り添い、当事者に負担のないやり方で、技術活用によってその解決方法を探ることを大切にしています。

今回は、「Project Humanity」の概要をご紹介し、取組みの一例として、DJパフォーマンスとDE&I^※1 eスポーツの取組みをご紹介します。

^※1DE&I：Diversity（多様性） Equity（公平性） and Inclusion（包摂性）の略。一人ひとりの状況にあわせて適切なツールやリソースを提供し、公平性を担保することで多様性と包括性のある状態にすること

1) 「Project Humanity」概要

NTTは、様々な当事者や志を同じくする仲間と共に「Project Humanity」を掲げ、実現・普及をめざしています。
　「Project Humanity」は、当事者が直面している課題に対し、どの技術を、どう活用することがより良い生活につながるのか、当事者と共に実践して進めることを基本アプローチとしています。
　現在、ALS（Amyotrophic lateral sclerosis：筋萎縮性側索硬化症）やSMA（Spinal Muscular Atrophy：脊髄性筋萎縮症）、筋ジストロフィー、脊髄損傷等により身体動作に課題がある方々や、認知症、ASD（Autism Spectrum Disorder：自閉スペクトラム症）等により様々な課題がある方々と連携して進めています。

2) ALS進行による身体的制約を解放し、会場を沸かせたDJパフォーマンス

2014年にALSと診断されてから今日も、EYE VDJ（視線入力でVJやDJを同時に行う）として、クリエイタとして活躍されている一般社団法人WITH ALS代表の武藤将胤さんとの取組みをご紹介します。
　武藤将胤さんは、ALSと診断されてからずっと、「身体を動かすことができなくても、行動し続けることはできる」という信念のもと、今できること、残されている機能を最大化することで何ができるのかを、徹底的に追求しています。ALS発症前から行っていたDJ活動は、現在、EYE VDJとして新たな表現手法で継続しています。

2024年11月24日にLINE CUBE SHIBUYA（渋谷公会堂）で開催されたMOVE FES.2024のEYE VDJ MASA Liveでは、身体拡張パフォーマンスを組み込んだライブ演出がありました。オリィ研究所や東京大学、慶應義塾大学、Dentsu Lab Tokyoと共に、NTTがご一緒したのは、EYE VDJ MASAさんが操作する「デジタルアバター」と「ロボットアーム」によって会場を盛り上げるパフォーマンスです。

（1）デジタルアバターによるDJパフォーマンスとダンスパフォーマンス

左：点群アバター、右：アバター
画像提供：WITH ALS

デジタルアバターによるDJパフォーマンスでは、NTTのクロスリンガル音声合成技術によって作成された武藤さんに似た合成音声で、英語掛け声で会場に呼びかけ盛り上げました。

英語で掛け声
NTT：クロスリンガル音声合成技術

また、両手をあげて会場を沸かした点群アバターの身体表現は、Dentsu Lab Tokyoが開発した視線入力の操作インタフェースで動作を選択し、その後、武藤さんが力を入れることにより発生する電気信号を筋電（EMG）センサがとらえ、そのデータを操作情報（ON/OFF）に変換するNTTの筋電操作インタフェース技術を組み合わせることによって実現しました。武藤さんは、自分の身体を動かすことに連動してアバターが動くので、自分の身体が拡張されたように感じたとのことです。

Dentsu Lab Tokyo：視線入力インタフェース、点群アバター表現
NTT：筋電操作インタフェース（運動能力転写技術）

さらに、武藤さんの外見を再現したフォトリアルなアバターでは、DJパフォーマンスだけでなく、音楽に合わせてダンサーの動きを自動生成するNTTのダンスモーション生成技術によって、武藤さんが視線で操作する音楽に合わせて、アバターがダンスパフォーマンスを披露しました。

Dentsu Lab Tokyo：視線入力インタフェース
NTT：ダンスモーション生成技術

武藤さんは「ALSになる前の健常者時代にも出来なかったダンスパフォーマンスを実現することが出来たので、失った身体機能の補完を超えた身体の拡張をまさに体現することに成功したなと感じ、とても嬉しかったです。僕を拡張していただいたことで、身体拡張の希望がまた持てましたので、本当にありがとうございました。」と語ってくれました。さらに「ダンスモーション生成技術を実際に活用させていただいたことで、さらに様々なジャンル楽曲と合わせてダンスモーション生成をより試したくなりましたし、実際の生身のダンサーさんとデジタルアバターのダンスモーションをシンクロするパフォーマンスを作れるのではないかと感じ、新たな展望イメージが湧きました。」と今後の活動への決意を新たにされていました。

（2）ロボットアームによるDJパフォーマンス

左：観客に手を振る様子、右：サウンドに集中する様子
画像提供：WITH ALS

ロボットアームによるパフォーマンスは、慶應義塾大学、東京大学、オリィ研究所と武藤さんが取組んでいるプロジェクトと、NTT技術で実現しました。写真は、オリィ研究所が開発を主導する着衣型ロボットアーム「MOVEWEAR」で武藤さんが観客を盛り上げている様子です。

以下の図は、脳波でロボットアームを操作する仕組みです。音を意識する時に発生する脳波を捉えて、どのサウンドを選びたいのかを意識することで、そのコマンドを出力することができます。例えば、ロボットアームで観客を「煽る」表現をしたい場合は、図のSound2を意識します。すると、ロボットアームは「煽る」表現をします。（脳波は個人差があるため、各々のサウンドと脳波、脳波とロボットアーム表現の紐づけについては、事前学習が必要です。）

慶應義塾大学、東京大学、オリィ研究所：Brain Body Jockey プロジェクト^※2
NTT：パーソナライズドサウンドゾーン（PSZ）技術

^※2Brain Body Jockey プロジェクト:ムーンショット型研究開発事業・⽬標1 「⾝体的共創を⽣み出すサイバネティック・アバター技術と社会基盤の開発」 （代表機関: 慶應義塾⼤学⼤学院メディアデザイン研究科、PM：南澤孝太） の一環として実施しています。

武藤さんはDJとして音楽を奏でながら、ロボットアームを操作するための脳波を出力するためのサウンドを、オープンイヤー型のイヤホンで聞いていました。オープンイヤー型にしたのは、観客と同じ会場の音を聴きながら、DJパフォーマンスを実現したいという武藤さんの思いがありました。このオープンイヤー型のイヤホンは周囲に音が漏れないNTTのパーソナライズドサウンドゾーン（PSZ）が搭載されており、観客にイヤホンからの音は漏らさず武藤さんの耳元だけに音が届くようになっていたのです。

EYE VDJ MASAのステージは、すべて視線入力で作詞作曲したオリジナル楽曲で、多様なアーティストとのコラボによって会場を沸かせました。

3) 寝たきりの方々が活発に動き、社会とつながるDE&I eスポーツ

24時間介護が必要な寝たきりの方々は外出が非常に困難なため、社会との接点が少なくなることが多く、社会的孤立・孤独に悩む人も少なくありません。そこで、寝たきりの方々が無理なく社会と交流するために、eスポーツを実施しました。スポーツ自体が初対面でも楽しめる手段として最適であり、その場に行かなくてもオンラインでできるeスポーツなら、身体が不自由でも自宅にいながら参加できるため、普段接点のない人と人とがつながり、楽しみながら交流することができます。「ロケットリーグ（開発元：Psyonix）」というデジタル上の車を操作してサッカーを行うゲームで、健常者と寝たきりの方々の混合チームで対戦したところ、ゲーム画面上では寝たきりの方が操作する車と健常者が操作するそれとは区別なく、良い勝負になりました。

（1）フランス（カンヌ）と日本（熊本）をつなぎ、DE&I eスポーツ

SMA（脊髄性筋萎縮症）、筋ジストロフィーの方々と健常者の対戦
NTT：筋電操作インタフェース、力覚操作インタフェース

ゲーム画面はステージの大画面に投影され、大勢の観客が応援する中、日本（熊本）とフランス（カンヌ）の会場にいて筋電操作インタフェースで操作する健常者と日本の自宅から参加する寝たきりの方々を含む身体障がい者によるリアルタイム対戦を行いました。寝たきり芸人のあそどっぐさんは、繊細な力をとらえ操作可能な力覚操作インタフェース（NTT技術）を用いて、顎で車を操作しました。「少しの力で操作できるので、とても動かしやすいです。」とのこと。

対戦が終わると拍手と歓声が巻き起こりました。あそどっぐさんは、「会場も盛り上がっていてすごく楽しかった。次回は現地で寝そべりたい」と感想を述べています。また、他の参加者からも「フランスとオンラインで共闘しながら対戦するなんて、本当に素晴らしい経験でした。とても楽しかったです。」「eスポーツを通して、世界中の方々と繋がり、感動を共有出来ることを嬉しく思います。参加させて頂きありがとうございました。」との喜びの声を頂きました。

（2）熊本の小学生とのDE&I eスポーツ

左：事前授業、右：当日の様子

重度身体障がい者と地元小学校児童との交流会を熊本で実施しました。
　 交流会の前には事前学習として、「共生」をテーマにEYE VDJ武藤将胤さん（ALS）、寝たきり芸人あそどっぐさん（SMA）の生き方と、彼らを支える技術やツールについて紹介。後日、児童と重度身体障がい者の交流を目的としたDE&I eスポーツを実施しました。
　閉会式では、参加した児童から「障がいのある方と一緒に遊べる機会が初めてだったので、とても嬉しかったです。」「これが、特別な体験ではなく、日常のことになればいいと思います。」との感想が読まれました。

4) 「Project Humanity」の今後の取組み

NTTでは今後も、ALS共生者の方の豊かなコミュニケーションの実現、認知症の方の社会参画を後押しするコミュニケーション支援技術や認知症をポジティブに受け入れる心理的変容に資する技術の実現、ニューロダイバーシティ（脳や神経、それに由来する個人レベルのさまざまな特性の違いを多様性ととらえて相互に尊重し、それらの違いを社会の中で活かしていくこと）の実現、脊椎損傷者の運動支援に向けた取組みなど、「Project Humanity」のもとにさまざまな取組みを継続してまいります。人間中心を原則に、多様性を尊重し、当事者に負担のない方法で課題を解決し、すべてのひとがWell-beingになれる社会をめざしていきます。

5) 関連情報

6) 支えたNTT技術

（1） クロスリンガル音声合成技術

数分から数秒の音声データから、本人らしい声を再現する技術です。本人の声色を保ったまま、日本語はもちろん複数の言語で話すことが可能となります。過去に記録された動画や録音の音声からも作成できるため、現在は発声できない方、発声が困難な方でもその人らしい音声で他者とコミュニケーションをとることができるようになる他、キャラクター・ロボットの多言語対応など、多彩なコンテンツ作成に応えることができます。

（2） 運動能力転写技術：筋電操作インタフェース

運動能力転写技術は、センサによって脳波や筋活動などの生体信号を読み取り、得られた情報をデバイスの操作情報に変換するなど、人間のさまざまな活動をサポートする技術です。筋電操作インタフェースにより、身体を自由に動かすことが困難な方でも、微細な筋活動を読み取ることでメタバース空間のアバターを自由に動かすことが可能に。障がいのある方の身体表現を実現できるほか、楽器演奏やスポーツのように身体運動を伴う活動において、熟練者の身体の使い方を初心者に共有するといった用途にも期待される技術です。

（3） ダンスモーション生成技術

曲に合わせたダンサーの動きをAIに学習させることで、未知の曲に合わせたダンサーの動きを自動生成することができる技術です。自身に似せて作ったアバターと組み合わせれば、身体表現が困難な方やダンスが苦手な方でも自在にさまざまなスタイルのダンスを踊ることが可能に。自身の表現範囲を拡張することができ、ダンス学習者にはダンス習得の目標を可視化することにも繋がります。

（4） パーソナライズドサウンドゾーン（PSZ）

聴きたくない音を遮断し、自分の聴きたい音だけを聴き、他の人へ自分の音を漏らさないなど、自分専用の音空間の実現をめざす技術です。「MOVE FES.2024」のステージにおいてもこの技術を使用し、脳波を検出するための音を、観客に漏らさずアーティストの耳元だけに提示。観客と同じ会場の音を聴きながら、脳波を用いたDJパフォーマンスを実現しています。