残存しているわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発
～重度身体障がい者の豊かなコミュニケーションや社会との豊かなつながりの実現に向けて～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田　明、以下「NTT」）は、四肢等肢体が不自由である重度身体障がい者の、メタバースを通じた豊かなコミュニケーションやつながりの実現に向けて、残存しているわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発しました。これにより、重度身体障がい者が脳信号入力や視線入力に加えて表面筋電信号入力を自分の意思を伝えるための身体拡張技術として利用できるようになります。本技術を利用したアバター操作やゲーム操作はNTTR&Dフォーラム2023 IOWN ACCERALATION（※1）にて展示します。

1．背景

24時間介護の必要な重度身体障がい者は、自宅や施設など限られた空間の中で過ごすことが多く、外部との交流や社会参画を望んでも、コミュニケーションやICT機器操作が壁となり、極めて困難なのが現状です。そこで、重度身体障がい者が自分の意思を伝えるための技術（AAC：Augmentative and Alternative Communication technologies）の研究開発が世界中で取り組まれています。特に筋肉の萎縮をきたす疾患と共生する重度身体障がい者の方々は、身体運動が大きく制限されるため、脳波センサ（EEG：ElectroEncephaloGraphy sensor）などの計測波形に基づく脳信号入力や視線入力が主な技術対象となります。
　NTTは、障がいのある方だけでなく、サポートする方々も含めた人間中心設計の視点で課題を解決していくProject Humanity（※2）の一環として、重度身体障がい者が豊かにコミュニケーションや社会との豊かなつながりをもてる技術創出を目標として研究をしています。今回、重度身体障がい者のメタバースへの身体拡張に向けて、検討事例が少ないものの、身体動作との関係の深い筋電センサ（sEMG：surface ElectroMyoGraphy sensor※3）に着目しました。そして、メタバースへの非言語表現やICT機器操作を拡張する新たな身体拡張技術として、残存しているわずかな筋の動作をメタバースへの操作命令につなげるsEMGを活かした入力インタフェースを開発しました。

2．入力インタフェース設計のポイント

筋がわずかでも動けば、sEMGセンサによりsEMGを計測できます。実際、あるALS共生者が、わずかに動かせる身体部位の身体位置情報とその部位の動作に寄与するsEMGを計測した結果を見ると、数mmの身体部位の動きに対してsEMGが観測されました（図1参照）。
　ただし、障がいの個人差の影響のため、利用可能な身体部位は個々の身体状況に応じて設定することになります。

図1：安静時の状態を基準にした時の各身体部位に取り付けたモーションキャプチャマーカーが移動した距離（青線）と表面筋電センサ（身体部位に取り付けた赤点の位置）が計測した表面筋電位を二乗平均平方根（RMS：Root Mean Square）処理した値（赤線）を示した図

次にある身体部位を意図して動かそうとするときに、別の身体部位の筋も反応している場合があります。実際に、指示された身体部位をALS共生者が動作させている区間（図1の黄色の帯）において、別の身体部位の筋が反応している様子が観測されました。意図した身体部位の筋を抽出する技術として、安静時のような筋の脱力された状態をsEMGの基準値に設定するキャリブレーションと、筋収縮の動作判定に使用される閾値の設定を身体部位ごとに設定することがポイントとなります。本技術を活かしたALS共生者によるDJパフォーマンスのステージでは、曲が流れた直後の安静状態を基準値となるように設定し、実際のDJパフォーマンス時の力みの状態に合わせて閾値を設定しました。
　また、EMGセンサにより計測された連続的なsEMGからメタバースへの操作命令に変換する上で考慮すべきポイントは、筋疲労になります。重度身体障がい者は、筋力および筋持久力が衰えるため、身体部位の動作を節約しながらメタバースへの意図した操作命令を実現することが必要です。そこで、筋を長時間収縮し続けることや筋収縮に強弱をつけることによる操作命令を避け、その代わりに、各身体部位の筋収縮の動作判定に応じて各操作命令が決定する方針にしました。さらに各操作命令に対応するアバター動作が一定時間反映されるようにしました。同じ操作命令を繰り返した場合、反映されるアバター動作時間が延長されるようにしました。例えば、指の伸展動作に応じてメタバース空間上のアバターが手を挙げる場合、伸展したことを検知する技術と、伸展に応じて上がったアバターの手は一定時間上がり続けることが考えられます（図2参照）。一見、リアリティが失われ、効果的ではないと思われますが、本技術を実体験したALS共生者は、自分が意図した通りにアバターが動作していることで自分自身の身体動作を通じてアバターを動作できていると実感しました。過去のAAC技術の評価は操作速度と動作に対するリアリティのある反応に重点を置かれることが多い中で、動作を節約するという考え方は新たな設計思想になりうると考えております。

図2：sEMGのRMSが閾値を超えたときの操作命令に伴うアバター動作の挙動の一例：上記の例では、左手の指の動作が認識されてからアバターは3秒間手を挙げる動作を実施し、手を挙げている最中に追加で左手の指の動作が認識されると、その時点から3秒間手を挙げる動作に更新される

3．メタバース操作の実装事例紹介

（1）アバターによるDJパフォーマンス（※4）。

NTTとDentsu Lab Tokyo（以下「DLT」）と連携し、本技術と、DLTの視線入力とアバター表現を組み合わせたメタバースでのDJパフォーマンスを実現するシステムを構築しました（図3、※5）。このシステムを用いることで、ALS共生者は、視線入力でこのようにアバターを動かしたいという意思（動きの種類）を読み取り、実際のアバターの動きに反映できます。さらにDJでもあるWITH ALS代表の武藤将胤氏が東京から遠隔でオーストリア(リンツ)で開催されたArs Electronica Festival 2023のステージでDJパフォーマンスを披露しました（※6）。

図3：DJパフォーマンス実現のために構築したシステムの構成と各社の役割

（2）sEMGを活用したゲーム操作

本技術によるゲーム操作の実装事例について紹介します。アバター向け操作命令の代わりにゲーム向け操作命令に変換させることで、ゲーム内キャラクターの操作を実現しました（図4）。多様な機器が開発される中、わずかな動きでゲーム操作を実現できる表面筋電センサは、今後様々な分野での活用が期待できます。特に、eSportsを通じたICT機器の操作性の向上や人とのつながりは将来の社会参画につながる大事な要素になります。

図4：実装したゲームと本技術を用いた筋電入力シーンの一例

4．今後の展開

2024年度には、障がいの程度に合わせることが可能な技術に改善し、さらに多様なコミュニケーション表現に発展させ、メタバース空間やロボットを介したリアル空間で、障がいがあるというバックグラウンドを感じさせないコミュニケーションの実現を目指します。NTTは、このような多様なコミュニケーションを通じ、重度身体障がい者の方々が、自己実現を図り、社会参画できる未来に貢献していきます。

^※1「NTT R&D FORUM 2023 -IOWN ACCELERATION」公式サイト
URL：https://www.rd.ntt/forum/

^※2Project Humanity：私たちは、"人間中心"を原則に技術を開発することが肝要だと考えています。Project Humanityが目指すのは、多様性を尊重し、理解し合える世界です。
https://www.bcm.co.jp/site/2023/10/hil/2310-hil-01-04.pdf

^※3sEMG：筋線維が収縮活動するときに発生する活動電位のことを指す

^※42023年8月25日リリース：アルスエレクトロニカ・フェスティバルにて、ALS共生者が豊かな表現に挑戦
https://group.ntt/jp/newsrelease/2023/08/25/230825a.html

^※52023年6月14日リリース：ALS共生者の豊かなコミュニケーションに向けた取組みを開始
https://group.ntt/jp/newsrelease/2023/06/14/230614a.html

^※6Dentsu Lab Tokyo's All Players Welcome Enables 'Physical' Expression in Metaverse | LBBOnline
https://www.lbbonline.com/news/dentsu-lab-tokyos-all-players-welcome-enables-physical-expression-in-metaverse