人との繋がりを生み出す次世代アバターUX技術の開発
～NTTドコモが技術提供するコミュニケーションサービスMetaMe™に人デジタルツイン技術を試験実装～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、IOWN構想（※1）の柱の1つであるデジタルツインコンピューティング（以下、DTC）において、新たな未来社会を切り拓くための4つのグランドチャレンジ（※2）に取り組んでいます。具体的には、

の実現をめざしています。これらのグランドチャレンジを通じて、多様な個人間で調和的かつ発展的な関係が築かれる社会作りに取り組んでいます。今回、この取り組みの第一歩として、コミュニケーションを通じて相互に理解し合い、他者や社会との繋がり作りを支援するための技術を開発し、ドコモが技術提供するバーチャル空間構築技術に試験実装しました。
　本技術を用いた新たなコミュニケーションサービスMetaMe™を、2023年2月2日から28日までオンライン開催される「docomo Open House'23」（※3）にて展示発表します。

1．背景

社会全体のデジタル化やAI技術の発展に伴い、効率的な生活が実現されている一方で、個人や社会の多様性が損なわれる可能性も指摘され始めています。こうしたなか、NTTが取り組むDTC構想では、誰もが他者を尊重しあえる豊かで持続可能な共生社会の実現をめざしています。DTCに関する4つのグランドチャレンジのうち、感性コミュニケーション・Another Meでは、多様な個性を持つ人が繋がり、社会の中で新たな機会を創出するための技術の研究開発に取り組んでいます。これまでに、相手の感性に合わせて情報提示方法を変えたり、人のデジタルツインが自律的に行動したりするための技術開発（※4）に取り組んでまいりました。また、人のデジタルツインが実現した際に訪れる未来を描き出す取り組み（※5）も行ってまいりました。
　今回、他者や社会との繋がり作りを支援するための技術開発をさらに進め、感性コミュニケーション技術やAnother Me技術を活用した新たなコミュニケーション基盤の社会実装を目指しました。

図1： 感性コミュニケーション（左）とAnother Me（右）

2．技術の概要

他者や社会との繋がり作りを支援するための技術として、以下の技術開発に取り組みました。人の深い理解を可能にする技術として、個人の持つ感性や価値観まで推定する「脳内表象可知覚化技術」「個人性抽出技術」を開発しました。また、自分のAnother Meが自律的に社会活動を行うための技術として、本人のように話すことができる「個人性再現対話技術」を開発しました。

・脳内表象可知覚化技術

心の中の捉え方や感じ方を直接的に理解するための新しいコミュニケーション手段の1つとして、心の動きを生み出す脳に着目し、脳内の反応と内面状態の関係をモデル化し図形等を用いて可知覚化する、脳内表象可知覚化技術に取り組んでいます。従来の言語・非言語コミュニケーションでは伝達しきれない感情や認知の微細な変化を含む感性状態を「脳の表情」と捉え、読み取り、知覚可能にし、提示する技術を開発しました。この技術により、ユーザ自身や他者の捉え方・感じ方の理解を促進し、コミュニケーションの量・質を高めます。

・個人性抽出技術

個人の行動ログから、行動に影響を与える性格・価値観・趣味などの情報を埋め込んだベクトルを学習する技術です。これにより、本人の価値観にあった行動をAnother Meが再現できるようになります。たとえば価値観の類似度を比較して、価値観の近い人同士を見つけたり、多様な価値観を持つグループを作ったりすることができます。

・個人性再現対話技術

発言内容に一貫したキャラクタ性を持たせることを可能とする技術です。指定したプロフィールや趣味などに応じた発言が可能な対話AIを実現します。本人の特性に基づき自律的に行動する人のデジタルツインを実現するための要素技術になります。

図2： 脳内表象可知覚化技術（上）、個人性抽出技術（中）、個人性再現対話技術（下）

3．感性コミュニケーション・Another Meのプロトタイプ開発

今回、ドコモが開発したバーチャル空間構築技術にこれら技術を試験的に実装しました。同技術を用いた新しいコミュニケーションサービス「MetaMe」を2023年2月2日からオンラインで開催されるdocomo Open House'23にて展示発表します。MetaMeでは以下2つのデモをご覧頂けます。

■展示内容の紹介

・脳波を活用したコミュニケーション支援

MetaMeの世界で絵画や動画を複数人で見ていただき、その際に生じる様々な感情の変化を表す脳波を簡易脳波計によって取得します。取得した脳波を脳内表象可知覚化技術によりアバターがまとうオーラとして互いに見えるように可視化します。見たものによって変化するオーラを通じて、相手や自分の感情の変化が表現される様子をご覧頂けます。これによって、相互の関心・理解を高め、コミュニケーションの活性化を実現します。

・ペット型Another Me

Another Meのプロトタイプとして、本人と近い個人性や価値観を持ち自律的に行動するペット型Another Meを展示します。MetaMeの中で、ペットの姿をしたAnother Meを介して新しい出会いやコミュニケーションを体験頂けます。ペット型Another Meには個人性抽出技術と個人性再現対話技術が搭載されています。自分と似た個性を持つ自分だけの"ペット"が、自分と価値観の合うユーザを見つけ、会話時に共通の話題を提供してくれます。また、他の人の"ペット"との会話を楽しむことも可能です。これによりペット型Another Meがリアルな本人同士の"かすがい"になることを目指しています。

図3： 脳波の違いをアバターがまとうオーラの色や形状で表現（左）
ペット型Another Meがプレイヤー同士をマッチングしてくれる（右）

4．今後の展開

今後はパートナー企業との連携などを通して、人との繋がり創出効果に関してフィールド実験をMetaMe上で行っていく予定です。さらに、脳波の正確な計測技術の研究や、再現可能な個性の拡充に向けた研究も進めてまいります。また、今回紹介しなかった2つのグランドチャレンジについても技術開発、及び社会実装をすすめております。人同士だけでなく、人・社会・地球が「絆を気付き/築く」ための研究開発を推進し、継続的に社会に提供してまいります。

^※1IOWNデジタルツインコンピューティング（DTC）
IOWN（Innovative Optical and Wireless Network）は、主に、ネットワークだけでなく端末処理まで光化する「オールフォトニクス・ネットワーク（APN）」、サイバー空間上でモノやヒト同士の高度かつリアルタイムなインタラクションを可能とする「デジタルツインコンピューティング（DTC）」、それらを含む様々なICTリソースを効率的に配備する「コグニティブ・ファウンデーション」の3つで構成されます。
DTCは、心や感情等の感性によるコミュニケーション技術、人と共に成長・共存する分身技術（Another Me）、未来社会の姿を探索する技術、地球と社会・経済システムの包摂的な平衡解を導出する技術の実現をめざします。これにより、個人の多様性や機会・可能性の拡大、社会構造の複雑化、地球規模の不確実性が増す未来において、個人の生きがいや心の豊かさを増進しながら、地球・社会・個人の間で調和的な関係が築かれる社会を実現します。
URL：https://www.rd.ntt/iown/
URL：https://www.rd.ntt/dtc/

^※2NTTニュースリリース 2020年11月13日：地球・社会・個人間の調和的な関係が築かれる未来社会の実現に向けて～デジタルツインコンピューティングの4つの挑戦～
URL：https://group.ntt/jp/newsrelease/2020/11/13/201113c.html

^※3docomo Open House'23
URL：https://www.docomo.ne.jp/corporate/technology/rd/openhouse/openhouse2023/
URL：https://www.docomo.ne.jp/info/news_release/2023/02/01_00.html
URL：https://lp.metame.ne.jp/

^※4感性コミュニケーション技術の実現に向けた熟練度と対話満足度に関する取り組み
URL：https://journal.ntt.co.jp/article/16952
Another Meを実現する技術群
URL：https://journal.ntt.co.jp/article/16956

^※5WIRED Sci-Fiプロトタイピング研究所と描く人とデジタルツインの未来
URL：https://group.ntt/jp/topics/2023/01/12/wired_sci-fi_sf.html
人と社会のWell-beingを可能にする研究開発の取り組み
URL：https://journal.ntt.co.jp/article/19117