3Dアバター表情伝送システム

表情がリンクすれば、アバターはもっと生身へ近づく

#Developer

提供会社：NTTドコモ

表情伝送システムとは？

ドコモではXRの重要なインターフェースである3Dアバターに関する技術開発を行っています。このシステムはWebカメラから取得した表情/視線を3Dアバターに付与し、リアルタイムに伝送します。XR空間でのコミュニケーションに足りない存在感の向上を狙ったシステムです。
対応機器としては、VR(Oculus Quest2)とスマートフォン・タブレット・パソコンに対応しております。

「ニューラルレンダリング技術」によるフォトリアルなアバター

アバターの表情表現には、「ニューラルレンダリング技術※」を用いています。フォトリアルなアバターの顔を生成できる特長があり、リアルな表現を実現しています。

※ニューラルレンダリング技術とは、機械学習を用いてCGのレンダリング処理を2次元画像の情報のみで実現する技術です。Pinscreen社では、GAN（敵対的生成ネットワーク）を用いた「PaGAN」（photoreal avatar GAN）という独自のニューラルレンダリングエンジンを開発しています。なお、スマートフォン、タブレット、パソコン版のみの対応となります。

遠隔接客を想定して開発

このシステムは遠隔接客を想定したアプリケーションとなっており、オペレータの方が顔を出さずにアバターで接客することが可能となります。
また、通常のWeb会議システムで搭載されているような機能群（音声、文字チャット、画面共有など）もご用意しております。
場面やお客さまに合わせたアバターのテイスト（リアル/デフォルメ）も選択可能であり、お客さま側からもアバター選択操作が可能です。
このように、遠隔地でも時間や距離の制約を受けることなくコミュニケーションが可能となり、新たな働き方の実現や地方創生のお役に立てればと考えております。
コールセンターなどの現場での実証実験を予定しています。