SXSW2017にて「複数の人間とロボットとの自然な対話」、 「画像検索技術によるインタラクティブサイネージ」を披露

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：鵜浦博夫、以下NTT）は、アメリカテキサス州オースティン市で行なわれる、音楽・映画・インタラクティブをテーマとする世界最大規模のビジネスとコンテンツの祭典、SXSW（サウス・バイ・サウスウエスト）2017において開催されるオフィシャルイベント「JAPAN FACTORY」（※1）（会場：Trinity Warehouse）に、複数の人間とAIロボットとの自然なディスカッションを体験可能な「ロボットショーケース」、および、画像検索技術を活用し対話型の広告・宣伝メディアを目指した「インタラクティブサイネージショーケース」を出展致します。
　上記2つのショーケースは、NTTグループのAI技術「corevo®」（※2）を活用しています。「ロボットショーケース」では、昨年度の雑談対話から議論対話へと進化し、参加者の発話や議論の状態を適切に管理することで、AIロボット側から論拠の提示や反論を行うことを可能とする、世界初のフリーディスカッションを行う議論対話システムの体験型デモンストレーションにチャレンジ致します。また、「インタラクティブサイネージショーケース」では、手に持ったモノを自由な位置・方向から撮影しても高精度に認識・検索可能とすることで、サイネージの前を通るだけで、その人が持っているモノに関連した情報がサイネージに表示されるといった、ユーザに意識をさせずにサイネージ側からユーザに働きかける新たなインタラクティブ性を持ったデジタルサイネージ体験を提案致します。

NTTが出展するショーケースの概要

（1）ロボットショーケース

世界的なロボット工学者・大阪大学の石黒浩教授が開発した機械むき出しのロボット"Repliee（リプリー）S1"とキュートな女性型アンドロイド"U"へ、NTTグループのAI技術であるcorevoの各種技術（耐騒音集音技術・音声認識技術・音声合成技術・議論対話技術）を搭載し、人間とAIロボットとの自然なディスカッションを実現します。会場で実際にリプリーS1とアンドロイドUとの対話を体験して頂くことで、コミュニケーションや共時性（Synchronicity）について考えて頂くことが可能なショーケースとなります。

“Repliee S1”（写真左）と女性型アンドロイド“U”（写真右）

なお、「Humans and Robots in a Free-for-All Discussion」 と題してJW Marriott Austinにて石黒教授とNTTメディアインテリジェンス研究所東中竜一郎主任研究員、リプリーS1、アンドロイドUによるFeatured Sessionが開催されます（3月12日　15：30－16：30）。講演の中で、2体のAIロボットに音声認識技術・音声合成技術・議論対話技術を搭載し、日常的な議論から人間とロボットの関係性といった深淵な議論までを語る様子を実演デモとして披露する予定です（※3）。

（2）インタラクティブサイネージショーケース　（技術協力　株式会社NTTデータ）

「身に着けているモノ」や「手に持っているモノ」と、デジタルサイネージを掛け合わせることで、新たな対話型の広告・宣伝メディアをインタラクティブサイネージとして実現します。今回、このインタラクティブサイネージのショーケースとなる「Linked Virtual Ad. ~Talking Beer~」を展示いたします。サイネージの前を通った際に、ユーザに意識させることなく、その人に合った情報を提供することで、記憶に残る新たな体験を生み出します。
　「Linked Virtual Ad. ~Talking Beer~」は、手に持っているビールの銘柄を自動的に認識するインタラクティブデジタルサイネージサービスです。デジタルサイネージの前に立つと、モーションキャプチャ技術が手の部分を認識し、corevoを構成する技術のひとつである「アングルフリー物体検索技術」によって、手に持っているビールの銘柄を特定いたします。ビールの銘柄が特定されると、その銘柄に対応したキャラクターがAR技術を活用してビール画像上に登場し、当該ビールの情報を紹介致します。また、本サービスでは複数ビールの同時認識も可能であり、各ビールに対応したそれぞれのキャラクター同士が挨拶する等互いに協調しながら、ビールの商品情報を楽しく提供します。

「Linked Virtual Ad. ~Talking Beer~」の実現イメージ

なお、本ショーケースで使われる技術の特徴は、（別紙）のとおりです。

^※1JAPAN FACTORYの概要

名称 ： JAPAN FACTORY　（ジャパンファクトリー）
テーマ ： Hello, Synchronicity
日程 ： 2017年3月12日（日）～14日（火）
時間 ： 全日10：00～予定（現地時間）
会場 ： Trinity Warehouse （テキサス州オースティン、アメリカ）
99 Trinity St. Austin, 78701, USA

^※2「corevo®」は日本電信電話株式会社の商標です。

^※3"SXSW2017にてNTT東中研究員がFeatured Speakerとして登壇"
http://www.ntt.co.jp/topics/sxsw2017/index.html

（別紙） 技術の特徴

（1）耐騒音集音技術

NTT研究所の開発した「インテリジェントマイク技術」を使用しています。これは複数の汎用小型マイクと音響信号処理技術の組み合わせで実現されています。音響信号処理技術では、音の到来方向、周波数特性、時間的な変動特性を利用することで、目的音の劣化を抑えつつ、周囲雑音のパワーを低減させ、目的音のクリアな集音を可能とします。この技術を利用することで、 騒音環境下でも高精度な音声認識を可能にしました。

（2）音声認識技術

最新のDeep Learning （深層学習）を活用した音響モデリングと、WFST（重み付き有限状態トランスデューサ）による最適な探索ネットワークにより、高速・高精度な音声認識を可能にしました

（3）音声合成技術

人の声を特徴付ける要素である「話者」と「口調」を自由に組み合わせることで、バリエーション豊かな音声作成を実現する技術です。

（4）議論対話技術

大規模な構造化された議論データを対話知識として用いることで、特定の話題に関する深い議論を実現します。議論対話システムは、ユーザの発話・状態を理解し、議論の状態を適切に管理することで、タイムリーに論拠の提示や反論を行います。本技術は、人間とシステムの合意形成や人間の意思決定支援に役立ちます。

（5）アングルフリー物体検索技術

画像特徴の重要度をその出現頻度に基づき統計的に推定する方法を用いることで、物体などの検索精度を大幅に向上させたほか、入力画像と参照画像の間の対応関係を正確に特定することにより、参照画像として事前にデータベースに用意する画像の数を従来の1/10程度まで大幅に削減することを可能としました。これにより、様々なカメラアングルで撮影された画像からでも、そこに写り込んだ3次元の物体を検索することを可能とします。
https://www.ntt.co.jp/news2015/1502/150216a.html