3次元物体をどんな方向から撮影しても高精度に認識・検索し、 関連情報を提示する「アングルフリー物体検索技術」を開発
～スマホなどを看板や建物にかざすだけで、観光ナビゲーションサービスを実現～

日本電信電話株式会社（東京都千代田区、代表取締役社長：鵜浦 博夫、以下「NTT」）は、3次元の物体をどのような方向から撮影しても、高精度に立体物を認識・検索し、関連情報を提示する「アングルフリー物体検索技術」を開発しました。

本技術を活用すれば、スマートフォンやウェアラブルカメラを通じて、周囲の建物・史跡や店舗、商品などを高精度に認識し、観光コンテンツや店舗・商品情報などを提示します。情報コンテンツの多言語対応を図ることで、2020年に向けては、日本や見知らぬ街を訪れる世界中の人々の観光を支援する「会場案内」「ルート案内」「観光案内」などの観光ナビゲーションサービスの提供も可能となります。

また、技術の活用用途としては他に、商品にカメラをかざすと価格や口コミ、在庫などを閲覧できる「商品検索」や、指定スポットでカメラをかざすだけでスタンプをゲットできる「デジタルスタンプラリー」、展示物にカメラをかざすと解説コンテンツを提示する「作品解説」、機器にカメラを向けると説明書が見える「電子マニュアル」などの展開も可能です。（図1）

開発概要

2020年に向けては、増加する訪日外国人向けの観光案内や屋内外の交通案内、スポーツイベントなどでの会場案内など、一人ひとりの属性や置かれた状況に応じたスマートなナビゲーションサービスが求められています。その実現には、人と同じように、自由な位置や方向からシーンを捉えても、そこに含まれる3次元物体を検索できる技術の確立が不可欠です。
　しかし、本やCD、印刷物などの平面物に比べて、立体物は撮影方向によって画像上の見え方が大きく変わるために、異なるカメラアングルで撮影すると検索精度が低くなるという課題があります。また、検索精度を保つために１つの物体に対して100枚程度の画像を予めデータベースとして登録する必要があり、そのコストの負担が大きいという課題などあり、3次元物体の認識を活用したサービスの普及の障壁となっていました。

ポイント：コスト10分の1に

NTTが今回開発した「アングルフリー物体検索技術」では、画像特徴の重要度をその出現頻度に基づき統計的に推定する方法を用いることで、物体などの検索精度を大幅に向上させたほか、入力画像と参照画像の間の対応関係を正確に特定することにより、参照画像として事前にデータベースに用意する画像の数を従来の1/10程度まで大幅に削減することを可能としました。これにより、様々なカメラアングルで撮影された画像からでも、そこに写り込んだ3次元の物体を検索することを可能とします。（図2）

今後の展開

NTTは今後、本技術の実用化を進め、2020年までには、様々なパートナーとのコラボレーションを通じ、見知らぬ街を訪れる世界中の人々の移動や観光を支援するナビゲーションサービスを提供できるように取り組んでまいります。
なお、本技術を用いた観光ナビゲーション、移動支援サービスへの応用例について、2015年2月19日～20日に開催するNTT R&Dフォーラム2015においても、紹介いたします。
「NTT R&Dフォーラム2015」サイト　http://labevent.ecl.ntt.co.jp/forum2015/info/

（参考）
本技術は、国土交通省が行った「東京駅周辺高精度測位社会プロジェクト実証実験」で「画像認識による屋内測位」のための技術としても利用されました。
http://www.ntt.co.jp/news2015/1501/150115a.html

「アングルフリー物体検索技術」の概要について

「アングルフリー物体検索技術」は、NTTが従来から培ってきた音・映像の高速探索技術であるロバストメディア探索（RMS）や物体識別技術を進化させた、「ロバストオブジェクト探索技術（RMS-object）」を元に実現しました。本技術のポイントは次のとおりです（図3）。

＜ポイント1＞　物体の回転・拡大縮小をシミュレートした対応付け

射影幾何学から導かれる同一立体物上での拘束条件を用いた独自の対応付け処理により、入力画像と参照画像の間で画像特徴の対応関係を正確に特定することに成功しました。この技術により、ユーザが正面を意識せずに参照画像と異なる方向で撮影した入力画像からでも、そこに写り込んだ3次元の物体を検索することができます。また、サービス事業者の立場では少数の方向からの画像を登録しておくだけで良いため、事前に用意する画像数を従来の1/10程度まで大幅に削減することができます。

＜ポイント2＞　画像特徴の重要度推定

画像特徴の重要度をその出現頻度に基づき統計的に推定する方法を開発しました。この方法では、検索に役立つ画像特徴により大きな重みをつけて画像特徴どうしの照合を行うことができます。これにより、大量の画像や動画像に写り込んだ物体などの検索（インスタンスサーチ）を、精度評価値（MAP^※1）において当社従来法に比べ約70%向上しました。

＜ポイント3＞　画像特徴のインデクシングによる高速照合

画像特徴データベースは、特徴空間内での分布を考慮した独自の方法により短い符号（ハッシュ）に変換しインデクシングしています。これにより画像特徴データベースから、入力画像に合致する画像特徴群を従来に比べて約2倍の速度で照合します。

【イベントのお知らせ】　伊東商工会議所とのトライアルサービスについて

NTTは、伊東商工会議所（住所：静岡県伊東市銀座元町、会頭：海野　英夫）と共同で、2015年2月25日（水）～3月3日（火）の期間で開催される「第3回伊東MAGARI雛イベント」を訪れるユーザを対象に、2015年2月28日（土）～3月3日（火）の4日間限定で、本技術を活用した新たなデジタルスタンプラリーのトライアルサービスを、西日本電信電話株式会社 静岡支店の現地運営協力のもと実施します。
トライアルサービスでは、トライアル参加者が一定のルートを訪れたことを、スマートフォンや携帯電話でユーザが撮影した画像から「アングルフリー物体検索技術」を使用して判定します。GPSのみでは困難であった屋内での訪問ルート判定が本技術により可能になります。（図4）

用語解説