変形物体を少数の画像のみでも高精度に認識・検索する「変形対応アングルフリー物体検索技術」を開発 ～定形の3D物体に加えて、軟包装製品、布製品などの不定形の商品も含めて幅広く認識可能に～

背景

あらゆるモノ・人をICTで繋げることで私たちの暮らしをよりよくしていくデジタルトランスフォーメーションの実現に向けては、身の回りのモノをスマートフォンやカメラなどで撮影した画像から、人の目の代わりとなって認識・検索できる技術の確立が不可欠です。
　しかし、定形の3D物体に比べて、軟包装製品、布製品などの不定形の物体は、様々な変形パターンを取ることで画像上の見え方が大きく変わるために、認識精度が低くなります。認識精度を保つためには、対象物体の変形に応じた画像を参照画像としてデータベースに登録しておく必要がありますが、対象物体の変形の仕方が任意の場合は、多数の画像を準備する必要があり、そのコストの負担が大きいという問題がありました。

研究開発成果

NTTが今回開発した「変形対応アングルフリー物体検索技術」では、幾何学的拘束を物体全体に適用するのではなく、複数の部分領域ごとに適用することで、画像特徴の対応関係から正しい対応を正確に特定する「変形対応幾何検証技術」によって、物体が変形していても入力画像と参照画像間での正しい対応を特定可能としました。これにより、定形の3D物体に加えて、任意の変形が生じる不定形の物体でも、高精度に認識・検索することを可能とします

技術のポイント　少数の画像登録のみで変形物体を高精度に認識・検索！

「変形対応アングルフリー物体検索技術」は、NTTのAI技術corevo®（※1）の一つであり、少数の方向からの画像を登録するのみで3D物体を認識・検索可能な「アングルフリー物体検索技術（※2）」を元に実現しました（図3）。

従来の「アングルフリー物体検索技術」では、物体が定形との前提での射影幾何学から導かれる同一物体上での拘束条件を用いていたため、変形物体では認識精度が低下するという問題がありました。一方で、市中の学習ベースの方法では、不定形の物体を対象とする場合、その変形パターンは無数に存在するため、様々な変形を観測した多数の参照画像をあらかじめ準備しないと認識精度が低下するという問題がありました。

そこで今回は、幾何学的拘束を物体全体に適用するのではなく、複数の部分領域ごとに適用することで、画像特徴の対応関係から正しい対応を正確に特定する「変形対応幾何検証技術」を開発しました（図4）。本技術では、入力画像と参照画像間の画像特徴による対応付け結果から、複数の対応関係間の距離・回転角度等の幾何学的特徴を使ってクラスタリングすることにより、物体が変形していても正しい対応を特定することを実現しています（図5）。この技術によって拡張した「変形対応アングルフリー物体検索技術」により、変形のパターンが任意の場合でも、少数の画像の登録のみで高精度に認識・検索することを実現可能としました。

今後の展開

NTTは今後、本技術の実用化を進め、様々なパートナーとのコラボレーションを通じ、デジタルトランスフォーメーションの実現を目指していきます。
　なお、本技術を用いた商品認識への応用例について、2018年11月29日～30日に開催するNTTR&Dフォーラム2018（秋）においても、紹介いたします。
　「NTT R&Dフォーラム2018（秋）」サイト　https://labevent.ecl.ntt.co.jp/forum2018a/info/index.html