検索パネルを開く 検索パネルを閉じる メニューを開く メニューを閉じる

2023年6月15日

日本電信電話株式会社

天候や日照条件に左右されない街本来の「真の色1」を推定する技術を開発
最難関国際会議CVPRで発表
~超リアルメタバース空間の構築やその照明制御が可能に~

日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:島田 明、以下「NTT」)は、撮影された画像から照明条件によらない「真の色」である物体固有の反射率(アルベド)を推定する固有画像分解2タスクにおいて、LiDAR反射強度を用いた手法を確立し、従来の教師無し学習手法の中で最高精度を達成しました。
 今回実現した固有画像分解手法により、影などの照明条件に依存した成分を画像から取り除くことで、任意の照明条件を再現することが可能になります。
 今後は、本技術を画像認識やメタバース空間構築などにも適用することで、より高品質なサービスの確立に貢献します。
 なお、本研究成果は、国際会議CVPR(Conference on Computer Vision and Pattern Recognition)2023に採択されました。

1.研究の背景

NTTが提唱したIOWN構想3の実現に向け、様々な実世界データのデジタル化に向けた技術創出に取り組んでいます。その中で、画像・映像を撮影してデジタルデータとして取り込む際、撮影時の照明条件によってAI解析の精度やユーザ体験の品質に大きく影響するという課題がありました。
 例えば、物体認識や自己位置推定では、撮影時の照明条件が推定精度に影響を与えるため、様々な照明条件下で撮影した画像データを集めて検証する必要がありました。また、メタバース空間の構築では、複数のデータを統合する際、さまざまな日照条件で計測したデータがツギハギになり、メタバース空間に撮影時の影が残ってしまう問題がありました。

2.研究の成果

NTTが今回確立した固有画像分解手法により、カメラ等で撮影された画像から影などの照明条件に依存した成分を取り除くことで、照明条件によらない物体固有の反射率(アルベド)を推定することが可能になります。
 これにより、物体認識タスクにおいて撮影時における照明条件の影響を排除し、より高精度に認識することができるほか、メタバース空間構築において、影が映っている画像からでも、影を排除し任意の日照条件を再現したメタバース空間を構築できるようになります。

図1:固有画像分解手法を使わずにメタバース空間を構築した場合のイメージ 図1:固有画像分解手法を使わずにメタバース空間を構築した場合のイメージ

図2:固有画像分解手法をメタバース空間構築に活用するイメージ 図2:固有画像分解手法をメタバース空間構築に活用するイメージ

3.技術のポイント

・LiDAR反射強度を利用

本技術では、固有画像分解の精度を向上させるため、太陽光の影響がないLiDARで計測した反射強度を利用することで、効率的な学習を実現しました。
 LiDARとは、レーザーを照射し、その反射光を計測することで3D空間上の距離を計測し、点群として記録する装置です。LiDARはレーザー照射により能動的に計測するため、反射光計測時に取得できる反射強度(Intensity)が照明条件に依存しない情報としてアルベドを推定する有力な手掛かりとなることに着目しました。

図3:カメラ画像(左)、同一視点のLiDARで計測した点群(右) 図3:カメラ画像(左)、同一視点のLiDARで計測した点群(右)

・従来技術と比較した際の優位性

従来の固有画像分解では、正解となるアルベド情報が付与されたCG画像から学習する方法(教師有り学習手法)や、事前知識を元にアルベドらしさを反復学習させる方法(教師無し学習手法)などがありましたが、実写画像での推定精度の低下や、日影とテクスチャの区別ができないなど、さまざまな問題がありました。
 しかし今回の提案手法では、LiDAR反射強度を併用することで日影とテクスチャを区別して学習でき、教師無し学習手法の中で最高精度を達成し、教師有り学習手法と比較しても遜色ない精度を達成しました。

図4:従来技術と本技術による処理結果の比較 図4:従来技術と本技術による処理結果の比較

4.今後の展開

今後も、更なる精度向上に向けた研究開発を推進していくと共に、画像認識やメタバース空間構築などにも適用し、より高品質なサービスの確立に向け研究開発を推進していく予定です。

【CVPRとは】

CVPRは、コンピュータビジョン分野において最難関の国際会議として知られ、今回のCVPR2023における論文採択率は25.8%(9,155件の投稿)でした。2023年6月18日から22日(太平洋標準時)にカナダのバンクーバーで開催されます。

【用語解説】

1真の色:照明条件によらない物体固有の反射率(アルベド)

2固有画像分解:観測画像を、物体表面の照明条件に依存しない反射率(アルベド)画像と、照明条件に依存する陰影画像に分解する手法

3IOWN構想:「IOWN構想」とは、革新的な技術によりこれまでのインフラの限界を超え、あらゆる情報を基に個と全体との最適化を図り、多様性を受容できる豊かな社会を創るため、光を中心とした革新的技術を活用した高速大容量通信、膨大な計算リソース等を提供可能な、端末を含むネットワーク・情報処理基盤の構想です。
URL:https://www.rd.ntt/iown/0001.html当該ページを別ウィンドウで開きます

本件に関する報道機関からのお問い合わせ先

日本電信電話株式会社
サービスイノベーション総合研究所
企画部広報担当
nttrd-pr@ml.ntt.com

ニュースリリースに記載している情報は、発表日時点のものです。
現時点では、発表日時点での情報と異なる場合がありますので、あらかじめご了承いただくとともに、ご注意をお願いいたします。