世界初、通常のデジタルカメラにメタレンズとAIを組み合わせてハイパースペクトル画像・動画の取得を実現する技術を確立
～光技術とAIの融合で「普通のカメラ」を「モノの性質が見えるカメラ」に～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、メタレンズ（※1）とよばれる革新的光学技術とAI に基づく最先端画像処理技術を密に融合することで、通常のデジタルカメラのレンズをメタレンズに置き換えるだけで、詳細な色情報画像であるハイパースペクトル画像（※2）を取得できるイメージング技術を開発しました。本技術により、これまでカメラの大型化や解像度・フレームレート（※3）の低下をもたらしていたハイパースペクトルカメラ特有の構造や仕組みが不要となり高解像度なハイパースペクトル画像の動画の撮像が可能となりました。今回、実際に本技術を通常のデジタルカメラに適用し、HD解像度・フレームレート30fpsの条件下で、可視光から近赤外光に渡る波長バンド数45のハイパースペクトル画像の撮影ができ、動画の撮影も可能であることを世界で初めて示しました。本技術により、人などの動体の撮影、ドローンなどの移動体からの撮影を高解像度な条件下で行うことが可能となり、人間の目でも把握困難な被写体の性質を見分けられるハイパースペクトル画像による農林水産業やヘルスケア産業、製造業のスマート化への活用が期待されます。
　本成果は、2022年11月16日～18日に開催される　NTT R&D フォーラム ― Road to IOWN 2022（※4）に展示予定です。

1．背景

NTTでは、IOWN構想（※5）のもとで、環境から様々な情報をセンシングしてサイバー空間で分析・予測を行うことで様々な価値を創出するサイバーフィジカル社会の実現に向けて研究開発を進めています。この取り組みにおける環境のセンシングについては、人間の知覚を超えることで新しい価値の創出をめざしています。これにあたっては、人間の目を模倣した通常のカラー画像よりも多くの色情報（波長）をとらえたハイパースペクトル画像を利用することが考えられ、人間の目でも把握困難な被写体の性質を見分けられる（素材の違い、食物の新鮮さ、植物の生育状況など）ことが知られています。
　ハイパースペクトルイメージングの代表的な2つの構成例としてスナップショット方式とラインスキャン方式を図1（左）に示します。通常のデジタルカメラはカラーフィルターで光の3原色である赤青緑の3枚の画像に分解して撮像します。これに対して、スナップショット方式とよばれるハイパースペクトルカメラでは、フィルタの色の数を増すことで、より多くの色情報を取り出しますが、色の数が増えるほど解像度と感度も低下してしまうため、高解像度で高いフレームレートの動画撮影が困難になります。ラインスキャン方式は、コピー機やスキャナーのようにスリットを動かしながら得られるライン状の光学像をつなげて全体の像を取り込みます。ライン状の光学像はプリズムなどの分光素子により波長（色）に沿って広がった平面像としてイメージセンサで取り込まれライン数分の画像がハイパースペクトル画像として取得されます。この場合、感度は保たれるものの、可動スリットを機械的に動かして画像を取り込むのに時間が掛かり、フレームレートはさらに低下することになります。近年、画像情報をもとにした多くの情報サービスは、さまざまな場所やスマートフォンに代表されるモノに組み込まれた小型で高機能なカメラを情報源としています。一方、これまでのハイパースペクトルカメラでは、画像の特性の一部を犠牲にして波長（色）の情報を取り出しているため、フレームレートの低下や、特殊な仕様のイメージセンサ、あるいは特殊な機構が必要となるため大型になり、従来のカラーカメラの置き換えにはならず、適用領域は分析機器や製造ラインでの使用など限定的なものとなっていました。

図1　ハイパースペクトルカメラの構成の比較

2．技術の概要

今回、NTTは通常のデジタルカメラのレンズをメタレンズに置き換えてAIにより画像処理するだけでハイパースペクトル画像を取得するハイパースペクトルイメージング技術の開発に成功しました。図1（右）に今回提案するハイパースペクトルイメージング技術の構成を示します。通常のデジタルカメラを用いて画像の特性を犠牲にすることなくハイパースペクトルイメージングを実現するために、NTTがこれまで培ってきた光メタサーフェス（※6）を使った明るいメタレンズと、物理的な制約を超えてスペクトル再構成を可能にするAIによるハイパースペクトル画像再構成技術を適用しました。この技術では、図2に示すように通常のデジタルカメラに装着したメタレンズによって様々な波長帯の光を変調・重畳してハイパースペクトル画像よりも大幅に画像数が少ないカラー画像（圧縮画像）としてイメージセンサで撮像し、ハイパースペクトル画像再構成技術によってカラー画像から様々な波長帯に対応したハイパースペクトル画像を再構成します。これにより、光学部分がメタレンズとイメージセンサだけのシンプルな構成となりました。さらに、メタレンズは明るさを失わずに圧縮画像を生成できるため、必要な光を得るための時間を低減して、通常のカメラと同等のフレームレートでの動画撮影を可能にしています。また、イメージセンサで撮像された圧縮画像の解像度でハイパースペクトル画像を再構成するので、解像度も通常のカメラと同等となります。

図2　本技術によるハイパースペクトル画像の再構成

今回、実際に通常のデジタルカメラに本技術を適用してハイパースペクトル画像の取得に成功し、カメラのサイズや性能を犠牲にすることなく、高性能なハイパースペクトルイメージングが可能であることを世界で初めて示しました。得られた画像は、可視光から近赤外光に渡る45波長バンドのハイパースペクトル画像で、使用したデジタルカメラの性能を劣化させることなくHD解像度・フレームレート30fpsの動画が得られています。この特性は一般的によく使われているハイパースペクトルカメラよりも解像度およびフレームレートについて優れています。本技術を用いることにより、スマートフォンなど日々進化していくデジタルカメラの機能を自然に拡張してデジタルカメラの画像をハイパースペクトル画像に置き換えることが可能となります。また、動体の撮影、自由に動く移動体からの撮影を高解像度な条件下で行うことが可能となり、非接触での生体情報取得によるヘルスケアへの応用、ドローンから撮影したハイパースペクトル画像の解析による農作物の生育診断など、農林水産業やヘルスケア産業、製造業といった様々な分野への適用が期待されます。

3．技術のポイント

通常のカメラと同等のサイズ、解像度、フレームレートでのハイパースペクトル画像の撮影を実現する、メタレンズとハイパースペクトル画像再構成技術について解説します。

3．1．光情報を圧縮するメタレンズ

本技術の大きな特徴の1つは、非常に微細な構造パターンで構成される最先端レンズ「メタレンズ」の活用です。メタレンズの表面は、数百ナノメートルサイズの光を透過する構造体が多数並んだ光メタサーフェスとよばれる構造になっています。この構造体一つ一つを精密に設計・作製することで、光の波長毎にまったく異なる機能をもつようにデザインされたレンズとして機能させることができます。このようなメタレンズを通常のデジタルカメラに装着して物体を撮影すると、カラー画像でありながら物体の形状・波長情報が効果的に圧縮された「圧縮画像」を取得することが可能となります。またメタレンズは、光透過性が高く、小さいf値（※7）をもつ明るいレンズとして動作させることが可能であるため、短いシャッター時間でより多くの光を効率的にセンサに導くことができ、高いフレームレートでの撮影に適しています。図3に作製したメタレンズ（左図）とレンズを搭載したカメラ（右図）を示します。

図3　作製したメタレンズ（左）とレンズを搭載したカメラ（右）

3．2．ハイパースペクトル画像再構成技術

波長情報が重畳された圧縮画像から圧縮される前の状態として、もっともらしいスペクトル画像を推定する必要があります。従来この種の問題には、繰り返し計算に基づく凸最適化アルゴリズムが用いられてきましたが、膨大な計算時間やスペクトル画像のもっともらしさを定義することが困難であることが問題でした。NTTは、凸最適化アルゴリズムの計算手順を元にニューラルネットワークの構造を設計し、既知のハイパースペクトル画像から「もっともらしい」性質を学習することで、高速・高精度での画像再構成を実現しました。

4．今後の展開

本取り組みにより、メタレンズとハイパースペクトル画像再構成技術を用いたハイパースペクトル画像の取得に関して、実機を用いて基本原理を確認しました。今後は、コラボレーションパートナー様と連携してユースケースへの適用実験を通して、ハイパースペクトル画像の再現精度が十分であるかの検証、およびその結果を踏まえた技術の改良を進めて、実用化をめざします。なお、本成果は、2022年11月16日～18日に開催される　NTT R&D FORUM ― Road to IOWN 2022に展示予定です。

【用語解説】

^※1メタレンズ：超越したレンズという意味で、材料の光学的な特性や幾何光学と呼ばれる従来のレンズ設計によりもたらされるレンズの機能や性能を越えたレンズを意味します。ここでは、光メタサーフェスの原理に基づいてメタレンズを実現しています。

^※2ハイパースペクトル画像：通常のデジタルカメラ（カラー画像を取得するカメラ）よりも多数の色情報（波長）に分光して撮像した画像です。一つのハイパースペクトル画像は各々の色情報に対応した画像で構成され、一般的には数十以上の画像で構成されます。

^※3フレームレート／fps：動画が1秒間あたりいくつの画像で構成されているかを意味し、単位としてfps（frames per second）が用いられます。フレームレートが大きな値であるほど被写体の動きが滑らかな動画となります。

^※4「NTT R&Dフォーラム　Road to IOWN 2022」　URL：https://www.rd.ntt/forum/

^※5IOWN構想：「IOWN構想」とは、革新的な技術によりこれまでのインフラの限界を超え、あらゆる情報を基に個と全体との最適化を図り、多様性を受容できる豊かな社会を創るため、光を中心とした革新的技術を活用した高速大容量通信、膨大な計算リソース等を提供可能な、端末を含むネットワーク・情報処理基盤の構想です。
URL:https://www.rd.ntt/iown/0001.html

^※6光メタサーフェス：光学的な性質が超越した表面という意味で、人工的な構造により、材料本来の特性では実現できない光学性質を実現する技術です。

^※7f値：カメラのレンズの特性を示す一般的な指標として用いられます。レンズの明るさを示します。絞り値ともよばれ、小さい値であるほどレンズは明るい（多くの光を集められる）ことを意味します。