超高精細映像からのリアルタイムAI推論をエッジ/端末上でも実行可能にするAI推論LSIを開発
～AI推論の解像度制約を4Kに拡張し、リアルタイムかつ低電力での動作を実現～

発表のポイント：

1. 背景

深層学習技術の進展により、映像AI技術を活用した業務や生産の効率化がますます重要となっています。中でも、ドローン目視外飛行、人流/交通分析、自動被写体追跡などのエッジ/端末アプリケーションにおいては、4Kなどの高精細カメラ1台で広範囲の物体をリアルタイムかつ低電力で検出することが求められています。
　上記のような電力制約が厳しいエッジ/端末アプリケーションでは、サーバ等で利用されるGPU（数百W）よりも、電力が1桁以上低いAIデバイス（数十W）が利用されています。その一方で、一般に、AI推論は、計算量の低減と学習容易性の観点から、入力画像サイズに制限があります。例えば、物体検出のAI推論モデルであるYOLOv3^※4の公式モデルの最大サイズは608×608ピクセルです。より大型のモデルも登場してきておりますが、4Kサイズ（3840×2160）に比べると低解像度となります。このため、たとえ4Kカメラで撮影した映像でも、実際には小さい画像サイズに縮小してAI推論を行うため、小さな物体が潰れて検出困難になっていました。

2. 研究の成果

上記課題を解決するために、NTTでは、高精細映像AI推論ハードウェアの研究開発に取り組み、この度、4K映像のリアルタイムAI推論処理を実行可能にするAI推論LSIを開発しました（図1）。本LSIを用いて、例えばYOLOv3を実行した場合には、一般的なエッジ/端末向けAIデバイスで低解像度（608×608ピクセル）に縮小して物体検出処理した際の消費電力と同等以下（20W以下）で、4K解像度でのリアルタイム物体検出処理（30fps）が可能です。これにより、例えばドローンに本LSIを搭載することで、目視外での安全航行に必要な飛行経路下の人・モノの有無の確認^※5を、最大150m高度からでもAIで処理することが可能となります。また、公共空間における人流分析や交通分析サービスにおいては、より広範囲での検出が可能となり、自動被写体追跡では、より高精度な追従が可能となります。

図1 超高精細映像AI推論LSIの概要

3. 技術のポイント

（1）AI推論高精細化技術

本技術の処理イメージを図2(a)に示します。まず、画像縮小なしで推論するために、入力画像サイズを制約サイズにまで分割して、分割画像毎に推論を実施します。これにより、小さな物体が検出できるようになります。これと並行して、分割画像を跨ぐような、大きな物体も検出できるようにするために、画像全体を縮小しての推論も行います。こうして得られた画像全体からの結果と、分割画像からの結果とを合成することで、最終的な検出結果を得ます。これにより、4K映像に対しても、大小両方の物体を検出することが可能となります。また、物体検出は互いに独立しているので、ハードウェアによる並列実行も可能です。

（2）独自の映像AI推論エンジン

上記高精細化技術は、4K映像においては、分割画像数が多く、そのままでは計算量が膨大となり、ハードウェアで並列演算するにしても、リアルタイム処理が困難となってしまいます。このため、独自AI推論エンジン（図2(b)）では、フレーム間相関を利用した演算効率化などにより、検出精度を確保しつつ、演算量の削減を実現し、低電力での4Kリアルタイム実行を可能にしました。

図2 技術のポイント

4. 今後の展開

今後は、NTTイノベーティブデバイス株式会社にて、2025年度内に本LSIを製品化する予定です。また、NTT研究所では、対応推論モデルやユースケースの拡大など、本LSIに関するさらなる技術開発を進めていきます。

【用語解説】

^※1LSI: Large Scale Integration

^※2航空法で定められたドローンが通常航行可能な上限高度

^※3 https://ntt-research.com/ntt-to-showcase-global-research-innovation-at-upgrade-2025/

^※4YOLO: You only look at once

^※5国土交通省 航空局　無人航空機安全課、"カテゴリ―Ⅱ飛行(レベル3.5飛行)の許可・承認申請について", https://www.mlit.go.jp/koku/content/001725836.pdf