ニューラルネットワーク分野のトップ論文誌IEEE TNNLSで論文採択

ニューラルネットワーク分野のトップ国際論文誌として知られる「IEEE Transactions on Neural Networks and Learning Systems （TNNLS）」 （Impact Factor: 14.255） に以下のNTT研究者の論文「Relationship Between Nonsmoothness in Adversarial Training, Constraints of Attacks, and Flatness in the Input Space」が採択されました。

画像認識などで用いられる深層学習は、人が知覚できないほどの小さな摂動（※1）によって簡単に誤ってしまうことが知られています。この摂動は敵対的攻撃と呼ばれており、この攻撃に対する脆弱性は、高い信頼性が求められるユースケースにおいて大きな障壁となっています。この問題の解決には敵対的学習が有効であるとされていますが、通常用いられる学習よりも低性能となる問題があります。本論文では、学習の効率や精度に大きく影響する損失関数の滑らかさに注目し、「敵対的学習の場合はその滑らかさが攻撃の種類に依存すること」、「損失関数が攻撃に対して平ら（※2）であるほどモデルに対して滑らかでなくなること」を初めて理論的に示しました。この非滑らかさが低性能の原因であると示唆しており、実際に損失関数を滑らかにした敵対的学習が既存手法と比較して高い精度と学習効率になることを数値実験によって確認しました。本技術は、画像認識や音声認識などにおいて、予期せぬノイズや悪意ある操作に対して深層学習を頑健に運用する上で基盤となる技術であり、安全で信頼できるニューラルネットワーク技術の実現につながります。

NTTは引き続き、社会に変革をもたらす革新技術の創出をめざした基礎研究を推進するとともに、先進的なAI技術の研究開発を通じてWell-beingを支える社会基盤の実現に貢献します。

【用語解説】

^※1：深層学習の入力に混入した小さなノイズ。例えば、画像認識の場合には入力画像のピクセル値の小さな変動を指す。

^※2：攻撃の小さな変動に対して損失関数が変化しないこと。本論文では損失関数の攻撃に関するヘッセ行列の最小特異値。

【参考】

S. Kanai, M. Yamada, H. Takahashi, Y. Yamanaka and Y. Ida, "Relationship Between Nonsmoothness in Adversarial Training, Constraints of Attacks, and Flatness in the Input Space," in IEEE Transactions on Neural Networks and Learning Systems, doi: 10.1109/TNNLS.2023.3244172.
https://ieeexplore.ieee.org/abstract/document/10049380

^※所属等は論文投稿時のものになります