AI・機械学習分野における最難関国際会議 NeurIPS2024 にNTTから5件の論文が採択

2024年12月10日～15日にカナダバンクーバにて開催される、AI・機械学習分野の国際会議 NeurIPS（Neural Information Processing Systems）2024にて、NTTグループより、NTT研究所5件と，NTT Research3件の合計8件の論文が採択されました。NeurIPS 2024の論文採択率は25.8%（論文投稿数：15671件）と、難関国際会議として知られています。

●Inverse M-Kernels for Linear Universal Approximators of Non-Negative Functions
1. 金秀明准特別研究員（人間研/CS研）
2. 非負値を出力する関数をデータから学習する問題は、特に機械学習やデータサイエンスにおいて重要なテーマです。本論文では、カーネル法に基づく一変数関数の学習において、M-行列と呼ばれる行列の符号に関する理論を導入し、（i）出力の非負性、（ii）カーネルに関する線形表現、（iii）万能近似性、の三つの性質を同時に満たす関数近似モデルを提案しました。線形表現と万能近似性はそれぞれ推定処理の高速化と高精度化に寄与します。提案モデルにより、密度分布などの非負関数を高精度かつ高速に学習することが可能となります。これにより、効率性と精度が両立するモデルが実現されることで「AI技術の社会実装の促進」が、環境問題やエネルギー管理に関する予測精度向上により「持続可能な社会の実現」が期待できます。
●Understanding the Expressivity and Trainability of Fourier Neural Operator: A Mean-Field Perspective
1. 越塚毅博士課程学生（東大）、藤澤将広基礎科学特別研究員（理研）、田中佑典研究主任（CS研）、佐藤一誠教授（東大）
2. 観測データに基づいて物理現象を再現し、超高速なシミュレーションを実現するための深層学習フレームワークとして「作用素学習」が注目されています。現在最も広く使われているモデルの一つに「フーリエニューラル作用素」があります。複雑かつ大規模な物理現象を高精度に再現するためには、深層構造を持つモデルが必要不可欠です。しかし、深層構造を持つモデルの表現力や、学習が不安定となる問題の原因や条件はこれまで知られていませんでした。本研究では、「平均場理論」を用いた解析により、パラメータの初期化時における、モデルの表現力と学習の不安定性（勾配消失/勾配爆発が起きる）条件を初めて示しました。これにより、適切なパラメータ初期化を通じて、深層構造をもつモデル学習を安定化させ、データ駆動型物理シミュレーションの信頼性向上と高精度化の両立に大きな貢献が期待できます。
●Polyak meets Parameter-free Clipped Gradient Descent
1. 竹澤祐貴博士課程学生 (京都大学/OIST)、佐藤竜馬助教 (国立情報学研究所)、包含特任助教 (京都大学/OIST)、丹羽健太特別研究員 (CS研)、山田誠准教授 (OIST)
2. 機械学習モデルの大規模化に伴いモデル学習に多くの計算リソースが必要となったため、学習率や勾配クリッピング値等のハイパーパラメータを慎重に調整することなく、効率的に学習が進むようなアルゴリズムの研究は極めて重要なトピックです。本論文では、凸関数最適化の文脈で、学習率を適応的に調整するための理論体系として知られているPolyak stepsizeが、潜在的に勾配クリッピングの効果を内包することを世界で初めて発見しました。その事実から自然に導かれるパラメータフリー最適化アルゴリズム(Inexact Polyak stepsize)を用いた実験で、いくつかのモデル(人工データや言語モデル)の学習タスクでは、従来の学習方法と比べて効果が高いことを確認しました。本成果は大規模なモデルの学習の省コスト化に理論と実践の両面から貢献する内容です。
●AUC Maximization under Positive Distribution Shift
1. 熊谷充敏特別研究員（CD研/社会研）、岩田具治上席特別研究員（CS研）、高橋大志研究主任 (CS研)、西山泰史研究主任 (NTTセキュリティホールディングス/社会研）、藤原靖宏特別研究員（CS研）
2. 負例に比べ、正例のデータ数が極端に少ない不均衡データは、異常検知や医療診断など多くの実応用で現れます。AUC最大化は不均衡データから精度よく分類器を学習するための標準的な手法ですが、不均衡データで頻出する学習/運用時に正例の分布のみが変化する問題に対処できていませんでした。本論文では、学習/運用時に正例の分布のみが変化する状況において、運用時に適したAUC最大化が運用時のラベルなしデータと学習時の正例・ラベルなしデータのみで実現可能であることを理論的に示し、実験にて有効性を確認しました。
●Fast Iterative Hard Thresholding Methods with Pruning Gradient Computations
1. 井田　安俊　特別研究員（CD研）、金井　関利　研究主任（CD研）、熊谷　充敏特別研究員（CD研／社会研）、岩田　具治　上席特別研究員（CS研）、藤原　靖宏　特別研究員（CS研）
2. 特徴選択、スパースコーディング、圧縮センシングなどで使われるIterative Hard Thresholding（IHT）は、線形回帰モデルから重要なk個のパラメータを選択する技術です。本論文では、不要な計算を省略してIHTを高速化するアルゴリズムを提案しました。提案法は理論的にIHTと同等の精度を達成することを保証し、実験では最大73倍の高速化に成功しました。これにより、データ処理や機械学習の高速化、及びそれらのエネルギー消費量の削減を期待できます。

NTTのR&Dは、環境にやさしい持続的な成長、多様性に寛容な個と全体の最適化を狙う未来のコミュニケーション基盤であるIOWN（Innovative Optical and Wireless Network）構想を掲げ、その実現に向けた研究開発を進めてまいります。また、それとともに、今後も研究テーマの多様性・継続性を大切に、NTTグループの各事業会社をはじめ、さまざまな分野の産業界の方々と一緒に、さまざまな社会的課題を解決し、人々が意識することなく技術の恩恵を受けることができるスマートな世界の実現をめざし、世界を変革する技術の研究開発を続けていきます。

トピックスに記載している情報は、発表日時点のものです。
現時点では、発表日時点での情報と異なる場合がありますので、あらかじめご了承いただくとともに、ご注意をお願いいたします。

トピックス一覧に戻る