深層学習分野の難関国際会議ICLRにNTTから4件採択

2024年5月7日～5月11日（中央ヨーロッパ時間）にオーストリアのウィーンで開催される、深層学習分野の国際会議ICLR（International Conference on Learning Representations）2024に、NTTの研究所より提出された4件の論文が採択されました。ICLR2024の論文採択率は31.1%（7,262件の応募から2,261件採択）と、難関国際会議として知られています。

なお、所属としてそれぞれ略称で書かれている研究所名は、以下の通りです。
CD研：コンピュータ＆データサイエンス研究所
社会研：社会情報研究所
CS研：コミュニケーション科学基礎研究所
NS研：ネットワークサービスシステム研究所

■Transferring Learning Trajectories of Neural Networks

千々和 大輝 研究員（CD研）

本研究では、ニューラルネットワークのパラメータ空間における高い対称性を活用し、過去の学習過程のパラメータ列を適切に変換することにより、新たなモデルの学習結果を低コストで求める新たな学習手法「学習転移」を初めて定式化しました。また、基本的な数理モデルである2層MLPにおいて同手法が原理的に可能であることを証明し、線形最適化による高速な学習転移アルゴリズムを考案・実証しました。

■Simple Minmax Optimal Byzantine Robust Algorithm for Nonconvex Objectives with Uniform Gradient Heterogeneity

村田 智也（NTTデータ数理）、丹羽 健太 特別研究員（CS研）、深見 匠 研究員（社会研）、張 一凡 主任研究員（社会研）

信頼できない/悪意のあるクライアントを含む状況下で高精度なモデルを得られるビザンチン耐障害性に優れた連合学習アルゴリズム（モメンタムスクリーニング法）を提案しました。各クライアントのモメンタム（過去勾配の指数移動平均）を使って正常とみなせる情報をスクリーニングすることで精度向上を狙う方法で、実用的に起こりうる統計的なデータの偏りが存在する状況で最適化誤差が小さくなることを理論的に証明しました。

■On Accelerating Diffusion-Based Sampling Processes via Improved Integration Approximation

Guoqiang Zhang 講師（University of Exeter）、丹羽健太 特別研究員（CS研）、W. Bastiaan Kleijn 教授（Victoria University of Wellington）

画像等のメディアを高品質に生成することに用いられる拡散モデルにおいては数値計算の精度と計算量のトレードオフが課題でした。本研究は精度の異なる2種類の計算方法を自動的に算出した割合で混合することで、少ない計算量と高品質な画像生成を可能にします。本技術は既存の拡散モデル（DDIM, EDM, DPM-Solver++等）に組み込むことが可能であり、幅広い応用性が期待できます。

■Koopman-based generalization bound: New aspect for full-rank weights

橋本悠香 特別研究員（NS研・CS研）、園田翔 上級研究員（理研）、石川勲 准教授（愛媛大）、二反田篤史 プリンシパルサイエンティスト（A*STAR CFAR）、鈴木大慈 教授（東大）

本研究では、Koopman作用素と呼ばれる、関数合成を説明する線形作用素を用いてニューラルネットワークを表現することで、新たな汎化誤差評価を与えます。多くの既存研究では、重み行列が低ランクな場合に焦点を当て、低ランク性が汎化性能を向上させるという理論的考察が行われてきました。一方で、本研究では、重み行列が高ランクな場合に焦点を当て、そのような場合でも、汎化性能が高くなる場合があることを理論的に示しました。

---

NTTのR&Dは、環境にやさしい持続的な成長、多様性に寛容な個と全体の最適化を狙う未来のコミュニケーション基盤であるIOWN（Innovative Optical and Wireless Network）構想を掲げ、その実現に向けた研究開発を進めてまいります。また、それとともに、今後も研究テーマの多様性・継続性を大切に、NTTグループの各事業会社をはじめ、さまざまな分野の産業界の方々と一緒に、さまざまな社会的課題を解決し、人々が意識することなく技術の恩恵を受けることができるスマートな世界の実現をめざし、世界を変革する技術の研究開発を続けていきます。