2025年7月11日
お知らせ
機械学習分野のトップカンファレンスICMLにNTT研究所から9件採択
2025年7月13日から19日まで（太平洋夏時間）カナダ バンクーバーで開催される国際会議ICML（International Conference on Machine Learning） 2025において、NTT研究所より提出された9件の論文が採択されました。人工知能の中核技術である機械学習は、計算機がデータに基づく予測・意思決定を行えるようにする技術であり、ICMLはその基礎理論やアルゴリズムに関する世界最高峰とされる国際会議として、近年の人工知能の発展に大きく寄与しています。ICML2025の採択率は26.9%（12,107件の応募から3,260件採択）と、難関国際会議として知られていますが、その中でNTT研究所から9件の論文が採択されました。
なお、所属としてそれぞれ略称で記載されている研究所名は以下の通りです。（所属は投稿時点）
社会研：NTT社会情報研究所
CD研：NTTコンピュータ＆データサイエンス研究所
CS研：NTTコミュニケーション科学基礎研究所
人間研：NTT人間情報研究所
Plausible Token Amplification for Improving Accuracy Differentially Private In-Context Learning Based on Implicit Bayesian Inference
（差分プライベートな文脈内学習の精度向上のための暗黙的ベイズ推論に基づくトークン強調手法）- 山﨑 雄輔 社員（社会研）、丹羽 健太 特別研究員（CS研）、千々和 大輝 准特別研究員（CD研）、深見 匠 研究員（社会研）、三浦 尭之 研究員（社会研）
- よくある問い合わせ対応の自動化などの定型的な応答が求められる場面で、利用者の履歴（入力と応答のペア）を文脈としてLLMに与えることで、応答精度を向上できる文脈内学習（In-Context Learning; ICL）が注目されています。従来研究では、ICLにおける履歴の漏洩リスクに対処するために、差分プライバシー（Differential Privacy; DP）という指標に基づいたノイズを用いる方法が提案されていましたが、ノイズにより応答精度が低下する問題があり、その影響を理論的に改善する方法は確立されていませんでした。本研究では、ノイズを用いるICLにおいてノイズが応答精度に与える影響を世界で初めて理論的に明らかにし、その理論に基づき応答精度の改善に重要な単語を強調する手法（Plausible Token Amplification; PTA）を提案することで、従来研究と同じ安全性基準のもとで応答精度を改善しました。本成果は、医療・行政・金融など、利用者に関わるデータの扱いに慎重さと応答品質の両立が求められる分野におけるLLMの活用への貢献が期待されます。
Linear Mode Connectivity between Multiple Models modulo Permutation Symmetries
（パーミュテーション対称性に基づく複数モデルのマージ手法の提案）- 伊東 燦 研究員（社会研）、山田 真徳 主任研究員（社会研）、熊谷 充敏 特別研究員（CD研/社会研）
- モデルマージ（合成）は複数のモデルを組み合わせ、新しいモデルを作る手法として注目されています。従来研究では、ニューラルネットワークのパーミュテーション対称性という性質を活用して、同等性能の異なるモデルを構成することで、2つの事前学習済みモデルを単純な演算でマージする技術が提案されてきました。本研究では、従来手法を拡張し、3つ以上のモデルを同時にマージするアプローチを提案しました。さらに、画像分類タスクへの応用実験により、マージするモデルの数が増えるほど分類性能が向上することを確認しました。本成果によって、学習データを事前に共有することなく複数のAIモデルを統合できるモデルマージ技術の実用性が高まり、プライバシーに配慮したAI活用の発展が期待されます。
Positive-unlabeled AUC Maximization under Covariate Shift
（共変量シフト下における正例・ラベルなしデータからのAUC最大化法）- 熊谷 充敏 特別研究員（CD研/社会研）、岩田 具治 上席特別研究員（CS研）、高橋 大志 研究主任（CS研/CD研）、西山 泰史 研究主任（社会研）、足立 一樹 研究員（CD研）、藤原 靖宏 特別研究員（CS研）
- サイバー攻撃検知、異常検知、医療診断などの応用では、攻撃・異常・疾患といった重要データ（正例）が、それ以外のデータ（負例）に比べ極端に少ないという特徴があります。AUC最大化はこのような偏ったデータから精度よく分類器を学習するための代表的手法ですが、学習/運用時で入力分布が変化する共変量シフトには対応できていませんでした。本論文では、運用時のラベルなしデータと学習時の正例・ラベルなしデータのみを用いて、運用時に共変量シフトが生じてもAUC最大化が可能であることを理論的に示し、実験にて有効性を確認しました。本成果は、先の例のような問題に対して、高精度な分類器を学習できるデータを直接実環境から収集することはしばしば難しいという課題を克服し、機械学習を実問題へと効果的に適用するための重要な成果です。
Portable Reward Tuning: Towards Reusable Fine-Tuning across Different Pretrained Models
（ポータブル報酬チューニング：異なる事前学習済みモデル間で再利用可能なファインチューニングの実現に向けて）- 千々和 大輝 准特別研究員（CD研）、長谷川 拓 研究主任（人間研）、西田 京介 上席特別研究員（人間研）、齋藤 邦子 主席研究員（人間研）、竹内 亨 主幹研究員（CD研）
- 近年、目的に応じたドメイン知識を備えた特化型AIを作成するため、基盤モデルと呼ばれる事前学習済みモデルを特化学習させることが一般的となっています。しかし従来の特化学習方法では、基盤モデルを更新・変更するたびに各ドメインへの特化学習を再度行う必要があり、特化AIの運用・保守コストとして課題となっていました。本研究では、特化学習を逆強化学習の一種として定式化し、ドメインの特性を反映した報酬モデルの学習およびその基盤モデル間での再利用を可能にすることで、基盤モデル変更に伴う特化AIの再学習を不要にし、その運用・保守コストの抜本的な削減を実現しました。
Natural Perturbations for Black-box Training of Neural Networks by Zeroth-Order Optimizations
（自然摂動を用いたブラックボックス最適化によるニューラルネットワークの訓練法）- 澤田 宏 上席特別研究員（CS研）、青山 一生 シニアスペシャリスト（CS研）、引間 友也 研究員（CS研）
- ニューラルネットワーク（NN）の訓練は通常、誤差逆伝播法で行われますが、その実行のためには途中計算結果をメモリに保存する必要があります。これに対し我々は、そのような途中計算結果を必要としない訓練法、具体的には最適化対象であるパラメータに微小な摂動を与えて訓練を進める方法に着目しています。今回我々は自然摂動法と呼ぶ新たな摂動の与え方を考案し、これによりパラメータが良い方向に動きやすくなり効率的に訓練が進むことを示しました。本成果は、光NNなどハードウェアで直接NNを実装し途中計算結果を訓練に利用できない場合や、メモリ使用量が制限された状況など、より幅広い形でNNを活用することに資するものです。
Learning to Generate Projections for Reducing Dimensionality of Heterogeneous Linear Programming Problems
（線形計画問題を次元削減する射影の生成の学習）- 岩田 具治 上席特別研究員（CS研）、坂上 晋作 リサーチサイエンティスト（サイバーエージェント）
- 線形計画問題は、配送計画や生産管理など多くの場面で利用されていますが、問題サイズが大きい場合、最適解を得るのに時間がかかるという問題がありました。本研究では、線形計画問題のサイズを小さくするための深層学習モデルを考案しました。提案モデルを用いることで、新しく与えられた問題を効率的に解くことができるようになります。本成果は将来、状況が変化する中での配送や生産のリアルタイムな最適化に貢献することが期待されます。
Guided Zeroth-Order Methods for Stochastic Non-convex Problems with Decision-Dependent Distributions
（決定変数に依存する不確実性を考慮した確率的非凸最適化問題に対する誘導付き0次法）- 引間 友也 研究員（CS研）、澤田 宏 上席特別研究員（CS研）、藤野 昭典 主幹研究員（CS研）
- 予測結果と予測対象の間に依存関係がある系（例：道路の混雑予測において、空いているとされた経路で別の混雑を引き起こす）における予測モデルのパラメータ最適化は、通常よりも困難な最適化問題を解く必要があります。この問題に対して、我々は問題の構造を利用した効率的な解法（0次法）を提案し、少ないデータの観測によって良好なパラメータを得ることが可能となりました。良いパラメータを得るには多くのデータを観測することが望ましいですが、この問題では予測の公表を通じてデータを観測します。しかし、それを何度も繰り返すと、異なる予測結果が立て続けに公表されてしまい、現実世界に混乱をもたしうるという課題があります。本手法は、少ない繰り返し数で良いパラメータを発見できるという応用上望ましい性質を持っています。この技術は特に混雑予測や犯罪予測などの、予測結果が人間の行動に影響を与える場面で役立つことが期待されます。
K2IE: Kernel Method-based Kernel Intensity Estimators for Inhomogeneous Poisson Processes
（K2IE: カーネル法に基づく非一様ポアソン過程のためのカーネル強度推定）- 金 秀明 主任研究員（CS研/人間研）、岩田 具治 上席特別研究員（CS研）、藤野 昭典 主幹研究員（CS研）
- 点過程モデルは、機器の故障時刻や交通事故の発生場所など、イベントの時刻や位置を予測するための技術です。近年では、観測データからイベントの発生確率を柔軟に学習し、高精度な予測を可能にするカーネル法モデルが注目されています。しかし、従来のカーネル法モデルは、大規模データに対する学習に非常に多くの時間を要するという課題がありました。本研究では、最小二乗誤差を用いた新たなカーネル法モデルを提案します。提案モデルはデータ量の影響を受けにくく、大規模データに対しても高速に学習と予測を行うことが可能です。本成果は、災害予測やインフラ管理など、社会の安全や効率の向上に役立つことが期待されます。
Deep Ridgelet Transform and Unified Universality Theorem for Deep and Shallow Joint-Group-Equivariant Machines
（深層結合群同変モデル解析のためのリッジレット変換の深層化と統合的普遍近似定理）- 園田 翔 上級研究員（理研/サイバーエージェント）、橋本 悠香 特別研究員（NS研/CS研）、石川 勲 特定准教授（京都大/理研）、池田 正弘 准教授（大阪大/理研）
- この研究では、深層ニューラルネットワークの関数近似性能を、リッジレット変換、群作用、表現論などの理論を用いることで、多様なモデルに対して統合的に証明しました。リッジレット変換は、ニューラルネットワークを抽象化し、モデルの特徴に捉われない解析を達成する枠組みですが、2層の浅いモデルにしか適用できず、理論解析と実用的なモデルの間にギャップが残されていました。本論文では、群作用の同変性を用いてこの枠組みを深層モデルに拡張し、表現論の定理を適用することで、多様な深層モデルの関数近似性能を統合的に示し、近年のAI発展を支えるニューラルネットワークの理論解析の新たな方向性を示しました。
トピックスに記載している情報は、発表日時点のものです。
現時点では、発表日時点での情報と異なる場合がありますので、あらかじめご了承いただくとともに、ご注意をお願いいたします。
NTT STORY
NTTとともに未来を考えるWEBメディアです。
