世界で初めて複雑なデータを無限の柔軟度で分類できる機械学習技術を実現
～ヒトの脳のように自律的に適応する柔軟なAIの実現に向けて前進～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田　純、以下「NTT」）は、ネットワークやグラフを含む関係データ（例：ユーザの商品購買歴などの行列データ）解析のための機械学習技術として、事前にモデルの構造やパラメータが与えられない場合でも、これらをデータ駆動的（※1）に最適化して学習し、データをクラスタリングする手法を実現しました。
　統計的機械学習技術の設計において、統計モデル・学習モデルの規模やパラメータの設定は、一般にデータ解析結果に大きな影響を及ぼす重要な問題です。しかし複雑化する現代において、データの規模も増大し、その特性も多種多様となり、モデルの規模やパラメータを、与えられたデータに合わせて適切に設定する作業を人手で行うことは膨大な時間と労力を要する難しい課題です。そこで、統計モデル・学習モデルが、モデルの規模やパラメータをデータ駆動で自動的に調整する手法の需要が高まっています。本成果は、任意のサイズの関係データを長方形分割によってクラスタリングする際に、長方形分割の候補となるあらゆる組み合わせパターンを生成できる新しい確率的生成モデルと、最適な長方形分割をデータに合わせて調整しクラスタリングする効率的なデータ解析法を構築しました。今後は、本技術の研究開発を進展させることで、より柔軟で自律的な人工知能の実現に向けた要素技術として貢献していきます。
　本成果は米国太平洋時間の12/6から開催される国際会議NeurIPS (Advances in Neural Information Processing Systems) 2020 のspotlight発表（※2）として口頭発表予定です。また、本成果の潜在的な応用可能性の検証を目的として、関連したコードをGithubにて公開しています。

1．背景と歴史

現在の統計的機械学習は、膨大な量の様々なデータを大規模なパラメータを持つモデルで解析することができるようになってきました。しかし、多様な量・特性のデータに対して有効な汎用の学習モデルを設計することは難しく、一般に入力データや解きたい課題に応じて学習モデルの規模やパラメータの調整が必要です。さらに、このようなモデルの調整は、職人芸的な技巧や、膨大な労力を必要とすることが少なくありません。そこで、与えられたデータに合わせてモデルの規模やパラメータを自動的に調整する手法の需要が高まっています。一方、我々が解析の対象とするデータの形態もまたより複雑になってきています。例えば、ユーザと購買商品をそれぞれ行と列に取った行列形式のデータは関係データと呼ばれ、その中に現れる特徴的な性質を捉えることは、ユーザへの商品推薦システムの効率化などで活用されます。また、ソーシャルネットワーキングサービスにおいて、行と列に利用者を並べて利用者間のつながりを表現する隣接行列データと呼ばれるデータの解析は、ネットワークの持つ特性を理解することに活用されます。そのため、複雑なネットワークや関係データに対する解析技術が、一層求められてきています。そこで我々は、事前に特定のモデルやパラメータが与えられない場合でも、これらをデータ駆動的（※1）に最適化して、ネットワークやグラフを含む関係データ（ネットワーク・関係データ）をクラスタリングするデータの解析技術の研究開発を行っています。

2．成果

ネットワークやグラフなどの二次元配列データを、互いに類似するデータが集まっている長方形の領域（長方形クラスタ）に分割することは、データ解析の基本的な手法の一つです（図1）。
　本成果では、任意のサイズのデータに対する長方形分割クラスタリングにおいて、あらゆる組み合わせ候補を生成できる新しい確率的生成モデル（※3）（確率的無限長方形分割モデル）を考案し、これを用いることで、長方形クラスタの分割数やそれぞれの大きさなどのモデルパラメータを、従来よりも分割パターンに関する制約が少なく、かつ実現可能な時間内で、データ駆動的に最適化できる機械学習技術を実現しました。
　従来、ネットワーク・関係データからのデータ駆動型の長方形分割クラスタリング手法の多くでは、解析の結果得られる組み合わせ候補に何らかの制約を設ける必要がありました。例えば、候補を生成する際に、サイズが不規則な碁盤の目のように、格子状の領域に限って分割する手法（regular grid partitioning）や、データを大きなサイズの長方形に分割したのちに段階的に小さなサイズの長方形に分割するような手法（階層的分割hierarchical partitioning）が提案されています（図2）。しかし、これらの手法では、生成できない組み合わせ候補が存在します。
　一方、提案する手法では、あらゆる長方形分割の候補を生成できることが理論的に保証されています。我々は同等の能力を持った解析技術を2014年にも提案しましたが、実装が非常に複雑で，多くの計算時間が必要でした。今回の手法では，2014年の手法と比較して実装が大幅に簡単になり、ベンチマークデータ課題に対する計算速度は2014年の手法を大きく上回ることが実験的に確認されています。例えば、入力データの要素数が250,000のとき、提案手法では2014年の手法に対し、同等の予測精度に達する計算時間が約半分に短縮されました。
　この手法は、入力データに対して、あらゆる長方形分割クラスタリングの候補をベイズ推論（※4）することによって解析結果を得ることができます。したがって、この手法を用いたデータ解析では、事前にモデルやパラメータに特定の条件を与える必要がありません。このような事前の知識・条件設定が不要である提案手法は、AIが人間の脳のように、様々な状況に合わせて自律的に適応する、自律的AIモデルを実現する可能性を大きく広げたといえます。

3．技術のポイント

本成果のポイントは、二次元配列（行列）の長方形分割に対して、任意のサイズの行列に対してあらゆる長方形の組み合わせ候補を生成できる、新しい確率的生成モデルを発見したことにあります。その確率的生成モデルの構成にあたっては、組み合わせ論（※5）の世界で発見された長方形分割の重要な性質を利用しています。
　長方形分割は、一見すると図形の操作を扱う幾何学的な問題のように捉えられますが、以下の手続きによって数字列の操作を扱う代数的な問題にすり替えることができます。長方形分割において、各長方形クラスタのサイズを不問とすると、それは見取り図分割（図3、中央）と見なすことができます。さらに、この見取り図分割の各長方形クラスタに対して特別な手順によって数字を割り当てると、各見取り図分割に対して一意に定まるバクスター順列（図3、右）と呼ばれる特別な数字列を一対一に対応させることができます。結果として、ありとあらゆる長方形分割が、バクスター順列と各長方形クラスタのサイズという二つのパラメータを表す数字列によって過不足なく取り扱うことができるようになりました。
　本成果では、先述の長方形分割、見取り図分割、バクスター順列の間の関係（図3）を利用して、データ解析へ適用可能な長方形分割の確率的生成モデルを構成しました。我々はまず、あらゆるバクスター順列を過不足なく取りつくすことのできるような確率的生成モデルを構成し、次にバクスター順列に対応する見取り図分割から長方形分割へ変換するための確率的なアルゴリズムを構成しました。結果として、任意のサイズのデータに対する長方形分割クラスタリングにおいて、本成果において提案する確率的生成モデルが、あらゆる組み合わせ候補を生成できることを理論的に保証できました。この確率的生成モデルは、モデル自身の構造やパラメータをデータ駆動的に調整して、入力されたネットワーク・関係データを最適にクラスタリングできます。

4．将来の展望

ネットワーク・関係データに対するデータ駆動型の解析技術は、近い将来、様々な機械学習・人工知能技術へ積極的に導入されていくことが期待されます。例えば、ソーシャルネットワーキングサービスから得られる複雑で大量のデータの解析において、エンジニアによる学習モデルの高度な調整を補助するような活用が考えられます。また、ニューラルネットワーク深層学習における学習済みネットワークからの知識獲得や、データ・アプリケーションに最適なネットワーク構造の設計を補助する場面での利用可能性もあります。
　さらに、複雑なデータに対するデータ駆動型の解析技術は、より長期的な機械学習・人工知能の研究開発の発展において、人間の能力に迫り、また人間を超えるような人工知能の実現へ向けて今後より一層その重要性が増していくと考えられます。例えば、現在、ニューラルネットワーク深層学習技術は、様々な課題において人間に迫る能力を示すようになりつつあります。そのネットワーク構造は、当初、人間の神経細胞ネットワークからの類推で設計されていましたが、徐々にデータ・アプリケーションに応じた固有の構造に発展しつつあります。データ駆動型のデータ解析技術は、モデル構造自身をデータから積極的に学習できます。近い将来、人間が一生かかっても体験することのできないような膨大なデータを機械が学習できるようになった際には、提案技術を利用することで、人類とは違った進化を遂げた人工知能が生み出される可能性があります。