暗号化したままディープラーニングの標準的な学習処理ができる秘密計算技術を世界で初めて実現

背景

昨今、様々な分野のデジタルトランスフォーメーションが進んでおり、分野横断的なデータの蓄積やAIなどの高度分析がイノベーションを促進し、様々な産業・サービスが発展すると期待されています。その一方で、情報漏洩や不正利用の懸念がデータの提供・利活用促進を阻害する要因となっています。
　NTTはそのような要因の解消に貢献するため、データを暗号化したまま一度も元データに戻さずに処理ができる秘密計算技術の研究開発を世界に先駆けて取り組んできました。NTTが取り組む秘密計算技術は、ISO国際標準^＊3である秘密分散技術を利用して暗号化されたデータを、一度も元データに戻さずに分析を行うため、企業の秘密情報や個人のプライバシーに関わる情報などの情報を安全に、安心して提供し利活用できる社会の実現に貢献すると期待されております。
　今回、NTTはAIのなかでも活用が進み始めているディープラーニングの標準的なアルゴリズムについて、暗号化したまま一度も元データに戻さずに処理できる技術を世界で初めて実現しました。この技術によって、企業秘密や個人のプライバシーにかかわるさまざまな情報を活用する際、データ所有者からのデータ提供の安心感を高めることができ、データの量や種類の増加や、これに伴う精度向上・高度分析の実現につながると考えます。例えば、個人の位置情報やスケジュールを暗号化したまま、天気や企業のイベント情報などと併せて学習することで、最適な飲食店の仕入れや人員リソースの配備を予測することが考えられます。また、さらにこの技術を応用すれば、レントゲン写真、MRI、CTスキャン、顕微鏡写真などの医療データを秘匿しつつ学習し、検査結果に悪性腫瘍があるかなどを高速かつ精度よく判定することが可能になると期待されます。

技術のポイント／特徴

秘密計算ではデータを暗号化したまま一度も元データに戻すことなく処理を行うため、その処理方法は通常の処理方法とは大きく異なります。そのため、暗号化していないデータでは簡単に処理できても秘密計算では実現が難しいという、不得手な処理がありました。秘密計算でこのような処理を行うには新しい技術や工夫が必要となります。
　一般にディープラーニングの学習では、訓練データを入力として、複数の層を順番に処理して学習の途中結果を得て、その途中結果が十分に学習されたものであればそれを最終結果として出力し、そうでなければ途中結果を更新する処理（最適化処理）を行い、もう一度最初の層の処理から一連の処理を繰り返します。複数の層のうち最後の層は出力層と呼ばれ、標準的にはソフトマックス関数と呼ばれる数式を計算します。また、最適化処理ではSGD（Stochastic Gradient Descent）が原始的な手法として知られていますが、繰り返しの回数が多いため、SGDを改善したAdamなどが主に用いられています。これらディープラーニングの標準的な学習処理で用いられるソフトマックス関数やAdamでは、割り算、指数、逆数、平方根を組み合わせた処理を行います。
ディープラーニングの学習を秘密計算で行うとき、従来技術では上にあげた割り算、指数、逆数、平方根が秘密計算にとって不得手な処理なため、秘密計算でソフトマックス関数やAdamを計算することは困難でした。そのため、多くの先行研究は学習・予測のうちこれらを計算しなくてもよい予測のみに絞ったものでした。また、幾つかは学習に取り組んだ先行研究もあるものの、ソフトマックス関数を非常に粗い精度で近似し、且つ最適化処理は標準的にはあまり用いられないSGDしか使用できませんでした。
　今回、NTTは従来では計算が困難であったソフトマックス関数を高速かつ精度良く計算し、さらに主要な最適化処理であるAdamを利用できる秘密計算技術を開発しました。実現方法には2つの異なるアプローチがあり、それぞれの開発を行いました。 1つはソフトマックス関数やAdamを計算するために、あらかじめ入出力の組を並べた対応表を用意し、入力と対応表を暗号化しつつ、入力に対応する出力が得られる秘匿写像と呼ばれる独自技術を利用するアプローチです。もう1つはソフトマックス関数やAdamを構成する割り算、指数、逆数、平方根それぞれについて専用の高速アルゴリズムを開発するアプローチです。前者はFIT2019、後者はCSS2019でそれぞれ発表予定です。
　この技術を用いることで、データを暗号化したまま、標準的なディープラーニングのアルゴリズムを用いて学習することが可能となりました。例えば今回開発した割り算・指数・逆数・平方根の専用アルゴリズムを用いる行う方法では、60,000件の手書き文字を判別するモデル学習^＊4において、1エポックの学習^＊5を5分強で実行することができます。

今後の展開

今後はAIの知見を持つパートナーと連携して実証実験等を行うことで、秘密計算を使ったディープラーニングの効果を実証していきたいと考えております。最終的には誰もが安心してデータの提供と利活用ができる環境を提供していきたいと考えております。

注釈

^＊1ソフトマックス関数:
主にクラス分類などで、ディープラーニングの出力層において計算される関数です。複数の入力 （x₁,...,x_n） から、0から1までの値

^＊2Adaptive moment estimation：
学習でパラメータを更新する最適化処理の一つです。原始的な方法を改良し良い学習結果を得やすく［Ruder16］、多数の機械学習フレームワークでも利用されています。詳細は参考文献[KB15]をご参照ください。
［Ruder16] Sebastian Ruder, An overview of gradient descent optimization algorithms. arXiv:1609.04747, 2016. ［KB15] Diederik P. Kingma, Jimmy Ba, Adam: a Method for Stochastic Optimization. International Conference on Learning Representations, 2015.

^＊3ISO/IEC 19592-2 Information technology-Security techniques-Secret sharing-Part 2：
Fundamental mechanisms.

^＊4MNIST database, http://yann.lecun.com/exdb/mnist/.

^＊5一般に機械学習では訓練データを何度も繰り返し学習しますが、そのうち訓練データを1回学習させることを1エポックの学習と呼びます。