100Gbps仮想ネットワークをリアルタイムに見える化する監視システムを実現
～様々な環境におけるインシデント検知や問題切り分けが可能に～

日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：澤田　純、以下「NTT」）は、100Gbpsのネットワーク帯域を持つ仮想環境におけるトラフィック情報を収集し、リアルタイムに解析を行うトラフィック監視システムを開発しました。
　仮想環境の進展に伴い、物理/仮想ネットワークが混在する様々な環境の高速化が実現されているが、100Gbps帯域のネットワークの中でリアルタイムにトラフィックを監視することは困難でした。本システムは、汎用サーバとFPGA（Field Programmable Gate Array）(※1)で構成され、ハードウェアによるパケット処理技術をベースに、仮想マシン(※2)ごとのパケット情報を収集し、トラフィック監視を高速に行います。
　本システムを、Interop Tokyo（2021年4月14日～16日　幕張メッセ）へ出展し、会場内の100Gbps仮想ネットワークトラフィックを可視化します(＊)。

^(＊)Interop Tokyo 2021：　https://www.interop.jp/ 当該ページを別ウィンドウで開きます
ShowNet：　https://www.interop.jp/shownet/

1．研究の背景

近年、仮想環境を利用し、仮想マシンなどのネットワークリソースを動的に組み替えることで、多様なサービスが提供されており、また100Gbpsの帯域を持つ高速なネットワークを様々なパケットが通る状況となっています。それらのサービスのセキュリティ対策や障害発生時の問題切り分けには、変動する仮想マシン単位のトラフィック状況等を逐次把握する必要があり、性能やコスト面でハードルがありました。これらの課題を解決するために、100Gbpsネットワークに対応した、仮想マシンごとの運用状況を可視化できるトラフィック監視システムを開発しました(図1)。

2．研究の成果

汎用サーバとFPGA搭載NIC(Network Interface Card) で構成することで、 100Gbps仮想ネットワークをリアルタイムに監視できる経済的なトラフィック監視システムを開発しました。複雑にカプセル化(※3)された仮想環境においても、ヘッダ内の20種のフィールドから任意の組み合わせでパケットを識別することができ、仮想マシンごとのパケット情報を収集してリアルタイムに可視化します。監視対象ネットワークからパケットをタップして入力し単独で解析するため、監視対象に影響を及ぼすこともありません。未登録ユーザの不審なトラフィック検知や、DOS攻撃による集中トラフィック(セキュリティインシデント)等の自動検知も可能です。本システムを用いることで、迅速かつ効率的にインシデント検知や障害の予測/解析、ネットワークの復旧を行うことができます（図2）。
　本システムを、Interop Tokyo（2021年4月14日～16日　幕張メッセ）へ出展します。本展示会では、出展社から提供された1500台以上の製品・サービスで構成され、相互接続して運用する、"ShowNet"という巨大プロジェクトがあります。本システムをShowNetへ接続して実利用環境において動作させ、100Gbps仮想トラフィックの可視化を行います。トラフィック状況は、Interop展示会場でリアルタイムに表示させます。

3．技術のポイント

100Gbps帯域を持つ仮想環境に対応するトラフィック監視を行うため、以下に示す開発を行うことで、これまでにない高速なトラフィック監視システムを経済的に実現することができました。

（１）仮想マシン単位の見える化

仮想ネットワークでは、パケットがカプセル化されており、ヘッダフィールドをより深いところまで識別する必要があります。そのため、以下の技術を開発しました。
・識別が必要なヘッダフィールドのみをセレクタで選択してグループ化し、各グループの検索キーを生成し、監視対象を記載したフィルタルールに登録する。
・入力パケットと各グループの検索キーを比較することで、一般的なヘッダフィールド毎に検索する手法よりも、検索に必要なテーブルを小さくでき、メモリ量を削減する
これらの技術により、回路規模をおさえつつ、ヘッダ内の20種のフィールドから任意の組み合わせでパケット識別を可能とし、仮想マシン単位の通信量が宛先やプロトコルごとに可視化でき、詳細な解析が可能となります。

（２）無中断ルール更新

100Gbpsネットワークにおける複数サービス収容時には、サービス状況に応じて監視対象が変わるため、フィルタルールを更新しなければならないが、従来システムではルールを更新する場合には一旦システムを停止する必要がありました。そのため、本開発では、ルールテーブルを現用面と待機面の２面設け、ルール更新の際には待機面にルールを書き込み、面を瞬時に切り替える機構を開発することでこの問題を解決し、動作を停止せず無中断でルールを更新できます。

（３）マイクロバースト検出

トラフィック異常の原因となり得る、瞬間的に膨大に発生したトラフィックをマイクロバーストと呼びます。本開発では100Gbpsの帯域を持つネットワーク上のマイクロバーストをリアルタイムに検知するため、以下の技術を開発しました。
・入力パケットのバイト数をカウントするバイトカウンタを複数に並列化し、ロスなくカウントする
・並列化したそれぞれのバイトカウンタの値を合算し、検出周期での合算値と閾値を比較する
これらの技術により、100Gbpsネットワークにおいて1ミリ秒以下の分解能で検出可能となりました（図3）。従来のソフトウェア監視では難しい、非常に高い分解能でトラフィック量を把握できるため、これまで特定が困難であったネットワーク障害の原因解明に貢献できます。検出前後のパケットをキャプチャする機能も開発中です。
またこれらの高速化を行ったことにより、100Gbps帯域を持つ仮想環境において障害検知（収集した統計情報から、仮想マシンが正常に動作しているか否か等、仮想マシン単位で障害を検出）や未登録フロー検知（障害や攻撃を未然に防ぐために、未登録ユーザの不審な通信を検知）などの高度な機能も実現しています。

4．今後の展開

今後は、オーケストレータ等、他システムとの連携を視野に、インシデントや障害の検知から解決まで、より高度な機能の実現をめざします。

【用語解説】

^※1：FPGA（Field Programmable Gate Array）
製造後に購入者や設計者が構成を設定できる集積回路であり、現場でプログラム可能なゲートアレイであることから、このように呼ばれています。専用のチップを設計・製造するよりエンジニアリングコストが低い点などが多くの用途で利点となっています。

^※2：仮想マシン
コンピュータやサーバ上に、ソフトウェアによって仮想的に構築したマシンのことです。CPUリソース、記憶リソースを内部で複数のOSなどで共有することで、運用コストなどを下げることができます。VM（Virtual Machine）と記述されることも多くあります。

^※3：カプセル化
複数の仮想マシン・仮想ネットワークを構成するときに、ある仮想マシンから発出され、仮想ネットワークを流れるパケットはその仮想マシン・仮想ネットワークのパケットヘッダを付加され、カプセルに包まれた状態となり、これをカプセル化と言います。このときパケットのヘッダ構成はより複雑化し、フローごとの解析を行う工夫が必要となります。