JP4112584B2

JP4112584B2 - 異常トラヒック検出方法及び装置

Info

Publication number: JP4112584B2
Application number: JP2005364484A
Authority: JP
Inventors: 圭介石橋; 裕廣川; 淳史小林; 公洋山本; 亮一川原; 達哉森
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-12-19
Filing date: 2005-12-19
Publication date: 2008-07-02
Anticipated expiration: 2025-12-19
Also published as: JP2007173907A

Description

本発明は、異常トラヒック検出方法及び装置に係り、特に、コンピュータネットワークのトラヒックの異常を検出する方法および装置に関するものである。

インターネットにおける特定サーバに対する攻撃などの異常トラヒックの増加に伴い、異常トラヒックの検出手法に対する要求が高まっている。
現状の異常トラヒック検出手法は、シグネチャに基づくものと、統計情報に基づくものに大別される。
前者は、予め異常と判断されたトラヒックパターンをシグネチャとして用意しておき、観測トラヒックと同シグネチャを比較することによって観測トラヒックが異常か否かを判断するものである。
同手法は、観測トラヒックが異常か否かを確実に判断できる半面、すべての異常トラヒックパターンを用意することが困難であること、特に、シグネチャが得られていない新規の異常トラヒックを検知することが出来ないという問題がある。

統計情報に基づく手法は、過去の観測トラヒック履歴から統計情報を作成しておき、新規に観測したトラヒックが異常か否かを、過去のトラヒックから統計的に逸脱しているか否かで判断するものである。観測対象としては、パケット数などの総トラヒック量に基づくものが一般的である。
しかしながら、総トラヒック量観測に基づく統計的異常検出では、総トラヒックの変化として現れないようなトラヒックデータ中の一部の変化による異常検出が困難、また、異常検出した後の異常原因特定が困難という問題がある。
一方、総トラヒック量監視ではなく、指定フィールド（例えば、送信ＩＰアドレスフィールド）のフィールド値毎の指定カウンタ（例えば、送信ＩＰアドレス毎のパケット数もしくは送信ＩＰアドレス毎のバイト数）を保持し、このカウンタ値の統計情報から異常検出する手法では、このような問題はなく、一部の送信ＩＰアドレスのパケット数の変化の検出、また、変化を起こした送信ＩＰアドレスの特定が可能である。
しかしながら、この方式では観測されるフィールド値の数と同じ数のカウンタを必要とし、多数のフィールド値が発生するトラヒックに、この方式を適用するためには、膨大なメモリを必要とするため、実現が困難である。

なお、本願発明に関連する先行技術文献としては以下のものがある。
特開２００５-６５２９４号公報 Robert Schweller，Ashish Gupta，Elliot Parsons，Yan Chen，"Reversible Sketches for Efficient and Accurate Change Detection over Network Data Streams，"Proceedings of the ACM SIGCOMM Internet Measurrment Conference;(IMC)，Octber2004. C.Estan and G.Varghese，"New directions in traffic measurement and accounting，"in Proc.ACM SIGCOMM，August 2002. G.Cormode and S.Muthukrishnan. WHat's hot and what's not: Tracking most frequent items dynamically. In Proceeding of ACM Principles of Database sSystems，June 2003. RFC 3577-Introduction to the Remote Monitoring(RMON)Family of MIB Modules Benoit Claise，"NetFlow features update，"Proceedings of Sampling 2005,July 2005

前述した課題を解決するために、前述の特許文献１では、フィールド値毎のカウンタではなく、スケッチと呼ばれる、フィールド値をハッシュ関数等で固定領域の数値に変換した値毎のカウンタを持つことにより、多数のフィールド値のカウンタを固定サイズのメモリ容量で監視する方式を提案している。
しかしながら、この方式では、フィールド値がハッシュ関数によって変換されているため、異常検出した後に、異常原因となったフィールド値を特定するのが困難という問題がある。前述の非特許文献１において、この困難さを緩和する方法が提案されているものの、異常原因特定のために繰り返し演算が必要であり、計算量の面での課題が残る。
一方、トラヒック監視に重要な、カウンタ値が大きいフィールド値のみを、限られたメモリ容量で抽出する手法が、前述の非特許文献２、３で提案されている。
また、ネットワーク機器によっては、前述の非特許文献４、５に記載されているように、カウンタ値の大きい順の上位Ｎ個のフィールド値、およびそのカウンタ値を出力する方式を実装しているものもある。

しかし、これら上位Ｎフィールド値およびカウンタ値を抽出する手法では、ある時点における上位Ｎフィールド値およびカウンタ値データのスナップショットを提供するのみであり、時系列上の上位Ｎフィールド値データの異常を検出するものではない。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、少ないメモリ容量で監視可能であり、かつ、監視対象として重要な上位Ｎ個のフィールド値とカウンタ値のデータを監視し、その時系列上の異常を検出する異常トラヒック検出方法および装置を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の目的を達成するために、本発明は、時系列トラヒックデータ中の異常を検出する異常トラヒック検出方法であって、トラヒックデータを取得する第１のステップと、監視対象となる少なくとも１つのフィールド、およびそのフィールドに対するカウンタの種類を指定する第２のステップと、取得したトラヒックデータから、予め定められた時間間隔で、指定されたフィールドの指定カウンタに対する上位Ｎ（Ｎ≧２）個のフィールド値、およびそのカウンタ値を算出する第３のステップと、算出した上位Ｎ個のフィールド値と、そのカウンタ値データを蓄積し、新規に算出されたデータと過去のデータとの類似度を計算する第４のステップと、計算された類似度が、予め定められた閾値を下回っていれば異常として警報を発し、かつ類似度が低下した原因と推定されるフィールド値を抽出する第５のステップとを含むことを特徴とする。
また、本発明では、前記第４のステップにおいて算出する類似度が、新規に算出された上位Ｎフィールド値のカウンタ値と、当該フィールド値の過去のカウンタ値との相関係数に基づくものである。

また、本発明では、前記第４のステップにおいて算出する類似度が、ある過去の監視期間における上位Ｎフィールド値のカウンタ値と、該フィールド値の新規算出されたカウンタ値との相関係数に基づくものである。
また、本発明では、前記第４のステップにおいて算出する類似度が、新規に算出された上位Ｎフィールド値のカウンタ値と、過去に算出された上位Ｎフィールド値の同一順位のカウンタ値との相関係数に基づくものである。
また、本発明では、前述の各方法において、前記の前記第４のステップにおいて算出する類似度として、前記相関係数に代えて、カウンタ値間の距離の和に基づくものを使用する。
また、本発明では、前記第４のステップにおいて算出する類似度が、新規に算出された上位Ｎフィールド値の順位と、当該フィールド値の過去の順位との相関係数に基づくものである。
また、本発明では、前記第４のステップにおいて算出する類似度が、ある過去の監視期間における上位Ｎフィールド値の順位と、該フィールド値の新規算出されたカウンタ値における順位との相関係数に基づくものである。
また、本発明では、前記第４のステップにおいて算出する類似度が、過去に算出されたデータから算出されたフィールド値毎のカウンタ値の時系列予測と、新規に算出された上位Ｎフィールド値のカウンタ値との誤差に基づくものである。

また、本発明では、前記第５のステップにおいて、上位Ｎフィールド値をカウンタ値間の距離に関して降順に並べた際に、上位のものから当該フィールド値のカウンタ値を類似度の算出から省いた場合に閾値を下回らなくなるフィールド値を、前記類似度が低下した原因のフィールド値として推定する。
また、本発明では、前記第５のステップにおいて、上位Ｎフィールド値を順位の距離に関して降順に並べた際に、上位のものから当該フィールド値の順位を類似度の算出から省いた場合に閾値を下回らなくなるフィールド値を、前記類似度が低下した原因のフィールド値として推定する。
また、本発明では、前記第５のステップにおいて、上位Ｎフィールド値毎のカウンタ値の時系列予測と、新規に算出された上位Ｎフィールド値のカウンタ値の誤差の距離に関して降順に並べた際に、上位のものから該フィールド値のカウンタ値を類似度の算出から省いた場合に閾値を下回らなくなるフィールド値を、前記類似度が低下した原因のフィールド値として推定する。
また、本発明は、前述の各異常トラヒック検出方法を実行する異常トラヒック検出装置である。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、少ない容量のメモリで監視可能な上位Ｎ個のフィールド値およびそのカウンタ値データのみを監視することにより、それらデータの異常を検出し、かつ異常の原因となるフィールド値を検出することが可能となる。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図１は、本発明の実施例の異常トラヒック検出装置の基本構成を示すブロック図である。本実施例の異常トラヒック検出方法装置は、ＩＰネットワーク中に配置される。
トラヒック取得部１０は、ネットワーク内のリンク上、およびネットワーク内部のノード内で転送されるトラヒック情報を取得し、取得トラヒック情報を上位Ｎフィールド値算出部１２に転送する。
フィールド、カウンタ種類指定部１１は、上位Ｎフィールド値算出部１２に対して、フィールド、カウンタ種類を指定する。ここで、フィールドの指定例としては、ヘッダ情報である発信ＩＰアドレス、受信ＩＰアドレス、｛発信ＩＰナドレス、受信ＩＰアドレス、プロトコル、発信ポート番号、受信ポート番号｝の組（通常フローと呼ばれる）や、ペイロード情報であるＵＲＩ、ＤＮＳドメイン名が挙げられる。
カウンタ種類の指定例としては、パケット数、バイト数、発信・受信ＩＰアドレスのフィールド値に対しては、フロー数、ＵＲＩ、ＤＮＳドメイン名等のフィールド値に対しては、発信ＩＰアドレス数などが挙げられる。
上位Ｎフィールド値算出部１２は、トラヒック取得部１０からのトラヒック情報を受け、フィールド、カウンタ種類指定部１１から指示された、指定フィールドの指定カウンタに関する上位Ｎ個のフィールド値、カウンタ値の組を算出する。

図２に、指定フィールドとして、発信ＩＰアドレス、カウンタ値としてパケット数を指定した場合の上位Ｎフィールド値算出部１２の出力の一例を示す。ここでは、Ｎ＝５、出力間隔５分間としている。
類似度算出部１３は、出力された上位Ｎ個のフィールド値とそのカウンタ値のデータを過去のデータと比較し、最新のデータが過去データとどの程度類似しているかを算出する。
類似度の算出方法は様々な方法が考えられるが、本実施例では、過去データとの相関係数を用いている。
以下、類似度の算出方法の一例について説明する。
時間スロット（ｔ）におけるランキングｉ位のフィールド値をｆ（ｉ，ｔ）とし、時間スロット（ｔ）におけるフィールド値ｆのカウンタ値をｃ（ｆ，ｔ）とする。
したがって、図２の例では、ｆ（１，１）＝１９２．１６８．０．１，ｆ（１，２）＝１９２．１６８．０．２であり、ｃ（ｆ（１，１），１）＝５０００，ｃ（ｆ（１，１），２）＝６０００となる。
このとき、本実施例の第２の方法（本願の請求項１に記載の方法）では、時間スロット（ｔ）の上位Ｎ（Ｎは自然数で、Ｎ≧２）個のフィールド値のそのカウンタ値データと、直近データである時間スロット（ｔ−１）のデータとの相関係数ｒ（ｔ，ｔ−１）を、下記（１）式を用いて計算する。

ここで、ｃ_ａｖｇ（ｔ）、ｃ_ａｖｇ（ｔ−１）は、それぞれ時刻スロット（ｔ，ｔ−１）における、ｆ（ｉ，ｔ）のカウンタ値の平均であり、それぞれ、下記（２）式、（３）式で表される。

前述の（１）式で示されるように、相関係数は、「−１」から「１」の値をとり、時刻スロット（ｔ，ｔ−１）において、上位Ｎ個のフィールド値およびそのカウンタ値が同一であれば、相関係数ｒ（ｔ，ｔ−１）は「１」である。したがって、相関係数が「１」に近いほど類似していることを示す。
なお、例えば、図２における時刻スロット３の１位のフィールド値”１０．０．０．１”に対する時刻スロット２におけるカウンタ値のように、時刻スロット（ｔ）には上位Ｎ個に現れたフィールド値が、時刻スロット（ｔ−１）には上位Ｎ個以内には存在せず、対応するカウンタ値データが存在しないことも考えられる。その場合は、例えば、そのようなカウンタ値を「０」として相関係数を計算する方法が考えられる。
図３は、図２の例における時刻スロット２と、時刻スロット３のカウンタ値を図示したものである。
通常のトラヒックでは、一定間隔で算出した上位Ｎ個のフィールド値とそのカウンタ値データは、その他のフィールド値とそのカウンタ値データと比較して、大数の法則により変化が少なく、互いに類似していることが予想される。
図４は、ある２４時間のトラヒックデータの上位１００フィールド値のデータについて、隣り合う時刻スロット間の相関係数ｒ（ｔ，ｔ−１）の時系列を示したものである。
殆どの時刻で予想される通り、上位１００個のデータは類似しており、相関係数は、（０．９５〜１）の間であるが、３時および２０時付近に相関係数の急激な落ち込みが見られる。
これは、この時間帯に他の時間帯では下位に存在したフィールド値が、急激に上位に現れたためである。

一方、過去データに現れた上位Ｎ個のフィールド値が新規データになかった場合の異常を検出するためには、過去の上位Ｎフィールド値に基づくカウンタ値の相関係数を計算する必要がある。本実施例の第３の方法はそのような相関係数を計算する手法である。
また、短時間で発生終了するフローなどのフィールドの場合、上位Ｎフィールド値の変動は大きいが、対応するカウンタ値は比較的変動が小さいことが予想される。
この場合は、フィールド値を固定して、対応する過去と新規のカウンタ値の相関係数を比較するより、それぞれ順位を固定して、対応する過去と新規のカウンタ値の相関係数を比較する方法が有効な場合も考えられる。
本実施例の第４の方法においては、このような場合において各順位の対応するカウンタ値の相関係数を用いる。
本実施例の第５の方法（本願の請求項２に記載の方法）においては、前述の第２，３，４の方法において、相関係数でなく、過去と新規データにおけるカウンタ値間の差の絶対値の和の逆数を用いるものである。本方法は、相関係数のように、「−１」から「１」に正規化した類似度ではなく、カウンタ値の差の絶対値を重視した異常検出を実施したい場合に有用である。

また、上位Ｎフィールド値は得られるが、そのカウンタ値が得られない場合、得られるが変動が大きい場合等はカウンタ値ではなく、順位の変動を用いる方法も考えられる。
本実施例の第６の方法は、このような場合において、カウンタ値を利用せずに順位に基づく異常検出を行うものである。
ここで、時間スロット（ｔ）におけるランキングｉ位のフィールド値をｆ（ｉ，ｔ）とし、時間スロット（ｔ）の上位Ｎ（Ｎは自然数で、Ｎ≧２）個のフィールド値の順位をｒ（ｆ、ｔ）とするとき、順位の相関係数ｒ_ｃ（ｔ，ｔ−１）は、下記（４）式で計算される。
さらに、過去データに現れた上位Ｎ個のフィールド値が新規データになかった場合の異常を検出するためには、過去の上位Ｎフィールド値に基づく順位の相関係数を計算する必要がある。本実施例の第７の方法は、そのような順位の相関係数を計算する方法である。

本実施例の第８の方法においては、過去の上位フィールド値のカウンタ値の観測データに基づき、上位Ｎフィールド値毎の時系列予測を、例えば、ＡＲＩＭＡモデルなどの線形予測モデルなどで生成し、新規の上位Ｎフィールド値のカウンタ値と予測値との差の絶対値の和の逆数を類似度として計算する。
本方法は、線形予測モデルを生成するために計算量が多くなる反面、トレンド、周期変動等を異常検出の対象から除くことが出来ると期待される。

異常判定、異常原因特定部１４では、類似度算出部１３が出力した類似度が、予め定められた閾値を下回っていないかを比較し、下回っている場合は警報を発する。
閾値の定め方の一例としては、過去の類似度のデータから統計分布を生成し、その９９％値を閾値とする方法が考えられる。さらに、閾値を下回っている場合は、その原因と推定されるフィールド値を抽出する。
抽出方法の一例として、本実施例の第９の方法（本願の請求項３に記載の方法）では、過去と新規のカウンタ値の差の絶対値に関して降順に並べた際に、上位のものから当該フィールド値のカウンタ値を類似度の算出から省いた場合に閾値を下回らなくなるフィールド値を、類似度が低下した原因のフィールド値として推定する。
図３の例では、傾き１の直線から最も離れているフィールド値から類似度低下原因のフィールド値かどうかを計算することになり、まずフィールド値”１０．０．０．１”が類似度低下原因となっているかどうかを計算することになる。
また、本実施例の第１０の方法では、上位Ｎフィールド値を順位の距離に関して降順に並べた際に、上位のものから当該フィールド値の順位を類似度の算出から省いた場合に閾値を下回らなくなるフィールド値を、前記類似度が低下した原因のフィールド値として推定する。

さらに、本実施例の第１１の方法では、上位Ｎフィールド値毎のカウンタ値の時系列予測と、新規に算出された上位Ｎフィールド値のカウンタ値の誤差の距離に関して降順に並べた際に、上位のものから該フィールド値のカウンタ値を類似度の算出から省いた場合に閾値を下回らなくなるフィールド値を、前記類似度が低下した原因のフィールド値として推定する。
通常のトラヒックでは、一定間隔で算出した上位Ｎ個のフィールド値とそのカウンタ値データは、その他のフィールド値とそのカウンタ値データと比較して、大数の法則により変化が少なく、互いに類似していることが予想される。
従って、本実施例によれば、過去のデータとの類似度を監視することにより、上位Ｎ個のフィールド値とそのカウンタ値データに異常があった場合、類似度の低下をもって比較的容易に統計的異常度を検出でき、かつその要因となるフィールド値の検出も容易という利点がある。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明の実施例の異常トラヒック検出装置の基本構成を示すブロック図である。上位Ｎフィールド値およびそのカウンタ値の一例を示す図である。図２に示す例において、時刻スロット２時刻とスロット３のカウンタ値の関係を示すグラフである。上位Ｎフィールド値とそのカウンタ値の、隣り合う時刻スロット間の相関係数の一例を示す図である。

符号の説明

１０トラヒック取得部
１１フィールド、カウンタ種類指定部
１２上位Ｎフィールド値算出部
１３類似度算出部
１４異常判定、異常原因特定部

Claims

時系列トラヒックデータ中の異常を検出する異常トラヒック検出方法であって、
トラヒックデータを取得する第１のステップと、
監視対象となる少なくとも１つのフィールド、およびそのフィールドに対するカウンタの種類を指定する第２のステップと、
取得したトラヒックデータから、予め定められた時間間隔で、指定されたフィールドの指定カウンタに対する上位Ｎ（Ｎ≧２）個のフィールド値、およびそのカウンタ値を算出する第３のステップと、
算出した上位Ｎ個のフィールド値と、そのカウンタ値データを蓄積し、新規に算出されたデータと過去のデータとの類似度を、新規に算出された上位Ｎフィールド値のカウンタ値と、当該フィールド値の過去のカウンタ値との相関係数に基づいて計算する第４のステップと、
計算された類似度が、予め定められた閾値を下回っていれば異常として警報を発し、かつ類似度が低下した原因と推定されるフィールド値を抽出する第５のステップとを含むことを特徴とする異常トラヒック検出方法。
前記第４のステップにおいて算出する類似度として、前記相関係数に代えて、カウンタ値間の距離の和に基づくものを使用することを特徴とする請求項１に記載の異常トラヒック検出方法。
前記第５のステップにおいて、上位Ｎフィールド値をカウンタ値間の距離に関して降順に並べた際に、上位のものから当該フィールド値のカウンタ値を類似度の算出から省いた場合に閾値を下回らなくなるフィールド値を、前記類似度が低下した原因のフィールド値として推定することを特徴とする請求項１または請求項２のいずれか１項に記載の異常トラヒック検出方法。
時系列トラヒックデータ中の異常を検出する異常トラヒック検出装置であって、
トラヒックデータを取得する手段と、
監視対象となる少なくとも１つのフィールド、およびそのフィールドに対するカウンタの種類を指定する手段と、
取得したトラヒックデータから、予め定められた時間間隔で、指定されたフィールドの指定カウンタに対する上位（Ｎ≧２）個のフィールド値、およびそのカウンタ値を算出する手段と、
算出した上位Ｎ個のフィールド値とそのカウンタ値データを蓄積し、新規に算出されたデータと過去のデータとの類似度を、新規に算出された上位Ｎフィールド値のカウンタ値と、当該フィールド値の過去のカウンタ値との相関係数に基づいて計算する手段と、
計算された類似度が、予め定められた閾値を下回っていれば異常として警報を発し、かつ類似度が低下した原因と推定されるフィールド値を抽出する手段とを含むことを特徴とする異常トラヒック検出装置。