JP6564799B2 - 閾値決定装置、閾値決定方法及びプログラム - Google Patents

Description

本発明は、閾値決定装置、閾値決定方法及びプログラムに関する。

コンピュータシステムのリアルタイムな異常検知の方法として、システム上の様々なデータを定期的に観測し、データが正常時と異なる傾向を示した場合に「異常」として検知するアルゴリズムが考えられる。

例えば、予め正常時として定義された「学習期間」のデータが教師データとして用いられて学習され、異常検知を行う「テスト期間」においては、観測されたテストデータの傾向と、学習した教師データの傾向との比較が行われる異常検知アルゴリズムが考えられる。

異常検知アルゴリズムとしては様々な手法が提案されているが、その多くにおいてアルゴリズムの出力は、観測されたテストデータの正常状態からの距離で定義される異常度となる。そのため、異常検知を行う際には異常の有無を判断するための異常度の閾値を定める必要がある（例えば、非特許文献１、非特許文献２参照）。

河嵜光毅，吉川大弘，古橋武，"時系列データの異常検出を目的とした深層学習における再構築誤差の利用可能性に関する検討"，The 29th Annual Conference of the Japanese Society for Artificial Intelligence, 2015 Chandola, Varun, Arindam Banerjee, and Vipin Kumar. "Anomaly detection: A survey." ACM computing surveys (CSUR) 41.3 (2009): 15.

異常検知に用いられる閾値の設定が低い場合には、多くの異常を検知できる一方で、実際には異常ではない場合に「異常」と判断してしまう誤検知が増える要因となる。一方、閾値の設定が高い場合には誤検知が少なくなるが、実際に異常である場合に「異常」と判断できない見逃しが増える要因となる。そのため、閾値は目的に応じて適切に定める必要があるが、人手を用いた閾値の設定はオペレータの稼働を増やす要因となり、閾値を自動的に決定するための工夫が必要となる。

本発明は、上記の点に鑑みてなされたものであって、異常検知に用いられる閾値を自動的に決定することを目的とする。

そこで上記課題を解決するため、閾値決定装置は、異常の検知対象から収集されたデータを学習した学習結果と、テスト期間において異常の検知対象から観測されたデータとに基づいて異常度を算出し、当該異常度を閾値と比較することで異常の発生を検知する検知部と、異常の見逃し及び誤検知の有無に基づいて前記閾値を決定する閾値決定部とを有し、前記閾値決定部は、単位時間ごとに誤検知の回数及び見逃しの回数を計算し、一定期間分の誤検知の回数及び見逃しの回数の計算が終了した場合、誤検知の回数の標準偏差及び見逃しの回数の標準偏差を計算し、前記計算された誤検知の回数及び誤検知の回数の標準偏差と、前記計算された見逃しの回数及び見逃しの回数の標準偏差に基づいて、前記閾値の増減量を計算する。

異常検知に用いられる閾値を自動的に決定することができる。

第１の実施の形態におけるシステム構成例を示す図である。 第１の実施の形態における異常検知装置１０のハードウェア構成例を示す図である。 第１の実施の形態における異常検知装置１０の機能構成例を示す図である。 第１の実施の形態における学習処理の処理手順の一例を説明するためのフローチャートである。 第１の実施の形態における検知処理の処理手順の一例を説明するためのフローチャートである。 オートエンコーダを説明するための図である。 第１の実施の形態における閾値決定処理の処理手順の一例を説明するためのフローチャートである。 第２の実施の形態における閾値決定処理の処理手順の一例を説明するためのフローチャートである。 第３の実施の形態における閾値決定処理の処理手順の一例を説明するためのフローチャートである。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態におけるシステム構成例を示す図である。図１において、ネットワークＮ１は、異常の検知対象とされるネットワークである。ネットワークＮ１は、ルータやサーバ装置等の複数のノードが相互に接続されることによって構成され、所定のサービスを提供するために任意のノード間においてパケットの送受信が行われる。

ネットワークＮ１の複数箇所には測定装置２０が配置されている。測定装置２０は、配置箇所を監視することで得られる観測データを複数のタイミングで採取する。収集される観測データの一例として、ＭＩＢ（Management Information Base）データ、ＮｅｔＦｌｏｗによるフローデータ、ＣＰＵ使用率等が挙げられる。

ＭＩＢは、ネットワーク機器を監視するためのメーカ間の共通ポリシーである。ＭＩＢデータは、例えば、５分単位で集約され、「時刻、ホスト名、インターフェース（ＩＦ）名、入力データ量（ｉｂｐｓ）、出力データ量（ｏｂｐｓ）」等を含む。

ＮｅｔＦｌｏｗは、フロー単位でのネットワーク監視をおこなう技術であり、通信が終了した段階でそのフローに関する情報が出力される。また、フローとは、「何処」と「何処」が「どのような通信」を「どれだけの量」行っているかを把握するための単位をいい、通信の送り手側のＩＰアドレス（ｓｒｃＩＰ）、送り手側のポート番号（ｓｒｃｐｏｒｔ）、受け手側のＩＰアドレス（ｄｓｔＩＰ）、受け手側のポート番号（ｄｓｔｐｏｒｔ）、通信プロトコル（ｐｒｏｔｏ）の５属性によりまとめられる。フローデータは、「フロー開始時刻、ｓｒｃＩＰ、ｓｒｃｐｏｒｔ、ｄｓｔＩＰ、ｄｓｔｐｏｒｔ、ｐｒｏｔｏ、フロー継続時間、総送信パケット数、総送信バイト数」等を含む。

ＣＰＵ使用率は、例えば、ネットワークＮ１に含まれるサーバ装置又はルータ等のＣＰＵの使用率である。

測定装置２０によって採取された観測データは、異常検知装置１０によって収集される。異常検知装置１０は、収集された観測データから、正常時の特徴を学習し、学習結果に基づいて、その後に入力される観測データについて、異常の発生を検知する（異常の有無を判定する）コンピュータである。なお、正常時の特徴の学習が行われる処理を「学習処理」といい、学習処理が行われる期間を「学習期間」という。学習処理において学習された結果に基づいて異常の検知が行われる処理を「テスト処理」といい、テスト処理が行われる期間を「テスト期間」という。

異常検知装置１０には、実際に異常が発生したときの情報を記録する異常記録装置３０が接続されている。異常記録装置３０は、ネットワークオペレータ等がネットワークＮ１の障害情報を記録するためのコンピュータである。例えば、異常記録装置３０には、ｒｅｄｍｉｎｅと呼ばれるプロジェクト管理ソフトウェアを利用することができる。異常記録装置３０には、情報入力時刻、障害情報及びログサンプル等が記録される。情報入力時刻は、ネットワークオペレータ等が障害情報を入力した時刻であり、障害情報は、ネットワークオペレータが入力した情報の内容であり、ログサンプルは、ネットワークオペレータ等が測定装置２０から取得したｓｙｓｌｏｇ等のメッセージである。なお、ｓｙｓｌｏｇは、測定装置２０がログメッセージをネットワーク上で転送するための規格であり、ｓｙｓｌｏｇで転送されるログメッセージは、「時刻、メッセージ、ホスト」等を含む、時刻はメッセージが測定装置２０により出力された時刻である。ここでは、このログサンプル内の時刻を、異常が発生した異常発生時刻として扱う。

図２は、第１の実施の形態における異常検知装置１０のハードウェア構成例を示す図である。図２の異常検知装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

異常検知装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って異常検知装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

図３は、第１の実施の形態における異常検知装置１０の機能構成例を示す図である。図３において、異常検知装置１０は、受信部１１、学習処理制御部１２、前処理部１３、学習部１４、検知処理制御部１５、検知部１６、異常発生情報取得部１７及び閾値決定部１８等を有する。これら各部は、異常検知装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。異常検知装置１０は、また、教師データ記憶部１２１、パラメータ記憶部１２２、観測データ記憶部１２３、学習結果記憶部１２４、学習データ記憶部１２５、検知結果記憶部１２６及び異常発生情報記憶部１２７等を利用する。これら各記憶部は、例えば、補助記憶装置１０２、又は異常検知装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

教師データ記憶部１２１には、予め正常時に収集されたことが確認されている観測データが教師データとして記憶されている。但し、教師データは、観測データから選別されるのではなく、人為的に作成されてもよい。

受信部１１は、測定装置２０から観測データを受信する。受信された観測データは、観測データ記憶部１２３に記憶される
学習処理制御部１２は、学習処理を制御する。

前処理部１３は、教師データの集合、観測データの集合、又は学習データ記憶部１２５に記憶されている学習データの集合について前処理を実行する。前処理とは、データ集合からの単位時間ごとの特徴量の抽出や、抽出された特徴量の正規化等の処理である。特徴量は、数値ベクトルの形式で表現される。なお、１回目の学習時には、教師データ記憶部１２１に記憶されている教師データ群が前処理の対象とされる。受信部１１によって観測データの受信が開始されると、観測データ群が前処理の対象とされる。更に、検知部１６による異常の検知が開始され、正常であると判定され、学習データとして学習データ記憶部１２５に記憶された観測データが所定数に達すると、当該学習データ群が前処理の対象とされてもよい。

前処理部１３は、また、教師データ群又は学習データ群について前処理を実行する際に、観測データ又は学習データを正規化するためのパラメータ（以下、「正規化パラメータ」という。）を生成又は更新し、生成又は更新された正規化パラメータをパラメータ記憶部１２２に記憶する。

学習部１４は、教師データ又は学習データに基づいて学習を実行する。学習部１４による学習結果は、学習結果記憶部１２４に記憶される。

検知処理制御部１５は、検知処理を制御する。

検知部１６は、観測データ記憶部１２３に記憶されている観測データが前処理部１３によって前処理されることで生成される数値ベクトルと、学習結果記憶部１２４に記憶されている学習結果とに基づいて異常の発生を検知する。具体的には、検知部１６は、前処理された数値ベクトルについて、学習結果との違いを異常度として算出し、当該異常度を閾値と比較することで異常の発生を検知する。閾値は予め設定されるが、以下に説明するように閾値決定部１８において適切な値に更新される。異常が検知されなかった数値ベクトルの正規化前の値は、学習データとして学習データ記憶部１２５に記憶されてもよい。また、検知部１６は、単位時間ごとの検知有無、算出された異常度等を検知結果記憶部１２６に記憶する。

異常発生情報取得部１７は、異常記録装置３０から、異常が発生した異常発生時刻を取得し、異常発生情報記憶部１２７に記憶する。異常発生時刻は、定期的に（例えば、１日１回）取得されるものとしてよい。

閾値決定部１８は、誤差を考慮して、異常発生情報記憶部１２７に記憶されている異常発生時刻前後の一定の時間帯に実際に異常が発生したとみなし、検知結果記憶部１２６に記憶されている検知有無と照合して、異常の見逃し及び誤検知の有無を判断する。その結果、閾値決定部１８は、検知部１６において異常度との比較に用いられる閾値を決定する。

以下、異常検知装置１０が実行する処理手順について説明する。図４は、第１の実施の形態における学習処理の処理手順の一例を説明するためのフローチャートである。なお、以下においては、便宜上、フローデータが処理対象である例について示す。

学習処理が開始されると、学習処理制御部１２は、教師データ記憶部１２１から教師データ群を取得し、当該教師データ群を前処理部１３へ入力する（Ｓ１０１）。

続いて、前処理部１３は、入力された教師データ群を、単位時間ごとの集合に分割する（Ｓ１０２）。なお、教師データ記憶部１２１には、単位時間×Ｕの期間（学習期間）分の教師データが記憶されていることとする。したがって、教師データ群は、Ｕ個の集合に分割される。

続いて、前処理部１３は、分割された集合ごとに、目的に応じた特徴量を抽出し、抽出された特徴量を各次元の要素とする多次元数値ベクトルを生成する（Ｓ１０３）。

例えば、単位時間が１分で、前処理部１３が、１分間ごとの特徴量を抽出するとする。また、特徴量を、各プロトコル（ＴＣＰ、ＵＤＰ）の全送信バイト数であるとする。この場合、先頭の教師データのフロー開始時刻が１２：００：００であるとすると、前処理部１３は、全教師データのうち、フロー開始時刻ｔが１１：５９：００＜＝ｔ＜１２：００：００であるような教師データ（フローデータ）の集合について、プロトコルがＴＣＰである全フローの全送信バイト数、プロトコルがＵＤＰである全フローの全送信バイト数等を計算し、それらの特徴量を各次元の要素とする２次元数値ベクトルを生成する。（Ｕ−１）個の他の集合についても同様に、数値ベクトルが生成される。

なお、特徴量の属性としては、「ＴＣＰかつ送信ポート番号が８０」のような組合せとして指定することも可能である。また、各フローが「フロー数：１」のような値を持つと見なせば、各属性を持つフローの総フロー数についても同様に計算し、特徴量としてみなすことが可能である。

続いて、前処理部１３は、各数値ベクトルにおける各メトリックｉ（各次元ｉ）の最大値ｘｍａｘ＿ｉを算出し、算出したｘｍａｘ＿１をパラメータ記憶部１２２に記憶する（Ｓ１０４）。すなわち、第１の実施の形態において、各メトリックｉの最大値ｘｍａｘ＿ｉが、正規化パラメータである。

ここで、Ｕ＝３とする。また、ステップＳ１０３において生成された数値ベクトルが｛｛８０，２０｝，｛９０，３５｝，｛１００，５０｝｝であるとする。これは、或る３分におけるＴＣＰの総送信バイト数及びＵＤＰの総送信バイト数がそれぞれ「ＴＣＰ：８０ｂｙｔｅ，ＵＤＰ：２０ｂｙｔｅ」、「ＴＣＰ：９０ｂｙｔｅ，ＵＤＰ：３５ｂｙｔｅ」、「ＴＣＰ：１００ｂｙｔｅ，ＵＤＰ：５０ｂｙｔｅ」であったことを示す。この場合、これらの数値ベクトルの各メトリックの最大値ｘｍａｘ＿ｉは、｛１００，５０｝である（すなわち、ｘｍａｘ＿１＝１００，ｘｍａｘ＿２＝５０である）。

続いて、前処理部１３は、正規化パラメータに基づいて、各数値ベクトルを正規化する（Ｓ１０５）。正規化は、各数値ベクトルのメトリックｉの値が最大値ｘｍａｘ＿ｉによって除されることにより行われる。したがって、正規化された数値ベクトルは、｛｛０．８，０．４｝，｛０．９，０．７｝，｛１，１｝｝となる。

続いて、学習部１４は、当該数値ベクトルについて学習器を利用して学習する（Ｓ１０６）。学習結果は、学習結果記憶部１２４に記憶される。

続いて、学習処理制御部１２は、学習データ記憶部１２５に、学習期間分の学習データが記憶（蓄積）されるのを待機する（Ｓ１０７）。すなわち、Ｕ個の正規化前の数値ベクトルが学習データ記憶部１２５に記憶されるまで待機が継続する。なお、学習データ記憶部１２５には、検知部１６によって正常である（異常が発生していない）と判定された数値ベクトルが記憶される。

学習期間分の数値ベクトルが学習データ記憶部１２５に記憶されると（Ｓ１０７でＹｅｓ）、学習処理制御部１２は、学習データ記憶部１２５から数値ベクトル群を取得し、当該数値ベクトル群を前処理部１３へ入力する（Ｓ１０８）。なお、取得された数値ベクトル群は、学習データ記憶部１２５から削除される。続いて、当該数値ベクトル群について、ステップＳ１０４以降が実行される。したがって、次のステップＳ１０５では、新たに計算されるｘｍａｘ＿ｉに基づいて正規化が行われる。

図５は、第１の実施の形態における検知処理の処理手順の一例を説明するためのフローチャートである。図５の処理手順は、図４のステップＳ１０６が少なくとも１回実行された後であれば、いつ開始されてもよい。すなわち、図５の処理手順は、図４の処理手順と並行して実行される。

ステップＳ２０１において、検知処理制御部１５は、単位時間の経過を待機する。当該単位時間は、図４の説明における単位時間と同じ時間長である。この待機中に、リアルタイムに収集され、受信部１１によって受信された観測データは観測データ記憶部１２３に記憶される
単位時間が経過すると（Ｓ２０１でＹｅｓ）、検知処理制御部１５は、直近の単位時間分の観測データ群を観測データ記憶部１２３から取得し、当該観測データ群を前処理部１３へ入力する（Ｓ２０２）。

続いて、前処理部１３は、当該観測データ群から目的に応じた特徴量を抽出し、抽出された特徴量を各次元の要素とする多次元数値ベクトルを生成する（Ｓ２０３）。例えば、プロトコルがＴＣＰである全フローの全送信バイト数、プロトコルがＵＤＰである全フローの全送信バイト数が抽出され、これらを各次元の要素とする２次元数値ベクトルが生成される。ここでは、１つの数値ベクトルが生成される。

続いて、前処理部１３は、生成された数値ベクトルを、パラメータ記憶部１２２に記憶されている最大値ｘｍａｘ＿ｉに基づいて正規化する（Ｓ２０４）。すなわち、当該数値ベクトルの各メトリックｉが、最大値ｘｍａｘ＿ｉによって除算される。

例えば、図４のステップＳ１０４が上記の教師データに基づいて１回のみ実行されている場合、最大値ｘｍａｘ＿ｉは、｛１００，５０｝である。したがって、当該数値ベクトルが｛６０，４０｝である場合、当該数値ベクトルは、｛０．６，０．８｝に正規化される。

続いて、検知部１６は、異常判定処理を実行する（Ｓ２０５）。異常判定処理では、正規化された数値ベクトルについて、学習結果記憶部１２４に記憶されている最新の学習結果との違いが異常度として算出される。当該異常度を閾値と比較することによって、ネットワークＮ１について異常の有無が判定される。検知部１６は、判定した異常の有無（すなわち、検知有無）と、算出された異常度とを検知結果記憶部１２６に記憶する。

異常が無いと判定された場合（Ｓ２０６でＹｅｓ）、検知処理制御部１５は、当該数値ベクトルの正規化前の数値ベクトルを、学習データとして学習データ記憶部１２５に記憶する（Ｓ２０７）。異常が有ると判定された場合（Ｓ２０６でＮｏ）、当該数値ベクトルの正規化前の数値ベクトルは、学習データ記憶部１２５に記憶されない。したがって、学習データ記憶部１２５には、正常時の数値ベクトルのみが記憶される。

続いて、ステップＳ２０１以降が繰り返される。なお、ステップＳ２０１以降が繰り返される過程において、ステップＳ２０４で利用される正規化パラメータは、並行して実行されている図４のステップＳ１０４において随時更新される。その結果、入力される観測データのトレンドを考慮して数値ベクトルを正規化することができる。

例えば、Ｕ＝３である場合、ステップＳ２０７が３回実行されて、｛｛６０，４０｝，｛４５，２０｝，｛３０，３０｝｝が学習データ記憶部１２５に記憶されたとする。この場合、ｘｍａｘ＿１＝６０、ｘｍａｘ＿２＝４０に更新され、更新結果がパラメータ記憶部１２２に反映される。

なお、上記では、観測データがフローデータである例について説明したが、フローデータ、ＭＩＢデータ、及びＣＰＵ使用率が並列的に観測データとして受信されてもよい。この場合、図４及び図５の処理手順の各ステップでは、データ種別ごと（フローデータ、ＭＩＢデータ、及びＣＰＵ使用率ごと）に実行されればよい。

なお、例えば｛ｈｏｓｔＩＤ，ｉｎｔｅｒｆａｃｅＩＤ，ｉｂｐｓ，ｏｂｐｓ｝のような形式で与えられるＭＩＢデータについては、「単位時間におけるホストＩＤａのｉｂｐｓ」、「単位時間におけるホストＩＤａのｏｂｐｓ」、「単位時間におけるホストＩＤｂのｉｂｐｓ」、「単位時間におけるホストＩＤｂのｏｂｐｓ」...「単位時間におけるｉｎｔｅｒｆａｃｅＩＤｘのｉｂｐｓ」、「単位時間におけるｉｎｔｅｒｆａｃｅＩＤｘのｏｂｐｓ」、「単位時間におけるｉｎｔｅｒｆａｃｅＩＤｙのｉｂｐｓ」、「単位時間におけるｉｎｔｅｒｆａｃｅＩＤｙのｏｂｐｓ」のように、数値ベクトルを抽出することが可能である。

続いて、図４のステップＳ１０６及び図５のステップＳ２０５の一例について説明する。ステップＳ１０６及びＳ２０５では、データ種別がラベルとして付与された数値ベクトル群が学習部１４又は検知部１６に入力される。本実施の形態において、ラベルは「フローデータ」、「ＭＩＢデータ」、及び「ＣＰＵ使用率」のいずれかである。ラベルは、例えば、測定装置２０又は受信部１１によって教師データ及び観測データに付与される。すなわち、観測データの採取元に基づいて当該観測データに付与すべきラベルが特定可能である。当該ラベルは、前処理部１３によって生成される数値ベクトルに引き継がれる。

図４のステップＳ１０６において、学習部１４は、データ種別ごとに学習器を生成する。学習部１４は、入力される数値ベクトルに付与されているラベルに基づいて数値ベクトルを分類し、分類結果に対応する学習器へ当該数値ベクトルを入力する。本実施の形態では「フローデータの学習器」、「ＭＩＢデータの学習器」、「ＣＰＵ使用率の学習器」が生成される。学習器としては数値ベクトルのメトリック間の相関関係の学習による異常検知を行うオートエンコーダや主成分分析等を用いることができる。オートエンコーダについては、例えば、「櫻田 麻由・矢入 健久，"オートエンコーダを用いた次元削減による宇宙機の異常検知"， 人工知能学会全国大会論文集 28, 1-3, 2014」に詳しい。主成分分析については、例えば、「Ringberg, Haakon, et al. "Sensitivity of PCA for traffic anomaly detection." ACM SIGMETRICS Performance Evaluation Review 35.1 (2007): 109-120.」に詳しい。本実施の形態では、学習器にオートエンコーダを用いる例について説明する。

図６は、オートエンコーダを説明するための図である。オートエンコーダは、ディープラーニングによる異常検知アルゴリズムである。オートエンコーダは、正常時の入力データがメトリック間で相関関係を持ち、低次元に圧縮可能であることを利用する。異常時には入力データの相関関係が崩れるため、圧縮が正しく行われず入力データと出力データとの差が大きくなる。

図６の（１）に示されるように、学習部１４が生成する学習器（オートエンコーダ）は、出力層（Ｌａｙｅｒ Ｌ_３）が入力層（Ｌａｙｅｒ Ｌ_１）に近くなるように学習を行う。具体的には、学習部１４は、数値ベクトルを２つに複製し、一方を入力層へ当てはめ、他方を出力層に当てはめて学習を行い、学習結果を出力する。学習結果は、学習結果記憶部１２４に記憶される。学習結果は、学習器に対するパラメータ群である。なお、学習器は、データ種別ごとに生成されるため、学習結果もデータ種別ごとに出力され、学習結果記憶部１２４に記憶される。

一方、検知部１６も、学習部１４と同様に、データ種別ごとに学習器を生成する。当該学習器には、学習部１４によって生成される学習器と同様にオートエンコーダ又は主成分分析等のうち、学習部１４が生成する学習器に対応する方法を用いることができる。

図５のステップＳ２０５において、検知部１６は、学習結果記憶部１２４に記憶されている学習結果に基づいて、「フローデータの学習器」、「ＭＩＢデータの学習器」、「ＣＰＵ使用率の学習器」を生成する。すなわち、検知部１６によって生成される学習器は、当該学習結果の出力時において学習部１４によって生成された学習器と同じである。検知部１６は、図６の（２）に示されるように、ステップＳ２０５において入力されたデータ種別ごとの数値ベクトルを当該数値ベクトルのデータ種別に対応する学習器へ入力し、学習器に対する入力データと出力データとの距離（メトリック間の相関関係の崩れの程度を示す指標）を異常度として計算する。本実施の形態ではオートエンコーダの入力層と出力層との距離である平均二乗誤差（ＭＳＥ：Mean Squared Error）が異常度として計算される。ＭＳＥの計算式は、以下の通りである。

本実施の形態では、フローデータのＭＳＥ、ＭＩＢデータのＭＳＥ、ＣＰＵ使用率のＭＳＥの３種のＭＳＥが得られる。検知部１６は、得られたＭＳＥの平均を、最終的な異常度として計算し、最終的な異常度が予め定められた閾値を超えていた場合に異常であると判定する。そうでない場合、検知部１６は、正常とであると判定する。

図７は、第１の実施の形態における閾値決定処理の処理手順の一例を説明するためのフローチャートである。図７の処理手順は、異常発生情報取得部１７によって異常記録装置３０から取得された異常発生時刻が異常発生情報記憶部１２７に記憶されており、図５のステップＳ２０５が少なくとも１回実行された後であれば、いつ開始されてもよい。すなわち、図７の処理手順は、図５の処理手順と並行して実行される。

閾値決定部１８は、単位時間ごとに、異常発生情報記憶部１２７に記憶されている異常発生時刻と、検知結果記憶部１２６に記憶されている検知有無とを集計する（Ｓ３０１）。例えば、１１：５９：００＜＝ｔ＜１２：００：００に異常発生時刻が存在しない場合、異常無しとし、１１：５９：００＜＝ｔ＜１２：００：００に異常が検知されなかった場合、検知無しとし、以下のように異常有無及び検知有無を集計する。
時間 異常有無 検知有無
１２：００ ０ ０
１２：０１ １ ０
１２：０２ ０ １
１２：０３ １ １
・・・
ここで、１は異常有り、検知有りを示し、０は異常無し、検知無しを示す。上記の例では、１２：０１に異常が発生したにもかかわらず検知部１６が異常の発生を検知できなかったため、見逃しであると判断できる。また、１２：０２に異常が発生していないにもかかわらず検知部１６が異常の発生を検知したため、誤検知であると判断できる。見逃しは閾値が高いことから生じ、誤検知は閾値が低いことから生じるため、閾値決定部１８は、誤検知が発生した場合には閾値を増加させ、見逃しが発生した場合には、閾値を減少させる。

具体的には、閾値決定部１８は、異常有無及び検知有無の集計結果から、誤検知の回数ｎ＿１及び見逃しの回数ｎ＿２を計算する（Ｓ３０２）。１２：００〜１２：０３までの集計結果では、ｎ＿１＝１，ｎ＿２＝１として計算される。ここで、誤検知の回数が多いほど、閾値の増加量は大きくすべきであり、見逃しの回数が多いほど、閾値の減少量は小さくすべきである。例えば、現在の閾値をθ＿０とすると、新たに適用する閾値θは以下のように決定される。

θ＝θ＿０＋ｎ＿１＊Δθ−ｎ＿２＊Δθ
ここで、Δθは閾値の増減量（ｎ＿１＊Δθ−ｎ＿２＊Δθ）を求めるためのパラメータである。このパラメータΔθが大きすぎる場合、閾値θが大きく変動し、誤検知又は見逃しの可能性が高くなることが考えられる。

このため、閾値決定部１８は、一定期間分の誤検知の回数及び見逃しの回数の計算が終了した場合（Ｓ３０３でＹｅｓ）、誤検知の回数ｎ＿１の標準偏差σ＿１及び見逃しの回数ｎ＿２の標準偏差σ＿２を計算する（Ｓ３０４）。

予め決められた増減量を求めるためのパラメータをΔθ＿０とすると、新たに適用するパラメータΔθは、σ＿１及びσ＿２に基づいて以下のように計算される（Ｓ３０５）。

Δθ＝Δθ＿０＊（１／σ＿１）＊（１／σ＿２）
なお、Δθを上記のように動的に変化させずに、予め決められた固定値、試行錯誤的に得られた固定値等としてもよい。

閾値決定部１８は、上記のΔθ、ｎ＿１、ｎ＿２を用いて、閾値の増減量（ｎ＿１＊Δθ−ｎ＿２＊Δθ）を計算し、新たに適用する閾値θを決定する（Ｓ３０６）。

上述したように、第１の実施の形態によれば、閾値の初期値が自動的に適切な閾値に更新される。また、誤検知の回数及び見逃しの回数により適切な閾値の増減量が決定され、誤検知及び見逃しを少なくすることができる。

次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。

第２の実施の形態では、検知部１６によって算出された異常度の分布から閾値θを決定する。

図８は、第２の実施の形態における閾値決定処理の処理手順の一例を説明するためのフローチャートである。図８の処理手順は、異常発生情報取得部１７によって異常記録装置３０から取得された異常発生時刻が異常発生情報記憶部１２７に記憶されており、図５のステップＳ２０５が少なくとも１回実行された後であれば、いつ開始されてもよい。すなわち、図８の処理手順は、図５の処理手順と並行して実行される。

閾値決定部１８は、異常発生情報記憶部１２７に記憶されている異常発生時刻を参照して、異常が発生していない時間帯において、検知結果記憶部１２６に記憶されている異常度ｘ＿１，・・・，ｘ＿Ｎ（Ｎ：正常時において算出された異常度の数）を取得する（Ｓ４０１）。すなわち、閾値決定部１８は、正常時に算出された異常度ｘ＿１，・・・，ｘ＿Ｎを取得する。なお、正常時の異常度ｘ＿１，・・・，ｘ＿Ｎは、教師データ記憶部１２１に記憶されている教師データ又は学習データ記憶部１２５に記憶されている学習データを検知部１６に入力することにより求められてもよい。

閾値決定部１８は、異常度ｘ＿１，・・・，ｘ＿Ｎの平均μ及び標準偏差σを計算する（Ｓ４０２）。

閾値決定部１８は、正常時の異常度の分布からの外れ度合いを定義し、外れ度合いに基づいて閾値θを決定する（Ｓ４０３）例えば、観測データが入力されたときに検知部１６が算出した異常度が正常時の平均＋３σを超えた場合に、その観測データは異常であるとみなし、異常度の閾値θをθ＝μ＋３σとして決定する。

上述したように、第２の実施の形態によれば、正常時のデータから閾値が自動的に決定される。なお、第２の実施の形態において決定された閾値θは、第１の実施の形態において閾値の初期値θ＿０として使用することも可能である。

第３の実施の形態では、検知部１６によって検知された異常の検知精度が目標値を満足するように、閾値θを決定する。異常の検知精度としては、ｐｒｅｃｉｓｉｏｎ、ｒｅｃａｌｌ又はＦ値等が存在する。ｐｒｅｃｉｓｉｏｎは異常と検知したもののうち実際に異常であったものの割合であり、誤検知の少なさに相当する。ｒｅｃａｌｌは本質的に異常であるもののうち異常と検知できたものの割合であり、見逃しの少なさに相当する。Ｆ値は、ｐｒｅｃｉｓｉｏｎとｒｅｃａｌｌの調和平均である。

図９は、第３の実施の形態における閾値決定処理の処理手順の一例を説明するためのフローチャートである。図９の処理手順は、異常発生情報取得部１７によって異常記録装置３０から取得された異常発生時刻が異常発生情報記憶部１２７に記憶されており、図５のステップＳ２０５が少なくとも１回実行された後であれば、いつ開始されてもよい。すなわち、図９の処理手順は、図５の処理手順と並行して実行される。

閾値決定部１８は、検知結果記憶部１２６に記憶されている単位時間ごとの異常度の時系列ｘ＿１，・・・，ｘ＿Ｔを取得し、異常発生情報記憶部１２７に記憶されている異常発生時刻を取得する（Ｓ５０１）。ステップＳ３０１と同様に、時間ｔにおいて異常有りの場合、ｂ＿ｔ＝１とし、異常無しの場合ｂ＿ｔ＝０として、異常有無の時系列ｂ＿１，・・・，ｂ＿Ｔを生成する。

目的とする精度のメトリックをｒｅｃａｌｌとし、ｒｅｃａｌｌが目標値ｒを満足する最大の閾値を採用する場合を考える。この場合、時間ｔ＝１，・・・，Ｔにおいて検知する必要のある異常の数ｍはｍ＝ｒ＊Σ＿｛ｔ＝１，・・・，Ｔ｝ｂ＿ｔとして計算できる（Ｓ５０２）。

したがって、閾値決定部１８は、異常が発生した時刻の異常度｛ｘ＿ｔ｜ｂ＿ｔ＝１ ｆｏｒ ｔ＝１，・・・，Ｔ｝を降順に並べた場合のｍ番目の値を、閾値θとして決定すればよい（Ｓ５０３）。

なお、目的とする精度のメトリックがｐｒｅｃｉｓｉｏｎ又はＦ値である場合、閾値の初期値を０として、閾値を徐々に大きくしながらｐｒｅｃｉｓｉｏｎ又はＦ値を計算して、計算されたｐｒｅｃｉｓｉｏｎ又はＦ値が目標値を満足するときの閾値を採用することができる。

上述したように、第３の実施の形態によれば、異常の検知データの目標値を満たす閾値が自動的に決定される。なお、第３の実施の形態において決定された閾値θは、第１の実施の形態において閾値の初期値θ＿０として使用することも可能である。

なお、上記各実施の形態は、ネットワーク以外から収集されるデータに関して適用されてもよい。例えば、コンピュータシステムから収集されるデータに関して上記各実施の形態が適用されてもよい。

なお、上記各実施の形態において、異常検知装置１０は、閾値決定装置の一例である。異常発生情報取得部１７は、取得部の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 異常検知装置
１１ 受信部
１２ 学習処理制御部
１３ 前処理部
１４ 学習部
１５ 検知処理制御部
１６ 検知部
１７ 異常発生情報取得部
１８ 閾値決定部
２０ 測定装置
３０ 異常記録装置
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１２１ 教師データ記憶部
１２２ パラメータ記憶部
１２３ 観測データ記憶部
１２４ 学習結果記憶部
１２５ 学習データ記憶部
１２６ 検知結果記憶部
１２７ 異常発生情報記憶部
Ｂ バス
Ｎ１ ネットワーク

Claims (7)

1. 異常の検知対象から収集されたデータを学習した学習結果と、テスト期間において異常の検知対象から観測されたデータとに基づいて異常度を算出し、当該異常度を閾値と比較することで異常の発生を検知する検知部と、
   異常の見逃し及び誤検知の有無に基づいて前記閾値を決定する閾値決定部と、
   を有し、
   前記閾値決定部は、単位時間ごとに誤検知の回数及び見逃しの回数を計算し、一定期間分の誤検知の回数及び見逃しの回数の計算が終了した場合、誤検知の回数の標準偏差及び見逃しの回数の標準偏差を計算し、前記計算された誤検知の回数及び誤検知の回数の標準偏差と、前記計算された見逃しの回数及び見逃しの回数の標準偏差に基づいて、前記閾値の増減量を計算する、閾値決定装置。
2. 前記閾値決定部は、誤検知が発生した場合には、前記閾値を増加させ、見逃しが発生した場合には、前記閾値を減少させる、請求項１に記載の閾値決定装置。
3. 前記閾値決定部は、異常が検出されないときに前記検知部によって算出された異常度の分布からの外れ度合に基づいて、前記閾値を決定する、請求項１又は２に記載の閾値決定装置。
4. 異常の検知対象において異常が発生した異常発生時刻を取得する取得部を更に有し、
   前記閾値決定部は、前記異常発生時刻に基づいて、前記検知部によって検知された異常の検知精度が目標値を満足するように、前記閾値を決定する、請求項１又は２に記載の閾値決定装置。
5. 異常の検知対象において異常が発生した異常発生時刻を取得する取得部を更に有し、
   前記閾値決定部は、前記異常発生時刻の時間帯において前記検知部が異常の発生を検知しなかった場合、見逃しであると判断し、前記異常発生時刻の時間帯以外に前記検知部が異常の発生を検知した場合、誤検知であると判断する、請求項１乃至３のうちいずれか１項に記載の閾値決定装置。
6. 異常の検知対象から収集されたデータを学習した学習結果と、テスト期間において異常の検知対象から観測されたデータとに基づいて異常度を算出し、当該異常度を閾値と比較することで異常の発生を検知する検知手順と、
   異常の見逃し及び誤検知の有無に基づいて前記閾値を決定する閾値決定手順であって、単位時間ごとに誤検知の回数及び見逃しの回数を計算し、一定期間分の誤検知の回数及び見逃しの回数の計算が終了した場合、誤検知の回数の標準偏差及び見逃しの回数の標準偏差を計算し、前記計算された誤検知の回数及び誤検知の回数の標準偏差と、前記計算された見逃しの回数及び見逃しの回数の標準偏差に基づいて、前記閾値の増減量を計算する閾値決定手順と、
   をコンピュータが実行する閾値決定方法。
7. 請求項１乃至５いずれか一項記載の各部としてコンピュータを機能させるためのプログラム。

Images