JP2018093432A - 判定システム、判定方法、及びプログラム - Google Patents
判定システム、判定方法、及びプログラム Download PDFInfo
- Publication number
- JP2018093432A JP2018093432A JP2016237066A JP2016237066A JP2018093432A JP 2018093432 A JP2018093432 A JP 2018093432A JP 2016237066 A JP2016237066 A JP 2016237066A JP 2016237066 A JP2016237066 A JP 2016237066A JP 2018093432 A JP2018093432 A JP 2018093432A
- Authority
- JP
- Japan
- Prior art keywords
- traffic amount
- determination
- reference value
- determination target
- communication data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000005856 abnormality Effects 0.000 claims abstract description 156
- 238000004891 communication Methods 0.000 claims abstract description 103
- 230000002159 abnormal effect Effects 0.000 claims abstract description 76
- 238000010801 machine learning Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 91
- 238000003012 network analysis Methods 0.000 claims description 18
- 230000002776 aggregation Effects 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Abstract
Description
そのため、特許文献1のシステムでは、例えばユーザの利用方法の変化直後に、ユーザの利用方法の変化後のトラヒック変動率と、ユーザの利用方法の変化前に設定された判定閾値とが対比され、異常状態であるか否かが判定される。その結果、ユーザの利用方法の変化直後に、正常状態であるにもかかわらず、異常状態であると誤って判定されるおそれがある。
また、特許文献1のシステムでは、例えばネットワークシステム内における切り替え作業の実行直後に、切り替え作業の実行後のトラヒック変動率と、切り替え作業の実行前に設定された判定閾値とが対比され、異常状態であるか否かが判定される。その結果、切り替え作業の実行直後に、正常状態であるにもかかわらず、異常状態であると誤って判定されるおそれがある。
また、本発明の別の一態様は、判定システムが、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する第1ステップと、前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する第2ステップと、前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する第3ステップと、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する第4ステップと、前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する第5ステップと、前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する第6ステップと、を含む判定方法である。
また、本発明の別の一態様は、コンピュータに、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する第1ステップと、前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する第2ステップと、前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する第3ステップと、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する第4ステップと、前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する第5ステップと、前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する第6ステップと、を実行させるためのプログラムである。
[第1の実施形態]
本発明の第1の実施形態について説明する。
図1は、第1の実施形態の判定システム100が適用されたネットワークシステム200の一例を示す図である。
図1に示す例では、判定システム100は、学習モデル取得部10と、トラヒック量基準値取得部11と、異常判定閾値取得部12と、判定対象トラヒック量取得部13と、異常判定対象値取得部14と、トラヒック量基準値算出部20と、判定部30と、ネットワーク分析部40と、アラーム分析部50とを備える。
学習モデル取得部10は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する。図1に示す例では、学習モデル作成部210が、判定システム100の外部に設けられている。学習モデル作成部210は、過去の通信データのトラヒック量を機械学習することによって、学習モデルを作成する。学習モデル取得部10は、学習モデル作成部210から学習モデルを取得する。
異常判定閾値取得部12は、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する。図1に示す例では、異常判定閾値算出部220が、判定システム100の外部に設けられている。異常判定閾値算出部220は、異常判定閾値を算出する。異常判定閾値取得部12は、異常判定閾値算出部220から異常判定閾値を取得する。
図1に示す例では、判定対象トラヒック量が、ネットワークシステム200に含まれる複数のポート270−1、270−2、…、270−8のそれぞれにおいて測定される。ネットワークシステム200には、集約スイッチ280が含まれている。複数のポート270−1、270−2、…、270−8のそれぞれの判定対象トラヒック量は、集約スイッチ280を介して、判定対象トラヒック量取得部13によって取得される。トラヒック収集サーバ290は、複数のポート270−1、270−2、…、270−8のそれぞれの判定対象トラヒック量を保存する。
また、図1に示す例では、複数のポート270−1、270−2、…、270−8のそれぞれの過去の通信データのトラヒック量が、集約スイッチ280を介して、学習モデル作成部210によって取得される。学習モデル作成部210は、複数のポート270−1、270−2、…、270−8のそれぞれの過去の通信データのトラヒック量を機械学習することによって、複数のポート270−1、270−2、…、270−8のそれぞれの学習モデルを作成する。
判定部30は、異常判定閾値取得部12によって取得された異常判定閾値と、異常判定対象値取得部14によって取得された異常判定対象値とに基づいて、異常状態であるか否かを判定する。具体的には、判定部30は、異常判定対象値が異常判定閾値より大きい場合に、異常状態であると判定する。
図1に示す例では、判定部30は、複数のポート270−1、270−2、…、270−8のそれぞれの判定対象トラヒック量が異常状態であるか否かを判定する。
異常状態である旨の判定結果が、ユーザ起因の判定結果である場合、ネットワーク分析部40は、ユーザの利用方法が変化した、あるいは、ネットワークシステム200内で切り替え作業などが実行された、と分析する。つまり、ネットワーク分析部40は、ネットワークシステム200自体が正常である、と分析する。
異常状態である旨の判定結果が、ネットワークシステム200が起因する判定結果である場合、ネットワーク分析部40は、ネットワークシステム200に異常が発生したおそれがある、と分析する。また、ネットワーク分析部40は、異常が発生した箇所(被疑箇所)を特定する。被疑箇所は、異常状態であると判定されたポートの位置、正常状態であると判定されたポートの位置、ネットワークシステム200の構成、通信データのトラヒックの流れなどに基づいて特定される。
図1に示す例では、ネットワーク分析部40とアラーム分析部50とが判定システム100に設けられているが、他の例では、ネットワーク分析部40とアラーム分析部50とを省略したり、判定システム100の外部に設けたりしてもよい。
第1ネットワーク200−1には、複数のVLAN(Virtual Local Area Network)と、それらを接続する接続装置260−1とが含まれている。第2ネットワーク200−2および第3ネットワーク200−3は、第1ネットワーク200−1と同様に構成される。第2ネットワーク200−2には、接続装置260−2が含まれ、第3ネットワーク200−3には、接続装置260−3が含まれている。
図2に示すネットワークシステム200に対して第1の実施形態の判定システム100を適用することによって、判定部30は、ネットワークシステム200内の複数のポートのそれぞれの判定対象トラヒック量が異常状態であるか否かを判定することができる。
判定システム100は、最初にトラヒック収集を実行する。具体的には、判定システム100は、トラヒック収集サーバ290に保存されている過去の通信データのトラヒック量を収集する。また、判定システム100は、ミラーポート280aを有する集約スイッチ280を介して、接続装置260−1、260−2内の複数のポートの判定対象トラヒック量を収集する。
判定システム100は、次いで、トラヒック分析を実行する。具体的には、判定システム100は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する。また、判定システム100は、過去の通信データのトラヒック量に基づいてトラヒック量基準値を算出する。また、判定システム100は、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する。また、判定システム100は、学習モデルに対する判定対象トラヒック量の外れ値である異常判定対象値を取得する。また、判定システム100は、異常判定閾値と異常判定対象値とに基づいて、接続装置260−1、260−2内の複数のポートのそれぞれが異常状態であるか否かを判定する。
判定システム100は、次いで、ネットワーク分析を実行する。具体的には、判定システム100は、接続装置260−1、260−2内において異常が発生した箇所(被疑箇所)を特定する。図3に示す例では、判定システム100は、次いで、サイレント故障を周知する処理を実行する。
図4に示す例では、VLAN250−1は、ポート270−1を介して接続装置260に接続されている。同様に、VLAN250−2、250−3は、それぞれ、ポート270−2、270−3を介して接続装置260に接続されている。VLAN250−1、VLAN250−2、VLAN250−3は、それぞれ、ユーザU1、U2、U3によって利用されている。
図4に示す例では、VLAN250−1内の判定対象トラヒック量は、ポート270−1において測定される。同様に、VLAN250−2、VLAN250−3内の判定対象トラヒック量は、それぞれ、ポート270−2、270−3において測定される。
図5(A)の縦軸はトラヒック量を示している。同様に、後述する図5(B)、図5(C)、図5(D)、図6(A)、図6(B)、図6(C)、図7(A)、図7(B)、図8(A)、図8(B)、図9(A)、図9(B)、図10(A)、図10(B)、図10(C)、図10(D)、図11(B)、図11(C)、図12、図13(A)、図13(B)、図13(C)、図14(A)、図14(B)、図15(A)、図15(B)および図15(C)の縦軸もトラヒック量を示している。
図5(A)に示す例では、図5(A)に示すような「過去の通信データのトラヒック量」が得られた場合に、「過去の通信データのトラヒック量」に基づき、一般的な統計的手法によって「従来型判定用閾値」が算出される。ポートにおいて測定された判定対象トラヒック量(図示せず)と図5(A)に示す「従来型判定用閾値」とが対比される。判定対象トラヒック量が図5(A)に示す「従来型判定用閾値」よりも小さい場合に、判定対象トラヒック量が異常状態であると判定される。
図5(B)は図5(A)に示す「従来型判定用閾値」を算出するために必要な「過去の通信データのトラヒック量」のデータ量を示す図である。
図5(D)は図5(C)に示す「従来型判定用閾値」を算出するために必要な「過去の通信データのトラヒック量」のデータ量を示す図である。
一方、図5(C)に示す例では、例えば8時間のような長い時間間隔で「従来型判定用閾値」の値が変更される。そのため、算出される「従来型判定用閾値」の値の数が少ない。また、図5(C)に示す「従来型判定用閾値」の算出に必要な「過去の通信データのトラヒック量」のデータ量が少ない(図5(D)に示す例では、データ抽出期間tc〜tdが短い)。
図6(A)に示す例では、図4に示すユーザU1の利用方法が、以前と比べて変化していない。そのため、「判定対象トラヒック量」が、「従来型判定用閾値」よりも小さくならない。その結果、一般的な判定システムによって、「異常状態ではない」と判定される。図6(C)に示す例においても、図4に示すユーザU3の利用方法が、以前と比べて変化していない。その結果、一般的な判定システムによって、「異常状態ではない」と判定される。
図4および図6に示す例では、期間t1〜t2に、接続装置260自体には異常が発生していない。そのため、上述した期間t1〜t2の「異常状態である」旨の判定は、誤判定になる。
例えば昼休み期間中、ネットワークシステム内の夜間の切り替え作業の実行時など、判定対象トラヒック量が定期的または不定期に短時間で変動する場合にも、図6(B)に示す例と同様に、一般的な判定システムによって誤判定されるおそれがある。
一方、図7(B)に示す例では、時刻23:00にネットワークシステム内の切り替え作業が実行される。また、切り替え作業の実行中の「判定対象トラヒック量」と、切り替え作業が実行されない場合の過去の通信データのトラヒック量に基づいて算出された「従来型判定用閾値」とが対比される。そのため、時刻23:00に「判定対象トラヒック量」が「従来型判定用閾値」よりも小さくなる。その結果、一般的な判定システムによって、時刻23:00に「異常状態である」と判定される。
図7(B)に示す例では、時刻23:00にネットワークシステム自体には異常が発生していない。そのため、上述した時刻23:00の「異常状態である」旨の判定は、誤判定になる。
例えばユーザの利用方法が変化し、「判定対象トラヒック量」が短期的に変化する場合にも、図7(B)に示す例と同様に、一般的な判定システムによって誤判定されるおそれがある。
図8(A)に示す例では、「時刻t01の異常判定対象値」が「時刻t01の異常判定閾値」より小さいため、判定システム100の判定部30が「異常状態ではない」と判定する。
それに対し、第1の実施形態の判定システム100では、図8(A)に示すように、ユーザの利用方法の変化に伴って「判定対象トラヒック量」の値が落ち込む時刻t01においても、「異常状態ではない」と判定される。そのため、通信データのトラヒック量が異常状態であると誤って判定されるおそれを抑制することができる。
ユーザの利用方法が変化した後、ネットワークシステムが正常であれば、「時刻t02の判定対象トラヒック量」の値は、「学習モデル」と同様に、落ち込む必要がある。ところが、図8(B)に示す例では、ユーザの利用方法が変化した後の「時刻t02の判定対象トラヒック量」の値が、ユーザの利用方法が変化する前と同様に大きい値になる。
詳細には、「時刻t02の異常判定対象値」が「時刻t02の異常判定閾値」より大きくなる。そのため、判定システム100の判定部30は「異常状態である」と判定する。
図9(A)の「学習モデル」は、切り替え作業の実行前の過去の通信データのトラヒック量に基づいて作成された学習モデルである。図9(B)の「学習モデル」は、切り替え作業の実行後の過去の通信データのトラヒック量に基づいて作成された学習モデルである。図9(A)および図9(B)の「トラヒック量基準値」は、切り替え作業の実行前の過去の通信データのトラヒック量に基づいて算出されたトラヒック量基準値である。
図9(A)の「23:00の判定対象トラヒック量」は、切り替え作業の実行前の時刻23:00の判定対象トラヒック量である。図9(B)の「23:00の判定対象トラヒック量」は、切り替え作業の実行後の時刻23:00の判定対象トラヒック量である。
図9(A)の「23:00の異常判定閾値」は、図9(A)の「23:00の学習モデル」に対する図9(A)および図9(B)の「トラヒック量基準値」の外れ値を示す。図9(B)の「23:00の異常判定閾値」は、図9(B)の「23:00の学習モデル」に対する図9(A)および図9(B)の「トラヒック量基準値」の外れ値を示す。
図9(A)の「23:00の異常判定対象値」は、図9(A)の「23:00の学習モデル」に対する図9(A)の「23:00の判定対象トラヒック量」の外れ値を示す。図9(B)の「23:00の異常判定対象値」は、図9(B)の「23:00の学習モデル」に対する図9(B)の「23:00の判定対象トラヒック量」の外れ値を示す。
上述したように、図7(B)に示す一般的な判定システムでは、切り替え作業の実行に伴って「判定対象トラヒック量」の値が落ち込む時刻23:00に、「異常状態である」と誤判定されてしまう。
それに対し、第1の実施形態の判定システム100では、図9(B)に示すように、切り替え作業の実行に伴って「23:00の判定対象トラヒック量」の値が落ち込む時刻23:00においても、「異常状態ではない」と判定される。そのため、通信データのトラヒック量が異常状態であると誤って判定されるおそれを抑制することができる。
第1の実施形態の判定システム100が適用された図10に示す例では、トラヒック量基準値算出部20が、図10(A)の「過去の通信データのトラヒック量」の統計値に基づいて、図10(A)の「トラヒック量基準値」を算出する。具体的には、トラヒック量基準値算出部20が、例えば1か月〜2か月のような、図10(B)の「データ抽出期間tA〜tB」にわたる過去の通信データのトラヒック量の統計値に基づいて、図10(A)の「トラヒック量基準値」を算出する。
学習モデル作成部210は、図10(C)の「過去の通信データのトラヒック量」を機械学習することによって、図10(C)の「時刻t001の学習モデル」および「時刻t002の学習モデル」を作成する。具体的には、学習モデル作成部210が、例えば直近の2週間〜1か月のような、「期間tA〜tB」よりも短い図10(D)の「データ抽出期間tC〜tD」にわたる過去の通信データのトラヒック量を機械学習することによって学習モデルを作成する。
また、トラヒック量基準値算出部20は、学習モデル作成部210が学習モデルを作成する時間単位(例えば、5分)よりも長い時間単位(例えば、8時間)で図10(A)の「トラヒック量基準値」を算出する。詳細には、通常、ユーザトラヒックは1日単位で周期性を持っているため、上述したように、トラヒック量基準値算出部20は、長い時間単位で「トラヒック量基準値」を算出すればよい。
学習モデルの時間単位が5分に設定される場合、学習モデル作成部210によって作成される学習モデルの値は、5分の間、一定値になる。5分の間、一定値になる学習モデルを作成するために例えばN回の計算が必要な場合、学習モデルを作成するための単位時間当たりの計算回数は(N回/5分)になる。
一方、トラヒック量基準値の時間単位が8時間に設定される場合、トラヒック量基準値算出部20によって算出されるトラヒック量基準値は、8時間の間、一定値になる。8時間の間、一定値になるトラヒック量基準値を算出するために例えばN回の計算が必要な場合、トラヒック量基準値を算出するための単位時間当たりの計算回数は(N回/8時間)になる。
すなわち、トラヒック量基準値を算出するための所定時間当たりの計算回数は、学習モデルを作成するための所定時間当たりの計算回数より少ない。そのため、トラヒック量基準値算出部20の計算負荷を軽減することができる。つまり、判定システム100の計算負荷を軽減することができる。
図11(B)に示す例では、学習モデル作成部210が、例えば14個〜30個の過去の時刻12:00の通信データのトラヒック量のデータを機械学習することによって、「12:00の学習モデル」を作成する。学習モデル作成部210が、同様に「13:00の学習モデル」を作成する。
図11(C)に示す例では、異常判定対象値算出部230が、「12:00の学習モデル」と、判定対象トラヒック量取得部13によって取得された「12:00の判定対象トラヒック量」とに基づいて「12:00の異常判定対象値」を算出する。異常判定対象値算出部230は、同様に「13:00の異常判定対象値」を算出する。異常判定対象値算出部230は、異常判定対象値を算出するが、その異常判定対象値が異常であるか否かを判定しない。
異常判定閾値算出部220は、「12:00のトラヒック量基準値」と「12:00の学習モデル」とに基づいて「12:00の異常判定閾値」を算出する。判定部30は、「12:00の異常判定対象値」と「12:00の異常判定閾値」とを対比する。
図12に示す例では、「12:00の異常判定対象値」が「12:00の異常判定閾値」以下であるため、判定部30は、12:00に異常状態はないと判定する。
図13(A)に示す例では、「13:00の学習モデル」の値(トラヒック量)が、「12:00の学習モデル」の値より大きい。そのため、図13(C)に示す例では、「13:00の異常判定閾値」が「12:00の異常判定閾値」より大きくなる。その結果、図13に示す例では、時刻13:00に、時刻12:00よりも、異常状態であると判定されづらくなる。
図14に示す例では、図14(A)に示す時間帯のトラヒック量基準値が一定値になるように、トラヒック量基準値が算出される。具体的には、図14に示す例では、トラヒック量基準値算出部20が、図14(A)に示す時間帯の「過去の通信データのトラヒック量」に基づいて、図14(B)に示す分布を算出する。また、トラヒック量基準値算出部20は、図14(B)に示す分布のAパーセンタイル(Aは所定値)のトラヒック量を算出する。トラヒック量基準値算出部20は、そのトラヒック量に係数B(Bは1より小さい値)を乗じることによって、「トラヒック量基準値」を算出する。
(1)トラヒック量基準値算出部20は、送信パケット数の標準偏差σを算出する。
(2)トラヒック量基準値算出部20は、例えば0.001σを1階級として、図15(B)に示すヒストグラムを算出する。
(3)トラヒック量基準値算出部20は、1階級毎の出現確率を算出する。
(4)トラヒック量基準値算出部20は、出現確率を送信パケット数の多いほうから順に加算し、例えば99.5%を超えた階級の最大値(第1暫定値)αを算出する。
(5)グラフから異常値を除くため、トラヒック量基準値算出部20は、0.4αを下回る送信パケットを除外し、再度(1)〜(4)の計算を実施する。
(6)トラヒック量基準値算出部20は、再度算出された値を、図15(C)に示す第2暫定値βとし、その第2暫定値βにx%(x%は1より小さい値)を乗じることによって、図15(C)に示す「トラヒック量基準値」を算出する。
図16に示す例では、時刻t1に、判定部30は、異常判定対象値が異常判定閾値より大きいと最初に判定する。第1の実施形態の判定システム100が適用されたネットワークシステム200の異常報知部(図示せず)は、ワーニングを実行する。
Xa回(例えば2回)後の判定が判定部30によって実行される時刻t3に、判定部30は、アラートをログに出力する。同様に、判定部30は、Xb回(例えば6回)の判定毎に、つまり、時刻t9、t15に、アラートをログに出力する。
異常判定対象値が異常判定閾値以下であると判定部30がXc回(例えば5回)続けて判定する時刻t21に、異常報知部は、ネットワークシステム200が復旧したと判定する。
図17に示す例では、判定部30が、ポート270−1の判定対象トラヒック量が異常状態であり、ポート270−2、270−3、270−4の判定対象トラヒック量が異常状態ではないと判定する。ネットワーク分析部40は、ポート270−1の判定対象トラヒック量の異常状態がユーザU1に起因すると分析する。また、ネットワーク分析部40は、接続装置260−1は正常状態であると分析する。
また、図17に示す例では、判定部30が、ポート270−5、270−6、270−7、270−8の判定対象トラヒック量が異常状態であると判定する。ネットワーク分析部40は、接続装置260−2が異常状態であると分析する。
詳細には、接続装置260−1、260−2内でサイレント故障が発生した場合、接続装置260−1内のポート270−1〜270−4、および、接続装置260−2内のポート270−5〜270−8のそれぞれが異常状態であるか否かを判定部30によって判定する。それにより、ネットワーク分析部40は、どのポート270−1〜270−8が異常状態であるのかを分析することができる。また、アラーム分析部50は、サイレント故障が原因となって異常状態であると判定されたのか、あるいは、通常の故障が原因となって異常状態であると判定されたのかを分析することができる。
また、図17に示す例では、判定対象トラヒック量が、ネットワークシステム200に含まれる複数のポート270−1〜270−8のそれぞれにおける判定対象の通信データのトラヒック量である。また、判定部30は、複数のポート270−1〜270−8のそれぞれにおける判定対象トラヒック量が異常状態であるか否かを判定する。
(ステップS101)学習モデル取得部10は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する。
(ステップS102)トラヒック量基準値取得部11は、過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する。
(ステップS103)異常判定閾値取得部12は、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する。
(ステップS104)判定対象トラヒック量取得部13は、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する。
(ステップS105)異常判定対象値取得部14は、学習モデルに対する判定対象トラヒック量の外れ値である異常判定対象値を取得する。
(ステップS106、S107、S108)判定部30は、異常判定閾値と異常判定対象値とに基づいて異常状態であるか否かを判定する。
詳細には、判定部30は、異常判定対象値が異常判定閾値より大きいか否かを判定する(ステップS106)。異常判定対象値が異常判定閾値より大きい場合、判定部30は、異常状態であると判定する(ステップS107)。異常判定対象値が異常判定閾値以下の場合、判定部30は、異常状態ではないと判定する(ステップS108)。
以上説明したように、判定システム100は、過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する学習モデル取得部10と、過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得するトラヒック量基準値取得部11と、学習モデルに対するトラヒック量基準値の外れ値である異常判定閾値を取得する異常判定閾値取得部12と、判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する判定対象トラヒック量取得部13と、学習モデルに対する判定対象トラヒック量の外れ値である異常判定対象値を取得する異常判定対象値取得部14と、異常判定閾値と異常判定対象値とに基づいて異常状態であるか否かを判定する判定部30と、を備える。
また、判定システム100において、判定部30は、異常判定対象値が異常判定閾値より大きい場合に異常状態であると判定する。
また、判定システム100は、過去の通信データのトラヒック量の統計値に基づいてトラヒック量基準値を算出するトラヒック量基準値算出部20をさらに備え、トラヒック量基準値取得部11は、トラヒック量基準値算出部20によって算出されたトラヒック量基準値を取得する。
これにより、判定システム100は、異常状態であると誤って判定されるおそれを抑制することができる。
また、判定システム100において、トラヒック量基準値算出部20は、学習モデルが作成される時間単位よりも長い時間単位でトラヒック量基準値を算出し、トラヒック量基準値を算出するための所定時間当たりの計算回数は、学習モデルを作成するための所定時間当たりの計算回数より少ない。
これにより、判定システム100は、第1計算負荷が第2計算負荷より大きい場合よりも、トラヒック量基準値算出部20の計算負荷を軽減することができる。
これにより、判定システム100は、異常状態の原因が、各VLAN内にあるか、あるいは、接続装置内にあるかを正確に分析することができる。
これにより、判定システム100は、ネットワークシステム内のポートの判定対象トラヒック量が異常状態であるか否かを正確に判定することができる。
これにより、判定システム100は、ネットワークシステム内の集約スイッチから取得される判定対象トラヒック量が異常状態であるか否かを正確に判定することができる。
以上が、第1の実施形態についての説明である。
図19は、第2の実施形態の判定システム100が適用されたネットワークシステム200の一例を示す図である。第2の実施形態の判定システム100は、後述する点を除き、上述した第1の実施形態の判定システム100と同様の効果を奏することができる。
第1の実施形態の判定システム100が適用された図1に示す例では、トラヒック量基準値算出部20が判定システム100の内部に設けられている。一方、第2の実施形態の判定システム100が適用された図19に示す例では、図1に示すトラヒック量基準値算出部20と同様の機能を有するトラヒック量基準値算出部240が、判定システム100の外部に設けられている。
第2の実施形態の判定システム100では、第1の実施形態の判定システム100よりも、判定システム100の計算負荷を軽減することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の第1〜2の実施形態において説明した各構成は、任意に組み合わせることができる。また、例えば、上述の第1〜2の実施形態において説明した各構成は、特定の機能を発揮するのに不要である場合には、省略することができる。また、例えば、上述の第1〜2の実施形態において説明した各構成は、任意に分離して別体の装置に備えることができる。
Claims (10)
- 過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する学習モデル取得部と、
前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得するトラヒック量基準値取得部と、
前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する異常判定閾値取得部と、
判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する判定対象トラヒック量取得部と、
前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する異常判定対象値取得部と、
前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する判定部と、
を備える判定システム。 - 前記判定部は、前記異常判定対象値が前記異常判定閾値より大きい場合に前記異常状態であると判定する、
請求項1に記載の判定システム。 - 前記過去の通信データのトラヒック量の統計値に基づいて前記トラヒック量基準値を算出するトラヒック量基準値算出部をさらに備え、
前記トラヒック量基準値取得部は、前記トラヒック量基準値算出部によって算出された前記トラヒック量基準値を取得する、
請求項1又は請求項2に記載の判定システム。 - 前記トラヒック量基準値算出部は、第1の期間にわたる前記過去の通信データのトラヒック量の統計値に基づいて前記トラヒック量基準値を算出し、
前記学習モデルは、前記第1の期間よりも短い第2の期間にわたる前記過去の通信データのトラヒック量を機械学習することによって作成され、
前記トラヒック量基準値を算出するための前記過去の通信データのトラヒック量のサンプリング間隔によって、前記第1の期間を除した値である第1計算負荷は、
前記学習モデルを作成するための前記過去の通信データのトラヒック量のサンプリング間隔によって、前記第2の期間を除した値である第2計算負荷より小さい、
請求項3に記載の判定システム。 - 前記トラヒック量基準値算出部は、前記学習モデルが作成される時間単位よりも長い時間単位で前記トラヒック量基準値を算出し、
前記トラヒック量基準値を算出するための所定時間当たりの計算回数は、前記学習モデルを作成するための前記所定時間当たりの計算回数より少ない、
請求項3又は請求項4に記載の判定システム。 - 前記判定対象トラヒック量は、複数のVLAN(Virtual Local Area Network)と、前記複数のVLANを接続する接続装置とを含むネットワークシステム内における前記判定対象の通信データのトラヒック量であり、
前記異常状態の原因が、各VLAN内にあるか、あるいは、前記接続装置内にあるかを分析するネットワーク分析部をさらに備える
請求項1から請求項5のいずれか一項に記載の判定システム。 - 前記判定対象トラヒック量は、前記ネットワークシステムに含まれる複数のポートのそれぞれにおける前記判定対象の通信データのトラヒック量であり、
前記判定部は、前記複数のポートのそれぞれにおける前記判定対象トラヒック量が前記異常状態であるか否かを判定する、
請求項6に記載の判定システム。 - 前記判定対象トラヒック量取得部は、前記ネットワークシステムに含まれる集約スイッチから前記判定対象トラヒック量を取得し、
前記学習モデルは、前記集約スイッチから取得された前記過去の通信データのトラヒック量を機械学習することによって作成される、
請求項6又は請求項7に記載の判定システム。 - 判定システムが、
過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する第1ステップと、
前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する第2ステップと、
前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する第3ステップと、
判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する第4ステップと、
前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する第5ステップと、
前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する第6ステップと、
を含む判定方法。 - コンピュータに、
過去の通信データのトラヒック量を機械学習することによって作成された学習モデルを取得する第1ステップと、
前記過去の通信データのトラヒック量に基づいて設定された通信データのトラヒック量の基準値であるトラヒック量基準値を取得する第2ステップと、
前記学習モデルに対する前記トラヒック量基準値の外れ値である異常判定閾値を取得する第3ステップと、
判定対象の通信データのトラヒック量である判定対象トラヒック量を取得する第4ステップと、
前記学習モデルに対する前記判定対象トラヒック量の外れ値である異常判定対象値を取得する第5ステップと、
前記異常判定閾値と前記異常判定対象値とに基づいて異常状態であるか否かを判定する第6ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016237066A JP6718367B2 (ja) | 2016-12-06 | 2016-12-06 | 判定システム、判定方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016237066A JP6718367B2 (ja) | 2016-12-06 | 2016-12-06 | 判定システム、判定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018093432A true JP2018093432A (ja) | 2018-06-14 |
JP6718367B2 JP6718367B2 (ja) | 2020-07-08 |
Family
ID=62566427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016237066A Active JP6718367B2 (ja) | 2016-12-06 | 2016-12-06 | 判定システム、判定方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6718367B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020010261A (ja) * | 2018-07-11 | 2020-01-16 | Phcホールディングス株式会社 | ネットワーク監視装置、ネットワーク監視方法、及びネットワーク監視プログラム |
CN111124331A (zh) * | 2018-10-31 | 2020-05-08 | 发那科株式会社 | 显示***、机器学习装置以及显示装置 |
JPWO2021161417A1 (ja) * | 2020-02-12 | 2021-08-19 | ||
US11734256B2 (en) | 2020-07-01 | 2023-08-22 | Fujitsu Limited | Anomaly detection method and non-transitory computer-readable recording medium |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008311719A (ja) * | 2007-06-12 | 2008-12-25 | Nippon Telegr & Teleph Corp <Ntt> | 閾値設定方法とシステムおよびプログラム |
-
2016
- 2016-12-06 JP JP2016237066A patent/JP6718367B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008311719A (ja) * | 2007-06-12 | 2008-12-25 | Nippon Telegr & Teleph Corp <Ntt> | 閾値設定方法とシステムおよびプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020010261A (ja) * | 2018-07-11 | 2020-01-16 | Phcホールディングス株式会社 | ネットワーク監視装置、ネットワーク監視方法、及びネットワーク監視プログラム |
JP7085429B2 (ja) | 2018-07-11 | 2022-06-16 | Phcホールディングス株式会社 | ネットワーク監視装置、ネットワーク監視方法、及びネットワーク監視プログラム |
CN111124331A (zh) * | 2018-10-31 | 2020-05-08 | 发那科株式会社 | 显示***、机器学习装置以及显示装置 |
JPWO2021161417A1 (ja) * | 2020-02-12 | 2021-08-19 | ||
WO2021161417A1 (ja) * | 2020-02-12 | 2021-08-19 | 日本電信電話株式会社 | 復旧判定装置、復旧判定方法、および、復旧判定プログラム |
JP7303461B2 (ja) | 2020-02-12 | 2023-07-05 | 日本電信電話株式会社 | 復旧判定装置、復旧判定方法、および、復旧判定プログラム |
US11734256B2 (en) | 2020-07-01 | 2023-08-22 | Fujitsu Limited | Anomaly detection method and non-transitory computer-readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP6718367B2 (ja) | 2020-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6025753B2 (ja) | パフォーマンス・メトリックを監視するためのコンピュータによって実施される方法、コンピュータ可読記憶媒体、およびシステム | |
US9588833B2 (en) | Information processing system monitoring apparatus, monitoring method, and monitoring program | |
JP6718367B2 (ja) | 判定システム、判定方法、及びプログラム | |
CN106027328B (zh) | 一种基于应用容器部署的集群监控的方法及*** | |
US11573878B1 (en) | Method and apparatus of establishing customized network monitoring criteria | |
CN107832200A (zh) | 告警处理方法、装置、计算机设备及存储介质 | |
US9704382B2 (en) | Method for calculating error rate of alarm | |
US9369364B2 (en) | System for analysing network traffic and a method thereof | |
CN102447570A (zh) | 一种基于健康度分析的监控装置及方法 | |
WO2011125243A1 (ja) | 作業遅延監視方法、作業管理装置および作業管理プログラム | |
US20130219053A1 (en) | Method for improved handling of incidents in a network monitoring system | |
JP6787340B2 (ja) | ログ分析システム、ログ分析方法及びプログラム | |
JP2008236307A (ja) | ネットワーク監視装置およびネットワーク監視方法 | |
JP2009217382A (ja) | 障害分析システム、障害分析方法、障害分析サーバおよび障害分析プログラム | |
US11146447B2 (en) | Method and apparatus of establishing computer network monitoring criteria | |
CN106709057A (zh) | 一种分布式集群可视化数据库 | |
CN111158982B (zh) | 电子设备、第一运行***、数据处理方法及存储介质 | |
CN111130867B (zh) | 一种基于物联网的智能家居设备告警方法及装置 | |
JP6741217B2 (ja) | ログ分析システム、方法およびプログラム | |
US9575865B2 (en) | Information processing system and monitoring method | |
CN111062503A (zh) | 一种电网监控告警处理方法、***、终端及存储介质 | |
CN105279432B (zh) | 一种软件监控处理方法以及装置 | |
WO2018097877A1 (en) | Window deviation analyzer | |
JP2015082131A (ja) | 監視システム、監視方法、監視プログラム及び監視装置 | |
CN113835961A (zh) | 告警信息监控方法、装置、服务器及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6718367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |