JP6643211B2 - 異常検知システム及び異常検知方法 - Google Patents
異常検知システム及び異常検知方法 Download PDFInfo
- Publication number
- JP6643211B2 JP6643211B2 JP2016179146A JP2016179146A JP6643211B2 JP 6643211 B2 JP6643211 B2 JP 6643211B2 JP 2016179146 A JP2016179146 A JP 2016179146A JP 2016179146 A JP2016179146 A JP 2016179146A JP 6643211 B2 JP6643211 B2 JP 6643211B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- event
- log
- abnormality
- frequent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/034—Test or assess a computer or a system
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
Description
監視対象システムが出力したログに含まれる時系列のイベントを、所定のルールに基づいて記号化イベントに変換する記号化手段と、
記号化手段によって記号化された正常時のログに基づいて、同じパターンで出現する記号化イベント列を頻出パターンとして学習する学習手段と、
記号化手段によって記号化された監視時のログにおいて頻出パターンが生起しているか否かに基づいて、異常の発生の有無を検知する異常検知手段と、を有する。
本実施形態に係る異常検知システムは、情報通信サービスや社会インフラサービスを支える計算機および関連機器又は設備等から構成される機器、計算機又はシステム(「監視対象システム」と呼ぶ)のログから、監視対象システムにおいて異常が発生しているか否かを検知する。これにより、異常検知システムは、これらのサービスに係るシステムの安定的な運用を支援する。ログは、日時、テキスト又は数値等で表現されたメッセージを含むイベントの集合であってよい。
(A1)テキスト処理やクラスタリング処理に基づき、テキストや数値などで記載された正常時のログを記号列に変換する。
(A2)記号化されたイベント列から頻出系列パターンを抽出する。すなわち、頻出系列パターンとは、正常時に頻出するイベント列(イベントの順序)のパターンである。
(A3)頻出系列パターンを構成する要素列の部分要素列から構成される部分パターンを生成する。すなわち、部分パターンとは、頻出系列パターンの一部分のイベント列(イベントの順序)のパターンである。
(A4)A2で抽出した頻出系列パターンと、A3で生成した部分パターンとの組の集合から、監視に用いる部分パターンを選定する。この選定方法については後述する。その際、頻出系列パターン内の部分パターンの生起を監視するために用いるウィンドウサイズ(「部分パターンのウィンドウサイズ」と呼ぶ)と、その部分パターンが生起してから頻出系列パターンが最後まで生起するまでの間のパターン(「レストパターン」と呼ぶ)を監視するために用いるウィンドウサイズ(「レストパターンのウィンドウサイズ」と呼ぶ)と、を決定する。
(A5)生成した頻出系列パターン、部分パターン、及び正常時のログに基づき、部分パターンが生起したときにその部分パターンを含む頻出系列パターンが生起する確率を算出するための統計的な予測モデルを学習する。
(B1)部分パターンのウィンドウサイズの範囲において、部分パターンが生起する。
(B2)部分パターンの生起後に、部分パターンのウィンドウサイズとレストパターンのウィンドウサイズとを合わせた範囲において、その部分パターンを含む頻出系列パターンが生起する確率が所定の閾値以上である。
(B3)その部分パターンの生起後に、その部分パターンを含む頻出系列パターンが生起していない。
(C1)監視時のログを前述同様に記号列に変換する。
(C2)監視対象選定及びモデル学習フェーズで選定された各パターンを用いて、ログに対して異常検知を行う。例えば、上記B1乃至B3の要件を全て満たすか否かを判定する。
(C3)その検知結果を通知し、関連情報を表示する。
図1は、本実施形態に係る異常検知システムの構成例を示す。
図2は、計算機のハードウェアの構成例を示す。以下、図1及び図2を参照しながら、異常検知システム1の機能について説明する。
図3は、統合前のログ1D1の一例を示す。統合前のログ1D1は、異常検知装置11によって監視対象システム2から収集されてよい。
パターンID1D601及び全体パターン1D602は、それぞれ、図7の頻出系列パターン1D5のパターンID1D501及びパターン1D504と対応する。
図10は、監視対象選定及びモデル学習フェーズの処理の一例を示すフローチャートである。
図16は、ログ情報監視画面1G1の例を示す。ログ情報監視画面1G1は、端末12の表示部121によって表示されてよい。
Claims (12)
- 監視対象システムの異常を検知する異常検知システムであって、プロセッサとメモリを備え、
前記プロセッサは、
前記監視対象システムが出力したログに含まれる時系列のイベントを、所定のルールに基づいて記号化イベントに変換する記号化手段と、
前記記号化手段によって記号化された正常時のログに基づいて、同じパターンで出現する記号化イベント列を頻出パターンとして学習する学習手段と、
前記記号化手段によって記号化された監視時のログにおいて前記頻出パターンが生起しているか否かに基づいて、異常の発生の有無を検知する異常検知手段と、を実行し、
前記異常検知手段は、
前記頻出パターンを構成する記号化イベント列のサイズに基づいて、前記記号化された監視時のログから、前記頻出パターンが生起しているか否かの検知対象とする記号化イベント列を抽出し、
前記抽出した検知対象の記号化イベント列において、前記頻出パターンの一部である部分パターンが生起しており、且つ、前記部分パターンが生起したときに前記部分パターンを含む前記頻出パターンが生起する確率が所定の閾値以上であるにも関わらず、前記頻出パターンの前記部分パターンの後に出現するパターンであるレストパターンが出現していない場合、異常有りと判定する
異常検知システム。 - 前記プロセッサは、
前記記号化された正常時のログに基づいて、前記記号化された監視時のログから部分パターンの生起の判定区間に関するサイズである部分パターンのウィンドウサイズを決定するウィンドウサイズ決定手段、をさらに実行する
請求項1に記載の異常検知システム。 - 前記ウィンドウサイズ決定手段は、
前記部分パターンが生起したときに当該部分パターンを含む前記頻出パターンが生起する確率が所定の閾値以上である複数の部分パターンのサイズの内の最小サイズに基づいて、前記ウィンドウサイズを決定する
請求項2に記載の異常検知システム。 - 前記ウィンドウサイズ決定手段は、
複数の頻出パターンのイベント数の度数分布における所定の2つのパーセンタイルの間のイベント数に基づいて、前記ウィンドウサイズを決定する
請求項2に記載の異常検知システム。 - 前記ウィンドウサイズ決定手段は、
複数の頻出パターンのイベント数の度数分布を所定の統計モデルにフィッティングし、その統計モデルの平均値に関する値に最も近いイベント数に基づいて、前記ウィンドウサイズを決定する
請求項2に記載の異常検知システム。 - 前記学習手段は、
前記記号化された正常時のログを用いて、前記部分パターンが生起したときに前記部分パターンを含む前記頻出パターンが生起する確率を、LSTM(Long short−term Memory)に係る予測モデルとして学習する
請求項1に記載の異常検知システム。 - 前記学習手段は、
前記記号化された正常時のログを用いて、前記部分パターンが生起したときに前記部分パターンを含む前記頻出パターンが生起する確率を、統計モデルとして学習する
請求項1に記載の異常検知システム。 - 前記記号化手段は、
正常時のログのイベント群に基づいて生成された複数のクラスタに共通する語に基づいてテンプレートを生成し、
監視時のログのイベントに対して、
或るテンプレートが適合する場合、その適合するテンプレートに基づく記号を割り当て、
何れのテンプレートとも適合しない場合、未知のイベントである旨を示す記号を割り当てる
請求項1に記載の異常検知システム。 - 前記プロセッサは、
各頻出パターンのサイズ及び出現回数を表示するGUIを生成するGUI生成手段、をさらに実行する
請求項1に記載の異常検知システム。 - 前記プロセッサは、
前記監視時のログを出力すると共に、異常有りと判定されたイベントを他のイベントと区別可能な態様で表示するGUIを生成するGUI生成手段、をさらに実行する
請求項1に記載の異常検知システム。 - 前記GUI生成手段は、
前記異常有りと判定されたイベントに当該イベントの異常に関する情報を含むGUIへのリンクを付与し、
前記リンク先のGUIとして、前記異常有りと判定されたイベントに関連する頻出パターン及び当該イベントを含む監視時のログを表示するGUIを生成する
請求項9に記載の異常検知システム。 - コンピュータが、監視対象システムの異常を検知する機能を提供する異常検知方法であって、
記号化手段が、前記監視対象システムが出力したログに含まれる時系列のイベントを、所定のルールに基づいて記号化イベントに変換し、
前記学習手段が、前記記号化手段によって記号化された正常時のログに基づいて、同じパターンで出現する記号化イベント列を頻出パターンとして学習し、
前記異常検知手段が、前記記号化手段によって記号化された監視時のログにおいて前記頻出パターンが生起しているか否かに基づいて、異常の発生の有無を検知し、
前記異常検知手段が、前記頻出パターンを構成する記号化イベント列のサイズに基づいて、前記記号化された監視時のログから、前記頻出パターンが生起しているか否かの検知対象とする記号化イベント列を抽出し、
前記異常検知手段が、前記抽出した検知対象の記号化イベント列において、前記頻出パターンの一部である部分パターンが生起しており、且つ、前記部分パターンが生起したときに前記部分パターンを含む前記頻出パターンが生起する確率が所定の閾値以上であるにも関わらず、前記頻出パターンの前記部分パターンの後に出現するパターンであるレストパターンが出現していない場合、異常有りと判定する
異常検知方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016179146A JP6643211B2 (ja) | 2016-09-14 | 2016-09-14 | 異常検知システム及び異常検知方法 |
US15/495,213 US20180075235A1 (en) | 2016-09-14 | 2017-04-24 | Abnormality Detection System and Abnormality Detection Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016179146A JP6643211B2 (ja) | 2016-09-14 | 2016-09-14 | 異常検知システム及び異常検知方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018045403A JP2018045403A (ja) | 2018-03-22 |
JP6643211B2 true JP6643211B2 (ja) | 2020-02-12 |
Family
ID=61560837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016179146A Active JP6643211B2 (ja) | 2016-09-14 | 2016-09-14 | 異常検知システム及び異常検知方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180075235A1 (ja) |
JP (1) | JP6643211B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6714142B2 (ja) * | 2017-03-03 | 2020-06-24 | 日本電信電話株式会社 | 攻撃パターン抽出装置、攻撃パターン抽出方法および攻撃パターン抽出プログラム |
EP3407273A1 (de) * | 2017-05-22 | 2018-11-28 | Siemens Aktiengesellschaft | Verfahren und anordnung zur ermittlung eines anomalen zustands eines systems |
US10469307B2 (en) * | 2017-09-26 | 2019-11-05 | Cisco Technology, Inc. | Predicting computer network equipment failure |
US11150630B2 (en) * | 2017-10-19 | 2021-10-19 | International Business Machines Corporation | Predictive maintenance utilizing supervised sequence rule mining |
JP7184078B2 (ja) * | 2018-04-19 | 2022-12-06 | 日本電気株式会社 | ログ分析システム、ログ分析方法及びプログラム |
US10679065B2 (en) * | 2018-07-03 | 2020-06-09 | Hitachi, Ltd. | Non-invasive data extraction from digital displays |
KR102501883B1 (ko) * | 2018-07-06 | 2023-02-21 | 에임시스템 주식회사 | 기계 학습 기반의 설비 이상 분류 시스템 및 방법 |
WO2020161780A1 (ja) * | 2019-02-04 | 2020-08-13 | 日本電気株式会社 | 行動計画推定装置、行動計画推定方法、及びコンピュータ読み取り可能な記録媒体 |
JP7170564B2 (ja) * | 2019-03-14 | 2022-11-14 | 三菱電機株式会社 | モータ劣化傾向監視システム |
JP2021052136A (ja) * | 2019-09-26 | 2021-04-01 | 株式会社ディスコ | 加工装置 |
CN114945919A (zh) * | 2020-01-23 | 2022-08-26 | 三菱电机株式会社 | 异常检测装置、异常检测方法和异常检测程序 |
WO2021199160A1 (ja) * | 2020-03-30 | 2021-10-07 | 日本電気株式会社 | 情報処理装置、情報処理方法、記録媒体、情報処理システム |
CN111949480B (zh) * | 2020-08-10 | 2023-08-11 | 重庆大学 | 一种基于组件感知的日志异常检测方法 |
US20220180247A1 (en) * | 2020-12-04 | 2022-06-09 | Oracle International Corporation | Detecting associated events |
JP2022121257A (ja) * | 2021-02-08 | 2022-08-19 | オムロン株式会社 | 周期動作検知装置、周期動作検知方法及び周期動作検知プログラム |
JP2022127818A (ja) * | 2021-02-22 | 2022-09-01 | 三菱電機株式会社 | データ分析装置、データ分析システムおよびプログラム |
CN113032226A (zh) * | 2021-05-28 | 2021-06-25 | 北京宝兰德软件股份有限公司 | 异常日志的检测方法、装置、电子设备及存储介质 |
US20230032678A1 (en) * | 2021-07-29 | 2023-02-02 | Micro Focus Llc | Abnormality detection in log entry collection |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4484643B2 (ja) * | 2004-09-10 | 2010-06-16 | 独立行政法人科学技術振興機構 | 時系列データ異常判定用プログラム及び時系列データ異常判別方法 |
JP4458493B2 (ja) * | 2006-08-10 | 2010-04-28 | 株式会社日立情報システムズ | ログ通知条件定義支援装置とログ監視システムおよびプログラムとログ通知条件定義支援方法 |
US20110154117A1 (en) * | 2009-12-22 | 2011-06-23 | General Electric Company, A New York Corporation | Methods and apparatus to perform log file analyses |
JP5439265B2 (ja) * | 2010-04-20 | 2014-03-12 | 株式会社日立製作所 | 異常検知・診断方法、異常検知・診断システム、及び異常検知・診断プログラム |
JP2012137934A (ja) * | 2010-12-27 | 2012-07-19 | Hitachi Ltd | 異常検知・診断方法、異常検知・診断システム、及び異常検知・診断プログラム並びに企業資産管理・設備資産管理システム |
WO2012160637A1 (ja) * | 2011-05-23 | 2012-11-29 | 富士通株式会社 | メッセージ判定装置およびメッセージ判定プログラム |
JP2014010666A (ja) * | 2012-06-29 | 2014-01-20 | Fujitsu Ltd | 情報出力装置、方法及びプログラム |
JP5798095B2 (ja) * | 2012-08-10 | 2015-10-21 | 日本電信電話株式会社 | ログ生成則作成装置及び方法 |
WO2014196129A1 (ja) * | 2013-06-03 | 2014-12-11 | 日本電気株式会社 | 障害分析装置、障害分析方法、および、記録媒体 |
WO2015045262A1 (ja) * | 2013-09-24 | 2015-04-02 | 日本電気株式会社 | ログ分析システム、障害原因分析システム、ログ分析方法、および、プログラムを記憶する記録媒体 |
WO2016031681A1 (ja) * | 2014-08-25 | 2016-03-03 | 日本電信電話株式会社 | ログ分析装置、ログ分析システム、ログ分析方法及びコンピュータプログラム |
JP5936240B2 (ja) * | 2014-09-12 | 2016-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | データ処理装置、データ処理方法、およびプログラム |
JP6503679B2 (ja) * | 2014-10-06 | 2019-04-24 | 富士通株式会社 | フィルタルール作成装置、フィルタルール作成方法、およびプログラム |
US10282546B1 (en) * | 2016-06-21 | 2019-05-07 | Symatec Corporation | Systems and methods for detecting malware based on event dependencies |
-
2016
- 2016-09-14 JP JP2016179146A patent/JP6643211B2/ja active Active
-
2017
- 2017-04-24 US US15/495,213 patent/US20180075235A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2018045403A (ja) | 2018-03-22 |
US20180075235A1 (en) | 2018-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6643211B2 (ja) | 異常検知システム及び異常検知方法 | |
CN110321371B (zh) | 日志数据异常检测方法、装置、终端及介质 | |
CN110574338B (zh) | 根本原因发现方法及*** | |
US11132248B2 (en) | Automated information technology system failure recommendation and mitigation | |
US10679135B2 (en) | Periodicity analysis on heterogeneous logs | |
JP6919569B2 (ja) | ログ分析システム、方法、及び記録媒体 | |
Aussel et al. | Improving performances of log mining for anomaly prediction through nlp-based log parsing | |
US20170109676A1 (en) | Generation of Candidate Sequences Using Links Between Nonconsecutively Performed Steps of a Business Process | |
US20170109668A1 (en) | Model for Linking Between Nonconsecutively Performed Steps in a Business Process | |
CN112163008B (zh) | 基于大数据分析的用户行为数据处理方法及云计算平台 | |
US11860721B2 (en) | Utilizing automatic labelling, prioritizing, and root cause analysis machine learning models and dependency graphs to determine recommendations for software products | |
US20170109667A1 (en) | Automaton-Based Identification of Executions of a Business Process | |
US11847130B2 (en) | Extract, transform, load monitoring platform | |
US20170109636A1 (en) | Crowd-Based Model for Identifying Executions of a Business Process | |
CN111160021A (zh) | 日志模板提取方法及装置 | |
US9860109B2 (en) | Automatic alert generation | |
US20170109639A1 (en) | General Model for Linking Between Nonconsecutively Performed Steps in Business Processes | |
CN113590451B (zh) | 一种根因定位方法、运维服务器及存储介质 | |
JP6457777B2 (ja) | ルールの自動化された生成および動的な更新 | |
JP7207009B2 (ja) | 異常検知装置、異常検知方法および異常検知プログラム | |
JP6201079B2 (ja) | 監視システムおよび監視方法 | |
US20170109670A1 (en) | Crowd-Based Patterns for Identifying Executions of Business Processes | |
CN115051863B (zh) | 异常流量检测的方法、装置、电子设备及可读存储介质 | |
US20190294523A1 (en) | Anomaly identification system, method, and storage medium | |
US20230161661A1 (en) | Utilizing topology-centric monitoring to model a system and correlate low level system anomalies and high level system impacts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190815 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6643211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |