JP6609050B2 - 時間的因果グラフにおける異常フュージョン - Google Patents
時間的因果グラフにおける異常フュージョン Download PDFInfo
- Publication number
- JP6609050B2 JP6609050B2 JP2018525694A JP2018525694A JP6609050B2 JP 6609050 B2 JP6609050 B2 JP 6609050B2 JP 2018525694 A JP2018525694 A JP 2018525694A JP 2018525694 A JP2018525694 A JP 2018525694A JP 6609050 B2 JP6609050 B2 JP 6609050B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- temporal
- graph
- causal graph
- causal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0775—Content or structure details of the error report, e.g. specific table structure, specific error fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0751—Error or fault detection not based on redundancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/83—Indexing scheme relating to error detection, to error correction, and to monitoring the solution involving signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/86—Event-based monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
異なるイベント間の時間的因果関係を特定するために、どのようにして複数のイベントシーケンスを一連の回帰問題の入力に変換するかを説明する。この概念は、1つのイベントの発生を、それ以前に起きた他のイベントを用いて予測(または再構築)するものである。さらに詳細には、1<j<Dであり、jがiと等しくないとしたとき、i番目のイベントの発生を他の全てのj個のイベントを用いて予測することを考える。そのとき、ni個のペア(X(i)_j、Y(i)_j)を生成できる。ここで、X(i)_jは、D−1次元ベクトルであり、Y(i)_jは、スカラーである。
時間的因果グラフWはD個のイベント全ての間の関係を要約するものである。このグラフの枝重みはタイムスタンプt−Δtからタイムスタンプtへのシステムイベントシグネチャの移行を正確に記述する。したがって、将来の任意の時点tにおけるシステムイベントシグネチャが与えられると、次のタイムスタンプのシステムシグネチャを以下のように予測できる。
互いにシステムの動作の解明に役立つ複数の要素で通常構成されるシステムのステータスを特定するために時間的因果グラフを用いることができる。正常期間における履歴イベントシーケンスを用いて因果グラフWを構築するものとする。実時間テスト段階において、イベントシグネチャv(t)は与えられた任意の時間tに関してD−1次元ベクトルであるものとする。その結果、Wにおけるv(t)で共起パターン(co-occurrence patterns)が見出せるか否かを調べることでイベントシグネチャvtの異常スコアを計算できる。Wにおいて全ての共起パターンが見出せる場合、イベントシグネチャv(t)は正常であると考えられる。一方、Wにおけるv(t)で共起パターンがほとんど見出せない場合、v(t)は異常パターンを含んでいると考えられる。以下では、異常スコアを計算するための2つの方法を提案する。
さらに詳細には、v(t)に関する異常スコアは以下のように計算できる。
第2の方法は、Wによって定義される有向グラフ上でv(t)における非ゼロイベントのペアワイズ距離(pairwise distances)を計算することである。イベントのペア(すなわち1つの共起パターン)がグラフ上で(最短経路距離において)互いに離れている場合、このパターンは高い異常であり、異常なレベルの一因となるはずである。さらに詳細には、以下を定義できる。
アラームをトリガできるように異常スコアの閾値を定義するには、t=1、2、…、Tに関して履歴シグネチャイベントベクトルv(t)’の分布を調べればよい。異常スコアがガウス分布に従うと仮定すると、例えば5%の分位数に対応するスコアの閾値を容易に算出できる。
Claims (19)
- システム内の1つまたは複数の異常を検出する方法であって、
正常期間におけるローカル構成要素間の機能的関係を記述する時間的因果グラフを構築することと、
前記時間的因果グラフをプロパゲーションテンプレートとして適用し、現在のシステムイベントシグネチャを繰り返し適用することでシステムステータスを予測することと、
正常なシステム動作を特定する前記時間的因果グラフ上で関連するパターンを調べることで、前記システムの前記1つまたは複数の異常を検出することとを含む、方法。 - 物のインターネット(IoT)、デジタルネットワーキングシステムまたはクラウドの一部であるセンサを含む、請求項1に記載の方法。
- 予測されたシステムイベントを用いて異常スコアを決定することを含む、請求項1に記載の方法。
- 前記時間的因果グラフの構築が、非負値スパース回帰を実行することを含む、請求項1に記載の方法。
- 各シーケンスまたは各タイプのイベントが、企業ネットワークシステムにおける1つのサーバの異常ログのバーストと関連付けられる、請求項1に記載の方法。
- 前記時間的因果グラフを用いて正常なシステム動作を記述することと、テンプレートとしてこの時間的因果グラフに基づいて異常を検出することとを含む、請求項1に記載の方法。
- 前記時間的因果グラフが、非負値LASSO(Least Absolute Shrinkage and Selection Operator)を用いて決定される、請求項1に記載の方法。
- 因果推論と異常検出の組合せを用いてシステム障害を特定する、請求項1に記載の方法。
- 改善された因果推論が、調整可能な時間ラグを有する離散的なイベントシーケンスを扱うことができる、請求項1に記載の方法。
- 離散的なイベントシーケンスを解析することを含む、請求項1に記載の方法。
- 非負値スパース回帰によって因果関係を決定することを含む、請求項1に記載の方法。
- 複数のイベントシーケンスを一連の回帰問題の入力に変換して、異なるイベント間の時間的因果関係を特定することを含む、請求項1に記載の方法。
- 1つのイベントの発生を、それ以前のイベントを用いて予測または再構築することを含む、請求項1に記載の方法。
- 1<j<Dであり、jがiと等しくないとしたとき、他のj個のイベントを用いてi番目のイベントの発生を予測することと、
X(i)_jがD−1次元ベクトルであり、Y(i)_jがスカラーとしたとき、
- イベントチャネル毎にいくつかのタイムスタンプを互いに結合することと、時間ベースの再重み付け方式を適用して各チャネルのイベントカウントの重み平均を決定することと、
回帰を適用して、関係
- g()が減衰関数であるとき、v(t)に関する異常スコアを、
- v(t)に関する異常スコアを、有向グラフ上のv(t)中の非ゼロイベントのペアワイズ距離として決定することを含む、請求項1に記載の方法。
- 前記時間的因果グラフ上でイベントパターンをアラインメントして異常スコアを決定することを含む、請求項1に記載の方法。
- 前記時間的因果グラフ上でイベントプロパゲーションを実行して将来のステータスを予測することを含む、請求項1に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562256752P | 2015-11-18 | 2015-11-18 | |
US62/256,752 | 2015-11-18 | ||
US15/351,449 | 2016-11-15 | ||
US15/351,449 US10235231B2 (en) | 2015-11-18 | 2016-11-15 | Anomaly fusion on temporal casualty graphs |
PCT/US2016/062140 WO2017087440A1 (en) | 2015-11-18 | 2016-11-16 | Anomaly fusion on temporal casuality graphs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019502195A JP2019502195A (ja) | 2019-01-24 |
JP6609050B2 true JP6609050B2 (ja) | 2019-11-20 |
Family
ID=58717735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018525694A Active JP6609050B2 (ja) | 2015-11-18 | 2016-11-16 | 時間的因果グラフにおける異常フュージョン |
Country Status (4)
Country | Link |
---|---|
US (1) | US10235231B2 (ja) |
JP (1) | JP6609050B2 (ja) |
DE (1) | DE112016005290T5 (ja) |
WO (1) | WO2017087440A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11620553B2 (en) * | 2016-04-21 | 2023-04-04 | Utopus Insights, Inc. | System and method for forecasting leaks in a fluid-delivery pipeline network |
JP6730340B2 (ja) * | 2018-02-19 | 2020-07-29 | 日本電信電話株式会社 | 因果推定装置、因果推定方法、及びプログラム |
US11153144B2 (en) | 2018-12-06 | 2021-10-19 | Infosys Limited | System and method of automated fault correction in a network environment |
JP7120043B2 (ja) * | 2019-01-23 | 2022-08-17 | 日本電信電話株式会社 | グラフ要約装置、グラフ要約方法及びプログラム |
US10976068B2 (en) | 2019-09-03 | 2021-04-13 | Resolute Building Intelligence, LLC | System and method for configuring analytic rules to equipment based upon building data |
US20210117998A1 (en) * | 2019-10-21 | 2021-04-22 | Oracle International Corporation | Artificial Intelligence Based Room Personalized Demand Model |
US20220405640A1 (en) * | 2019-10-29 | 2022-12-22 | Nippon Telegraph And Telephone Corporation | Learning apparatus, classification apparatus, learning method, classification method and program |
US11157347B2 (en) * | 2019-12-02 | 2021-10-26 | EMC IP Holding Company LLC | Detection of resource bottlenecks in user devices using artificial intelligence and causal graphs |
US11188403B2 (en) * | 2020-04-29 | 2021-11-30 | Capital One Services, Llc | Computer-based systems involving an engine and tools for incident prediction using machine learning and methods of use thereof |
EP3905044B1 (fr) | 2020-04-30 | 2023-05-10 | Bull SAS | Procédé d'analyse automatique des journaux de transactions d'un système informatique distribué |
CN114691447A (zh) * | 2020-12-30 | 2022-07-01 | 超聚变数字技术有限公司 | 一种设备的状态分析方法和分析装置 |
US20220253733A1 (en) * | 2021-02-05 | 2022-08-11 | Mingming Zuo | Abnormality detection based on causal graphs representing causal relationships of abnormalities |
WO2022249369A1 (ja) * | 2021-05-26 | 2022-12-01 | 日本電信電話株式会社 | プロセス情報解析装置、プロセス情報解析方法およびプログラム |
US20220382614A1 (en) * | 2021-05-26 | 2022-12-01 | Nec Laboratories America, Inc. | Hierarchical neural network-based root cause analysis for distributed computing systems |
US11816080B2 (en) * | 2021-06-29 | 2023-11-14 | International Business Machines Corporation | Severity computation of anomalies in information technology operations |
US20230236922A1 (en) * | 2022-01-24 | 2023-07-27 | International Business Machines Corporation | Failure Prediction Using Informational Logs and Golden Signals |
CN115118580B (zh) * | 2022-05-20 | 2023-10-31 | 阿里巴巴(中国)有限公司 | 告警分析方法以及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7530105B2 (en) * | 2006-03-21 | 2009-05-05 | 21St Century Technologies, Inc. | Tactical and strategic attack detection and prediction |
US8370609B1 (en) * | 2006-09-27 | 2013-02-05 | Oracle America, Inc. | Data cache rollbacks for failed speculative traces with memory operations |
US8359577B2 (en) * | 2008-12-23 | 2013-01-22 | Honeywell International Inc. | Software health management testbed |
US8255346B2 (en) * | 2009-11-11 | 2012-08-28 | International Business Machines Corporation | Methods and systems for variable group selection and temporal causal modeling |
US20140108324A1 (en) * | 2012-10-12 | 2014-04-17 | Nec Laboratories America, Inc. | Data analytic engine towards the self-management of complex physical systems |
US9185124B2 (en) | 2013-02-27 | 2015-11-10 | Sayan Chakraborty | Cyber defense systems and methods |
US9195943B2 (en) * | 2013-03-12 | 2015-11-24 | Bmc Software, Inc. | Behavioral rules discovery for intelligent computing environment administration |
EP3044718A4 (en) * | 2013-09-10 | 2017-05-17 | Symantec Corporation | Systems and methods for using event-correlation graphs to detect attacks on computing systems |
US9367809B2 (en) * | 2013-10-11 | 2016-06-14 | Accenture Global Services Limited | Contextual graph matching based anomaly detection |
US9159032B1 (en) | 2014-03-19 | 2015-10-13 | Xerox Corporation | Predicting arrival times of vehicles based upon observed schedule adherence |
-
2016
- 2016-11-15 US US15/351,449 patent/US10235231B2/en active Active
- 2016-11-16 DE DE112016005290.1T patent/DE112016005290T5/de active Pending
- 2016-11-16 WO PCT/US2016/062140 patent/WO2017087440A1/en active Application Filing
- 2016-11-16 JP JP2018525694A patent/JP6609050B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
DE112016005290T5 (de) | 2018-09-13 |
WO2017087440A1 (en) | 2017-05-26 |
US10235231B2 (en) | 2019-03-19 |
JP2019502195A (ja) | 2019-01-24 |
US20170235626A1 (en) | 2017-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6609050B2 (ja) | 時間的因果グラフにおける異常フュージョン | |
US10914608B2 (en) | Data analytic engine towards the self-management of complex physical systems | |
CN109902832B (zh) | 机器学习模型的训练方法、异常预测方法及相关装置 | |
US9245235B2 (en) | Integrated approach to model time series dynamics in complex physical systems | |
CN105677538B (zh) | 一种基于故障预测的云计算***自适应监测方法 | |
JP6313730B2 (ja) | 異常検出システムおよび方法 | |
US9600394B2 (en) | Stateful detection of anomalous events in virtual machines | |
JP2021524954A (ja) | 異常検知 | |
US9720823B2 (en) | Free memory trending for detecting out-of-memory events in virtual machines | |
JP6183450B2 (ja) | システム分析装置、及び、システム分析方法 | |
US11715284B2 (en) | Anomaly detection apparatus, anomaly detection method, and program | |
Li et al. | Prognostics of analog filters based on particle filters using frequency features | |
KR20190078850A (ko) | 동적 전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법 및 그 시스템 | |
US11747035B2 (en) | Pipeline for continuous improvement of an HVAC health monitoring system combining rules and anomaly detection | |
CN115769235A (zh) | 提供与训练函数的准确度有关的警报的方法和*** | |
Biem et al. | Real-time analysis and management of big time-series data | |
CN112380073B (zh) | 一种故障位置的检测方法、装置及可读存储介质 | |
JP2007279887A (ja) | 特異パターン検出システム、モデル学習装置、特異パターン検出装置、特異パターン検出方法、及び、コンピュータプログラム | |
WO2020261621A1 (ja) | 監視システム、監視方法及びプログラム | |
Lijun et al. | An intuitionistic calculus to complex abnormal event recognition on data streams | |
US20150095490A1 (en) | Online sparse regularized joint analysis for heterogeneous data | |
US12051232B2 (en) | Anomaly detection apparatus, anomaly detection method, and program | |
US20240054043A1 (en) | Trigger point detection for online root cause analysis and system fault diagnosis | |
KR102444941B1 (ko) | 화재모니터링장치 및 그 동작 방법 | |
Li et al. | Analyzing Web Logs to Detect {User-Visible} Failures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191024 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6609050 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |