JP7173284B2 - イベント監視装置、方法及びプログラム - Google Patents
イベント監視装置、方法及びプログラム Download PDFInfo
- Publication number
- JP7173284B2 JP7173284B2 JP2021505937A JP2021505937A JP7173284B2 JP 7173284 B2 JP7173284 B2 JP 7173284B2 JP 2021505937 A JP2021505937 A JP 2021505937A JP 2021505937 A JP2021505937 A JP 2021505937A JP 7173284 B2 JP7173284 B2 JP 7173284B2
- Authority
- JP
- Japan
- Prior art keywords
- subsequences
- period
- event
- unit
- series data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/86—Event-based monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
各ログメッセージはタイムスタンプと一以上のフィールドを持つテキスト内容を含む、異種ログメッセージをキャプチャし;
ログメッセージからログフォーマットを認識し;
テキスト内容を時系列データの集合に変換し、ログフォーマットごとに一つ時系列データを作成し;
トレーニングフェイズでは、時系列データの集合を分析し、異種ログの各周期的イベントタイプのカテゴリモデルを構築し;および、
実行動作中に、実行時の異種ログメッセージからの時系列データのストリームにカテゴリモデルを適用し、カテゴリモデルに違反する時系列データポイントにフラグを生成し、対応するログメッセージのアラームレポートを生成する。
時系列データの周期を計算し、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成し、
前記複数のサブシーケンスの特徴量を計算し、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ以上のグループにカテゴライズし、
一つのグループに共通に属する前記サブシーケンスの発生順序に基づいて、一つのグループに共通に属する前記サブシーケンスの周期を検出し、
前記一つのグループに共通して属する前記サブシーケンスの周期に応じて発生が期待されるが、見つからない前記サブシーケンスを識別することにより、欠落イベントの検出を行う、イベント監視方法が提供される。
時系列データの周期を計算し、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成し、
前記複数のサブシーケンスの特徴量を計算し、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ以上のグループにカテゴライズし、
一つのグループに共通に属する前記サブシーケンスの発生順序に基づいて、一つのグループに共通に属する前記サブシーケンスの周期を検出し、
前記一つのグループに共通して属する前記サブシーケンスの周期に応じて発生が期待されるが、見つからない前記サブシーケンスを識別することにより、欠落イベントの検出を行う処理をコンピュータに実行させるプログラムを格納した、コンピュータ読み取り可能な記録媒体が提供される。本発明の別の側面によれば、上記したプログラムが提供される。
101 処理部
102 記憶部
103 入力装置
104 出力装置
110 前処理部
120 周期算出部
130 サブシーケンス生成部
140 特徴抽出部
150 クラスタリング部
151 サブシーケンスクラスタリングモジュール
160 イベント解析部
161 インシデンス行列生成部
162 列方向周期算出部
163 欠落イベント識別部
170 分類モデル学習部
180 推定部
190 教師付きサブシーケンス区分部
200 コンピュータシステム
201 プロセッサ
202 メモリ
203、204 I/Oインターフェイス
205 通信インターフェイス
206 入出力装置
207 記憶装置
208 ネットワーク
Claims (10)
- 時系列データの周期を計算する周期計算部と、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成するサブシーケンス生成部と、
前記複数のサブシーケンスの特徴量を計算する特徴抽出部と、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ又は複数のグループに分類する分類部と、
前記一つのグループに共通に属する、前記サブシーケンスの発生順序に基づいて、前記一つのグループに共通に属する前記サブシーケンスの周期を求め、前記一つのグループに共通に属する前記サブシーケンスの周期に応じて発生が期待されるが見つからない前記サブシーケンスを識別して欠落イベントの検出を実行するイベント解析部と、
を含むイベント監視装置。 - 前記イベント解析部が、
各要素が、行の前記サブシーケンスと列の各グループとの関係を定義し、前記サブシーケンスが前記グループに分類されている場合には、該列の各グループは値1をとり、そうでない場合は値0をとるインシデンス行列を作成するインシデンス行列作成部と、
前記インシデンス行列の各列における値1の発生の周期を計算する列単位の周期計算部と、
前記要素が属する列の周期に基づいて、値1を取ると期待される前記インシデンス行列の要素が値0をとる場合に、欠落イベントを識別する欠落イベント検出部と、
を含む、請求項1記載のイベント監視装置。 - 前記インシデンス行列が、前記サブシーケンスの数を行数とし、前記サブシーケンスが分類されるグループの数を列数とし、
前記インシデンス行列のi行j列要素は、i番目のサブシーケンスがj番目のグループに分類される場合に値1をとり、そうでない場合には値0をとる(但し、1<=i<=行数、1<=j<=列数)、請求項2記載のイベント監視装置。 - 前記分類部が、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ又は複数のグループにクラスタリングするクラスタリング部を含む、請求項1乃至3のいずれか一に記載のイベント監視装置。 - 前記分類部が、前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ又は複数のグループに分類するクラシフィケーション部を含む、請求項1乃至3のいずれか一に記載のイベント監視装置。
- 前記クラシフィケーション部が、前記周期を有するトレーニングサブシーケンスを用いて分類モデルを学習する分類モデル学習部と、
前記サブシーケンスが前記サブシーケンスの特徴量に基づいて分類されるグループを、前記分類モデルを用いて推定する推定部と、
を含む、請求項5記載のイベント監視装置。 - 前記周期計算部が、前記時系列データのピリオドグラムおよび前記時系列データの自己相関のうち少なくとも一つを用いて、前記時系列データの周期を算出する、請求項1乃至6のいずれか一に記載のイベント監視装置。
- 前記周期計算部が、前記ピリオドグラム中の最大ピークを検出し、前記自己相関において、前記最大ピークに対応するラグと前記ピリオドグラム中の最大ピークの周波数に対応する時刻に隣接する一つ又は複数のラグで発生する一つ又は複数のピークを検出し、前記ピークに対応するラグと前記ピリオドグラム中の最大ピークの周波数に対応する時刻との距離に基づいて、前記ラグを前記周期として選択することを特徴とする、
請求項7記載のイベント監視装置。 - コンピュータによるイベント監視方法であって、
前記コンピュータが、
時系列データを記憶装置から読み出す処理、
前記時系列データの周期を計算する処理、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成する処理、
前記複数のサブシーケンスの特徴量を計算する処理、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ以上のグループにカテゴライズする処理、
一つのグループに共通に属する前記サブシーケンスの発生順序に基づいて、前記一つのグループに共通に属する前記サブシーケンスの周期を検出する処理、
前記一つのグループに共通に属する前記サブシーケンスの周期に応じて発生が期待されるが見つからない前記サブシーケンスを識別することにより、欠落イベントの検出する処理、及び、
前記欠落イベントを出力装置に出力する処理、
を実行する、イベント監視方法。 - 時系列データの周期を計算し、
前記時系列データから、周期として設定された長さの複数のサブシーケンスを生成し、
前記複数のサブシーケンスの特徴量を計算し、
前記複数のサブシーケンスを、前記複数のサブシーケンスの特徴量に基づいて、一つ以上のグループにカテゴライズし、
一つのグループに共通に属する前記サブシーケンスの発生順序に基づいて、一つのグループに共通に属する前記サブシーケンスの周期を検出し、
前記一つのグループに共通して属する前記サブシーケンスの周期に応じて発生が期待されるが見つからない前記サブシーケンスを識別することにより、欠落イベントの検出を行う、処理を、コンピュータに実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/029269 WO2020026442A1 (en) | 2018-08-03 | 2018-08-03 | Event monitoring apparatus, method and program recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021533482A JP2021533482A (ja) | 2021-12-02 |
JP7173284B2 true JP7173284B2 (ja) | 2022-11-16 |
Family
ID=69232521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505937A Active JP7173284B2 (ja) | 2018-08-03 | 2018-08-03 | イベント監視装置、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11755448B2 (ja) |
JP (1) | JP7173284B2 (ja) |
WO (1) | WO2020026442A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7466802B2 (ja) | 2022-03-11 | 2024-04-12 | 三菱電機株式会社 | 学習装置、推論装置、学習方法、及び推論方法 |
US20230341832A1 (en) | 2022-04-26 | 2023-10-26 | Hitachi, Ltd. | Versatile anomaly detection system for industrial systems |
WO2023209798A1 (ja) * | 2022-04-26 | 2023-11-02 | 日本電信電話株式会社 | 特徴量抽出装置、特徴量抽出方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060224356A1 (en) | 2005-03-31 | 2006-10-05 | Ibm Corporation | Systems and methods for structural clustering of time sequences |
US20170132523A1 (en) | 2015-11-09 | 2017-05-11 | Nec Laboratories America, Inc. | Periodicity Analysis on Heterogeneous Logs |
WO2018092073A1 (en) | 2016-11-16 | 2018-05-24 | Anodot Ltd. | Fast automated detection of seasonal patterns in time series data without prior knowledge of seasonal periodicity |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4505589B2 (ja) * | 2005-03-15 | 2010-07-21 | 独立行政法人産業技術総合研究所 | 周期判定装置、周期判定方法および周期判定プログラム |
US20100205039A1 (en) | 2009-02-11 | 2010-08-12 | International Business Machines Corporation | Demand forecasting |
EP2410438A1 (en) | 2010-07-20 | 2012-01-25 | European Space Agency | Method and telemetric device for resampling time series data |
JP5917566B2 (ja) | 2011-01-28 | 2016-05-18 | ザ ボード オブ リージェンツ オブ ザ ネバダ システム オブ ハイヤー エデュケーション オン ビハーフ オブ ザ デザート リサーチ インスティテュート | 信号同定の方法およびシステム |
WO2015059272A1 (en) | 2013-10-24 | 2015-04-30 | Universite Libre De Bruxelles | Improved non-intrusive appliance load monitoring method and device |
DE102014208034A1 (de) | 2014-04-29 | 2015-10-29 | Siemens Aktiengesellschaft | Verfahren zum Bereitstellen von zuverlässigen Sensordaten |
-
2018
- 2018-08-03 WO PCT/JP2018/029269 patent/WO2020026442A1/en active Application Filing
- 2018-08-03 JP JP2021505937A patent/JP7173284B2/ja active Active
-
2021
- 2021-01-27 US US17/263,728 patent/US11755448B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060224356A1 (en) | 2005-03-31 | 2006-10-05 | Ibm Corporation | Systems and methods for structural clustering of time sequences |
US20170132523A1 (en) | 2015-11-09 | 2017-05-11 | Nec Laboratories America, Inc. | Periodicity Analysis on Heterogeneous Logs |
WO2018092073A1 (en) | 2016-11-16 | 2018-05-24 | Anodot Ltd. | Fast automated detection of seasonal patterns in time series data without prior knowledge of seasonal periodicity |
Non-Patent Citations (2)
Title |
---|
Hesam Izakian,外1名,"Anomaly Detection in Time Series Data using a Fuzzy C-Means Clustering",[online],2013年09月26日,[令和4年4月1日検索],インターネット<https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6608627> |
RAWSHAN BASHA,"UNUSUAL SUB-SEQUENCE IDENTIFICATIONS IN TIME SERIES",[online],2007年04月,[令和4年4月1日検索],インターネット<https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.107.5391&rep=rep1&type=pdf> |
Also Published As
Publication number | Publication date |
---|---|
US11755448B2 (en) | 2023-09-12 |
US20210374031A1 (en) | 2021-12-02 |
JP2021533482A (ja) | 2021-12-02 |
WO2020026442A1 (en) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11403164B2 (en) | Method and device for determining a performance indicator value for predicting anomalies in a computing infrastructure from values of performance indicators | |
US11755448B2 (en) | Event monitoring apparatus, method and program recording medium | |
US8630962B2 (en) | Error detection method and its system for early detection of errors in a planar or facilities | |
US8078913B2 (en) | Automated identification of performance crisis | |
US11307916B2 (en) | Method and device for determining an estimated time before a technical incident in a computing infrastructure from values of performance indicators | |
Pavlovski et al. | Hierarchical convolutional neural networks for event classification on PMU measurements | |
WO2018071005A1 (en) | Deep long short term memory network for estimation of remaining useful life of the components | |
JP2013175108A (ja) | クラスタリング装置及びクラスタリングプログラム | |
US11675643B2 (en) | Method and device for determining a technical incident risk value in a computing infrastructure from performance indicator values | |
CN114169604A (zh) | 性能指标的异常检测方法、异常检测装置、电子设备和存储介质 | |
Kamat et al. | Deep learning-based anomaly-onset aware remaining useful life estimation of bearings | |
CN110858072B (zh) | 设备运行状态的确定方法及装置 | |
Zhang et al. | Robust KPI anomaly detection for large-scale software services with partial labels | |
WO2017127260A1 (en) | System and method for allocating machine behavioral models | |
CN113052302B (zh) | 基于循环神经网络的机器健康监控方法、装置及终端设备 | |
JP6915693B2 (ja) | システム分析方法、システム分析装置、および、プログラム | |
CN115495274B (zh) | 基于时序数据的异常处理方法、网络设备和可读存储介质 | |
US12019433B2 (en) | Periodicity analysis apparatus, method and program recording medium | |
US20170139794A1 (en) | Information processing device, analysis method, and recording medium | |
Liu et al. | A review of nonintrusive load monitoring and its application in commercial building | |
Wassermann et al. | DeCorus: Hierarchical Multivariate Anomaly Detection at Cloud-Scale | |
Nguyen et al. | Active learning for accurate analysis of streaming partial discharge data | |
Gujral | Survey: Anomaly Detection Methods | |
Santana | The Impact of Imputation Methods on the Classification of Household Devices from Electricity Usage Time Series | |
de Paula Monteiro et al. | Opportunities in Neural Networks for Industry 4.0 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221017 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7173284 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |