JP2014153723A - ログ生起異常検知装置及び方法 - Google Patents
ログ生起異常検知装置及び方法 Download PDFInfo
- Publication number
- JP2014153723A JP2014153723A JP2013019825A JP2013019825A JP2014153723A JP 2014153723 A JP2014153723 A JP 2014153723A JP 2013019825 A JP2013019825 A JP 2013019825A JP 2013019825 A JP2013019825 A JP 2013019825A JP 2014153723 A JP2014153723 A JP 2014153723A
- Authority
- JP
- Japan
- Prior art keywords
- log
- occurrence
- tuple
- template
- monitoring target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
【解決手段】 本発明は、過去に蓄積されたログメッセージ内の重要とされる部分をログテンプレートとして抽出し、該ログテンプレートをグループ化したロググループとを格納したログテンプレート・ロググループ記憶手段と、監視対象機器情報と監視対象機器のラベルを格納した監視対象機器情報・ラベル記憶手段と、利用者端末からの指定情報に基づいて、ログテンプレート・ロググループ記憶手段と監視対象機器情報・ラベル記憶手段からロググループまたはテンプレートラベル、監視対象機器情報の集合をログタプルとして取得し、所定の条件に基づいて異常性スコアを算出し、該異常性スコアが所定の閾値を超えたものを異常として検出する。
【選択図】 図1
Description
過去に蓄積されたログメッセージ内の重要とされる部分(以下、「ログテンプレート」と記す)、該ログテンプレートをグループ化したロググループとを格納したログテンプレート・ロググループ記憶手段と、
監視対象機器情報と監視対象機器のラベルを格納した監視対象機器情報・ラベル記憶手段と、
利用者端末からの指定情報に基づいて、前記ログテンプレート・ロググループ記憶手段と前記監視対象機器情報・ラベル記憶手段からロググループまたはテンプレートラベル、監視対象機器情報の集合をログタプルとして取得し、所定の条件に基づいて異常性スコアを算出し、該異常性スコアが所定の閾値を超えたものを異常として検出する異常性検出手段と、を有する。
所定の時間幅における生起を計数し、ログ時系列の全時間幅合計で除し、観測時間のうち生起した時間幅割合を頻度として計算する頻度計算手段、
前記タプルの周期性を計算する周期性計算手段、
前記タプルに含まれるメッセージのスコアを異常スコアとして用いるスコア利用手段、
予め登録された文字列ごとの重みを設定しておき、前記タプルに含まれるメッセージ内の文字列と比較して、異常性の高さを前記タプルのロググループへ割り振る単語異常性抽出手段、
前記タプルのログの所定の生起パターンに基づいて異常性のあるタプルを抽出する生起パターン判定手段、
以前に同一ログテンプレート及びロググループが生起した場合の時間と、監視対象時点で発生したログタプルと発生時間との時間差を求める直前発生時間時間差算出手段、
のいずれかまたは全ての異常性またはスコアを纏めて前記異常性スコアとする手段を含む。
前記ログタプルの生起回数を所定の時間区切り毎に計算し、該生起回数の要素の変動係数を算出し、該時間区切りでの該生起回数の分布を計算する手段を含む。
同一時間幅内の同一タプルの発生数、
同一時間幅内の同一監視対象機器からの異なるタプルの発生数、
同値ログタプルの発生継続時間幅数、
のいずれかを算出する。
過去に把握し保存したログの中でも、恒常的に高頻度に発生するログは異常性が低いと考えられる。そこで、過去に把握したログテンプレート・ロググループ・ラベル情報DB14のログテンプレートあるいはロググループの、ある細かい時間幅(例えば、1秒など)において生起があれば1を計上し、これを入力とするログ時系列の全時間幅合計で割り、観測時間のうち生起を確認できた時間幅割合を頻度として計算する。
過去に把握し、保存したログの中でも、毎日同じ頻度で発生するログは異常性が低いと考えられる。例えば、cronジョブのメッセージや、毎日の監視業務において発生するログメッセージである。そこで、過去に把握したログの周期性を計算し、これを正常具合を表す指標とする。周期性を把握する方法は様々な方法が考えられるが、以下に示すような、日毎のログタプルの発生回数の変動係数を計算する方法がある。
syslogなどのメッセージにはそのログそのものの異常性を表すスコアが付与されているため、それをそのまま異常スコアとして用いる。異常性を表すスコアとしては、例えばsyslogプロトコルに関してはRFC5424にてシビリティ(重要度)が決定されている(例えば、http://tools.ietf.org/html/rfc5424参照)。このため、受信側(ログ一元管理装置)側にてこれらの情報を保持することが可能である。
メッセージ内の文字列には、明らかに異常性が高いと考えられるものがある。例えば、downやfailure、errorといった文字列である。事前にこれらをメモリ(図示せず)に登録し、重みを設定しておくことで、異常性の高さをロググループへ割り振ることができる。
続いて、ログの生起の仕方に着目した異常性の把握方法を以下(a),(b),(c)に分類して説明する。
(b)同一時間内の、同一監視対象機器(及び監視対象機器ラベル)からの異なるログタプルの発生数:
(c)同一ログタプルの、発生継続時間幅数:
ステップ106a)周期性が低いものの中でも、特にある時点で集中して発生が観測できた場合、それは異常な事象が発生したためであると考えられる。この発生回数を計算する。
観測時間内で同一頻度のものの中でも、異常性把握したい点からの生起が時間的、空間的に離れていれば、現在の状態とは関係が薄いと考えられる。そこで、以前に同一ログテンプレート及びロググループが生起した場合、その時間を把握しておき(例えば、メモリ(図示せず)に格納)、対象時点で発生したログタプルとの時間差を計算する。
図3は、本発明の第1の実施例のシステム構成例(固定閾値利用時)である。
異常スコア分析エンジン12において、ある固定閾値を用いて異常を検出する場合を想定している。
図4は、本発明の第2の実施例のシステム構成例(オフライン学習時)である。
図5は、本発明の第3の実施の形態におけるシステム構成例(オンライン学習時)である。
2 ログ収集装置
3 利用者端末
10 ログ生起異常検知装置
11 ユーザインタフェース
12 異常スコア分析部、異常スコア分析エンジン
13 対象監視機器情報・監視対象機器ラベルDB
14 ログテンプレート・ロググループ・ラベル情報DB
15 故障・異常情報(教師データ)DB
16 既存監視アラーム
Claims (8)
- 多種多様な機器から出力されるログ情報から異常な状態を検出するログ生起異常検知装置であって、
過去に蓄積されたログメッセージ内の重要とされる部分(以下、「ログテンプレート」と記す)、該ログテンプレートをグループ化したロググループとを格納したログテンプレート・ロググループ記憶手段と、
監視対象機器情報と監視対象機器のラベルを格納した監視対象機器情報・ラベル記憶手段と、
利用者端末からの指定情報に基づいて、前記ログテンプレート・ロググループ記憶手段と前記監視対象機器情報・ラベル記憶手段からロググループまたはテンプレートラベル、監視対象機器情報の集合をログタプルとして取得し、所定の条件に基づいて異常性スコアを算出し、該異常性スコアが所定の閾値を超えたものを異常として検出する異常性検出手段と、
を有することを特徴とするログ生起異常検知装置。 - 前記異常性検出手段は、
所定の時間幅における生起を計数し、ログ時系列の全時間幅合計で除し、観測時間のうち生起した時間幅割合を頻度として計算する頻度計算手段、
前記タプルの周期性を計算する周期性計算手段、
前記タプルに含まれるメッセージのスコアを異常スコアとして用いるスコア利用手段、
予め登録された文字列ごとの重みを設定しておき、前記タプルに含まれるメッセージ内の文字列と比較して、異常性の高さを前記タプルのロググループへ割り振る単語異常性抽出手段、
前記タプルのログの所定の生起パターンに基づいて異常性のあるタプルを抽出する生起パターン判定手段、
以前に同一ログテンプレート及びロググループが生起した場合の時間と、監視対象時点で発生したログタプルと発生時間との時間差を求める直前発生時間時間差算出手段、
のいずれかまたは全ての異常性またはスコアを纏めて前記異常性スコアとする手段を含む
請求項1記載のログ生起異常検知装置。 - 前記周期性計算手段は、
前記ログタプルの生起回数を所定の時間区切り毎に計算し、該生起回数の要素の変動係数を算出し、該時間区切りでの該生起回数の分布を計算する手段を含む
請求項2記載のログ生起異常検知装置。 - 前記生起パターン判定手段は、
同一時間幅内の同一タプルの発生数、
同一時間幅内の同一監視対象機器からの異なるタプルの発生数、
同値ログタプルの発生継続時間幅数、
のいずれかを算出する
請求項2記載のログ生起異常検知装置。 - 多種多様な機器から出力されるログ情報から異常な状態を検出するログ生起異常検知方法であって、
過去に蓄積されたログメッセージ内の重要とされる部分(以下、「ログテンプレート」と記す)、該ログテンプレートをグループ化したロググループとを格納したログテンプレート・ロググループ記憶手段と、
監視対象機器情報と監視対象機器のラベルを格納した監視対象機器情報・ラベル記憶手段と、
異常性検出手段と、を有する装置において、
前記異常性検出手段が、利用者端末からの指定情報に基づいて、前記ログテンプレート・ロググループ記憶手段と前記監視対象機器情報・ラベル記憶手段からロググループまたはテンプレートラベル、監視対象機器情報の集合をログタプルとして取得し、所定の条件に基づいて異常性スコアを算出し、該異常性スコアが所定の閾値を超えたものを異常として検出する異常性検出ステップ
を行うことを特徴とするログ生起異常検知方法。 - 前記異常性検出ステップにおいて、
所定の時間幅における生起を計数し、ログ時系列の全時間幅合計で除し、観測時間のうち生起した時間幅割合を頻度として計算する頻度計算ステップ、
前記タプルの周期性を計算する周期性計算ステップ、
前記タプルに含まれるメッセージのスコアを異常スコアとして用いるスコア利用手段、
予め登録された文字列ごとの重みを設定しておき、前記タプルに含まれるメッセージ内の文字列と比較して、異常性の高さを前記タプルのロググループへ割り振る単語異常性抽出ステップ、
前記タプルのログの所定の生起パターンに基づいて異常性のあるタプルを抽出する生起パターン判定ステップ、
以前に同一ログテンプレート及びロググループが生起した場合の時間と、監視対象時点で発生したログタプルと発生時間との時間差を求める直前発生時間時間差算出ステップ、
のいずれかまたは全ての異常性またはスコアを纏めて前記異常性スコアとする
請求項5記載のログ生起異常検知方法。 - 前記周期性計算ステップにおいて、
前記ログタプルの生起回数を所定の時間区切り毎に計算し、該生起回数の要素の変動係数を算出し、該時間区切りでの該生起回数の分布を計算する
請求項6記載のログ生起異常検知方法。 - 前記生起パターン判定ステップにおいて、
同一時間幅内の同一タプルの発生数、
同一時間幅内の同一監視対象機器からの異なるタプルの発生数、
同値ログタプルの発生継続時間幅数、
のいずれかを算出する
請求項6記載のログ生起異常検知方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013019825A JP5933463B2 (ja) | 2013-02-04 | 2013-02-04 | ログ生起異常検知装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013019825A JP5933463B2 (ja) | 2013-02-04 | 2013-02-04 | ログ生起異常検知装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014153723A true JP2014153723A (ja) | 2014-08-25 |
JP5933463B2 JP5933463B2 (ja) | 2016-06-08 |
Family
ID=51575584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013019825A Active JP5933463B2 (ja) | 2013-02-04 | 2013-02-04 | ログ生起異常検知装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5933463B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016199411A1 (ja) * | 2015-06-11 | 2016-12-15 | 日本電気株式会社 | ログ表示装置とログ表示方法およびログ表示プログラム |
JP2018116322A (ja) * | 2017-01-16 | 2018-07-26 | 株式会社日立製作所 | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 |
WO2018235252A1 (ja) * | 2017-06-23 | 2018-12-27 | 日本電気株式会社 | 分析装置、ログの分析方法及び記録媒体 |
CN110011990A (zh) * | 2019-03-22 | 2019-07-12 | 南开大学 | 内网安全威胁智能分析方法 |
JP2019139565A (ja) * | 2018-02-13 | 2019-08-22 | 日本電気株式会社 | 管理装置、管理方法とそのプログラム |
CN112069787A (zh) * | 2020-08-27 | 2020-12-11 | 西安交通大学 | 一种基于词嵌入的日志参数异常检测方法 |
CN113127319A (zh) * | 2021-04-06 | 2021-07-16 | 北京大米科技有限公司 | 一种信息监控方法、相关装置及计算机存储介质 |
JP2022061677A (ja) * | 2020-10-07 | 2022-04-19 | エヌ・ティ・ティ・コムウェア株式会社 | 異常検知装置、異常検知方法、異常検知システム、およびプログラム |
US11757708B2 (en) | 2019-02-26 | 2023-09-12 | Nippon Telegraph And Telephone Corporation | Anomaly detection device, anomaly detection method, and anomaly detection program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092203A (ja) * | 2008-10-07 | 2010-04-22 | Nec Corp | 異常検出装置および異常検出方法 |
JP2012123694A (ja) * | 2010-12-10 | 2012-06-28 | Fujitsu Ltd | 管理装置、管理方法および管理用プログラム |
WO2012160637A1 (ja) * | 2011-05-23 | 2012-11-29 | 富士通株式会社 | メッセージ判定装置およびメッセージ判定プログラム |
-
2013
- 2013-02-04 JP JP2013019825A patent/JP5933463B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010092203A (ja) * | 2008-10-07 | 2010-04-22 | Nec Corp | 異常検出装置および異常検出方法 |
JP2012123694A (ja) * | 2010-12-10 | 2012-06-28 | Fujitsu Ltd | 管理装置、管理方法および管理用プログラム |
WO2012160637A1 (ja) * | 2011-05-23 | 2012-11-29 | 富士通株式会社 | メッセージ判定装置およびメッセージ判定プログラム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016199411A1 (ja) * | 2015-06-11 | 2016-12-15 | 日本電気株式会社 | ログ表示装置とログ表示方法およびログ表示プログラム |
JP2018116322A (ja) * | 2017-01-16 | 2018-07-26 | 株式会社日立製作所 | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 |
WO2018235252A1 (ja) * | 2017-06-23 | 2018-12-27 | 日本電気株式会社 | 分析装置、ログの分析方法及び記録媒体 |
JPWO2018235252A1 (ja) * | 2017-06-23 | 2020-04-16 | 日本電気株式会社 | 分析装置、ログの分析方法及び分析プログラム |
JP2019139565A (ja) * | 2018-02-13 | 2019-08-22 | 日本電気株式会社 | 管理装置、管理方法とそのプログラム |
JP7006347B2 (ja) | 2018-02-13 | 2022-01-24 | 日本電気株式会社 | 管理装置、管理方法とそのプログラム |
US11757708B2 (en) | 2019-02-26 | 2023-09-12 | Nippon Telegraph And Telephone Corporation | Anomaly detection device, anomaly detection method, and anomaly detection program |
CN110011990A (zh) * | 2019-03-22 | 2019-07-12 | 南开大学 | 内网安全威胁智能分析方法 |
CN112069787A (zh) * | 2020-08-27 | 2020-12-11 | 西安交通大学 | 一种基于词嵌入的日志参数异常检测方法 |
JP2022061677A (ja) * | 2020-10-07 | 2022-04-19 | エヌ・ティ・ティ・コムウェア株式会社 | 異常検知装置、異常検知方法、異常検知システム、およびプログラム |
JP7317785B2 (ja) | 2020-10-07 | 2023-07-31 | エヌ・ティ・ティ・コムウェア株式会社 | 異常検知装置、異常検知方法、異常検知システム、およびプログラム |
CN113127319A (zh) * | 2021-04-06 | 2021-07-16 | 北京大米科技有限公司 | 一种信息监控方法、相关装置及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5933463B2 (ja) | 2016-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5933463B2 (ja) | ログ生起異常検知装置及び方法 | |
US11657309B2 (en) | Behavior analysis and visualization for a computer infrastructure | |
JP5913145B2 (ja) | ログ可視化装置及び方法及びプログラム | |
CN113328872B (zh) | 故障修复方法、装置和存储介质 | |
JP6643211B2 (ja) | 異常検知システム及び異常検知方法 | |
JP6085550B2 (ja) | ログ分析装置及び方法 | |
US9411673B2 (en) | Management server, management system, and management method | |
CN106940677A (zh) | 一种应用日志数据告警方法及装置 | |
CN105656693B (zh) | 一种基于回归的信息安全异常检测的方法及*** | |
CN114422325A (zh) | 内容分发网络异常定位方法、装置、设备及存储介质 | |
CN111756706A (zh) | 一种异常流量检测方法、装置及存储介质 | |
CN113313280B (zh) | 云平台的巡检方法、电子设备及非易失性存储介质 | |
JP2016012193A (ja) | 抽出方法、装置、及びプログラム | |
CN109783324A (zh) | ***运行预警方法及装置 | |
CN108809734A (zh) | 网络告警根源分析方法、***、存储介质及计算机设备 | |
JP6457777B2 (ja) | ルールの自動化された生成および動的な更新 | |
CN109660407A (zh) | 分布式***监控***及方法 | |
JP5798095B2 (ja) | ログ生成則作成装置及び方法 | |
US9032518B2 (en) | Internet monitoring and alerting system | |
CN113271224A (zh) | 节点的定位方法、装置、存储介质及电子装置 | |
CN107666399A (zh) | 一种监控数据的方法和装置 | |
JP5310094B2 (ja) | 異常検出システム、異常検出方法および異常検出用プログラム | |
EP3511830A1 (en) | Method for monitoring devices in a network, computerized system and application program interface | |
KR102512857B1 (ko) | 빅데이터 기반의 스마트 팩토리 분석시스템 및 방법 | |
JP5922811B1 (ja) | ログ情報分類装置、ログ情報分類方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160502 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5933463 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |