JP4500921B2 - ログ分析装置、ログ分析方法およびログ分析プログラム - Google Patents
ログ分析装置、ログ分析方法およびログ分析プログラム Download PDFInfo
- Publication number
- JP4500921B2 JP4500921B2 JP2004004567A JP2004004567A JP4500921B2 JP 4500921 B2 JP4500921 B2 JP 4500921B2 JP 2004004567 A JP2004004567 A JP 2004004567A JP 2004004567 A JP2004004567 A JP 2004004567A JP 4500921 B2 JP4500921 B2 JP 4500921B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- events
- event
- grouping
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
高田哲司、外1名,「見えログ:情報視覚化とテキストマイニングを用いたログ情報ブラウザ」,(社)情報処理学会論文誌,2000年12月,Vol41,No.12,p.3265−3275 竹森敬祐、外4名,「セキュリティデバイスログ分析支援システムの広域監視への適用」,Computer Security Symposium(CSS2003),2003年10月,p.397−402
前期パラメータとしては、IDS、Router、およびFirewallなどのネットワーク機器から出力されるログに記録されているAttack Signature、Source/Destination Port、およびSource/Destination IPなどが挙げられる。前記異常値算出手段は、前記イベントの記録数に基づいて、比率分析や稀率分析などを行い、分析対象のネットワークの異常度に関する異常値を算出する。前記異常値としては、比率分析における比率や、稀率分析における上側稀率、下側稀率などが挙げられる。
(事象例1)
X:次の日のイベント数(検出数)が当日よりも増加したという事象
Y:次の日のイベント数(検出数)が当日よりも減少したという事象
a:当日のイベント数に係る比率Dに関してD>1.0であるという事象
b:当日のイベント数に係る比率Dに関してD≦1.0であるという事象
また、次の日の検出数が増加したという前提でD>1.0であるという条件付確率P(a|X)を[数7]により求める。P(b|X)、P(a|Y)、P(b|Y)も同様にして求めることができる。
P(a)=P(a|X)P(X)+P(a|Y)P(Y) ・・・(1)
[数7]〜[数9]および(1)式により求められた値を[数6]に代入することにより、次の日の検出数が増加する確率を算出することができる。また、P(X|b)も以下の(2)式または[数10]により求めることができる。ログ分析部104はログ保存部103から読み出したパラメータに属するイベントのイベント数に基づいて、上述した確率の算出を行う。
P(Y|a)=1−P(X|a) ・・・(2)
(事象例2)
X:次の日のイベント数に係る比率Dに関してD>1.0であるという事象
Y:次の日のイベント数に係る比率Dに関してD≦1.0であるという事象
a:当日のイベント数が前日のイベント数よりも増加したという事象
b:当日のイベント数が前日のイベント数よりも減少したという事象
(事象例3)
X:次の日のイベント数が当日よりも増加したという事象
Y:次の日のイベント数が当日よりも減少したという事象
a:当日のイベント数が前日のイベント数よりも増加したという事象
b:当日のイベント数が前日のイベント数よりも減少したという事象
X:次の日のイベント数に係る比率Dに関してD>1.0であるという事象
Y:次の日のイベント数に係る比率Dに関してD≦1.0であるという事象
a:当日のイベント数に係る比率Dに関してD>1.0であるという事象
b:当日のイベント数に係る比率Dに関してD≦1.0であるという事象
(事象例5)
X:次の日のイベント数が当日よりも増加したという事象
Y:次の日のイベント数が当日よりも減少したという事象
a:当日のイベント数に係る比率Dに関してD>10.0であるという事象
b:当日のイベント数に係る比率Dに関してD>1.0かつD≦10.0であるという事象
c:当日のイベント数に係る比率Dに関してD≦1.0かつD>0.1であるという事象
d:当日のイベント数に係る比率Dに関してD≦0.1であるという事象
なお、上記Dの値(例:10.0)を変数として、最適値を常に確認しながら実施するようにしてもよい。すなわち、予測値に関する検証を常日頃から行い、最も予想が的中するDを求めておき、その値を用いて予測を行ってもよい。
X:次の日のイベント数が当日よりも増加したという事象
Y:次の日のイベント数が当日よりも減少したという事象
a:当日のイベント数に係る比率Dに関してD>1.0であり、かつ、当日のイベント数が前日よりも増加したという事象
b:当日のイベント数に係る比率Dに関してD>1.0であり、かつ、当日のイベント数が前日よりも減少したという事象
c:当日のイベント数に係る比率Dに関してD≦1.0であり、かつ、当日のイベント数が前日よりも増加したという事象
d:当日のイベント数に係る比率Dに関してD≦1.0であり、かつ、当日のイベント数が前日よりも減少したという事象
(事象例7)
X:次の時間区間(単位時間)のイベント数が現在の時間区間よりも増加したという事象
Y:次の時間区間のイベント数が現在の時間区間よりも減少したという事象
a:前時間区間のイベント数に係る比率D1および現時間区間のイベント数に係る比率D2に関してD1<D2であるという事象
b:前時間区間のイベント数に係る比率D1および現時間区間のイベント数に係る比率D2に関してD1≧D2であるという事象
X:次の日のイベント数が当日よりも増加したという事象
Y:次の日のイベント数が当日よりも減少したという事象
a:当日のイベント数が前日のイベント数に対して2倍以上に増加したという事象
b:当日のイベント数が前日のイベント数に対して1倍以上2倍未満に増加したという事象
c:当日のイベント数が前日のイベント数に対して2分の1倍以上1倍未満に減少したという事象
d:当日のイベント数が前日のイベント数に対して2分の1倍未満に減少したという事象
なお、上記の2倍および2分の1倍は、それぞれより一般的に、m倍(1<m)およびn倍(0≦n<1)としてもよい。
Attack Signatureを、通信レイヤ、攻撃目的、サービスを考慮して意味内容ごとにグループ化する。図9および図10はSnort IDSから出力されたログ中のAttack Signatureを10個の意味単位(クラス)にグループ化した例である。個数は各グループに含まれるAttack Signatureの数である。Snortルールファイルは、Attack Signatureをある程度の意味単位に集めたファイルである。各Attack Signatureには脆弱性に関するキーが元々割り当てられており、このキーに基づいて意味内容ごとのグループ化を行う。記憶部103には、そのキーとグループとが対応付けられたテーブルが予め格納されており、ログ分析部104は、そのテーブルを参照してイベントのグループ化を行う。
Source/Destination IPを国単位、もしくはドメイン単位でグループ化する。図11は、IPアドレスをそのIPアドレスが所属する国名へ変換するための変換テーブルを示している。図において、例えばIPアドレスが0.0.0.0〜0.255.255.255はUS(アメリカ合衆国)、24.42.0.0〜24.43.255.255はCA(カナダ)に所属することがわかる。
分析対象のパラメータに関して、各イベントをイベント数順に並べ替え、イベントの総数に基づいて、各グループ内の総イベント数がほぼ均等になるようにグループ化を行う。図12は、この場合のグループ化の様子を示している。図において、棒グラフの1つ1つがイベント(HTTP Port Probe、Smurf Attack・・・)を表しており、縦軸方向の棒の長さがイベント数を表している。図においては、一例として各イベントをイベント数の多い順に左から並べ、各グループ内の総イベント数がほぼ均等になるように左からG1、G2・・・とグループ名を付けた様子が示されている。
分析対象のパラメータに関して、各イベントをイベントのID順に並べ替え、イベントの総数に基づいて、各グループ内の統イベント数がほぼ均等になるようにグループ化を行う。ここでIDとは、Attack Signatureの場合は製品ごとに決められたAttack Signature番号であり、Source/Destination Portの場合はPort番号であり、Source/Destination IPの場合はIPアドレス順位である。図13はこの場合のグループ化の様子を示している。各グループ内の総イベント数がほぼ均等になるようなグループ化の方法は動的グループ化1と同様である。
Claims (4)
- ネットワーク機器から収集したログに基づいて分析処理を行うログ分析装置において、
前記ネットワーク機器から出力されるログを収集する収集手段と、
前記収集手段によって収集されたログのうち、所定の単位時間のデータで構成される第1のログ中のイベントを、各グループ内のイベントの記録数の総量が均等に近づくようにイベント毎に複数のグループに分割する第1のグループ化を行うと共に、前記収集手段によって収集されたログのうち、前記所定の単位時間を除く他の単位時間および注目する単位時間のデータで構成される第2のログ中のイベントを、前記第1のグループ化のときと同じグループを用いてイベント毎に複数のグループに分割する第2のグループ化を行うグループ化手段と、
前記グループ化手段による前記第2のグループ化で分割された各グループ内のイベントの記録数の総量に基づいて、ネットワークの異常度に関する値を算出する異常値算出手段と、
該異常値が所定の数値範囲に含まれる場合に、前記ログ中のイベントの記録数が増加する事象または前記ログ中のイベントの記録数が減少する事象が発生する条件付確率を、前記第2のログを用いて算出する確率算出手段と、
を具備することを特徴とするログ分析装置。 - ネットワーク機器から収集したログに基づいて分析処理を行うログ分析方法において、
コンピュータが、
前記ネットワーク機器から出力されるログを収集するステップと、
収集したログのうち、所定の単位時間のデータで構成される第1のログ中のイベントを、各グループ内のイベントの記録数の総量が均等に近づくようにイベント毎に複数のグループに分割する第1のグループ化を行うと共に、収集したログのうち、前記所定の単位時間を除く他の単位時間および注目する単位時間のデータで構成される第2のログ中のイベントを、前記第1のグループ化のときと同じグループを用いてイベント毎に複数のグループに分割する第2のグループ化を行う第1のステップと、
前記第2のグループ化で分割された各グループ内のイベントの記録数の総量に基づいて、ネットワークの異常度に関する異常値を算出する第2のステップと、
該異常値が所定の数値範囲に含まれる場合に、前記ログ中のイベントの記録数が増加する事象または前記ログ中のイベントの記録数が減少する事象が発生する条件付確率を、前記第2のログを用いて算出する第3のステップと、
を具備することを特徴とするログ分析方法。 - ネットワーク機器から収集したログに基づいた分析処理をコンピュータに実行させるためのログ分析プログラムにおいて、
前記ネットワーク機器から出力されるログを収集するステップと、
収集したログのうち、所定の単位時間のデータで構成される第1のログ中のイベントを、各グループ内のイベントの記録数の総量が均等に近づくようにイベント毎に複数のグループに分割する第1のグループ化を行うと共に、収集したログのうち、前記所定の単位時間を除く他の単位時間および注目する単位時間のデータで構成される第2のログ中のイベントを、前記第1のグループ化のときと同じグループを用いてイベント毎に複数のグループに分割する第2のグループ化を行う第1のステップと、
前記第2のグループ化で分割された各グループ内のイベントの記録数の総量に基づいて、ネットワークの異常度に関する異常値を算出する第2のステップと、
該異常値が所定の数値範囲に含まれる場合に、前記ログ中のイベントの記録数が増加する事象または前記ログ中のイベントの記録数が減少する事象が発生する条件付確率を、前記第2のログを用いて算出する第3のステップと、
をコンピュータに実行させるためのログ分析プログラム。 - 請求項3に記載のログ分析プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004004567A JP4500921B2 (ja) | 2004-01-09 | 2004-01-09 | ログ分析装置、ログ分析方法およびログ分析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004004567A JP4500921B2 (ja) | 2004-01-09 | 2004-01-09 | ログ分析装置、ログ分析方法およびログ分析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005196675A JP2005196675A (ja) | 2005-07-21 |
JP4500921B2 true JP4500921B2 (ja) | 2010-07-14 |
Family
ID=34819148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004004567A Expired - Fee Related JP4500921B2 (ja) | 2004-01-09 | 2004-01-09 | ログ分析装置、ログ分析方法およびログ分析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4500921B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102260272B1 (ko) * | 2019-12-12 | 2021-06-03 | 한국과학기술정보연구원 | 보안 정보 가시화 장치, 보안 정보 가시화 방법 및 보안 정보를 가시화 하는 프로그램을 저장하는 저장매체 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007304855A (ja) * | 2006-05-11 | 2007-11-22 | Hitachi Electronics Service Co Ltd | ログ収集システム及び監視装置 |
JP4905086B2 (ja) | 2006-11-29 | 2012-03-28 | 富士通株式会社 | イベント種類推定システム、イベント種類推定方法およびイベント種類推定プログラム |
KR100937329B1 (ko) | 2007-11-15 | 2010-01-18 | 주식회사 케이티 | 로그 샘플링 방법 및 시스템 |
US8510326B2 (en) | 2011-04-11 | 2013-08-13 | Google Inc. | Priority dimensional data conversion path reporting |
US8620933B2 (en) | 2011-04-11 | 2013-12-31 | Google Inc. | Illustrating cross channel conversion paths |
US8655907B2 (en) | 2011-07-18 | 2014-02-18 | Google Inc. | Multi-channel conversion path position reporting |
US8959450B2 (en) | 2011-08-22 | 2015-02-17 | Google Inc. | Path explorer visualization |
JP6004948B2 (ja) * | 2013-01-09 | 2016-10-12 | 三菱電機株式会社 | 負荷量予測装置、負荷量予測方法および負荷量予測プログラム |
JP6201614B2 (ja) | 2013-10-11 | 2017-09-27 | 富士通株式会社 | ログ分析装置、方法およびプログラム |
EP3113061B1 (en) | 2014-02-26 | 2018-11-28 | Mitsubishi Electric Corporation | Attack detection device, attack detection method, and attack detection program |
CN106326025A (zh) * | 2016-08-23 | 2017-01-11 | 乐视控股(北京)有限公司 | 浏览器异常处理方法及装置 |
JP6756378B2 (ja) * | 2016-12-27 | 2020-09-16 | 日本電気株式会社 | 異常検出方法、システムおよびプログラム |
JP7167439B2 (ja) * | 2017-12-28 | 2022-11-09 | 株式会社リコー | 情報処理装置、脆弱性検知方法およびプログラム |
CN111428440B (zh) * | 2018-12-24 | 2023-08-15 | 中移动信息技术有限公司 | 一种基于条件概率的时序日志样本自动标注方法及装置 |
WO2024135506A1 (ja) * | 2022-12-19 | 2024-06-27 | パナソニックオートモーティブシステムズ株式会社 | 情報通知方法及び情報通知装置 |
-
2004
- 2004-01-09 JP JP2004004567A patent/JP4500921B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102260272B1 (ko) * | 2019-12-12 | 2021-06-03 | 한국과학기술정보연구원 | 보안 정보 가시화 장치, 보안 정보 가시화 방법 및 보안 정보를 가시화 하는 프로그램을 저장하는 저장매체 |
US11876820B2 (en) | 2019-12-12 | 2024-01-16 | Korea Institute Of Science & Technology Information | Security information visualization device, security information visualization method, and storage medium for storing program for visualizing security information |
Also Published As
Publication number | Publication date |
---|---|
JP2005196675A (ja) | 2005-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11693964B2 (en) | Cyber security using one or more models trained on a normal behavior | |
JP4500921B2 (ja) | ログ分析装置、ログ分析方法およびログ分析プログラム | |
EP3343867B1 (en) | Methods and apparatus for processing threat metrics to determine a risk of loss due to the compromise of an organization asset | |
Carl et al. | Denial-of-service attack-detection techniques | |
US9191400B1 (en) | Cyphertext (CT) analytic engine and method for network anomaly detection | |
US8191149B2 (en) | System and method for predicting cyber threat | |
Fachkha et al. | Towards a forecasting model for distributed denial of service activities | |
US7962960B2 (en) | Systems and methods for performing risk analysis | |
US20170208085A1 (en) | System and Method for Prediction of Future Threat Actions | |
US20100268818A1 (en) | Systems and methods for forensic analysis of network behavior | |
JP2018530066A (ja) | 低信頼度のセキュリティイベントによるセキュリティインシデントの検出 | |
Ramaki et al. | A survey of IT early warning systems: architectures, challenges, and solutions | |
JP4156540B2 (ja) | ログ分析装置、ログ分析プログラムおよび記録媒体 | |
Stiawan et al. | Characterizing network intrusion prevention system | |
KR101113615B1 (ko) | 네트워크 위험도 종합 분석 시스템 및 그 방법 | |
Zhan et al. | A characterization of cybersecurity posture from network telescope data | |
KR100625096B1 (ko) | 트래픽 변화량과 해킹 위협률의 상호 연관성 분석에 기초한예경보 방법 및 그 시스템 | |
Fachkha et al. | On the inference and prediction of DDoS campaigns | |
KR100950079B1 (ko) | 은닉마코프 모델을 이용한 확률적인 네트워크 이상징후탐지 장치 및 그 방법 | |
JP4160002B2 (ja) | ログ分析装置、ログ分析プログラムおよび記録媒体 | |
JP4060263B2 (ja) | ログ分析装置およびログ分析プログラム | |
Qassim et al. | Strategy to Reduce False Alarms in Intrusion Detection and Prevention Systems. | |
US20230156019A1 (en) | Method and system for scoring severity of cyber attacks | |
Sallhammar et al. | A framework for predicting security and dependability measures in real-time | |
EP1983714A1 (en) | Method for detection of malign instrusions in a communication system and related detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061107 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20061106 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100309 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100317 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |