JP6203099B2 - 統合されたイベントの属性値を補完する情報統合プログラム、装置及び方法 - Google Patents
統合されたイベントの属性値を補完する情報統合プログラム、装置及び方法 Download PDFInfo
- Publication number
- JP6203099B2 JP6203099B2 JP2014062188A JP2014062188A JP6203099B2 JP 6203099 B2 JP6203099 B2 JP 6203099B2 JP 2014062188 A JP2014062188 A JP 2014062188A JP 2014062188 A JP2014062188 A JP 2014062188A JP 6203099 B2 JP6203099 B2 JP 6203099B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- attribute value
- pair
- events
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 14
- 230000010354 integration Effects 0.000 title description 11
- 239000000872 buffer Substances 0.000 claims description 57
- 230000000295 complement effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
第1のイベントは、第1の識別子及び第1の属性値を含むタプルであり、
第2のイベントは、第2の識別子及び第2の属性値を含むタプルであり、
種々の第1のイベントが時系列に入力される第1のストリームバッファと、
種々の第2のイベントが時系列に入力される第2のストリームバッファと、
第1のストリームバッファ及び第2のストリームバッファそれぞれから、同一時間窓のイベント群を取り出すイベント取得手段と、
同一時間窓について、第1のストリームバッファの第1のイベント群と、第2のストリームバッファの第2のイベント群とを相互に、イベント同士の総当たりのイベントペアを生成するイベントペア生成手段と、
複数のイベントペアについて、第1の属性値と第2の属性値の各組の出現回数の出現度を算出する出現度算出手段と、
出現度が、所定閾値以上となる「第1の属性値及び第2の属性値」同士の組を、パターンペアと指定するパターンペア指定手段と、
第1の属性値が欠損した第1のイベントに対して、当該第1のイベントとイベントペアとなる第2のイベントの第2の属性値を用いて当該第2の属性値に対応するパターンペアの第1の属性値で補完し、第2の属性値が欠損した第2のイベントに対して、当該第2のイベントとイベントペアとなる第1のイベントの第1の属性値を用いて当該第1の属性値に対応するパターンペアの第2の属性値で補完する属性値補完手段と
してコンピュータを機能させることを特徴とする。
属性値補完手段は、
第1(又は第2)の属性値を含むものの、第2(又は第1)の属性値が欠損したイベントペアについて、
パターンペアを用いて第2(又は第1)の属性値を補完すると共に、
当該第1(又は第2)の属性値の出現回数に対する、補完した第2(又は第1)の属性値の出現回数の割合を「確信度」として、当該イベントペアに付与する
ようにコンピュータを機能させることも好ましい。
属性値の欠損が無いイベントペアの確信度を1として、
確信度が高いイベントペアから降順にソートし、上位から所定数件まで又は確信度が所定閾値以上となるイベントペアのみを出力する統合イベントペア選択手段を更に有することも好ましい。
第1のストリームに基づく第1のイベントは、第1の装置から送信されるアラート信号であり、
第2のストリームに基づく第2のイベントは、第2の装置から送信されるアラート信号である
ようにコンピュータを機能させることも好ましい。
第1のストリームに基づく第1のイベントは、第1のユーザ群から送信されるメッセージであり、
第2のストリームに基づく第2のイベントは、第2のユーザ群から送信されるメッセージである
ようにコンピュータを機能させることも好ましい。
第1のイベントは、第1の識別子及び第1の属性値を含むタプルであり、
第2のイベントは、第2の識別子及び第2の属性値を含むタプルであり、
種々の第1のイベントが時系列に入力される第1のストリームバッファと、
種々の第2のイベントが時系列に入力される第2のストリームバッファと、
第1のストリームバッファ及び第2のストリームバッファそれぞれから、同一時間窓のイベント群を取り出すイベント取得手段と、
同一時間窓について、第1のストリームバッファの第1のイベント群と、第2のストリームバッファの第2のイベント群とを相互に、イベント同士の総当たりのイベントペアを生成するイベントペア生成手段と、
複数のイベントペアについて、第1の属性値と第2の属性値の各組の出現回数の出現度を算出する出現度算出手段と、
出現度が、所定閾値以上となる「第1の属性値及び第2の属性値」同士の組を、パターンペアと指定するパターンペア指定手段と、
第1の属性値が欠損した第1のイベントに対して、当該第1のイベントとイベントペアとなる第2のイベントの第2の属性値を用いて当該第2の属性値に対応するパターンペアの第1の属性値で補完し、第2の属性値が欠損した第2のイベントに対して、当該第2のイベントとイベントペアとなる第1のイベントの第1の属性値を用いて当該第1の属性値に対応するパターンペアの第2の属性値で補完する属性値補完手段と
を有することを特徴とする。
第1のイベントは、第1の識別子及び第1の属性値を含むタプルであり、
第2のイベントは、第2の識別子及び第2の属性値を含むタプルであり、
装置は、種々の第1のイベントが時系列に入力される第1のストリームバッファと、種々の第2のイベントが時系列に入力される第2のストリームバッファとを有し、
第1のストリームバッファ及び第2のストリームバッファそれぞれから、同一時間窓のイベント群を取り出す第1のステップと、
同一時間窓について、第1のストリームバッファの第1のイベント群と、第2のストリームバッファの第2のイベント群とを相互に、イベント同士の総当たりのイベントペアを生成する第2のステップと、
複数のイベントペアについて、第1の属性値と第2の属性値の各組の出現回数の出現度を算出する第3のステップと、
出現度が、所定閾値以上となる「第1の属性値及び第2の属性値」同士の組を、パターンペアと指定する第4のステップと、
第1の属性値が欠損した第1のイベントに対して、当該第1のイベントとイベントペアとなる第2のイベントの第2の属性値を用いて当該第2の属性値に対応するパターンペアの第1の属性値で補完し、第2の属性値が欠損した第2のイベントに対して、当該第2のイベントとイベントペアとなる第1のイベントの第1の属性値を用いて当該第1の属性値に対応するパターンペアの第2の属性値で補完する第5のステップと
を有することを特徴とする。
第1のストリームバッファ101は、種々の第1のイベントが時系列に入力されるストリームバッファである。また、第2のストリームバッファ102は、第1のイベントと異なる種類の第2のイベントが時系列に入力されるストリームバッファである。情報源から到着するイベントは、概ね、イベント発生の時刻順に到着するものと想定している。そうでない場合は、イベントを、時刻順にソートすればよい。
また、イベントとしては、例えば「メッセージ」であってもよい。第1のストリームに基づく第1のイベントは、第1のユーザ群から送信されるメッセージであり、第2のストリームに基づく第2のイベントは、第2のユーザ群から送信されるメッセージである。
イベントには、他のイベントとの相関性を表す情報は明示されず、イベント同士のみを比較しても、通常、その相関性は見出せないものである。
<第1のイベント、第2のイベント>
ここで、図2によれば、属性値が含まれていないイベントも発生している(属性値の欠損)。本発明によれば、この属性値を、他のイベント同士の関連付けから補完することができる。
イベント取得部11は、第2の新入イベントの発生時刻を含む所定時間範囲(同一時間窓)に含まれる、第1のストリームバッファの1つ以上の第1のイベント群を取り出す。また、イベント取得部11は、第1の新入イベントの発生時刻を含む所定時間範囲に含まれる、第2のストリームバッファの1つ以上の第2のイベント群を取り出す。取り出されたイベントは、イベントペア生成部12へ出力される。
イベントペア生成部12は、第2の新入イベントと、イベント取得部11によって取り出された1つ以上の第1のイベントとから、総当たりのイベントペアを生成する。
また、イベントペア生成部12は、第1の新入イベントと、イベント取得部11によって取り出された1つ以上の第2のイベントとを相互に、イベント同士の総当たりのイベントペアを生成する。生成された一定数のイベントペアは、出現度算出部13へ出力される。
出現度算出部13は、複数のイベントペアについて、第1の属性値と第2の属性値の各組の出現回数の出現度(出現割合)を算出する。属性値に欠損があるイベントについては、出現度は算出されない。
属性値val11−val21の組は、出現回数3であり、属性値val11−val22の組は、出現回数1である。
属性値val12−val21の組は、出現回数3であり、属性値val12−val21の組は、出現回数2である。
属性値の欠損の無いイベントペアの全出現回数は、9回である。
属性値val11−val21の組は、全出現回数9に対して出現回数3であり、その出現度は3/9となる。
属性値val11−val22の組は、全出現回数9に対して出現回数1であり、その出現度は1/9となる。
属性値val12−val21の組は、全出現回数9に対して出現回数3であり、その出現度は3/9となる。
属性値val12−val21の組は、全出現回数9に対して出現回数2であり、その出現度は2/9となる。
パターンペア指定部14は、出現度が、所定閾値以上となる「第1の属性値及び第2の属性値」同士の組を、パターンペアと指定する。即ち、頻出する属性値の組を指定する。ここで、所定閾値1/3とすると、図4によれば、出現度が1/3以上となる以下の属性値の組が、補完のために参照される属性値のパターンペアとして指定される。
属性値val11−val21: パターンペア1
属性値val12−val21: パターンペア2
属性値補完部15は、第1(又は第2)の属性値を含むものの、第2(又は第1)の属性値が欠損したイベントペアについて、パターンペアを用いて第2(又は第1)の属性値を補完する。
イベント14(属性値val11)−イベント26(属性値val21※補完)
イベント14(属性値val11)−イベント27(属性値val21※補完)
イベント14(属性値val11)−イベント28(属性値val21※補完)
「確信度」とは、属性値の欠損が無いイベントペアの確信度を1として、欠損がある場合に補完した属性値の確かさ(尤度)を表す。
イベント14(属性値val11)−イベント26(属性値val21):確信度3/4
イベント14(属性値val11)−イベント27(属性値val21):確信度3/4
イベント14(属性値val11)−イベント28(属性値val21):確信度3/4
例えば、属性値val11が観測(出現回数4=3+1)された場合、それに対する欠損した属性値が、val21である確信度は、3/4となる(図4参照)。
また、属性値val21が観測(出現回数6=3+3)された場合、それに対する欠損した属性値が、val11である確信度は、3/6となる。
統合イベントペア選択16は、確信度が高いイベントペアから降順にソートし、上位から所定数件まで又は確信度が所定閾値以上となるイベントペアのみを出力する。このような統合イベントは、何らかの関連性が高いと認識することができる。即ち、確信度が低い、換言すると、誤りの可能性が高いイベントペアは出力されない。
101 第1のストリームバッファ
102 第2のストリームバッファ
11 イベント取得部
12 イベントペア生成部
13 出現度算出部
14 パターンペア指定部
15 属性値補完部
16 統合イベント選択部
Claims (7)
- 装置に搭載されたコンピュータを、第1のストリームにおける種々の第1のイベントと、第2のストリームにおける種々の第2のイベントとの間の出現度を導出するように機能させるプログラムであって、
第1のイベントは、第1の識別子及び第1の属性値を含むタプルであり、
第2のイベントは、第2の識別子及び第2の属性値を含むタプルであり、
種々の第1のイベントが時系列に入力される第1のストリームバッファと、
種々の第2のイベントが時系列に入力される第2のストリームバッファと、
第1のストリームバッファ及び第2のストリームバッファそれぞれから、同一時間窓のイベント群を取り出すイベント取得手段と、
同一時間窓について、第1のストリームバッファの第1のイベント群と、第2のストリームバッファの第2のイベント群とを相互に、イベント同士の総当たりのイベントペアを生成するイベントペア生成手段と、
複数のイベントペアについて、第1の属性値と第2の属性値の各組の出現回数の出現度を算出する出現度算出手段と、
前記出現度が、所定閾値以上となる「第1の属性値及び第2の属性値」同士の組を、パターンペアと指定するパターンペア指定手段と、
第1の属性値が欠損した第1のイベントに対して、当該第1のイベントとイベントペアとなる第2のイベントの第2の属性値を用いて当該第2の属性値に対応する前記パターンペアの第1の属性値で補完し、第2の属性値が欠損した第2のイベントに対して、当該第2のイベントとイベントペアとなる第1のイベントの第1の属性値を用いて当該第1の属性値に対応する前記パターンペアの第2の属性値で補完する属性値補完手段と
してコンピュータを機能させることを特徴とするプログラム。 - 前記属性値補完手段は、
第1(又は第2)の属性値を含むものの、第2(又は第1)の属性値が欠損したイベントペアについて、
前記パターンペアを用いて第2(又は第1)の属性値を補完すると共に、
当該第1(又は第2)の属性値の出現回数に対する、補完した第2(又は第1)の属性値の出現回数の割合を「確信度」として、当該イベントペアに付与する
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 - 属性値の欠損が無いイベントペアの確信度を1として、
前記確信度が高いイベントペアから降順にソートし、上位から所定数件まで又は確信度が所定閾値以上となるイベントペアのみを出力する統合イベントペア選択手段を更に有することを特徴とする請求項2に記載のプログラム。 - 第1のストリームに基づく第1のイベントは、第1の装置から送信されるアラート信号であり、
第2のストリームに基づく第2のイベントは、第2の装置から送信されるアラート信号である
ようにコンピュータを機能させることを特徴とする請求項1から3のいずれか1項に記載のプログラム。 - 第1のストリームに基づく第1のイベントは、第1のユーザ群から送信されるメッセージであり、
第2のストリームに基づく第2のイベントは、第2のユーザ群から送信されるメッセージである
ようにコンピュータを機能させることを特徴とする請求項1から3のいずれか1項に記載のプログラム。 - 第1のストリームにおける種々の第1のイベントと、第2のストリームにおける種々の第2のイベントとの間の出現度を導出する装置であって、
第1のイベントは、第1の識別子及び第1の属性値を含むタプルであり、
第2のイベントは、第2の識別子及び第2の属性値を含むタプルであり、
種々の第1のイベントが時系列に入力される第1のストリームバッファと、
種々の第2のイベントが時系列に入力される第2のストリームバッファと、
第1のストリームバッファ及び第2のストリームバッファそれぞれから、同一時間窓のイベント群を取り出すイベント取得手段と、
同一時間窓について、第1のストリームバッファの第1のイベント群と、第2のストリームバッファの第2のイベント群とを相互に、イベント同士の総当たりのイベントペアを生成するイベントペア生成手段と、
複数のイベントペアについて、第1の属性値と第2の属性値の各組の出現回数の出現度を算出する出現度算出手段と、
前記出現度が、所定閾値以上となる「第1の属性値及び第2の属性値」同士の組を、パターンペアと指定するパターンペア指定手段と、
第1の属性値が欠損した第1のイベントに対して、当該第1のイベントとイベントペアとなる第2のイベントの第2の属性値を用いて当該第2の属性値に対応する前記パターンペアの第1の属性値で補完し、第2の属性値が欠損した第2のイベントに対して、当該第2のイベントとイベントペアとなる第1のイベントの第1の属性値を用いて当該第1の属性値に対応する前記パターンペアの第2の属性値で補完する属性値補完手段と
を有することを特徴とする装置。 - 装置を用いて、第1のストリームにおける種々の第1のイベントと、第2のストリームにおける種々の第2のイベントとの間で、欠損した属性値を補完するイベント属性値補完方法であって、
第1のイベントは、第1の識別子及び第1の属性値を含むタプルであり、
第2のイベントは、第2の識別子及び第2の属性値を含むタプルであり、
前記装置は、種々の第1のイベントが時系列に入力される第1のストリームバッファと、種々の第2のイベントが時系列に入力される第2のストリームバッファとを有し、
第1のストリームバッファ及び第2のストリームバッファそれぞれから、同一時間窓のイベント群を取り出す第1のステップと、
同一時間窓について、第1のストリームバッファの第1のイベント群と、第2のストリームバッファの第2のイベント群とを相互に、イベント同士の総当たりのイベントペアを生成する第2のステップと、
複数のイベントペアについて、第1の属性値と第2の属性値の各組の出現回数の出現度を算出する第3のステップと、
前記出現度が、所定閾値以上となる「第1の属性値及び第2の属性値」同士の組を、パターンペアと指定する第4のステップと、
第1の属性値が欠損した第1のイベントに対して、当該第1のイベントとイベントペアとなる第2のイベントの第2の属性値を用いて当該第2の属性値に対応する前記パターンペアの第1の属性値で補完し、第2の属性値が欠損した第2のイベントに対して、当該第2のイベントとイベントペアとなる第1のイベントの第1の属性値を用いて当該第1の属性値に対応する前記パターンペアの第2の属性値で補完する第5のステップと
を有することを特徴とする装置のイベント属性値補完方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014062188A JP6203099B2 (ja) | 2014-03-25 | 2014-03-25 | 統合されたイベントの属性値を補完する情報統合プログラム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014062188A JP6203099B2 (ja) | 2014-03-25 | 2014-03-25 | 統合されたイベントの属性値を補完する情報統合プログラム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015185009A JP2015185009A (ja) | 2015-10-22 |
JP6203099B2 true JP6203099B2 (ja) | 2017-09-27 |
Family
ID=54351438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014062188A Expired - Fee Related JP6203099B2 (ja) | 2014-03-25 | 2014-03-25 | 統合されたイベントの属性値を補完する情報統合プログラム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6203099B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6997668B2 (ja) * | 2018-04-17 | 2022-01-17 | Kddi株式会社 | 関連イベント統合プログラム、装置及び方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4063860B1 (ja) * | 2007-02-23 | 2008-03-19 | 三菱電機株式会社 | 業務イベントデータ補完装置及び業務イベントデータ補完プログラム |
CN101398835B (zh) * | 2007-09-30 | 2012-08-29 | 日电(中国)有限公司 | 基于自然语言的服务选择***与方法以及服务查询***与方法 |
JP2013257619A (ja) * | 2012-06-11 | 2013-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 情報処理システム、ログ統合装置およびログ生成方法 |
-
2014
- 2014-03-25 JP JP2014062188A patent/JP6203099B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015185009A (ja) | 2015-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10237295B2 (en) | Automated event ID field analysis on heterogeneous logs | |
US10484413B2 (en) | System and a method for detecting anomalous activities in a blockchain network | |
CN103793484B (zh) | 分类信息网站中的基于机器学习的欺诈行为识别*** | |
CA2777506C (en) | System and method for grouping multiple streams of data | |
CN107273267A (zh) | 基于elastic组件的日志分析方法 | |
US8620839B2 (en) | Markov modeling of service usage patterns | |
US20170140309A1 (en) | Database analysis device and database analysis method | |
CN111539493B (zh) | 一种告警预测方法、装置、电子设备及存储介质 | |
CN109359026A (zh) | 日志上报方法、装置、电子设备及计算机可读存储介质 | |
JP2008027072A (ja) | データベース分析プログラム、データベース分析装置、データベース分析方法 | |
CN111160021A (zh) | 日志模板提取方法及装置 | |
KR102090239B1 (ko) | 계층융합통계정보를 활용한 고속이상탐지방법 및 그 시스템 | |
CN108234233B (zh) | 日志处理方法及装置 | |
Granskogen et al. | Fake news detection: Network data from social media used to predict fakes | |
CN104102675A (zh) | 基于用户关系的博主兴趣社区发现方法 | |
JP6203099B2 (ja) | 統合されたイベントの属性値を補完する情報統合プログラム、装置及び方法 | |
CN107688594B (zh) | 基于社交信息的风险事件的识别***及方法 | |
CN107895053B (zh) | 基于话题簇动量模型的新兴热点话题检测***及方法 | |
CN113128213A (zh) | 日志模板提取方法及装置 | |
Murthy et al. | TwitSenti: a real-time Twitter sentiment analysis and visualization framework | |
JP6153486B2 (ja) | 異なるイベント同士を統合する情報統合プログラム、装置及び方法 | |
CN114090850A (zh) | 日志分类方法、电子设备及计算机可读存储介质 | |
JP6373197B2 (ja) | 多数のコメントから地図経路関連コメントを抽出するコメント分類プログラム、サーバ及び方法 | |
Phan et al. | A new approach for predicting an important user on a topic on twitter | |
US9158824B2 (en) | Incremental aggregation-based event pattern matching |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6203099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |