JP6251216B2 - パターン検出装置、パターン検出方法およびパターン検出プログラム - Google Patents
パターン検出装置、パターン検出方法およびパターン検出プログラム Download PDFInfo
- Publication number
- JP6251216B2 JP6251216B2 JP2015120544A JP2015120544A JP6251216B2 JP 6251216 B2 JP6251216 B2 JP 6251216B2 JP 2015120544 A JP2015120544 A JP 2015120544A JP 2015120544 A JP2015120544 A JP 2015120544A JP 6251216 B2 JP6251216 B2 JP 6251216B2
- Authority
- JP
- Japan
- Prior art keywords
- event
- range
- episode
- time
- events
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
まず、図1を用いて、第1の実施形態に係るパターン検出装置の構成について説明する。図1は、第1の実施形態に係るパターン検出装置の構成の一例を示す図である。図1に示すように、パターン検出装置1は、制御部2、記憶部3および抽出部4を有する。また、制御部2は、カウント部10、スケッチ処理部20および加減部30を有する。なお、記憶部3は、各エピソードの頻度および後述するスケッチ等を記憶する。以降、制御部2の各部の構成について詳細に説明する。
ここで、エピソードマイニングの概要について説明する。まず、パターン検出装置1の検出対象となるイベントシーケンスおよび検出の際に用いられるウィンドウについて説明する。図2を用いて、イベントシーケンスについて説明する。図2は、イベントシーケンスの一例を示す図である。図2に示すように、イベントシーケンスとは、イベントおよびそのイベントが起きた時刻を含んだデータを時系列に並べたものである。図2の例では、例えば11:20にaというイベントが発生し、11:21にbというイベントが発生したことを示している。
引き続き図1を用いて、パターン検出装置1の構成について説明する。図1に示すように、カウント部10は、エピソード拡張部11を有する。さらに、エピソード拡張部11は、イベント位置ビットブロック作成部111、マスク演算部112、継続時間符号化部113、およびエピソード位置ビットブロック作成部114を有する。
スケッチ処理部20の処理について具体例を挙げて説明する。スケッチ処理部20は、カウント部10で生成される位置ビットブロックを、式(6)に示す中国の剰余定理(CRT:Chinese Remainder Theorem)に基づく圧縮構造、即ちスケッチに変換して記憶部3に保存する。そして、剰余演算により、スライド幅単位で位置ビットブロックを復元する。また、スケッチ処理部20は、ウィンドウのスライドに伴い、追加イベントおよび削除イベントを反映させ、スケッチの更新を行う。
図13を用いて、エピソード拡張部11の処理について説明する。図13は、第1の実施形態のエピソード拡張処理を示すフローチャートである。まず、イベント位置ビットブロック作成部111は、イベント毎の位置ビットブロックを作成し、ビットブロック符号化を行う(ステップS11)。次に、マスク演算部112は、各イベントのidに基づいてマスク演算を行い、マスクビットブロックを作成する(ステップS12)。
ここで、具体的な処理を例に挙げて、本発明の第1の実施形態の実施例である第1の実施例について説明する。まず、図15を用いて、第1の実施例の概要について説明する。図15は、第1の実施例の概要を示す図である。図15に示すように、第1の実施例においては、min_supを3、lminを2、τを10分と設定する。そして、この時(a−b,3),(a−b−f,3),(a−c,4),(a−c−f,3),(a−f,3),(b−c−f,3),(b−f,3),(c−f,4)が結果として得られる。なお、例えば(a−b−f,3)とは、エピソード<a,b,f>の頻度が3であることを示している。また、第1の実施例において、パターン検出装置1は、ウィンドウのスライドが発生した場合、追加イベントに対してはbackward操作を行い、削除イベントに対してはforward操作を行う。また、backward操作およびforward操作は、主にカウント部10によって行われる。そして、加減部30の加算部31および減算部32はカウント結果に基づいて頻度を更新する。
backward操作において、カウント部10は、追加ブロックに含まれるイベントをそれぞれ単一のイベントから構成されるエピソードとして頻度をカウントし加算する。次に、スケッチ処理部20は、各要素の位置ビットブロックのスケッチを更新する。そして、カウント部10は、追加ブロックの各要素に対し、追加ブロックの要素および継続時間の逆方向の範囲内の要素をエピソードの先頭に追加するエピソード拡張を行い、その頻度をカウントし更新する。なお、追加ブロックとは、ウィンドウのスライドによって追加されたイベントの集合である。また、この場合、カウント部10のエピソード拡張部11は、第1の実施形態で説明したエピソード拡張と逆方向のエピソード拡張を行う。
forward操作において、カウント部10は、削除ブロックに含まれるイベント{a,b,c,d}をそれぞれ単一のイベントから構成されるエピソードとして頻度をカウントし減算する。そして、エピソード拡張部11は、削除ブロックの各要素に対し、削除ブロックの要素および継続時間の順方向の範囲内の要素をエピソードの末尾に追加するエピソード拡張を行い、その頻度をカウントし更新する。最後に、スケッチ処理部20は、各要素の位置ビットブロックのスケッチを更新する。なお、削除ブロックとは、ウィンドウのスライドによって削除されたイベントの集合である。
図19等を用いて、第1の実施例の処理について説明する。まず、図19を用いて処理の全体的な流れについて説明する。図19は、第1の実施例の処理を示すフローチャートである。図19に示すように、まず、ウィンドウがスライドされる(ステップS31)。そして、カウント部10は、backward操作を行う(ステップS32)。また、カウント部10等は、forward操作を行う(ステップS33)。なお、backward操作およびforward操作の順序は逆であってもよいし、また、同時に非同期で行われるようにしてもよい。以降、backward操作およびforward操作の処理について説明する。
次に、第2の実施例について説明する。第2の実施例においては、図3に示す、non-overlappedなエピソードのカウンティングを行う。第2の実施例においては、基本的な構成および処理は第1の実施例と同様である。第2の実施例において、カウント部10は、重複エピソードを排除するために、カウントしたエピソードの時間情報を保持し、保持した区間と重複するエピソードの頻度を更新しないようにする。
図23および図24を用いて、backward操作の具体的な手順を説明する。図23および24は、第2の実施例におけるbackward操作を説明するための図である。まず、図23に示すように、{f,c,f,a}というイベントブロックが追加された場合、カウント部10は、ADDに{f,c,a}を格納し、CHKに{a,b,c,d}を格納する。この時、ADD∩CHKには{a,b,c,d,f}が含まれることになる。そして、例えば、イベントaに対してイベントcを追加するエピソード拡張を行うと、エピソード<c,a>が得られる。これは、図23に示す11:27のcと11:35のaに対応しており、最後にカウントしたエピソードの該当区間として11:27-11:35が保持される。
図25および図26を用いて、forward操作の具体的な手順を説明する。図25および26は、第2の実施例におけるforward操作を説明するための図である。まず、図25に示すように、{a,b,c,d}というイベントブロックが削除された場合、カウント部10は、DELに{a,b,c,d}を格納し、CHKに{f,c}を格納する。この時、DEL∩CHKには{a,b,c,d,f}が含まれることになる。そして、例えば、イベントcに対してイベントfを追加するエピソード拡張を行うと、エピソード<c,f>が得られる。これは、図25に示す11:23のcと11:26のfに対応しており、最初にカウントしたエピソードの該当区間として11:23-11:26が保持される。
カウント部10は、イベントシーケンスにおいて、ウィンドウにおいて発生したイベントおよびエピソードの出現回数をカウントし、ウィンドウをイベントシーケンスの所定方向に移動させるたびに、追加されたイベントまたは追加されたイベントを終点とするエピソードの出現回数である追加出現回数をカウントし、削除されたイベントまたは削除されたイベントを始点とするエピソードの出現回数である削減出現回数をカウントする。加減部30は、出現回数に追加出現回数の加算を行い、削減出現回数の減算を行う。また、抽出部4は、イベントまたはエピソードの出現回数が所定の閾値以上である場合、該イベントまたはイベントの組合せを抽出する。これにより、エピソードのリスト出現回数の差分更新が可能となり、イベントストリームから効率的にエピソードを得ることができる。
Aprioriの性質が成り立つカウンティングに対してはさらに効率の良いカウンティングを行うことができる。Aprioriの性質とは、あるエピソードαがmin_supを満たすためには、αを構成するすべてのサブエピソードもmin_supを満たす、というものである。例えば、<a,b,c>というエピソードがmin_supである3を満たすためには、サブエピソード<a>,<b>,<c>,<a,b>,<a,c>,<b,c>の頻度も3以上でなければならない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPU(Central Processing Unit)および当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
図27は、プログラムが実行されることにより、パターン検出装置が実現されるコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
2 制御部
3 記憶部
4 抽出部
10 カウント部
11 エピソード拡張部
20 スケッチ処理部
21 スケッチ生成部
22 スケッチ更新部
30 加減部
31 加算部
32 減算部
111 イベント位置ビットブロック作成部
112 マスク演算部
113 継続時間符号化部
114 エピソード位置ビットブロック作成部
221 スケッチ追加部
222 スケッチ削除部
Claims (6)
- イベントの発生を時系列順に並べたイベントシーケンスにおいて、前記イベントの種類の数をm、所定の範囲に含まれるイベントの数をnとするm×n行列であって、i番目の種類のイベントが前記範囲のj番目の位置に存在する場合は、前記行列の成分aijの値を1とし、存在しない場合は前記行列の成分aijの値を0とすることで各成分の値が決定される行列であるイベント位置ビットブロックを作成するイベント位置ビットブロック作成部と、
前記イベント位置ビットブロックの各イベントに対応する行ベクトルであるイベント位置ビットベクトルから、成分の値が1である位置を示す番号をidとして取得し、長さがnのベクトルであって、前記範囲が移動した場合において該範囲から削除されたイベントのうち最後に発生したイベント、または、該範囲に追加されたイベントのうち最初に発生したイベントから前記idが示す位置までの値が0、前記idが示す位置より先の値が1であるベクトルであるマスクビットベクトルを、前記イベントおよび前記id毎に作成するマスク演算部と、
長さがnのベクトルであって、前記idが示す位置から、前記範囲が移動した場合において該範囲から削除されたイベントについては時系列順の方向、または、該範囲に追加されたイベントのうち最初に発生したイベントについては時系列と逆方向かつ前記イベントシーケンスにおける所定の継続時間の範囲に含まれる位置の成分の値が1、それ以外の位置の値が0であるベクトルであるタイムビットベクトルを作成し、前記マスクビットベクトルと前記タイムビットベクトルの論理積であるタイムマスクビットベクトルを作成する継続時間符号化部と、
第1のイベントに基づいて作成された前記タイムマスクビットベクトルと、第2のイベントに基づいて作成された前記イベント位置ビットベクトルとの論理積の集合であるエピソード位置ビットブロックを作成するエピソード位置ビットブロック作成部と、
前記イベントに対応するエピソード位置ビットブロックにおける値が1である成分の数を、該イベントを始点または終点とするエピソードの出現回数としてカウントすることにより、前記範囲において発生したイベント、または、前記範囲において発生する所定のイベントを始点とし、所定のイベントを終点とするイベントの組合せの出現回数をカウントし、前記範囲を前記イベントシーケンスの所定方向に移動させるたびに、前記範囲に追加された各イベント、または、前記範囲に追加された各イベントを終点とする各イベントの組合せの出現回数である追加出現回数をカウントするとともに、前記範囲から削除された各イベント、または、前記範囲から削除された各イベントを始点とする各イベントの組合せの出現回数である削減出現回数をカウントするカウント部と、
前記カウント部でカウントされたエピソードに基づいて、前記追加出現回数の加算および前記削減出現回数の減算を行う加減部と、
イベントまたはイベントの組合せの出現回数が所定の閾値以上である場合、該イベントまたはイベントの組合せを抽出する抽出部と、
を有することを特徴とするパターン検出装置。 - 前記加減部は、前記カウント部によってカウントされたイベントまたはイベントの組合せの出現回数から前記追加出現回数の加算を行い、該追加出現回数が加算されたイベントまたはイベントの組合せの出現回数から前記削減出現回数の減算を行うことを特徴とする請求項1に記載のパターン検出装置。
- 前記加減部は、
前記カウント部が前記追加出現回数をカウントした前記範囲に追加された各イベント、または、前記範囲に追加された各イベントを終点とする各イベントの組合せの区間が、最後にカウントした前記範囲に追加された各イベント、または、前記範囲に追加された各イベントを終点とする各イベントの組合せの区間と重複しない場合に、前記追加出現回数の加算を行い、
前記カウント部が前記追加出現回数をカウントした前記範囲から削除された各イベント、または、前記範囲から削除された各イベントを始点とする各イベントの組合せの区間が、前記範囲を前記イベントシーケンスの所定方向に移動させた後最初にカウントした前記範囲から削除された各イベント、または、前記範囲から削除された各イベントを始点とする各イベントの組合せの区間と重複しない場合に、前記削減出現回数の減算を行うことを特徴とする請求項1に記載のパターン検出装置。 - 前記範囲が一定のスライド幅ずつ移動する場合に、前記イベント位置ビットブロックを前記スライド幅毎に時間ブロックに分割し、前記時間ブロックの桁数のビット列が取り得る各値に対して、正の整数で表されるIDを設定し、前記時間ブロック毎に、前記IDの最大値より大きい素数であって、互いに異なる素数を割り当て、前記素数の積を法として、前記時間ブロック毎の前記IDとペアになる解を中国の剰余定理に基づいて算出するスケッチ処理部をさらに有することを特徴とする請求項1から3のいずれか1項に記載のパターン検出装置。
- パターン検出装置で実行されるパターン検出方法であって、
イベントの発生を時系列順に並べたイベントシーケンスにおいて、前記イベントの種類の数をm、所定の範囲に含まれるイベントの数をnとするm×n行列であって、i番目の種類のイベントが前記範囲のj番目の位置に存在する場合は、前記行列の成分aijの値を1とし、存在しない場合は前記行列の成分aijの値を0とすることで各成分の値が決定される行列であるイベント位置ビットブロックを作成するイベント位置ビットブロック作成工程と、
前記イベント位置ビットブロックの各イベントに対応する行ベクトルであるイベント位置ビットベクトルから、成分の値が1である位置を示す番号をidとして取得し、長さがnのベクトルであって、前記範囲が移動した場合において該範囲から削除されたイベントのうち最後に発生したイベント、または、該範囲に追加されたイベントのうち最初に発生したイベントから前記idが示す位置までの値が0、前記idが示す位置より先の値が1であるベクトルであるマスクビットベクトルを、前記イベントおよび前記id毎に作成するマスク演算工程と、
長さがnのベクトルであって、前記idが示す位置から、前記範囲が移動した場合において該範囲から削除されたイベントについては時系列順の方向、または、該範囲に追加されたイベントのうち最初に発生したイベントについては時系列と逆方向かつ前記イベントシーケンスにおける所定の継続時間の範囲に含まれる位置の成分の値が1、それ以外の位置の値が0であるベクトルであるタイムビットベクトルを作成し、前記マスクビットベクトルと前記タイムビットベクトルの論理積であるタイムマスクビットベクトルを作成する継続時間符号化工程と、
第1のイベントに基づいて作成された前記タイムマスクビットベクトルと、第2のイベントに基づいて作成された前記イベント位置ビットベクトルとの論理積の集合であるエピソード位置ビットブロックを作成するエピソード位置ビットブロック作成工程と、
前記イベントに対応するエピソード位置ビットブロックにおける値が1である成分の数を、該イベントを始点または終点とするエピソードの出現回数としてカウントすることにより、前記範囲において発生したイベント、または、前記範囲において発生する所定のイベントを始点とし、所定のイベントを終点とするイベントの組合せの出現回数をカウントし、前記範囲を前記イベントシーケンスの所定方向に移動させるたびに、前記範囲に追加された各イベント、または、前記範囲に追加された各イベントを終点とする各イベントの組合せの出現回数である追加出現回数をカウントするとともに、前記範囲から削除された各イベント、または、前記範囲から削除された各イベントを始点とする各イベントの組合せの出現回数である削減出現回数をカウントするカウント工程と、
前記カウント工程でカウントされたエピソードに基づいて、前記追加出現回数の加算および前記削減出現回数の減算を行う加減工程と、
イベントまたはイベントの組合せの出現回数が所定の閾値以上である場合、該イベントまたはイベントの組合せを抽出する抽出工程と、
を含んだことを特徴とするパターン検出方法。 - コンピュータを、請求項1から4のいずれか1項に記載のパターン検出装置として機能させるためのパターン検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015120544A JP6251216B2 (ja) | 2015-06-15 | 2015-06-15 | パターン検出装置、パターン検出方法およびパターン検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015120544A JP6251216B2 (ja) | 2015-06-15 | 2015-06-15 | パターン検出装置、パターン検出方法およびパターン検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017004437A JP2017004437A (ja) | 2017-01-05 |
JP6251216B2 true JP6251216B2 (ja) | 2017-12-20 |
Family
ID=57751808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015120544A Active JP6251216B2 (ja) | 2015-06-15 | 2015-06-15 | パターン検出装置、パターン検出方法およびパターン検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6251216B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110457595B (zh) * | 2019-08-01 | 2023-07-04 | 腾讯科技(深圳)有限公司 | 突发事件报警方法、装置、***、电子设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4326258A (en) * | 1980-01-31 | 1982-04-20 | Ncr Canada Ltd - Ncr Canada Ltee | Method and apparatus for reducing the gray scale resolution of a digitized image |
JPH07239697A (ja) * | 1994-02-28 | 1995-09-12 | Toshiba Corp | 信号の合成および分解装置 |
JP5673394B2 (ja) * | 2011-06-30 | 2015-02-18 | 富士通株式会社 | データ抽出方法及びデータ抽出装置 |
JP6047017B2 (ja) * | 2013-01-11 | 2016-12-21 | キヤノン株式会社 | パターン抽出装置および制御方法 |
JP6107495B2 (ja) * | 2013-07-16 | 2017-04-05 | 富士通株式会社 | 照合方法および照合プログラム |
-
2015
- 2015-06-15 JP JP2015120544A patent/JP6251216B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017004437A (ja) | 2017-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200411138A1 (en) | Compressing, storing and searching sequence data | |
US8326885B2 (en) | Frequent changing pattern extraction device | |
US9792388B2 (en) | Pattern extraction apparatus and control method therefor | |
US20170206458A1 (en) | Computer-readable recording medium, detection method, and detection apparatus | |
CN111078754B (zh) | 基于海量时空数据的频繁轨迹提取方法及其挖掘*** | |
US20200202169A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6251216B2 (ja) | パターン検出装置、パターン検出方法およびパターン検出プログラム | |
Nam et al. | Nonsmooth algorithms and nesterov's smoothing technique for generalized fermat--torricelli problems | |
JP2019086979A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN108170799A (zh) | 一种海量数据的频繁序列挖掘方法 | |
KR102153161B1 (ko) | 확률 그래프 기반의 서열 데이터 연관성 학습 방법 및 시스템 | |
JP5456715B2 (ja) | データ特定装置、データ特定方法及びデータ特定プログラム | |
JP2009070065A (ja) | トレンド検出方法、トレンド検出プログラムおよびトレンド検出装置 | |
WO2019178733A1 (zh) | 大规模数据集的频繁项集挖掘方法、装置、设备及介质 | |
CN117811801A (zh) | 一种模型训练方法、装置、设备及介质 | |
CN110399278B (zh) | 基于数据中心异常监控的告警融合***及方法 | |
CN110941793A (zh) | 一种网络流量数据填充方法、装置、设备及存储介质 | |
JP4394964B2 (ja) | データ圧縮装置、データ復元装置、テンプレート生成装置およびデータ圧縮システム | |
JP2008159015A (ja) | 頻出パターン発見装置および頻出パターン発見方法 | |
Abd Elaty et al. | Efficient association rules mining from streaming data with a fault tolerance | |
JP2014229110A (ja) | 検索装置、検索方法および検索プログラム | |
Tajeuna et al. | Survival analysis for modeling critical events that communities may undergo in dynamic social networks | |
Junior et al. | Incremental mining of frequent sequences in environmental sensor data | |
KR102244450B1 (ko) | 다수의 이벤트 시퀀스 데이터에서 최신 효과를 기반으로 한 패턴 마이닝 방법 | |
CN112256801B (zh) | 抽取实体关系图中关键实体的方法、***和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170905 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6251216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |