JP2021047892A - 情報処理システム、及び、情報処理方法 - Google Patents

Abstract

【課題】時間的な定常性を持つ挙動に対応したパターンと、ランダムな挙動とに対応したパターンとを抽出する情報処理装置などを提供する。【解決手段】情報処理装置は、複数の時間における複数の観測値を含む第１のデータを基に第１のデータを時間において積層した第２のデータを構築し、第２のデータを基に第１のデータにおける時間的な定常性を持つ観測値の組合せである定常パターンを抽出する定常パターン抽出手段と、第１のデータと定常パターンとの時間における差分を生成する差分生成手段と、差分を基に時間的な定常性を持たない観測値の組合せであるランダムパターンを抽出するランダムパターン抽出手段とを含む。【選択図】図１

Description

本発明は、データの処理に関し、特に、時系列データを処理する情報処理装置などに関する。

ネットワークへの不正侵入を検知する装置、又は、工場における温度センサーなどのセンサー装置（以下、まとめて「検知装置」と呼ぶ）は、監視対象（ネットワーク又は工場）における所定の属性の状態又は値を観測する。属性とは、温度、圧力、流量、若しくは、振動などの物理的な値、又は、データの送信、受信、所定のメッセージの作成などの動作の状態である。以下、観測した値及び観測した状態をまとめて「観測値」と呼ぶ。さらに、検知装置は、単一の時間での観測ではなく、通常は、連続して（シーケンスに）観測を継続する。連続した観測を基に、検知装置は、観測した属性の値（観測値）と、観測した時間などの時間に関連する情報（タイムスタンプ）と関連付けて含むデータを、時々刻々と生成する。つまり、検知装置は、監視対象を観測し、複数の時間における観測値とタイムスタンプとを含むデータ（以下、「時系列データ」又は「シーケンスデータ」と呼ぶ）を生成する。そして、検知装置は、生成したシーケンスデータを分析することで、監視対象を把握する。ここで監視対象の把握とは、例えば、監視対象が正常であるか否の判別、又は、監視対象における疑わしい挙動の検出などである。

シーケンスデータの例としては、Ｔｗｉｔｔｅｒなどのミニブログ（つぶやき）、プロキシサーバ若しくは監視サーバのログ、又は、侵入検知（ＩＤＳ：Ｉｎｔｒｕｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ）のアラートログなどがある。

このようなシーケンスデータ（時系列データ）を処理する技術は、いろいろな分野に適用されている（例えば、特許文献１ないし３）。

特許文献１は、脳波を解析する技術を開示している。

特許文献２は、正常稼働状態のデータを学習する技術を開示している。

特許文献３は、正常パターンを自動抽出する技術を開示している。

シーケンスデータには、監視対象の様々な挙動が、入り混じっている。例えば、シーケンスデータには、時間的な定常性（ｃｏｎｓｔａｎｃｙ）を持つ挙動と、時間的な定常性のない挙動（以下、「ランダムな挙動」と呼ぶ）とが、入り混じっている場合がある。時間的な定常性を持つ挙動とは、例えば、「特定の曜日及び／又は時間帯によく発現する挙動」又は「毎日発現する挙動」である。また、ランダムな挙動とは、「発現する時間又は位置を特定できない挙動」である。

コンピュータ・ネットワーク上での不正な攻撃（サイバー攻撃）に対する防御（サイバーセキュリティ）において、時間的な定常性を持つ挙動は、通常の業務に関連する動作に該当する。また、ランダムな挙動は、標的型攻撃などのサイバー攻撃、機器の故障、又は、何らかの異常に該当する。

時間的な定常性を持つ挙動及びランダムな挙動のそれぞれに対応したパターンを検出することは、アラート（警報）を発報するセキュリティ機器において、通常は生じない異常（ａｎｏｍａｌｙ）を検出する上で重要である。

このように、シーケンスデータの分析において、時間的な定常性を持つ挙動とランダムな挙動とのパターンを明確に分けたい、という要求がある。

データ中の主要なパターンを検出する手法として、各種の手法が提案されている。例えば、このような手法として、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）又は特異値分解（ＳＶＤ：Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）などの行列分解が知られている。これらの手法は、シーケンスデータに対しても適用することができる。しかしながら、行列分解は、時間的な定常性を持つ挙動であるか、ランダムな挙動であるかを、区別できない。また、時間的な定常性を持つ挙動のように頻度の高いパターンが多数ある場合、行列分解は、ランダムな挙動を雑音と見なしてしまい、ランダムな挙動をパターンとして検出できない可能性がある。

非特許文献１に記載の技術は、「タイムスタンプ，属性値」からなるデータを、周期に基づいて分割及び積層して行列形式のシーケンスデータを作成する。さらに、非特許文献１に記載の技術は、行列形式のシーケンスデータを基に、「周期数，周期内タイムスタンプ，属性値」から成るテンソル（ｔｅｎｓｏｒ）を生成する。このように周期に基づいて積層されたテンソル、つまり時間軸方向に積層されたテンソルには、時間方向における新たな冗長性が生まれる。非特許文献１に記載の技術は、このテンソルにテンソル分解を適用して、周期的なパターン（時間的な定常性を持つ挙動に対応したパターン）を検出する。加えて、非特許文献１に記載の技術は、時間的な定常性を持つ挙動から外れる挙動を、異常値として検出する。

上記のような行列又はテンソルにおける計算は、計算量が多く、さらに、結果の値が一つの値に収束しない場合がある。そこで、計算量を軽くするため、及び、結果を収束させるために、制約が用いられる。このような計算における制約として、正則化が、広く用いられている。このような正則化としては、スパース（Ｓｐａｒｓｅ）正則化がある。スパース正則化とは、多くの変数において、その値を０とする制約である。

非特許文献２は、スパース正則化の一種であるＧｒｏｕｐ Ｌａｓｓｏ正則化を開示している。Ｇｒｏｕｐ Ｌａｓｓｏ正則化は、変数のグループに対して、そのグループに属する変数を同時に０につぶす、すなわち変数の値が疎になるように仕向ける作用を持つ正則化である。

非特許文献３は、Ｇｒｏｕｐ Ｌａｓｓｏを用いて、主成分分析における所定数（ｋ）の上位コンポーネント（上位ｋコンポーネント）を含む変数のグループを生成する。主成分分析では、コンポーネントは、上位になるほど、データの主要な成分を持つ。そのため、上記の変数のグループ（上位ｋコンポーネント）は、多くのデータが共通に持つ特徴を多く含んだ密なパターン、換言すると、多くのデータにおいて発現するパターンの推定となる。

非特許文献４は、Ｇｒｏｕｐ Ｌａｓｓｏ正則化を用いて、主成分分析で得られるパターンが異常値に頑健であるように仕向ける技術を開示している。

国際公開第２０１２／１３３１８５号 特開２０１４−１４９８４０号公報 特開２０１１−２４７６９６号公報

Tsubasa Takahashi, Bryan Hooi, Christos Faloutsos, "AutoCyclone: Automatic Mining of Cyclic Online Activities with Robust Tensor Factorization", Proceedings of the 26th International Conference on World Wide Web, April 03-07, 2017, pp. 213-221 Ming Yuan, Yi Lin, "Model selection and estimation in regression with grouped variables", Journal of the Royal Statistical Society: Series B (Statistical Methodology), Volume 68, Issue 1, February 2006, pp.49-67 Ruoyi Jiang, Hongliang Fei, Jun Huan, "Anomaly localization for network data streams with graph joint sparse PCA", KDD '11 Proceeding of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining, August 21-24, 2011, pp. 886-894 Gonzalo Mateos, Georgios B. Giannakis, "Robust PCA as Bilinear Decomposition With Outlier-Sparsity Regularization", IEEE Transactions on Signal Processing, Volume 60, Issue10, Oct. 2012, pp.5176-5190

しかしながら、非特許文献１に記載の技術は、異常値に含まれるパターンを抽出することができない。

また、非特許文献１に記載の技術は、入力データに時間方向の冗長性を持たせることで、周期的なパターンが抽出されやすいように工夫している。しかし、非特許文献１に記載の技術では、パターンを抽出するためのテンソル分解において、必ずしも、時間的な定常性を持つ挙動のパターンだけを抽出するように仕向けられた制約が加えられてはいない。そのため、非特許文献１に記載の技術では、ランダムな挙動であってもその頻度が高い場合、又は、ランダムな挙動に対応した観測値が大きい場合などでは、時間的な定常性を持つ挙動のパターンに、ランダムな挙動のパターンが混じってしまう可能性がある。

また、非特許文献３に開示された上位ｋコンポーネントは、単にデータセット全体における特徴的なパターンが集められたグループである。上位ｋコンポーネントは、必ずしも、時間的な定常性を持つ挙動のパターンの推定となるわけではない。

非特許文献２は、Ｇｒｏｕｐ Ｌａｓｓｏ正則化を開示する文献であり、時間的な定常性を持つ挙動に対応したパターンとランダムな挙動とに対応したパターンとを区別する技術を開示していない。

非特許文献４は、主成分分析で得られるパターンにおける異常値に対する頑健性を向上する技術を開示している。しかし、非特許文献４は、時間的な定常性を持つ挙動に対応したパターンとランダムな挙動とに対応したパターンとを区別する技術を開示していない。

特許文献１ないし３は、上記の時間的な定常性を持つ挙動のパターンとランダムな挙動のパターンとを区別する技術を開示していない。

このように、特許文献１ないし３、及び、非特許文献１ないし４は、時間的な定常性を持つ挙動に対応したパターンとランダムな挙動に対応したパターンとを抽出できないという問題点があった。

本発明の目的は、上記問題点を解決し、時間的な定常性を持つ挙動に対応したパターンと、ランダムな挙動に対応したパターンとを抽出する情報処理装置などを提供することにある。

本発明の一形態における情報処理方法は、監視対象設備の異常を検知するための情報として、ランダムパターンを検出する報処理方法であって、データ提供装置が、工場内の監視対象設備の観測値を取得し、複数の時間と、時間における観測値とを第１のデータとして提供し、情報処理装置が、第１のデータを基に第１のデータを時間において積層した第２のデータを構築し、第２のデータを基に第１のデータにおける時間的な定常性を持つ観測値の組合せである定常パターンを抽出し、第１のデータと定常パターンとの時間における差分を生成し、差分を基に時間的な定常性を持たない観測値の組合せであるランダムパターンを抽出し、ランダムパターンを送信し、表示装置が、ランダムパターンを受信し、ランダムパターンを出力する。

本発明の一形態における情報処理システムは、監視対象設備の異常を検知するための情報として、ランダムパターンを検出する情報処理システムであって、工場内の監視対象設備の観測値を取得する取得手段と、複数の時間と、時間における観測値とを第１のデータとして提供する提供手段とを含むデータ提供装置と、第１のデータを基に第１のデータを時間において積層した第２のデータを構築し、第２のデータを基に第１のデータにおける時間的な定常性を持つ観測値の組合せである定常パターンを抽出する定常パターン抽出手段と、第１のデータと定常パターンとの時間における差分を生成する差分生成手段と、差分を基に時間的な定常性を持たない観測値の組合せであるランダムパターンを抽出するランダムパターン抽出手段と、ランダムパターンを送信する送信手段とを含む情報処理装置と、ランダムパターンを受信する受信手段と、ランダムパターンを出力する表示手段とを含む表示装置とを含む。

本発明に基づけば、時間的な定常性を持つ挙動に対応したパターンとランダムな挙動に対応したパターンとを抽出できる。

図１は、本発明における第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。 図３は、シーケンスデータの一例を示す図である。 図４は、サブデータの一例を示す図である。 図５は、構築されたテンソルの一例を示す図である。 図６は、テンソル分解に基づいて得られたパターンの一例を示す図である。 図７は、図６における定常パターンの一例を示す図である。 図８は、サブデータにおける個別差分を示す図である。 図９は、図８に示されている個別差分を行列化した差分を示す図である。 図１０は、図９に示されている差分に対して行列分解を適用した結果の一例を示す図である。 図１１は、ハードウェア構成の一例を示すブロック図である。 図１２は、第１の実施形態に係る情報処理システムの構成の一例を示す図である。

以下、図面を参照して、本発明における実施形態について説明する。

各図面は、本発明の実施形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を省略する場合がある。また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。

まず、本実施形態の説明における用語について整理する。

「観測値」とは、監視対象における所定の挙動に対応した属性について観測された値である。観測値は、直接的に観測された値に限られず、間接的に観測された値（例えば、センサーが検出した値を変換した値、又は、複数の観測値を基に算出された値）でもよい。

監視対象（以下、「ソース」と呼ぶ場合もある）は、１つに限られず、複数でもよい。また、各監視対象における観測対象の属性は、１つに限られず、複数でもよい。さらに、属性は、全ての監視対象において同じである必要はない。属性は、少なくとも一部の監視対象において異なっていてもよい。

「タイムスタンプ」とは、観測値が観測された時間に関する情報である。つまり、タイムスタンプとは、観測における時間に関する情報である。タイムスタンプは、単一の時間ではなく、所定の幅を持った時間範囲でもよい。

観測値とタイムスタンプは、関連付けられている。

各実施形態における情報処理装置は、観測値とタイムスタンプとを含むデータを受信し、以下で説明する動作を実行する。ただし、このデータは、少なくとも複数のタイムスタンプにおけるデータを含む。つまり、このデータは、シーケンスデータ（時系列データ）である。さらに、このデータは、各タイムスタンプにおいて複数の観測値を含む。ここで、複数の観測値とは、少なくとも監視対象又は属性のいずれかが複数となっている観測値のことである。なお、このデータは、一部の観測値が欠損したデータでもよい。

つまり、シーケンスデータは、複数の時間における複数の観測値を含むデータである。

＜第１の実施形態＞
以下、図面を参照して、第１の実施形態について説明する。

［構成の説明］
まず、第１の実施形態に係る情報処理装置１００の構成について、図面を参照して説明する。

図１は、本発明における第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。図１に示されているように、情報処理装置１００は、定常パターン抽出部１０２と、差分生成部１０４と、ランダムパターン抽出部１０６とを含む。

定常パターン抽出部１０２は、シーケンスデータ（以下、「シーケンスデータＸ」、又は、単に「Ｘ」と示す場合もある）を取得する。

定常パターン抽出部１０２におけるシーケンスデータＸの取得元は、任意である。例えば、定常パターン抽出部１０２は、図示しない外部の装置からシーケンスデータＸを受信してもよい。あるいは、定常パターン抽出部１０２は、図示しない記憶部から、シーケンスデータＸを読み出してもよい。

そして、定常パターン抽出部１０２は、シーケンスデータＸを、シーケンスデータＸにおけるタイムスタンプに基づいて複数のデータに分割する。以下、分割された各データを「サブデータ」と呼ぶ。

そして、定常パターン抽出部１０２は、分割したサブデータを積層したデータ（以下、テンソルと呼ぶ）を構築する。

このように、テンソルは、サブデータを積層して構築される。また、サブデータのオーダーは、シーケンスデータＸのオーダーと同じである。そのため、構築されるテンソルのオーダーは、「シーケンスデータＸのオーダー＋１」となる。例えば、シーケンスデータＸのオーダーがｍ次の場合、テンソルのオーダーは、ｍ＋１次となる。より具体的には、例えば、シーケンスデータＸが行列の場合、ｍは「２」である。そのため、この場合、テンソルのオーダーは、「３＝２＋１」である。なお、このようなテンソルのデータ形式は、シーケンスデータが持っている時間的冗長性を、より明確に表現したデータ形式である。

なお、シーケンスデータ及びテンソルは、同様の観測値を含むデータの集合である。そこで、以下、シーケンスデータを「第１のデータ」と、テンソルを「第２のデータ」と呼ぶ場合もある。

定常パターン抽出部１０２は、このテンソルを対象として、時間的な定常性を持つ挙動のパターン（以下、「定常パターン（ｃｏｎｓｔａｎｔ ｐａｔｔｅｒｎ）」と呼ぶ）を抽出する。以下の説明において、定常パターンを、「定常パターンＰ」、又は、単に「Ｐ」と示す場合もある。

シーケンスデータＸは、観測値の組合せの集合である。定常パターンＰは、シーケンスデータＸにおける時間的な定常性を持つパターンである。ここで、パターンとは、観測値の組合せである。つまり、定常パターンＰとは、シーケンスデータＸにおける時間的な定常性を持つ観測値の組合せである。

具体的には、定常パターン抽出部１０２は、定常パターンＰの抽出において、時間的な定常性を備えているデータに対応したパターンが抽出されるように制約を付したテンソル因子分解（ｔｅｎｓｏｒ ｆａｃｔｏｒｉｚａｔｉｏｎ）を用いる。

そして、定常パターン抽出部１０２は、定常パターンＰを差分生成部１０４に送信する。

定常パターン抽出部１０２は、抽出した定常パターンＰを図示しない外部の装置に出力してもよい。あるいは、定常パターン抽出部１０２は、抽出した定常パターンＰを図示しない情報処理装置１００の内部の処理部に送信してもよい。あるいは、定常パターン抽出部１０２は、抽出した定常パターンＰを図示しない記憶部に保存してもよい。

差分生成部１０４は、シーケンスデータＸから定常パターンＰに対応する部分を取り除いた差分Δを抽出する。本実施形態の説明では、差分生成部１０４は、差分Δを、シーケンスデータＸと同じ形式を用いて、抽出する。例えば、シーケンスデータＸがｍ次のオーダーのテンソルの場合、差分Δはｍ次のオーダーのテンソルである。あるいは、シーケンスデータＸが行列の場合、差分Δは行列である。ただし、差分生成部１０４は、他の形式を用いてもよい。

差分生成部１０４は、差分Δをランダムパターン抽出部１０６に送信する。

なお、差分生成部１０４は、定常パターン抽出部１０２と同様にシーケンスデータＸを取得してもよい。あるいは、差分生成部１０４は、定常パターンＰと同様に、定常パターン抽出部１０２からシーケンスデータＸを受信してもよい。

ランダムパターン抽出部１０６は、差分Δを基に時間的な定常性を持たない観測値の組合せであるランダムパターン（ｒａｎｄｏｍ ｐａｔｔｅｒｎ）を抽出する。以下、ランダムパターンを、「ランダムパターンＺ」、又は、単に「Ｚ」と示す場合もある。

ランダムパターン抽出部１０６は、抽出したランダムパターンＺを図示しない外部の装置に出力してもよい。あるいは、ランダムパターン抽出部１０６は、抽出したランダムパターンＺを図示しない情報処理装置１００の内部の処理部に送信してもよい。あるいは、ランダムパターン抽出部１０６は、抽出したランダムパターンＺを図示しない記憶部に保存してもよい。

次に、図面を参照して、情報処理装置１００の動作について説明する。

図２は、第１の実施形態に係る情報処理装置１００の動作の一例を示すフローチャートである。

まず、定常パターン抽出部１０２は、シーケンスデータＸを基に、テンソルを構築する（ステップＳ１１）。詳細には、まず、定常パターン抽出部１０２は、シーケンスデータＸにおけるタイムスタンプに基づいて、シーケンスデータＸをサブデータに分割する。そして、定常パターン抽出部１０２は、分割したサブデータを積層して、テンソルを構築する。

図３は、シーケンスデータＸの一例を示す図である。図３に示されているシーケンスデータＸは、（ｓｒｃ，ｄａｙ，ｍｓｇ）から構成されるタプル（ｔｕｐｌｅ）から成る。なお、タプルとは、複数の構成要素（図３では、ｓｒｃ、ｄａｙ、ｍｓｇ）からなる組の総称である。

図３において、ｓｒｃは、監視対象、つまり、データの情報源（ｓｏｕｒｃｅ）に関する情報である。例えば、ｓｒｃは、ソースのアドレスである。例えば、シーケンスデータＸがコンピュータ・ネットワークのログの場合、ソースのアドレスは、ソースのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスである。

ｄａｙは、時間に関する情報、つまりタイムスタンプである。ｄａｙは、例えば、日付及び／又は時間である。

ｍｓｇは、シーケンスデータＸにおける属性の種類を示す情報である。例えば、ｍｓｇは、所定のメッセージの種類（例えば、障害内容）の区別を示す情報である。

図３の場合、各セルは、それぞれのメッセージを何度受け取ったかを示している。例えば、図３の最も左の最上位のセルは、ソースｓｒｃ１が、タイムスタンプｄａｙ１に受け取ったｍｓｇ１の回数である。

図３において、横線を付したセル及び網掛けを付したセルは、０でない値が入っていることを示している。ただし、図３において、回数は省略している。

さらに、図３において、横線を付したセルは、時間的な定常性を持つ挙動に対応したパターン（定常パターンＰ）を構成するセルである。網掛けを付したセルは、ランダムな挙動に対応したパターン（ランダムパターンＺ）を構成するセルである。

ただし、第１の実施形態において、各セルは、事前に、定常パターンＰとランダムパターンＺとして把握されている必要はない。図３における区別は、以降の説明の分かりやすくするためである。また、以降の説明において、説明を分かりやすくするため、行列分解及びテンソル分解で生じる誤差等は、省略している。

なお、図３において、ソース及び属性は、１次元のデータとして示されている。ただし、これは説明の便宜のためである。本実施形態の具体的な処理においては、ソース及び／又は属性は、多次元のデータでもよい。

定常パターン抽出部１０２は、図３のシーケンスデータＸを、時間情報ｄａｙ（タイムスタンプ）に基づいて、サブデータに分割する。

図４は、サブデータの一例を示す図である。図４に示されているように、サブデータは、時間情報ｄａｙ（タイムスタンプ）に関して分割されている。

さらに定常パターン抽出部１０２は、図４に示されているサブデータを、時間方向に積層することで、テンソルを構築する。

図５は、構築されたテンソルの一例を示す図である。

定常パターン抽出部１０２は、テンソルを基に、定常パターンＰを抽出する（ステップＳ１３）。詳細には、定常パターン抽出部１０２は、対象となるテンソルに対して、時間的な定常性を持つ挙動のパターンが抽出されるように制約を付したテンソル因子分解を用いる。

図６は、テンソル因子分解に基づいて得られたパターンの一例を示す図である。図６は、定常パターンＰを左側に、ランダムパターンＺを右側に示している。

図６は、パターンを分かりやすくするため、パターンをテンソルの各軸のグループに分けて示している。例えば、左端のパターンは、横方向のセルの集合であるｍｓｇ軸のデータと、縦方向のセルの集合であるｓｒｃ軸のデータと、斜めのセルの集合がｄａｙ軸（タイムスタンプ、つまり時間軸）のデータとを含む。図６に示されているように、定常パターンＰは、時間軸（斜めのセル）が密（データがある、又は、ほぼ全体にある状態）となっている。一方、ランダムパターンは、時間軸（斜めのセル）が疎（データがない、又は、ほとんどない状態）となっている。

図６に示されている定常パターンＰを得るためのテンソル因子分解の具体例を説明する。

定常パターン抽出部１０２は、時間的な定常性を持つ挙動のパターンを抽出するため、制約としてスパース正則化を適用したテンソル因子分解を用いる。より具体的には、定常パターン抽出部１０２は、スパース正則化として、Ｇｒｏｕｐ Ｌａｓｓｏ正則化を、テンソルのｄａｙ軸（時間軸）に対して付加する。

Ｇｒｏｕｐ Ｌａｓｓｏ正則化は、スパース正則化の一種であり、グループとして設定した変数の組を同時に０につぶす効果を持つ。この効果（変数の組を同時に０につぶす効果）は、組となっている変数が同程度に小さい値を持つときに生じる。換言すると、定常的な値の出現がグループとして設定した変数の組に所定回数以上ある場合、Ｇｒｏｕｐ Ｌａｓｓｏ正則化において、そのグループの少なくとも一部の変数は、０につぶれない。また、定常性が高く常に値が出現する変数の組は、全てにおいて０につぶれない。

定常パターン抽出部１０２は、このようなＧｒｏｕｐ Ｌａｓｓｏ正則化をテンソル因子分解に付与することで、定常パターンＰのグループと、ランダムパターンＺのグループとに対して異なる効果を実現できる。具体的には、定常パターン抽出部１０２は、Ｇｒｏｕｐ Ｌａｓｓｏ正則化を用いて、ランダムパターンＺのグループの変数及びランダムに発生するノイズを０につぶす。すなわち、定常パターン抽出部１０２は、Ｇｒｏｕｐ Ｌａｓｓｏ正則化を用いて、ランダムパターンＺがパターンとして検出されないようにする。このとき、定常パターンＰにおいても、多くの変数は、０につぶれる。しかし、定常パターンＰにおいて、少なくとも一部の変数は、０につぶれない。

定常パターン抽出部１０２は、定常パターンＰとして、常に０でない変数（非ゼロ変数）のパターンを抽出すればよい。ただし、定常パターン抽出部１０２が抽出するパターンは、上記に限定されない。例えば、定常パターン抽出部１０２は、定常パターンＰとして、非ゼロ変数の出現回数、又は、非ゼロ変数の比率が所定の閾値より多いパターンを抽出してもよい。得られるパターンは、時間的な定常性を持つ挙動のパターン（定常パターンＰ）となる。

図７は、図６における定常パターンＰの一例を示す図である。

Ｇｒｏｕｐ Ｌａｓｓｏ正則化を用いた方法として、Ｓｏｆｔ−ｔｈｒｅｓｈｏｌｄｉｎｇが知られている。Ｓｏｆｔ−ｔｈｒｅｓｈｏｌｄｉｎｇを用いる場合、変数のグループｇに属する値ｖのＧｒｏｕｐ Ｌａｓｓｏ正則化を用いたスパースとなる推定値（ｖ_ｅ）は、以下の数式１を用いて導出される。
［数式１］

ここで、「（・）_＋」は、「ｍａｘ（・，０）」である。つまり、「（・）_＋」は、括弧内の値が正の場合、括弧内の値であり、括弧内の値が負の値の場合、０である。また、||・||_２は、Ｌ２ノルムである。λは、正則化の効果を決定するパラメータであり、予め設定されている値である。つまり、グループｇのＬ２ノルムが所定の値より小さい場合、推定値（Ｖ_ｅ）は、０となる。

続いて、差分生成部１０４が、サブデータと定常パターンＰとの差分（以下、「個別差分Δ^＊」と呼ぶ）を抽出する（ステップＳ１５）。サブデータは、時間的に分割されたデータである。そのため、個別差分Δ^＊は、時間的に分割された差分である。

図８は、サブデータにおける個別差分Δ^＊の一例を示す図である。

続いて、差分生成部１０４は、個別差分Δ^＊に対して所定の処理を施して、シーケンスデータＸと同じ形式（テンソルの形式）のデータである差分Δを生成する（ステップＳ１７）。なお、シーケンスデータＸが、図３に示すような行列の場合、この処理は、一般的に行列化（Ｍａｔｒｉｃｉｚａｔｉｏｎ）と呼ばれる処理となる。差分Δは、シーケンスデータＸと定常パターンＰとの時間における差分である。

図９は、図８に示されている個別差分Δ^＊を行列化した差分Δを示す図である。

そして、ランダムパターン抽出部１０６が、差分Δを基にランダムパターンＺを抽出する（ステップＳ１９）。ランダムパターン抽出部１０６が用いる手法は、任意である。例えば、ランダムパターン抽出部１０６は、差分Δに対して、スパースとなる推定値を用いた行列分解、頻出アイテム集合抽出、又はクラスタリングなどの分析手法を用いて、ランダムパターンＺを抽出する。ここで、行列分解は、例えば、特異値分解又は非負値行列分解（Ｎｏｎ−ｎｅｇａｔｉｖｅ Ｍａｔｒｉｘ Ｆａｃｔｏｒｉｚａｔｏｎ）などである。

図１０は、図９に示されている差分Δに対してスパースとなる推定値を用いた行列分解を適用した結果の一例を示す図である。ランダムパターン抽出部１０６は、差分Δを、二つの行列（ＵとＶ）に分割する。

図１０において、行列Ｖは、ランダムパターンＺの集合（ＰＲ１ないしＰＲ４）である。行列Ｖの各行が、ランダムパターンＺである。以下、各ランダムパターンＺを区別して説明する必要がない場合、ランダムパターンＺが複数（集合となる）場合を含めてランダムパターンＺと呼ぶ。

また、行列Ｕは、ランダムパターンＺの発現位置（図１０ではｓｒｃ１ないし５）、時間（図１０ではｄａｙ１ないし５）、及び発現するランダムパターンＺ（図１０ではＰＲ１ないし４）を示す。具体的には、行列Ｕの縦線を付したセルにおいて、ランダムパターンＺが発現する。以下の説明では、行列Ｕを「発現情報」とも呼ぶ。

例えば、行列Ｕの３行目の発現情報は、ソースｓｒｃ３の時間ｄａｙ１において、３番目のランダムパターンＺ（ＰＲ３）が発現したことを示す。

なお、図１０において、ｒは、抽出されたランダムパターンＺの数である。ｒは、データの属性数（例えば、図３の列数）及びテンソルのランク（階数）に依存する。図９に示されている差分Δは、属性として４つのｍｓｇを持つ。そのため、ランダムパターンＺの数（ｒ）の最大は、「４」である。図１０は、ｒの最大数までランダムパターンＺを抽出した例を示している。ただし、ｒの値は、最大数に限られない。ｒの値は、予め、１以上最大数以下の任意の数が設定されていればよい。

なお、定常パターン抽出部１０２は、定常パターンＰを抽出する。そのため、定常パターン抽出部１０２の対象となるデータ（今の場合、シーケンスデータＸ）は、時間的な冗長性を持っている必要がある。

これに対し、ランダムパターン抽出部１０６は、ランダムパターンＺ（時間的な定常性を持たないデータに対応するパターン）を抽出する。そのため、ランダムパターン抽出部１０６の対象となるデータは、必ずしも時間的な冗長性を持っている必要はない。時間的な定常性を持たない挙動は、発現頻度が低く、発現位置も不規則になる場合が多い。そのため、ランダムパターン抽出部１０６の対象となるデータは、多くのタプルを含むデータであることが望ましい。そのため、ランダムパターン抽出部１０６は、差分Δに加え、他のデータを用いてもよい。

［効果の説明］
このように、第１の実施形態に係る情報処理装置１００は、時間的な定常性を持つ挙動に対応したパターンと、ランダムな挙動に対応したパターンとを抽出するとの効果を得ることができる。

その理由は、次のとおりである。

定常パターン抽出部１０２が、複数の時間における複数の観測値を含むシーケンスデータＸ（第１のデータ）を基にシーケンスデータＸ（第１のデータ）を時間において積層したテンソル（第２のデータ）を構築する。そして、定常パターン抽出部１０２が、テンソル（第２のデータ）を基にシーケンスデータＸ（第１のデータ）における時間的な定常性を持つ観測値の組合せである定常パターンＰを抽出する。そして、差分生成部１０４が、シーケンスデータＸ（第１のデータ）と定常パターンＰとの時間における差分Δを生成する。そして、ランダムパターン抽出部１０６が、差分Δを基に時間的な定常性を持たない観測値の組合せであるランダムパターンＺを抽出する。

このように、情報処理装置１００において、まず、定常パターン抽出部１０２が、複数の時間における複数の観測値を含むシーケンスデータＸを時間において積層したテンソルを構築する。そのため、構築されたテンソルにおいて、時間的な冗長性が、明確となっている。そして、定常パターン抽出部１０２は、テンソルを基に定常パターンＰを抽出する。つまり、定常パターン抽出部１０２は、時間的な冗長性を明確となったテンソルを用いて定常パターンＰを抽出するため、時間的な定常性を持つ挙動に対応した定常パターンＰを抽出することができる。

そして、差分生成部１０４が、シーケンスデータＸと定常パターンＰとの時間的な差として差分Δを生成する。定常パターンＰは、時間的な冗長性を用いて抽出されている。そのため、差分Δは、時間的な冗長性を考慮した結果として、時間的な定常性を持たないデータとなる。

そして、ランダムパターン抽出部１０６が、差分Δを用いて時間的な定常性を持たないランダムパターンＺを抽出する。差分Δは、時間的な冗長性を考慮して生成されたデータである。そのため、ランダムパターン抽出部１０６は、時間的な冗長性を考慮した結果として、時間的な定常性を持たない挙動に対応したランダムパターンＺを抽出することができる。

このように、情報処理装置１００は、時間的な定常性を持つ挙動に対応した定常パターンＰと、ランダムな挙動に対応したランダムパターンＺとを抽出できる。

［ハードウェアの構成］
以上の説明した情報処理装置１００は、次のように構成される。例えば、情報処理装置１００の各構成部は、ハードウェア回路で構成されてもよい。あるいは、情報処理装置１００において、各構成部は、ネットワークを介して接続した複数の装置を用いて構成されてもよい。あるいは、情報処理装置１００は、複数の構成部を１つのハードウェアで構成されてもよい。

あるいは、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを含むコンピュータ装置として実現されてもよい。情報処理装置１００は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Ｉｎｐｕｔ ａｎｄ Ｏｕｔｐｕｔ Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。あるいは、情報処理装置１００は、上記構成に加え、さらに、ネットワークインターフェース回路（ＮＩＣ：Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｉｒｃｕｉｔ）を含むコンピュータ装置として実現されてもよい。

図１１は、情報処理装置１００のハードウェアの構成の一例を示す情報処理装置６００の構成を示すブロック図である。

情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。

ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０を含むコンピュータ装置は、これらの構成を制御し、図１に示されている、定常パターン抽出部１０２と、差分生成部１０４と、ランダムパターン抽出部１０６としての各機能を実現する。

ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０及び／又は内部記憶装置６４０を、プログラムの一時記憶として使用してもよい。

また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記録媒体７００が含むプログラムを、図示しない記録媒体読み取り装置を用いて読み込んでもよい。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作してもよい。

ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ−ＲＯＭ）又はフラッシュＲＯＭである。

ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラムと、データ（例えば、前述した図４ないし図１０に示されているパターンのデータ及び他の作業用のデータ）とを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Ｄｙｎａｍｉｃ−ＲＡＭ）である。

内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作してもよい。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はディスクアレイ装置である。

ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。一方、ＲＡＭ６３０は、揮発性（ｔｒａｎｓｉｔｏｒｙ）の記録媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記録媒体及び／又は揮発性記録媒体を用いて動作可能である。

ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）カードである。さらに、ＩＯＣ６５０は、ＵＳＢのような有線に限らず、無線を用いてもよい。

入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。

表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。表示機器６７０は、定常パターンＰ及び／又はランダムパターンＺを表示してもよい。

ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）カードである。さらに、ＮＩＣ６８０は、有線に限らず、無線を用いてもよい。ＮＩＣ６８０は、定常パターン抽出部１０２の一部として、シーケンスデータＸを受信してもよい。あるいは、ＮＩＣ６８０は、定常パターン抽出部１０２及び／又はランダムパターン抽出部１０６の一部として、定常パターンＰ及び／又はランダムパターンＺを出力してもよい。

このように構成された情報処理装置６００は、情報処理装置１００と同様の効果を得ることができる。

その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて情報処理装置１００と同様の機能を実現できるためである。

［システムの説明］
次に、図面を参照して、本実施形態の情報処理装置１００を含む情報処理システム１０について、説明する。

図１２は、第１の実施形態に係る情報処理システム１０の構成の一例を示す図である。情報処理システム１０は、第１の実施形態に係る情報処理装置１００と、監視対象２００と、表示装置３００とを含む。

監視対象２００は、情報処理装置１００が処理対象であるシーケンスデータＸの提供元である。監視対象２００は、任意である。例えば、監視対象２００は、所定の工場でもよい。この場合、シーケンスデータＸは、観測値として、工場内の各設備における属性（温度、圧力、流量、又は、振動など）を含む。あるいは、監視対象２００は、複数のコンピュータを含むコンピュータ・ネットワークである。この場合、シーケンスデータＸは、例えば、観測値として、ネットワークにおいて送信及び受信されるデータ（例えば、パケット）及びコンピュータの状態を含むログである。図１２は、これらの場合を例示している。

情報処理装置１００は、監視対象２００からシーケンスデータＸを取得する。そして、情報処理装置１００は、上記の動作を基に、ランダムパターンＺを抽出する。そして、情報処理装置１００は、ランダムパターンＺを表示装置３００に送信する。

表示装置３００は、受信したランダムパターンＺを表示する。その結果、情報処理システム１０の利用者は、時間的な定常性を持たない観測値のパターン（ランダムパターンＺ）を把握することができる。

なお、情報処理装置１００は、表示装置３００に、他の情報、例えば、発現位置情報、定常パターンＰ、及び／又は、シーケンスデータＸを送信してもよい。この場合、表示装置３００は、ランダムパターンＺに加え、発現情報、定常パターンＰ、及び／又は、シーケンスデータＸを表示する。

例えば、表示装置３００がランダムパターンＺと定常パターンＰとを表示した場合、情報処理システム１０の利用者は、定常パターンＰとの比較を基に、ランダムパターンＺをより適切に把握することができる。

あるいは、例えば、表示装置３００がランダムパターンＺと発現情報とを表示した場合、情報処理システム１０の利用者は、ランダムパターンＺに加え、ランダムパターンＺの発現位置及び時間、並びに、ランダムパターンＺの種別を把握することができる。

なお、表示装置３００は、情報処理装置１００の外部の装置に限られず、情報処理装置１００に含まれていてもよい。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０ 情報処理システム
１００ 情報処理装置
１０２ 定常パターン抽出部
１０４ 差分生成部
１０６ ランダムパターン抽出部
２００ 監視対象
３００ 表示装置
６００ 情報処理装置
６１０ ＣＰＵ
６２０ ＲＯＭ
６３０ ＲＡＭ
６４０ 内部記憶装置
６５０ ＩＯＣ
６６０ 入力機器
６７０ 表示機器
６８０ ＮＩＣ
７００ 記録媒体

Claims (10)

1. 監視対象設備の異常を検知するための情報として、ランダムパターンを検出する情報処理システムであって、
   工場内の監視対象設備の観測値を取得する取得手段と、
   複数の時間と、前記時間における前記観測値とを第１のデータとして提供する提供手段と
   を含むデータ提供装置と、
   前記第１のデータを基に前記第１のデータを前記時間において積層した第２のデータを構築し、前記第２のデータを基に前記第１のデータにおける時間的な定常性を持つ前記観測値の組合せである定常パターンを抽出する定常パターン抽出手段と、
   前記第１のデータと前記定常パターンとの前記時間における差分を生成する差分生成手段と、
   前記差分を基に時間的な定常性を持たない前記観測値の組合せである前記ランダムパターンを抽出するランダムパターン抽出手段と、
   前記ランダムパターンを送信する送信手段と
   を含む情報処理装置と、
   前記ランダムパターンを受信する受信手段と、
   前記ランダムパターンを出力する表示手段と
   を含む表示装置と
   を含む情報処理システム。
2. 前記観測値は、前記監視対象設備における温度、圧力、流量、及び、振動の少なくとも１つを含む
   請求項１に記載の情報処理システム。
3. 前記送信手段は、前記定常パターンをさらに送信し、
   前記表示手段は、前記定常パターンをさらに表示する
   請求項１又は２に記載の情報処理システム。
4. 前記第１のデータは、前記観測値が発現した位置情報を含み、
   前記送信手段は、前記位置情報をさらに送信し、
   前記表示手段は、前記位置情報をさらに表示する
   請求項１ないし３のいずれか１項に記載の情報処理システム。
5. 前記表示手段は、前記ランダムパターンの種別をさらに表示する
   請求項１ないし４のいずれか１項に記載の情報処理システム。
6. 監視対象設備の異常を検知するための情報として、ランダムパターンを検出する報処理方法であって、
   データ提供装置が、
   工場内の監視対象設備の観測値を取得し、
   複数の時間と、前記時間における前記観測値とを第１のデータとして提供し、
   情報処理装置が、
   前記第１のデータを基に前記第１のデータを前記時間において積層した第２のデータを構築し、前記第２のデータを基に前記第１のデータにおける時間的な定常性を持つ前記観測値の組合せである定常パターンを抽出し、
   前記第１のデータと前記定常パターンとの前記時間における差分を生成し、
   前記差分を基に時間的な定常性を持たない前記観測値の組合せである前記ランダムパターンを抽出し、
   前記ランダムパターンを送信し、
   表示装置が、
   前記ランダムパターンを受信し、
   前記ランダムパターンを出力する
   情報処理方法。
7. 前記観測値は、前記監視対象設備における温度、圧力、流量、及び、振動の少なくとも１つを含む
   請求項６に記載の情報処理方法。
8. 前記情報処理装置が、前記定常パターンをさらに送信し、
   前記表示装置が、前記定常パターンをさらに表示する
   請求項６又は７に記載の情報処理方法。
9. 前記第１のデータは、前記観測値が発現した位置情報を含み、
   前記情報処理装置は、前記位置情報をさらに送信し、
   前記表示装置は、前記位置情報をさらに表示する
   請求項６ないし８のいずれか１項に記載の情報処理方法。
10. 前記表示装置は、前記ランダムパターンの種別をさらに表示する
    請求項６ないし９のいずれか１項に記載の情報処理方法。

Images