JP2015108898A - Abnormality detection system and abnormality detection method - Google Patents
Abnormality detection system and abnormality detection method Download PDFInfo
- Publication number
- JP2015108898A JP2015108898A JP2013250595A JP2013250595A JP2015108898A JP 2015108898 A JP2015108898 A JP 2015108898A JP 2013250595 A JP2013250595 A JP 2013250595A JP 2013250595 A JP2013250595 A JP 2013250595A JP 2015108898 A JP2015108898 A JP 2015108898A
- Authority
- JP
- Japan
- Prior art keywords
- normal model
- normal
- abnormality
- unit
- terminals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、異常検知システム及び異常検知方法に関する。 The present invention relates to an abnormality detection system and an abnormality detection method.
従来、ユーザが有するPC(Personal Computer)、スマートフォン、タブレット等の端末が、端末上での動作をログとして取得し、該当ログと正常モデルとを用いて、端末の異常を検知することが行われている。 Conventionally, terminals such as PCs (Personal Computers), smartphones, tablets, etc. possessed by users have acquired operations on the terminals as logs, and detected abnormalities in the terminals using the corresponding logs and normal models. ing.
このような異常を検知する技術として、例えば、各端末の検知結果を統合的に比較して、端末の異常動作を検知する技術が知られている。また、例えば、新規に追加された端末に対しては、端末の情報が少なく、正しい異常検知が困難であるため、異常判定の閾値を緩めることで、正常動作を異常と誤判定することを少なくする技術が知られている。 As a technique for detecting such an abnormality, for example, a technique for detecting an abnormal operation of a terminal by comprehensively comparing detection results of each terminal is known. Also, for example, for newly added terminals, since there is little information on the terminals and it is difficult to detect correct abnormality, it is less likely that normal operation is erroneously determined as abnormal by relaxing the abnormality determination threshold. The technology to do is known.
しかしながら、このような従来技術では、迅速に、高精度な異常検知を行うことができないという課題があった。つまり、例えば、各端末の検知結果を統合的に比較する技術では、各端末の結果をすべて比較するので、端末数が多い環境においては、異常検知に長時間を要してしまうという課題があった。また、例えば、異常動作の閾値を緩めることで正常動作を異常と誤判定することを防ぐ技術では、ログが少ない端末において精度の高い異常検知を行うことが困難な場合があるという問題があった。 However, such a conventional technique has a problem in that it cannot quickly and accurately detect an abnormality. In other words, for example, in the technology that compares the detection results of each terminal in an integrated manner, all the results of each terminal are compared. Therefore, in an environment with a large number of terminals, there is a problem that it takes a long time to detect an abnormality. It was. In addition, for example, a technique that prevents a normal operation from being erroneously determined to be abnormal by relaxing the threshold of abnormal operation has a problem that it may be difficult to accurately detect an abnormality in a terminal with a small number of logs. .
そこで、この発明は、迅速に、高精度な異常検知を行うことを目的とする。 Accordingly, an object of the present invention is to quickly and accurately detect an abnormality.
上述した課題を解決し、目的を達成するため、開示の異常検知システムは、複数の端末と、統合装置とを有する異常検知システムにおいて、前記統合装置は、前記複数の端末のそれぞれから、正常モデルを収集する収集部と、前記収集部によって収集された複数の正常モデルを統合して統合正常モデルを生成する統合部と、前記統合部によって統合された統合正常モデルを前記複数の端末のそれぞれに対して送信する送信部と、を備え、前記複数の端末のそれぞれは、ユーザが行った動作をログとして取得する取得部と、前記取得部によって取得されたログと、前記統合装置から受信した統合正常モデルを用いて、前記動作の異常度合いを示す異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定する判定部と、前記判定部によって異常度が閾値を下回っていると判定された場合には、異常な動作が行われている旨の出力、または、前記動作を強制終了することを行う出力部と、を備えることを特徴とする。 In order to solve the above-described problems and achieve the object, the disclosed abnormality detection system includes a plurality of terminals and an integrated device, and the integrated device receives a normal model from each of the plurality of terminals. A collecting unit that collects a plurality of normal models collected by the collecting unit to generate an integrated normal model, and an integrated normal model integrated by the integrating unit to each of the plurality of terminals. Each of the plurality of terminals, an acquisition unit that acquires the operation performed by the user as a log, the log acquired by the acquisition unit, and the integration received from the integration device Using a normal model, a degree of abnormality indicating the degree of abnormality of the motion is calculated, and a determination unit that determines whether or not the degree of abnormality is below a predetermined threshold, and the determination unit When the degree of abnormality is determined to be below the threshold, an output indicating that an abnormal operation is being performed, or an output unit that forcibly terminates the operation is provided. And
また、開示の異常検知方法は、統合装置で実行される異常検知方法であって、複数の端末のそれぞれから、正常モデルを収集する収集ステップと、前記収集ステップによって収集された複数の正常モデルを統合して統合正常モデルを生成する統合ステップと、前記統合ステップによって統合された統合正常モデルを前記複数の端末のそれぞれに対して送信する送信ステップと、を含んだことを特徴とする。 Further, the disclosed abnormality detection method is an abnormality detection method executed by an integrated device, and includes a collection step of collecting normal models from each of a plurality of terminals, and a plurality of normal models collected by the collection step. An integration step of integrating and generating an integrated normal model and a transmission step of transmitting the integrated normal model integrated by the integration step to each of the plurality of terminals are included.
本願に開示する異常検知システム及び異常検知方法は、迅速に、高精度な異常検知を行うことが可能である。 The abnormality detection system and the abnormality detection method disclosed in the present application can quickly and highly accurately detect an abnormality.
以下に図面を参照して、この発明に係る異常検知システム及び異常検知方法の実施形態を詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。 Hereinafter, embodiments of an abnormality detection system and an abnormality detection method according to the present invention will be described in detail with reference to the drawings. In addition, this invention is not limited by this embodiment.
[第一の実施形態]
以下の実施形態では、第一の実施形態に係る異常検知システムの構成、正常モデル統合装置の構成、端末の構成、正常モデル統合装置における処理の流れ及び端末における処理の流れを順に説明し、最後に第一の実施形態による効果を説明する。
[First embodiment]
In the following embodiments, the configuration of the abnormality detection system according to the first embodiment, the configuration of the normal model integration device, the configuration of the terminal, the processing flow in the normal model integration device, and the processing flow in the terminal will be described in order. Next, effects of the first embodiment will be described.
[システムの構成]
まず、第一の実施形態に係る異常検知システム100の構成の一例を説明する。図1は、第一の実施形態に係る異常検知システムの構成の一例を示す図である。図1に示すように、異常検知システム100は、正常モデル統合装置10と、複数の端末20A〜20Nとを有する。正常モデル統合装置10と、複数の端末20A〜20Nとは、ネットワーク30を介して接続されている。なお、複数の端末20A〜20Nについて、特に区別することなく説明する場合には、「端末20」と記載する。また、図1に例示した各装置の設置数は、あくまで一例であり、これに限定されるものではない。
[System configuration]
First, an example of the configuration of the
正常モデル統合装置10は、各端末20A〜20Nから正常モデル・スコアを収集し、収集した各端末20A〜20Nの正常モデルを統合する。そして、正常モデル統合装置10は、統合した正常モデルを各端末20A〜20Nに対して送信する。ここで、正常モデルとは、ユーザの正常動作の傾向・特徴を表したものであり、動作ログを正常モデルに入力することで、その動作の異常度が出力される。
The normal
このように、正常モデル統合装置10は、作成された端末毎の正常モデルを統合することで、そのユーザ固有の正常モデルを作成する。統合の方法としては、例えば、端末毎の正常モデルの信頼度を示すスコアによる重み付平均・スコアが最大となる端末の正常モデルを選択等があるが、それらに限定されるものではない。正常モデル統合装置10は、正常モデルを統合した後には各端末20A〜20Nに送信する。なお、送信のタイミングで、スコアはリセットされる。また、各端末20A〜20Nの正常モデルの収集・送信方法としては、LAN内での共有、クラウドサービスの利用、USBメモリ等の外部記憶媒体経由等が考えられるが、これらに限定されない。
In this way, the normal
複数の端末20A〜20Nは、あるユーザが所有するPC、スマートフォン、タブレットなどの端末機器である。各端末20A〜20Nは、ユーザが行った動作をログとして取得し、取得されたログと、正常モデル統合装置10から受信した正常モデルを用いて、動作の異常度を算出する。そして、各端末20A〜20Nは、算出した異常度が閾値を下回っているか否かを判定し、異常度が閾値を下回っていると判定した場合には、異常な動作が行われている旨の出力、または、動作を強制終了することを行う。
The plurality of
また、端末20A〜20Nは、正常動作をログとして記録し、そのログを基にして端末毎の正常モデルを作成する。正常モデルの作成方法としては、例えば、ログの特徴から求められた特徴ベクトルの分布を正規分布や混合正規分布といった確率分布で近似する方法があるが、それらに限定されるものではない。また、端末20A〜20Nは、正常モデルの作成に用いたログ数を基に、その正常モデルがどれだけ正しいのかという信頼度を表すスコアを算出し記録する。なお、この正常モデル・スコアは、新たな動作のログが記録されるたびに、更新されるものである。
Further, the
また、端末20A〜20Nは、端末で動作が起こった際、正常モデルとその動作のログを比較することで、動作の異常度を算出する。そして、端末20A〜20Nは、異常度が予め定められた閾値を下回っていた場合に、その動作は異常であると検知する。
In addition, when an operation occurs in the terminal, the
このように、正常モデル統合装置10が、各端末20A〜20Nの正常モデルを効果的に統合することで、より検知精度が高い異常検知処理を行うことが可能となる。また、端末数が多い環境であっても、特定の装置に集中的な負荷をかけることなく、迅速に異常検知処理を行うことが可能である。
As described above, the normal
[正常モデル統合装置の構成]
次に、図2を用いて、図1に示した正常モデル統合装置10の構成を説明する。図2は、第一の実施形態に係る正常モデル統合装置の構成を示すブロック図である。図2に示すように、正常モデル統合装置10は、通信処理部11、制御部12および記憶部13を有する。
[Configuration of normal model integration device]
Next, the configuration of the normal
通信処理部11は、接続される複数の端末20A〜20Nとの間でやり取りする各種情報に関する通信を制御する。例えば、通信処理部11は、正常モデル及び正常モデルの信頼度を示すスコアを各端末20A〜20Nから受信し、統合した正常モデルを各端末20A〜20Nに対して送信する。
The communication processing unit 11 controls communication related to various types of information exchanged with the connected
記憶部13は、図2に示すように、正常モデル・スコア記憶部13aを有する。記憶部13は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。
As shown in FIG. 2, the
正常モデル・スコア記憶部13aは、各端末20A〜20Nの正常モデルと、各正常モデルの信頼度を示すスコアとを記憶する。ここで、図3を用いて、正常モデル・スコア記憶部13aに記憶される情報の一例について説明する。図3は、第一の実施形態に係る正常モデル・スコア記憶部に記憶される情報の一例を示す図である。
The normal model / score storage unit 13a stores a normal model of each of the
図3に例示するように、正常モデル・スコア記憶部13aは、端末20を一意に識別する「端末ID」と、各端末20に設定された正常モデルである「正常モデル」と、正常モデルの信頼度を示す値である「スコア」とを対応付けて記憶する。具体的な例を挙げて説明すると、例えば、正常モデル・スコア記憶部13aは、端末ID「A」と、正常モデル「ω1」と、スコア「20」とを対応付けて記憶する。 As illustrated in FIG. 3, the normal model score storage unit 13 a includes a “terminal ID” that uniquely identifies the terminal 20, a “normal model” that is a normal model set in each terminal 20, and a normal model A “score”, which is a value indicating the reliability, is stored in association with each other. For example, the normal model / score storage unit 13a stores the terminal ID “A”, the normal model “ω 1 ”, and the score “20” in association with each other.
図2に戻って、制御部12は、収集部12a、統合部12bおよび送信部12cを有する。ここで、制御部12は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路やASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路である。
Returning to FIG. 2, the control unit 12 includes a
収集部12aは、各端末20から正常モデルを収集する。また、収集部12aは、各端末20から正常モデルとともに、各正常モデルの信頼度を示すスコアを収集する。例えば、収集部12aは、各端末20で求められた正常モデルとスコアを収集し、正常モデル・スコア記憶部13aに格納する。なお、すべての端末20のスコアが「0」であった場合には、以下で説明する正常モデルを統合する処理を行わないものとする。
The
統合部12bは、収集部12aによって収集された各端末20の正常モデルを統合する。また、統合部12bは、スコアが大きい正常モデルほど影響が大きくなるように、各端末20の正常モデルを統合する。
The
例えば、統合部12bは、収取された各端末の正常モデルを下記(1)式に従って、統合する。「ω」は、統合された正常モデルであり、「ωk」は、端末kの正常モデルであり、「αk」は、端末kのスコアであり、「N」は、ユーザが所有する端末数である。このような正常モデルを統合する方法として、各端末20の正常モデルのスコアによる重み付平均を行うことで、スコアが高い端末20ほど統合の際に強い影響を持つこととなる。
For example, the
送信部12cは、統合部12bによって統合された正常モデルを各端末20に対して送信する。このように、統合した正常モデルを各端末20に送信することで、各端末20に設定された正常モデルを入れ替えさせる。また、送信部12cが正常モデルを各端末20に送信した後は、正常モデル・スコア記憶部13aに記憶されたスコアをすべて「0」にリセットする。
The
ここで、正常モデル統合装置10における全体の処理の流れを説明する。図4は、第一の実施形態に係る正常モデル統合装置における全体の処理の流れを説明する図である。図4に示すように、正常モデル統合装置10は、各端末の正常モデル「ωk」・スコアを収集する(図4の(1)参照)。そして、正常モデル統合装置10は、統合された正常モデルを作成する(図4の(2)参照)。
Here, an overall processing flow in the normal
続いて、正常モデル統合装置10は、統合された正常モデルの各端末20への分配を行う(図4の(3)参照)。これにより、作成された正常モデルは、各端末20に分配され、既存の正常モデルと入れ替えられて、各端末20上で機能することとなる。
Subsequently, the normal
[端末の構成]
次に、図5を用いて、図1に示した端末20の構成を説明する。図5は、第一の実施形態に係る端末の構成を示すブロック図である。図5に示すように、端末20は、通信処理部21、制御部22および記憶部23を有する。
[Terminal configuration]
Next, the configuration of the terminal 20 shown in FIG. 1 will be described with reference to FIG. FIG. 5 is a block diagram illustrating a configuration of the terminal according to the first embodiment. As illustrated in FIG. 5, the terminal 20 includes a communication processing unit 21, a control unit 22, and a storage unit 23.
通信処理部21は、接続される正常モデル統合装置10との間でやり取りする各種情報に関する通信を制御する。例えば、通信処理部21は、正常モデル及び正常モデルの信頼度を示すスコアを正常モデル統合装置10に送信し、統合した正常モデルを正常モデル統合装置10から受信する。
The communication processing unit 21 controls communication related to various types of information exchanged with the normal
記憶部23は、図5に示すように、正常モデル・スコア記憶部23aを有する。記憶部23は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。
As shown in FIG. 5, the storage unit 23 includes a normal model /
正常モデル・スコア記憶部23aは、自端末に設定された正常モデルと、正常モデルの信頼度を示すスコアとを記憶する。具体的には、正常モデル・スコア記憶部23aは、自端末に設定された正常モデルである「正常モデル」と、正常モデルの信頼度を示す値である「スコア」とを対応付けて記憶する。
The normal model /
制御部22は、取得部22a、変換部22b、算出部22c、判定部22dおよび出力部22eを有する。ここで、制御部22は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などの電子回路やASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などの集積回路である。
The control unit 22 includes an
取得部22aは、ユーザが行った動作をログとして取得する。具体的には、取得部22aは、自端末20上での動作(例えば、端末20を介したユーザのWebアクセスの操作等)をログとして取得する。
The
変換部22bは、取得部22aによって取得されたログを特徴ベクトルに変換する。具体的には、取得部22aによって取得されたログを、後述する算出部22cの処理に利用するために、特徴ベクトルへの変換を行う。ここで、特徴ベクトルとは、ログの特徴n次元の数ベクトルで表現したものである。
The
例えば、端末上での動作がWebアクセスである場合の特徴ベクトルの例について説明する。Webアクセスのログの場合には、そのログの特徴は、例えば「アクセス先のURLの文字列」に現れるため、変換部22bは、URLの文字列から特徴ベクトルを生成する。文字列から特徴ベクトルへ変換する方式としては、例えばN−gramによるものがある。N−gramとは、文字列の先頭から1文字ずつずらしながらn文字の組を作る方式である。
For example, an example of a feature vector when the operation on the terminal is Web access will be described. In the case of a Web access log, the characteristics of the log appear in, for example, “access destination URL character string”, and therefore the
例えば、URLが「http://www.AAABBBCCC.co.jp」であって、N=7である場合には、「http://」、「ttp://w」、「tp://ww」、「p://www」・・・というように、1文字ずつずらしながら作成する。そして、要素に分割されたURLを特徴ベクトルに変換する。変換には、各要素の出現回数をそのまま特徴ベクトル方式や、回数によらず出現するかしないかに応じて「1」、「0」に対応させる方式がある。 For example, when the URL is “http://www.AAABBBCCC.co.jp” and N = 7, “http: //”, “ttp: // w”, “tp: // “ww”, “p: // www”, and so on. Then, the URL divided into elements is converted into a feature vector. For the conversion, there are a feature vector method in which the number of times each element appears as it is, and a method in which “1” and “0” are associated with each element depending on whether it appears regardless of the number of times.
算出部22cは、変換部22bによって変換された特徴ベクトルを基に、正常モデルを作成する。具体的には、算出部22cは、ユーザが所有する端末毎に、ユーザが行う正常な動作(Webアクセス等)をログとして収集し、そのログを用いて、その端末上でのユーザの正常動作の傾向・特徴を表す「正常モデル」を作成する。ここで、正常モデルの作成方法としては、特徴ベクトルの分布を正規分布や混合正規分布といった確率分布で近似する方法等があるが、それらに限定されるものではない。
The
ここで、図6の例を用いて、正常モデル作成処理を説明する。図6は、第一の実施形態に係る端末の正常モデル作成処理を説明する図である。図6に例示するように、端末1における正常動作ログA〜Cを正常モデルを作成する算出部22cに入力し、端末1の正常モデル「ω」を作成する。正常モデルとしては、正常で動作の起こりやすさを表す確率分布等があるが、これに限定されるものではない。
Here, the normal model creation process will be described with reference to the example of FIG. FIG. 6 is a diagram illustrating a normal model creation process of the terminal according to the first embodiment. As illustrated in FIG. 6, the normal operation logs A to C in the terminal 1 are input to the
ここで、正常モデルとして正規分布N(x;m,Σ)とする場合について説明する。xは特徴ベクトル、mは平均、Σは分散を表すものとする。この正常モデルは、特徴ベクトルxが表す動作を入力としたとき、その動作がどれだけ起こりやすいかという確率を出力として返す。この確率が、予め定めた閾値よりも小さい場合は、その動作を異常であると判定する。 Here, a case where the normal distribution is a normal distribution N (x; m, Σ) will be described. x is a feature vector, m is an average, and Σ is variance. In this normal model, when an operation represented by the feature vector x is input, a probability of how easily the operation occurs is returned as an output. If this probability is smaller than a predetermined threshold, it is determined that the operation is abnormal.
そして、正常動作を表す特徴ベクトルx’が与えられるたびに、正規分布の平均m、分散Σを更新する。更新の方法としては、 ベイズの法則を用いた方法が考えられる。ベイズの法則とは、P(A)をAが起こる確率、P(B|A)をAが起こったと既知の場合にBが起こる確率としたとき、「P(A|B)=P(B|A)P(A)/P(B)」の関係式が成り立つというものである。 Each time a feature vector x ′ representing normal operation is given, the average m of the normal distribution and the variance Σ are updated. As a renewal method, a method using Bayes's law can be considered. Bayes' law is defined as “P (A | B) = P (B” where P (A) is the probability that A will occur and P (B | A) is the probability that B will occur when A is known to have occurred. | A) P (A) / P (B) "is satisfied.
ここで、Bを特徴ベクトルx、Aを(m,Σ)、Pを正規分布Nとすると、左辺は正規分布Nから特徴ベクトルxが発生したと分かったときの、正規分布Nの平均・分散がm,Σである確率を表す。ベイズの法則を用いた更新方法としては、特徴ベクトルxが与えられた時に、上記の左辺を最大にするようなm,Σを選択するというものである。なお、ここでは、ベイズの法則による更新方法を説明したが、更新方法はこれに限るものではない。 Here, assuming that B is a feature vector x, A is (m, Σ), and P is a normal distribution N, the left side is the average and variance of the normal distribution N when it is known that the feature vector x has occurred from the normal distribution N Represents the probability that is m, Σ. As an update method using Bayes' law, when a feature vector x is given, m and Σ that maximize the left side are selected. Although the updating method based on Bayes' law is described here, the updating method is not limited to this.
また、正常モデルの作成に用いた特徴ベクトルは正常モデルの信頼度を表すスコアの算出に用いられ、ここでは特に、「スコア=正常モデルの作成に用いた特徴ベクトルの総数」と定める。これは、正常モデル作成に用いた特徴ベクトルの数が多いほど、それを用いた異常検知精度は一般に高くなるという特徴を利用しているものである。 The feature vector used for creating the normal model is used to calculate a score representing the reliability of the normal model. In particular, the score is defined as “score = total number of feature vectors used for creating the normal model”. This utilizes the feature that, as the number of feature vectors used for normal model creation increases, the abnormality detection accuracy using the feature vector generally increases.
判定部22dは、取得部22aによって取得されたログと正常モデル統合装置10から受信した統合正常モデルを用いて、動作の異常度合いを示す異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定する。具体的には、判定部22dは、変換部22bによって変換された特徴ベクトルを正常モデルに入力して、異常度を算出し、該異常度が所定の閾値を超えるか否かを判定する。
The
ここで、図7を用いて、端末20の異常検知処理を説明する。図7は、第一の実施形態に係る端末の異常検知処理を説明する図である。端末20で動作した際に、正常モデルに動作のログを入力することで、動作の異常度が出力される。異常度が予め設定された閾値を下回った場合には、その動作が異常であると検知する。 Here, the abnormality detection process of the terminal 20 will be described with reference to FIG. FIG. 7 is a diagram for explaining the abnormality detection process of the terminal according to the first embodiment. When operating on the terminal 20, the operation abnormality level is output by inputting the operation log to the normal model. When the degree of abnormality falls below a preset threshold, it is detected that the operation is abnormal.
図7の例を用いて説明すると、判定部22dは、正常モデルωに動作ログDを入力し、異常度0.1が出力されたものとする。そして、異常度「0.1」が予め設定された閾値「0.2」を下回っているので、動作ログDの動作は異常であるものとして検知する。一方、異常度が閾値以上であり、正常と判定された場合には、その特徴ベクトルは前述の算出部22cに送られ、正常モデルの作成(更新)に利用される。
If it demonstrates using the example of FIG. 7, the
出力部22eは、判定部22dによって異常度が閾値を下回っていると判定された場合には、異常な動作が行われている旨の出力、または、動作を強制終了することを行う。例えば、出力部22eは、ユーザや管理者に対して異常な動作が行われている旨を報知するために異常動作が行われていることをメッセージとして通知する処理や、動作の強制停止する処理を行う。
If the
ここで、図8を用いて、異常検知システム100の全体の処理を説明する。図8は、第一の実施形態に係る異常検知システムの全体の処理を説明する図である。図8に示すように、正常モデル統合装置10は、各端末20A〜20Nから正常モデルおよびスコアを収集し、収集した各端末20A〜20Nの正常モデルを統合する。そして、正常モデル統合装置10は、統合した正常モデルを各端末20A〜20Nに対して送信する。
Here, the overall processing of the
そして、各端末20A〜20Nは、ユーザが行った動作をログとして取得し、取得されたログと、正常モデル統合装置10から受信した正常モデルを用いて、動作の異常度を算出する。そして、各端末20A〜20Nは、算出した異常度が閾値を下回っているか否かを判定し、異常度が閾値を下回っていると判定した場合には、異常な動作が行われている旨を出力する。
And each terminal 20A-20N acquires operation | movement which the user performed as a log, and calculates the abnormal degree of operation | movement using the acquired log and the normal model received from the normal
このように、第一の実施形態に係る異常検知システム100では、正常モデル統合装置10が、各端末20A〜20Nの正常モデルを効果的に統合することで、より検知精度が高い異常検知処理を行うことが可能となる。また、端末数が多い環境であっても、特定の装置に集中的な負荷をかけることなく、迅速に異常検知処理を行うことが可能である。
Thus, in the
[正常モデル統合装置による処理]
次に、図9を用いて、第一の実施形態に係る正常モデル統合装置10による処理を説明する。図9は、第一の実施形態に係る正常モデル統合装置における正常モデル統合処理の流れを説明するためのフローチャートである。
[Process by normal model integration device]
Next, processing performed by the normal
図9に示すように、正常モデル統合装置10の収集部12aは、正常モデルを統合する旨の指示を受け付けると(ステップ101肯定)、各端末20の正常モデル・スコアを収集する(ステップ102)。例えば、収集部12aは、各端末20で求められた正常モデルとスコアを収集し、正常モデル・スコア記憶部13aに格納する。
As illustrated in FIG. 9, when the
そして、統合部12bは、各端末20の正常モデルを統合する(ステップ103)。例えば、統合部12bは、収取された各端末の正常モデルを上記(1)式に従って、統合する。そして、送信部12cは、統合された正常モデルを各端末20へ分配する(ステップ104)。このように、統合した正常モデルを各端末20に送信することで、各端末20に設定された正常モデルを入れ替えさせる。また、送信部12cが正常モデルを各端末20に送信した後は、正常モデル・スコア記憶部13aに記憶されたスコアをすべて「0」にリセットする。
Then, the
[端末による処理]
次に、図10、図11を用いて、第一の実施形態に係る端末20による処理を説明する。図10は、第一の実施形態に係る端末における正常モデル送信処理の流れを説明するためのフローチャートである。図11は、第一の実施形態に係る端末における異常検知処理の流れを説明するためのフローチャートである。
[Processing by terminal]
Next, processing by the terminal 20 according to the first embodiment will be described with reference to FIGS. 10 and 11. FIG. 10 is a flowchart for explaining the flow of the normal model transmission process in the terminal according to the first embodiment. FIG. 11 is a flowchart for explaining the flow of the abnormality detection process in the terminal according to the first embodiment.
まず、図10を用いて、正常モデル送信処理の流れを説明する。図10に示すように、端末20の変換部22bは、所定の時間が経過すると(ステップ201肯定)、取得部22aによって取得されたログを特徴ベクトルに変換する(ステップ202)。例えば、変換部22bは、予め定められた所定の周期で、取得部22aによって取得されたログを、後述する算出部22cの処理に利用するために、特徴ベクトルへの変換を行う。
First, the flow of normal model transmission processing will be described with reference to FIG. As shown in FIG. 10, when the predetermined time has elapsed (Yes in Step 201), the
そして、算出部22cは、特徴ベクトルを基に、正常モデルを作成する(ステップ203)。具体的には、算出部22cは、ユーザが所有する端末毎に、ユーザが行う正常な動作(Webアクセス等)をログとして収集し、そのログを用いて、その端末上でのユーザの正常動作の傾向・特徴を表す「正常モデル」を作成する。その後、通信処理部21は、正常モデル統合装置10から要求があった場合等に、作成した正常モデルを正常モデル統合装置10へ送信する(ステップ204)。
Then, the
次に、図11を用いて、異常検知処理の流れを説明する。図11に示すように、端末20の取得部22aが端末上での動作をログとして取得すると(ステップ301肯定)、変換部22bは、取得したログを特徴ベクトルに変換する(ステップ302)。
Next, the flow of the abnormality detection process will be described with reference to FIG. As shown in FIG. 11, when the
そして、判定部22dは、特徴ベクトルを用いて異常判定処理を行う(ステップ303)。具体的には、判定部22dは、変換部22bによって変換された特徴ベクトルを正常モデルに入力して、異常度を算出し、該異常度が所定の閾値を超えるか否かを判定する。
この結果、判定部22dは、異常度が閾値より小さいか否かを判定する(ステップ304)。
Then, the
As a result, the
この結果、判定部22dが、異常度が閾値より小さいと判定した場合には、出力部22eは、ユーザ・管理者への警告を行い、動作を強制停止する(ステップ305)。一方、判定部22dが、異常度が閾値以上であると判定した場合には、そのまま処理を終了する。なお、異常を検知した場合に、ユーザ・管理者への警告を行うことと、動作を強制停止することとを必ずしも両方する必要はなく、ユーザ・管理者への警告を行うこと、または、動作を強制停止することのいずれか一方を行うようにしてもよい。
As a result, when the
[第一の実施形態の効果]
上述してきたように、第一の実施形態に係る異常検知システム100では、正常モデル統合装置10は、複数の端末20のそれぞれから、正常モデル・スコアを収集し、収集された複数の正常モデルを統合して統合正常モデルを生成する。そして、正常モデル統合装置10は、統合された統合正常モデルを複数の端末20のそれぞれに対して送信する。また、複数の端末20のそれぞれは、ユーザが行った動作をログとして取得し、取得されたログと、正常モデル統合装置10から受信した統合正常モデルを用いて、動作の異常度合いを示す異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定する。この結果、端末20は、異常度が閾値を下回っていると判定された場合には、異常な動作が行われている旨の出力、または、動作を強制終了することを行う。
[Effect of the first embodiment]
As described above, in the
これにより、第一の実施形態に係る異常検知システム100では、すべての端末の検知結果を比較することなく、各端末上で異常検知を行うことにより迅速な検知を可能とし、かつログが少ない端末に置いても高精度な異常検知を行うことが可能となる。ここで、図12および図13を用いて、従来の異常検知システムについて説明する。図12および図13は、従来の異常検知システムを説明する図である。つまり、図12に例示するように、従来の異常検知システムの一つでは、各端末の異常検知システムで算出された異常度を統合する。そして、ある端末における動作の異常判定のためには、すべての異常検知システムに、その動作ログを入力として与える必要がある。そして、各異常検知システムで判定した異常度を集約し、それらを統合して最終的に判定する。このため、端末数が多い環境においては異常検知に時間的コストを要する。
Thereby, in the
また、図13に例示するように、従来の異常検知システムの一つでは、各端末の動作ログが一つの異常検知システムに入力される。そして、一つの異常検知システムにおいて、すべての端末の動作ログを処理するため、異常検知システムへの負荷が大きくなる。 Further, as illustrated in FIG. 13, in one of the conventional abnormality detection systems, the operation log of each terminal is input to one abnormality detection system. And since the operation log of all the terminals is processed in one abnormality detection system, the load on the abnormality detection system increases.
これに対して、第一の実施形態に係る異常検知システム100では、図14に示すように、正常モデル統合装置10が、各端末の異常検知システムの正常モデルを統合し、新たな正常モデルを作成する。作成された正常モデルは、各端末20に再分配され異常検知に利用される。このように、各端末20上で異常検知が行われるため、1つの装置に負荷が集中することはなく、また、正常モデルの統合を行うことで、すべての端末20において、迅速に高精度な異常検知を行うことが可能となる。
On the other hand, in the
また、第一の実施形態に係る異常検知システム100では、スコアを考慮した正常モデルの統合を行うことで、スコアが低い正常モデルの影響を小さく、スコアが高い正常モデルの影響を大きく受けた新たな正常モデルを自動的に作成することができる。また、ログや特徴ベクトル自身ではなく正常モデルを統合するため、膨大なログの転送、膨大なログからの正常モデル作成にかかるコストを軽減できる。また、異常検知は各端末20毎に行うため、正常モデル統合装置10には判定結果の統合等に係るコストはない。
Further, in the
[システム構成等]
上記した第一の実施形態に係る異常検知システム100では、正常モデル統合装置10が各端末の正常モデルおよびスコアを収集して正常モデルを統合し、各端末に統合した正常モデルを送信する場合を説明したが、ユーザ所有の端末に正常モデル統合装置10の機能を具備させてもよい。例えば、図15に例示するように、異常検知システム100Aでは、複数の端末のうちの一つの端末20Aに、上述した正常モデル統合装置10の機能である正常モデル統合機能として、収集部12a、統合部12bおよび送信部12cを具備させる。そして、端末20Aは、各端末20B〜20Nの正常モデルおよびスコアを収集して正常モデルを統合し、各端末20B〜20Nに統合した正常モデルを送信する。
[System configuration, etc.]
In the
また、図16に例示するように、複数の端末200A〜200Nに、上述した正常モデル統合装置10の機能である正常モデル統合機能として、収集部12a、統合部12bおよび送信部12cを具備させてもよい。この場合には、各端末200A〜200Nは、自装置以外の端末から正常モデルおよびスコアを収集して正常モデルを統合し、自装置以外の端末に統合した正常モデルを送信する。
Further, as illustrated in FIG. 16, a plurality of terminals 200 </ b> A to 200 </ b> N are provided with a
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、収集部12aと統合部12bとを統合してもよい。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. For example, the
また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 In addition, among the processes described in the present embodiment, all or part of the processes described as being performed automatically can be performed manually, or the processes described as being performed manually can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, and information including various data and parameters shown in the above-described document and drawings can be arbitrarily changed unless otherwise specified.
[プログラム]
また、上記実施形態において説明した正常モデル統合装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、第一の実施形態に係る正常モデル統合装置10が実行する処理をコンピュータが実行可能な言語で記述したモデル統合プログラムを作成することもできる。この場合、コンピュータがモデル統合プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるモデル統合プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されモデル統合プログラムをコンピュータに読み込ませて実行することにより上記第一の実施形態と同様の処理を実現してもよい。以下に、図2に示した正常モデル統合装置10と同様の機能を実現するモデル統合プログラムを実行するコンピュータの一例を説明する。
[program]
It is also possible to create a program that describes the processing executed by the normal
図17は、モデル統合プログラムを実行するコンピュータ1000を示す図である。図17に例示するように、コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有し、これらの各部はバス1080によって接続される。
FIG. 17 is a diagram illustrating a
メモリ1010は、図17に例示するように、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、図17に例示するように、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、図17に例示するように、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、図17に例示するように、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、図17に例示するように、例えばディスプレイ1130に接続される。
The
ここで、図17に例示するように、ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、上記のモデル統合プログラムは、コンピュータ1000によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ1090に記憶される。
Here, as illustrated in FIG. 17, the hard disk drive 1090 stores, for example, an
また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020が、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出し、各種処理手順を実行する。
In addition, various data described in the above embodiment is stored as program data in, for example, the
なお、モデル統合プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してCPU1020によって読み出されてもよい。あるいは、モデル統合プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
Note that the
10 正常モデル統合装置
11、21 通信処理部
12、22 制御部
12a 収集部
12b 統合部
12c 送信部
13、23 記憶部
13a、23a 正常モデル・スコア記憶部
20、20A〜20N、200A〜200N 端末
22a 取得部
22b 変換部
22c 算出部
22d 判定部
22e 出力部
30 ネットワーク
100、100A、100B 異常検知システム
DESCRIPTION OF
Claims (5)
前記統合装置は、
前記複数の端末のそれぞれから、正常モデルを収集する収集部と、
前記収集部によって収集された複数の正常モデルを統合して統合正常モデルを生成する統合部と、
前記統合部によって統合された統合正常モデルを前記複数の端末のそれぞれに対して送信する送信部と、
を備え、
前記複数の端末のそれぞれは、
ユーザが行った動作をログとして取得する取得部と、
前記取得部によって取得されたログと、前記統合装置から受信した統合正常モデルを用いて、前記動作の異常度合いを示す異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定する判定部と、
前記判定部によって異常度が閾値を下回っていると判定された場合には、異常な動作が行われている旨の出力、または、前記動作を強制終了することを行う出力部と、
を備えることを特徴とする異常検知システム。 In an anomaly detection system having a plurality of terminals and an integrated device,
The integrated device is
A collection unit that collects normal models from each of the plurality of terminals;
An integration unit that integrates a plurality of normal models collected by the collection unit to generate an integrated normal model;
A transmission unit that transmits an integrated normal model integrated by the integration unit to each of the plurality of terminals;
With
Each of the plurality of terminals is
An acquisition unit for acquiring a user's actions as a log;
Using the log acquired by the acquisition unit and the integrated normal model received from the integration device, an abnormality level indicating the degree of abnormality of the operation is calculated, and whether or not the abnormality level is below a predetermined threshold value. A determination unit for determining;
When it is determined by the determination unit that the degree of abnormality is below a threshold, an output indicating that an abnormal operation is being performed, or an output unit that forcibly terminates the operation;
An anomaly detection system comprising:
前記統合部は、前記値が大きい正常モデルほど影響が大きくなるように、前記各端末の正常モデルを統合することを特徴とする請求項1に記載の異常検知システム。 The collection unit collects a value indicating the reliability of each normal model together with the normal model from each terminal,
The anomaly detection system according to claim 1, wherein the integration unit integrates the normal models of the terminals so that the normal model having a larger value has a larger influence.
前記判定部は、前記変換部によって変換された特徴ベクトルを前記正常モデルに入力して、前記異常度を算出し、該異常度が所定の閾値を下回っているか否かを判定することを特徴とする請求項1または2に記載の異常検知システム。 The terminal further includes a conversion unit that converts the log acquired by the acquisition unit into a feature vector,
The determination unit inputs the feature vector converted by the conversion unit to the normal model, calculates the degree of abnormality, and determines whether or not the degree of abnormality is below a predetermined threshold. The abnormality detection system according to claim 1 or 2.
複数の端末のそれぞれから、正常モデルを収集する収集ステップと、
前記収集ステップによって収集された複数の正常モデルを統合して統合正常モデルを生成する統合ステップと、
前記統合ステップによって統合された統合正常モデルを前記複数の端末のそれぞれに対して送信する送信ステップと、
を含んだことを特徴とする異常検知方法。 An anomaly detection method executed by an integrated device,
A collection step for collecting normal models from each of a plurality of terminals;
An integration step of generating a unified normal model by integrating a plurality of normal models collected in the collecting step;
A transmitting step of transmitting the integrated normal model integrated by the integrating step to each of the plurality of terminals;
An abnormality detection method characterized by including
前記統合ステップは、前記値が大きい正常モデルほど影響が大きくなるように、前記各端末の正常モデルを統合することを特徴とする請求項5に記載の異常検知方法。 The collecting step collects a value indicating the reliability of each normal model together with the normal model from each terminal,
The abnormality detection method according to claim 5, wherein in the integration step, the normal models of the terminals are integrated so that the normal model having the larger value has a larger influence.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013250595A JP2015108898A (en) | 2013-12-03 | 2013-12-03 | Abnormality detection system and abnormality detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013250595A JP2015108898A (en) | 2013-12-03 | 2013-12-03 | Abnormality detection system and abnormality detection method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015108898A true JP2015108898A (en) | 2015-06-11 |
Family
ID=53439217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013250595A Pending JP2015108898A (en) | 2013-12-03 | 2013-12-03 | Abnormality detection system and abnormality detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015108898A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017122798A1 (en) * | 2016-01-14 | 2017-07-20 | 国立研究開発法人産業技術総合研究所 | Target value estimation system, target value estimation method, and target value estimation program |
WO2017154844A1 (en) * | 2016-03-07 | 2017-09-14 | 日本電信電話株式会社 | Analysis device, analysis method, and analysis program |
WO2019167225A1 (en) * | 2018-03-01 | 2019-09-06 | 日本電気株式会社 | Information processing device, control method, and program |
CN110963027A (en) * | 2018-10-01 | 2020-04-07 | 丰田自动车株式会社 | Abnormality detection device and control device |
WO2020129610A1 (en) * | 2018-12-19 | 2020-06-25 | 日本電信電話株式会社 | Detection device, detection method, and detection program |
WO2022176128A1 (en) * | 2021-02-18 | 2022-08-25 | 日本電信電話株式会社 | Analysis device, analysis system, analysis method and analysis program |
WO2023228316A1 (en) * | 2022-05-25 | 2023-11-30 | 日本電信電話株式会社 | Detection device, detection method, and detection program |
-
2013
- 2013-12-03 JP JP2013250595A patent/JP2015108898A/en active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2574682A (en) * | 2016-01-14 | 2019-12-18 | Aist | System, method, and computer program for estimation of target value |
WO2017122798A1 (en) * | 2016-01-14 | 2017-07-20 | 国立研究開発法人産業技術総合研究所 | Target value estimation system, target value estimation method, and target value estimation program |
US10614830B2 (en) | 2016-01-14 | 2020-04-07 | National Institute Of Advanced Industrial Science And Technology | System, method, and computer program for estimation of target value |
WO2017154844A1 (en) * | 2016-03-07 | 2017-09-14 | 日本電信電話株式会社 | Analysis device, analysis method, and analysis program |
JPWO2017154844A1 (en) * | 2016-03-07 | 2018-07-05 | 日本電信電話株式会社 | Analysis apparatus, analysis method, and analysis program |
US11049030B2 (en) | 2016-03-07 | 2021-06-29 | Nippon Telegraph And Telephone Corporation | Analysis apparatus, analysis method, and analysis program |
JPWO2019167225A1 (en) * | 2018-03-01 | 2021-03-18 | 日本電気株式会社 | Information processing equipment, control methods, and programs |
WO2019167225A1 (en) * | 2018-03-01 | 2019-09-06 | 日本電気株式会社 | Information processing device, control method, and program |
US11899793B2 (en) | 2018-03-01 | 2024-02-13 | Nec Corporation | Information processing apparatus, control method, and program |
CN110963027A (en) * | 2018-10-01 | 2020-04-07 | 丰田自动车株式会社 | Abnormality detection device and control device |
CN110963027B (en) * | 2018-10-01 | 2023-10-13 | 丰田自动车株式会社 | Abnormality detection device and control device |
JP2020102671A (en) * | 2018-12-19 | 2020-07-02 | 日本電信電話株式会社 | Detection device, detection method and detection program |
CN113196707A (en) * | 2018-12-19 | 2021-07-30 | 日本电信电话株式会社 | Detection device, detection method, and detection program |
JP7127525B2 (en) | 2018-12-19 | 2022-08-30 | 日本電信電話株式会社 | DETECTION DEVICE, DETECTION METHOD, AND DETECTION PROGRAM |
AU2019404523B2 (en) * | 2018-12-19 | 2022-10-20 | Nippon Telegraph And Telephone Corporation | Detection device, detection method, and detection program |
US11489746B2 (en) | 2018-12-19 | 2022-11-01 | Nippon Telegraph And Telephone Corporation | Detection device, detection method, and detection program |
WO2020129610A1 (en) * | 2018-12-19 | 2020-06-25 | 日本電信電話株式会社 | Detection device, detection method, and detection program |
CN113196707B (en) * | 2018-12-19 | 2024-07-19 | 日本电信电话株式会社 | Detection device, detection method, and recording medium |
WO2022176128A1 (en) * | 2021-02-18 | 2022-08-25 | 日本電信電話株式会社 | Analysis device, analysis system, analysis method and analysis program |
WO2023228316A1 (en) * | 2022-05-25 | 2023-11-30 | 日本電信電話株式会社 | Detection device, detection method, and detection program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015108898A (en) | Abnormality detection system and abnormality detection method | |
WO2017154844A1 (en) | Analysis device, analysis method, and analysis program | |
US10599521B2 (en) | System and method for information handling system boot status and error data capture and analysis | |
US20150100296A1 (en) | Method and system for automated test and result comparison | |
JP2018045403A (en) | Abnormality detection system and abnormality detection method | |
US9524223B2 (en) | Performance metrics of a computer system | |
EP3206367A1 (en) | Techniques for detecting attacks in a publish-subscribe network | |
JP7127525B2 (en) | DETECTION DEVICE, DETECTION METHOD, AND DETECTION PROGRAM | |
JPWO2016084326A1 (en) | Information processing system, information processing method, and program | |
US11106563B2 (en) | Log analysis device, log analysis method, and recording medium storing program | |
US10382311B2 (en) | Benchmarking servers based on production data | |
JP6858798B2 (en) | Feature generator, feature generator and program | |
US20140172369A1 (en) | Computer-readable recording medium, abnormality cause estimating apparatus, and abnormality cause estimating method | |
WO2023181241A1 (en) | Monitoring server device, system, method, and program | |
JP6142878B2 (en) | Information system performance evaluation apparatus, method and program | |
CN114860535A (en) | Data evaluation model generation method and device and abnormal data monitoring method and device | |
JP2010108266A (en) | Failure detection device, failure detection method, failure detection program, wordbook forming device, and failure occurrence analysis device | |
AU2017417179A1 (en) | Alarm processing devices, methods, and systems | |
JP6892005B2 (en) | Information processing equipment, control methods, and programs | |
US10649869B2 (en) | Burn process data retrieval and notification | |
JP6053646B2 (en) | Monitoring device, information processing system, monitoring method, and program | |
JP6756680B2 (en) | Information processing equipment, information processing methods, and information processing programs | |
JP2017207995A (en) | Service monitoring device and service monitoring method | |
US11271832B2 (en) | Communication monitoring apparatus and communication monitoring method | |
US9396083B2 (en) | Computer system processes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20151001 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151005 |