JP2010152539A

JP2010152539A - 障害発見システム検証装置、障害発見システム検証方法及び障害発見システム検証制御プログラム

Info

Publication number: JP2010152539A
Application number: JP2008328429A
Authority: JP
Inventors: Tomohiro Ikakura; 知広猪鹿倉
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2008-12-24
Filing date: 2008-12-24
Publication date: 2010-07-08
Anticipated expiration: 2028-12-24
Also published as: JP5267109B2

Abstract

【課題】サービス提供システムの障害を検出して障害検出結果を出力する障害発見システムに対して、同障害検出結果の検証を効率良く行う障害発見システム検証装置を提供する。
【解決手段】所定のサービスを提供するサービス提供システムの障害を検出して障害検出結果（発見障害リストｔａ）を出力する障害発見システム３０が試験対象となる。試験用データｔｄ及び障害発見システム３０から出力される発見障害リストｔａに基づいて、障害の種類毎にサービス提供システムの状態の統計データを示す障害種類別状態モデルｓｎが生成される。発見障害リストｔａを構成する各発見障害事例毎に、サービス提供システムの状態の障害種類別状態モデルｓｎに対する外れ度ｔｆが計算され、同外れ度ｔｆの大きいものから順に発見障害事例が提示される。
【選択図】図１

Description

この発明は、障害発見システム検証装置、障害発見システム検証方法及び障害発見システム検証制御プログラムに係り、たとえばネットワークに接続されている複数の機器を組み合わせて所定のサービスを提供するシステムの動作を監視し、障害を発見したときに報告する機能を有する障害発見システムに対して、同障害発見システムで機能の調整が行われたときの調整結果の良否を検証し、管理者などに提示する場合に用いて好適な障害発見システム検証装置、障害発見システム検証方法及び障害発見システム検証制御プログラムに関する。

ネットワークに接続されている複数の機器を組み合わせて所定のサービスを提供するシステム（「サービス提供システム」という）が構築されているが、このサービス提供システムの動作を監視し、障害が発生したときに管理者に報告する障害発見システムがある。
この種の障害発見システムは、あらゆるサービス提供システムに合わせて常に適切に動作することは困難であるため、障害が発生したことを判断するための閾値の設定や原因の分析を行うためのルールの学習などを行い、監視の対象となるサービス提供システムに対応して随時調整を行う必要がある。また、障害発見システムを調整する場合、調整後の動作結果に基づいて、障害を正しく検出できること、及び、障害でないものを障害として誤検出することがないことを検証する必要がある。このため、障害発見システムの調整結果の良否を検証するための障害発見システム検証装置が要求されている。

この種の関連する技術としては、たとえば、特許文献１に記載されたテストデータ管理システムがある。
このシステムは、図９に示すように、入力装置１と、出力装置２と、データ処理装置１０と、記憶装置２０とから構成されている。データ処理装置１０は、条件設定部１１と、試験用データ生成部１２と、試験実施部１３と、結果比較部１４とから構成されている。記憶装置２０は、試験用台帳部２１と、システム状態蓄積データベース２２とから構成されている。また、試験実施部１３には、試験対象の障害発見システム３０が接続されている。

このシステムでは、入力装置１により障害事例の種類が指定され、条件設定部１１に設定される。また、試験用データ生成部１２により、システム状態蓄積データベース２２から、条件設定部１１に設定された種類の障害が発生したときの過去のシステム状態が取得され、この障害発生時のシステム状態を模した試験用データが生成される。この試験用データは、試験実施部１３により、障害発見システム３０に与えられる。結果比較部１４により、障害発見システム３０が導き出した結論と、条件指定部１１に設定された障害の種類とが等しいか否かが検証され、この検証結果が出力装置２に出力される。すなわち、障害発見システム３０に対して、実際の障害事例のときのシステム状態を試験用データとしてかけることにより、同障害発見システム３０の分析結果として障害と検出したか、また、この分析結果は実際に起きた障害と等しいものか否かを確認することで、障害発見システム３０が正しく動作しているか否かが確認される。
特開２００４−２２０３５６号公報（要約書、図１）

しかしながら、上記文献に記載の技術では、次のような問題点があった。
すなわち、図９のテストデータ管理システムでは、障害発見システム３０のテストの精度を高める場合、大量のデータを用いてテストする必要があるが、この場合、同障害発見システム３０の動作結果も大量になり、担当者による検証作業の負荷が大きくなる。このため、担当者は、障害発見システムの動作結果の検証を効率的に行うことができないという問題点がある。

この発明は、上述の事情に鑑みてなされたもので、障害発見システムの調整結果の検証を効率的に行うための障害発見システム検証装置、障害発見システム検証方法及び障害発見システム検証制御プログラムを提供することを目的としている。

上記課題を解決するために、この発明の第１の構成は、障害発見システム検証装置に係り、所定のサービスを提供するサービス提供システムの障害を検出して障害検出結果を出力する障害発見システムを試験対象とし、前記サービス提供システムの状態情報及び前記障害発見システムから出力される前記障害検出結果に基づいて、障害の種類毎に前記サービス提供システムの状態情報の統計データを示す障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する発見障害事例毎に、前記サービス提供システムの状態情報の前記障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示する構成とされていることを特徴としている。

この発明の第２の構成は、障害発見システム検証方法に係り、所定のサービスを提供するサービス提供システムの障害を検出して障害検出結果を出力する障害発見システムを試験対象とし、障害発見システム検証装置が、前記サービス提供システムの状態情報及び前記障害発見システムから出力される前記障害検出結果に基づいて、障害の種類毎に前記サービス提供システムの状態情報の統計データを示す障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する発見障害事例毎に、前記サービス提供システムの状態情報の前記障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示することを特徴としている。

この発明の第３の構成は、コンピュータ読み取り可能な障害発見システム検証制御プログラムに係り、所定のサービスを提供するサービス提供システムの障害を検出して障害検出結果を出力する障害発見システムを試験対象とし、コンピュータで構成された障害発見システム検証装置が、前記サービス提供システムの状態情報及び前記障害発見システムから出力される前記障害検出結果に基づいて、障害の種類毎に前記サービス提供システムの状態情報の統計データを示す障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する発見障害事例毎に、前記サービス提供システムの状態情報の前記障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示する処理を実行することを特徴としている。

この発明の構成によれば、同じ種類の障害と判断された他の検出事例と比べて、システムの状態が大きく乖離している障害検出事例が優先的に提示され、管理者は、検出結果に誤りがある可能性の高い障害検出事例を効率的に認識することができる。これにより、管理者は、障害発見システムの動作結果の検証を効率的に行うことができる。

障害発見システムは、サービス提供システムの障害を発見するための所定の調整が行われる構成とされ、上記サービス提供システムの状態情報が集積されてなる試験用データが与えられた上記障害発見システムから出力される上記障害検出結果を障害の種類毎に分類し、上記試験用データに基づいて上記障害の種類毎に上記サービス提供システムの状態を示す各状態パラメータの統計データを求めて上記障害種類別状態モデルを生成すると共に、上記障害検出結果を構成する各発見障害事例毎に、上記試験用データから、各障害が発生した時刻及び場所に対応する上記サービス提供システムの状態情報を取り出し、該状態情報を上記発見障害事例の障害種類に対応する上記障害種類別状態モデルと比較して、該障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に上記発見障害事例を提示する障害発見システム検証装置を提供する。

また、この発明の好適な形態では、障害発見システム検証装置は、上記試験用データに基づいて、上記サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルを生成すると共に、上記外れ度を求める際に、システム状態を構成する状態パラメータのうち、上記障害種類別状態モデルでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び上記正常時状態モデルでの振る舞いと比較して特徴的なパラメータを有する状態モデルを優先的に使用する構成とされている。

また、この発明の好適な形態では、障害発見システム検証装置は、上記試験用データが与えられた上記障害発見システムから出力される上記障害検出結果を障害の種類毎に分類する障害種類分類手段と、上記試験用データに基づいて上記障害の種類毎に上記サービス提供システムの状態を示す各状態パラメータの統計データを求めて障害種類別状態モデルを生成する障害種類別状態モデル生成手段と、上記障害検出結果を構成する各発見障害事例毎に、上記試験用データから、各障害が発生した時刻及び場所に対応する上記サービス提供システムの状態情報を取り出し、該状態情報を上記発見障害事例の障害種類に対応する上記障害種類別状態モデルと比較して、該障害種類別状態モデルに対する乖離の度合いを示す外れ度を求める外れ度計算手段と、上記外れ度の大きい上記発見障害事例から順に分類抽出して提示する分類抽出手段とを備えている。

また、この発明の好適な形態では、障害発見システム検証装置は、上記試験用データ及び上記障害検出結果に基づいて、上記サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルを生成する正常時状態モデル生成手段と、システム状態を構成する状態パラメータのうち、上記障害種類別状態モデルでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び上記正常時状態モデルでの振る舞いと比較して特徴的なパラメータを有する状態モデルを特徴的状態モデルとして選定し、上記外れ度計算手段で上記外れ度を求める際に、上記特徴的状態モデルを優先的に使用させる障害種類別判定用パラメータ選定手段とが設けられている。

実施形態１

図１は、この発明の第１の実施形態である障害発見システム検証装置の構成を示すブロック図である。
この形態の障害発見システム検証装置４０は、同図に示すように、図９と同様の試験対象の障害発見システム３０が接続され、また、表示装置５０が接続されている。障害発見システム３０は、所定のサービスを提供する図示しないサービス提供システムの障害を検出して障害検出結果を出力する。この障害発見システム３０は、上記サービス提供システムの障害を発見するための所定の調整が行われる構成とされている。表示装置５０は、たとえば液晶表示装置などで構成されている。

この障害発見システム検証装置４０は、障害発見システム３０を試験対象とし、上記サービス提供システムの状態情報が集積されて構成されている試験用データｔｄが与えられた同障害発見システム３０から出力される発見障害リストｔａ（障害検出結果）が入力される。そして、障害発見システム検証装置４０は、試験用データｔｄ及び発見障害リストｔａに基づいて、障害の種類毎に上記サービス提供システムの状態情報の統計データを示す障害種類別状態モデルを生成すると共に、同発見障害リストｔａを構成する各発見障害事例毎に、サービス提供システムの状態の上記障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、外れ度の大きいものから順に発見障害事例を提示して表示装置５０に表示する。

特に、この実施形態では、障害発見システム検証装置４０は、障害発見システム検証制御プログラムに基づいて動作するコンピュータで構成され、システム状態受付部４１と、発見障害リスト受付部４２と、障害種類分類部４３と、障害種類別状態モデル生成部４４と、外れ度計算部４５と、ソート部４６と、出力部４７とを備えている。システム状態受付部４１は、障害発見システム３０を動作させる場合に用いた試験用データｔｄをシステム状態リストｓｍとして受け付ける。発見障害リスト受付部４２は、障害発見システム３０が試験用データｔｄに基づいて動作した結果である発見障害リストｔａを受け付けて発見障害リストｔｂとして出力する。障害種類分類部４３（障害種類分類手段）は、発見障害リスト受付部４２から出力された発見障害リストｔｂを、検出された障害の種類毎に分類し、障害別リストｔｃを出力する。

障害種類別状態モデル生成部４４（障害種類別状態モデル生成手段）は、システム状態受付部４１から送出されるシステム状態リストｓｍ及び障害種類分類部４３から送出される障害別リストｔｃに基づいて、障害の種類毎にサービス提供システムの状態を示す各状態パラメータの統計データを求めて障害種類別状態モデルｓｎを生成する。この場合、障害種類別状態モデル生成部４４は、障害種類分類部４３から送出される障害別リストｔｃについて、同リストに含まれている各事例に対して、障害が発生した時刻及び場所を求め、これに対応するシステムの状態を、システム状態受け付け部４１から送出されたシステム状態リストｓｍから取り出すことで、各障害の種類に対して、そのときのシステムの状態のリストを作成する。さらに、障害種類別状態モデル生成部４４は、このシステムの状態のリストから、システムの状態を示すさまざまなパラメータの統計的な振る舞いを示すモデル、すなわち、各パラメータがどのような確率でどのような値をとるかを示す障害種類別状態モデルｓｎを生成する。

外れ度計算部４５（外れ度計算手段）は、発見障害リストｔｂを構成する各発見障害事例毎に、システム状態リストｓｍ（試験用データｔｄ）から、各障害が発生した時刻及び場所に対応する上記サービス提供システムの状態情報を取り出し、同状態情報を上記発見障害事例の障害種類に対応する障害種類別状態モデルｓｎと比較して、同障害種類別状態モデルｓｎに対する乖離の度合いを示す外れ度ｔｆを求める。ソート部４６（分類抽出手段）は、外れ度計算部４５で計算された外れ度ｔｆの大きい発見障害事例から順に分類抽出して提示用リストｔｍを作成する。出力部４７は、ソート部４６により作成された提示用リストｔｍを表示装置５０に送出して表示させる。

図２は、図１の障害発見システム検証装置の動作を説明するフローチャートである。
この図を参照して、この形態の障害発見システム検証装置に用いられる障害発見システム検証方法の処理内容について説明する。
この障害発見システム検証装置では、サービス提供システムの状態情報が集積された試験用データｔｄが障害発見システム３０に与えられ、出力される発見障害リストｔａ（障害検出結果）が障害の種類毎に分類される。試験用データｔｄに基づいて障害の種類毎にサービス提供システムの状態を示す各状態パラメータの統計データが求められて障害種類別状態モデルｓｎが生成される。発見障害リストｔａを構成する各発見障害事例毎に、試験用データｔｄから、各障害が発生した時刻及び場所に対応するサービス提供システムの状態情報が取り出され、同状態情報が発見障害事例の障害種類に対応する障害種類別状態モデルｓｎと比較されて外れ度ｔｆが求められ、同外れ度ｔｆの大きいものから順に発見障害事例が表示される。

すなわち、図２に示すように、試験用データｔｄを用いて、試験対象の障害発見システム３０を動作させ、いつ、どこで、どのような障害が発生したかを示す動作結果のリスト（発見障害リストｔａ）を生成する（ステップＡ１）。次に、発見障害リスト受付部４２では、ステップＡ１で生成された動作結果のリスト（発見障害リストｔａ）を受け取り（ステップＡ２）、一方、システム状態受付部４１では、試験用データｔｄを受け取る（ステップＡ３）。障害種類分類部４３では、ステップＡ２で取得された動作結果一覧（発見障害リストｔｂ）を分析結果の障害の種類毎に分け（障害種類分類処理）、同じ種類の障害が発生した障害発生事例毎にまとめたリスト（障害別リストｔｃ）を作成する（ステップＡ４）。また、障害種類別状態モデル生成部４４では、ステップＡ４で分割した各障害の種類毎に、その動作結果事例全てについて、そのときのシステムの状態をステップＡ３で受け取った試験用データｔｄ（システム状態リストｓｍ）から取り出す（ステップＡ５）。さらに、障害種類別状態モデル生成部４４では、ステップＡ５で取り出された障害の種類毎のシステム状態のリスト（システム状態リストｓｍ）に基づいて、その障害が発生したときのシステムの状態の統計的な振る舞いを示すモデル（障害種類別状態モデルｓｎ）を生成する（ステップＡ６、障害種類別状態モデル生成処理）。

次に、外れ度計算部４５では、ステップＡ２で得られた動作結果のリスト（発見障害リストｔａ）に含まれる個々の動作結果事例のうちの一つを取り出し（ステップＡ７）、ステップＡ７で取り出した動作結果事例の障害の種類に対応する、ステップＡ６にて生成された障害の種類毎のシステム状態のモデル（障害種類別状態モデルｓｎ）を取り出す（ステップＡ８）。さらに、外れ度計算部４５では、ステップＡ７で取り出した動作結果事例の発生時のシステム状態を、ステップＡ３で取得された試験用データｔｄ（システム状態リストｓｍ）から取り出し（ステップＡ９）、ステップＡ９で取り出したシステム状態とステップＡ８で取り出した障害の種類毎のシステム状態のモデル（障害種類別状態モデルｓｎ）とを比較し、外れ度を計算する（ステップＡ１０、外れ度計算処理）。そして、ステップＡ２で得られた動作結果リストの全ての動作事例に対して、ステップＡ７からステップＡ１０までの処理を行う（ステップＡ１１）。最後に、ソート部４６では、ステップＡ１０で計算された外れ度ｔｆが大きい順に動作事例をソート（分類抽出）して提示用リストｔｍを作成し（ステップＡ１２、分類抽出処理）、出力部４７では、ステップＡ１２でソートされた順に、提示用リストｔｍに基づいて動作事例を表示装置５０に表示する（ステップＡ１３）。

以上のように、この第１の実施形態では、障害発見システム３０から出力される発見障害リストｔａを構成する各発見障害事例毎に、試験用データｔｄから、各障害が発生した時刻及び場所に対応するサービス提供システムの状態情報が取り出され、同状態情報が発見障害事例の障害種類に対応する障害種類別状態モデルｓｎと比較されて外れ度ｔｆが求められ、同外れ度ｔｆの大きいものから順に発見障害事例が表示されるので、同じ種類の障害と判断された他の検出事例と比べて、システムの状態が大きく乖離している障害検出事例が優先的に提示され、管理者は、検出結果に誤りがある可能性の高い障害検出事例を効率的に認識できる。

実施形態２

図３は、この発明の第２の実施形態である障害発見システム検証装置の構成を示すブロック図であり、第１の実施形態を示す図１中の要素と共通の要素には共通の符号が付されている。
この形態の障害発見システム検証装置４０Ａでは、同図３に示すように、図１中の障害発見システム検証装置４０の構成に加え、正常時状態モデル生成部４８と、障害種類別判定用パラメータ選定部４９とが設けられている。正常時状態モデル生成部４８（正常時状態モデル生成手段）は、システム状態受付部４１から送出されるシステム状態リストｓｍ（試験用データｔｄ）及び発見障害リストｔｂに基づいて、サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルｓｐを生成する。この場合、正常時状態モデル生成部４８は、障害の起きていないとき、すなわち、発見障害リスト受付部４２が受け取った発見障害リストｔａに含まれない時刻及び場所についてのシステム状態を、システム状態受付部４１が受け取った試験用データｔｄから取り出し、障害の起きていないときにおけるシステム状態の統計的モデル（正常時状態モデルｓｐ）を作成する。

障害種類別判定用パラメータ選定部４９（障害種類別判定用パラメータ選定手段）は、システム状態を構成する状態パラメータのうち、障害種類別状態モデルｓｎの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び正常時状態モデルｓｐでの振る舞いと比較して特徴的なパラメータを有する状態モデルを特徴的状態モデルｓｑとして選定し、外れ度計算部４５で外れ度ｔｆを求める際に、同特徴的状態モデルｓｑを優先的に使用させる。他は、図１と同様の構成である。

図４は、図３の障害発見システム検証装置の動作を説明するフローチャートである。
この図を参照して、この形態の障害発見システム検証装置に用いられる障害発見システム検証方法の処理内容について説明する。
この障害発見システム検証装置では、次の点が上記第１の実施形態と異なっている。
すなわち、発見障害事例提示処理では、試験用データｔｄ及び発見障害リストｔａに基づいて、サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルｓｐが生成されると共に、システム状態を構成する状態パラメータのうち、障害種類別状態モデルｓｎでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び正常時状態モデルｓｐでの振る舞いと比較して特徴的なパラメータを有する状態モデルが特徴的状態モデルｓｑとして選定され、外れ度計算部４５で外れ度ｔｆを求める際に、同特徴的状態モデルｓｑが優先的に使用される。

この場合、図４に示すように、ステップＢ１乃至ステップＢ６では、第１の実施形態を示す図２中のステップＡ１乃至ステップＡ６と同様の処理が行われる。この後、正常時状態モデル生成部４８では、ステップＢ３で受け取った試験用データｔｄのうち、ステップＢ５で取り出したもの以外のシステム状態を用いて、正常時のシステム状態の統計的な振る舞いを示すモデル（正常時状態モデルｓｐ）を生成する（ステップＢ７、正常時状態モデル生成処理）。次に、障害種類別判定用パラメータ選定部４９では、ステップＢ６で生成した各障害の種類のモデルを一つ取り出し（ステップＢ８）、ステップＢ８で選択したモデルに対して、システム状態を構成するパラメータを一つ選択する（ステップＢ９）。

さらに、種類別判定用パラメータ選定部４９では、ステップＢ９で選択したパラメータの統計的振る舞いを、ステップＢ８で選択した以外の障害の種類のモデル、及びステップＢ７で生成した正常時状態モデルｓｐにおける同じパラメータの統計的振る舞いと比較し（ステップＢ１０）、その統計的振る舞いに大きな差があれば（ステップＢ１１）、ステップＢ９で選択したパラメータを、ステップＢ８で選択した障害の種類のモデルの評価用パラメータの一つとして指定する（ステップＢ１２、障害種類別判定用パラメータ選定処理）。そして、システム状態を構成する全てのパラメータについて上記ステップＢ９からステップＢ１２までの処理を実行する（ステップＢ１３）。さらに、ステップＢ６で生成した全ての障害の種類の状態モデルに対して、ステップＢ８からステップＢ１３までの処理を実行する（ステップＢ１４）。

次に、外れ度計算部４５では、ステップＢ２で得られた動作結果のリスト（発見障害リストｔａ）に含まれる個々の動作結果事例のうち、一つを取り出し（ステップＢ１５）、さらに、ステップＢ１５で取り出した動作結果事例の障害の種類に対応する、ステップＢ６にて生成した障害の種類毎のシステム状態のモデルを取り出す（ステップＡ１６）。さらに、外れ度計算部４５は、ステップＢ１５で取り出した、動作結果事例に対応するシステム状態を、ステップＢ３で取得した試験用データｔｄから取り出し（ステップＢ１７）、ステップＢ１７で取り出したシステム状態のうち、ステップＢ１２で評価用パラメータとして指定されたパラメータを用いて、ステップＢ１５で取り出した障害の種類毎のシステム状態のモデルとを比較し、外れ度ｔｆを計算する（ステップＡ１８）。ステップＢ２で得た動作結果リストの全ての動作事例に対して、ステップＢ１５からステップＢ１８までを行う（ステップＢ１９）。最後に、ソート部４６では、ステップＢ１８で計算された外れ度ｔｆが大きい順に動作事例をソート（分類抽出）して提示用リストｔｍを作成し（ステップＢ２０）、出力部４７では、ステップＢ２０でソートされた順に、提示用リストｔｍに基づいて動作事例を表示装置５０に表示する（ステップＢ２１）。

以上のように、この第２の実施形態では、正常時状態モデル生成部４８により正常時状態モデルｓｐが生成されると共に、障害種類別判定用パラメータ選定部４９により特徴的状態モデルｓｑが選定され、外れ度計算部４５で外れ度ｔｆを求める際に、同特徴的状態モデルｓｑが優先的に使用されるので、外れ度ｔｆの計算結果が第１の実施形態よりも大きくなり、管理者は、検出結果に誤りがある可能性の高い障害検出事例を、より効率的に認識できる。

実施形態３

図５は、この発明の第３の実施形態である障害発見システム検証装置が用いられる環境を示す模式図であり、第１の実施形態を示す図１、及び第２の実施形態を示す図３中の要素と共通の要素には共通の符号が付されている。
この形態の環境では、同図５に示すように、サービス提供システム６０と、システム状態情報保存ＤＢ（データベース）６１と、障害発見システム３０と、障害発見システム検証装置４０（又は４０Ａ）と、表示装置５０とが設けられている。サービス提供システム６０は、たとえばネットワークに接続されている複数の機器を組み合わせて所定のサービスを提供する。このサービス提供システム６０では、長期間にわたって複数回の障害が発生している。システム状態情報保存ＤＢ６１は、試験対象の障害発見システム３０が監視対象とするサービス提供システム６０のシステム状態情報を定期的に収集して保存する。

図６は、発見障害リストｔａの例を示す図、図７は、発見障害リストｔａとシステム状態情報ＤＢ６１との対応付けを示す図、及び図８が、障害種類別状態モデルの例を示す図である。
これらの図を参照して、この形態の障害発見システム検証装置に用いられる障害発見システム検証方法の処理内容について説明する。
試験対象の障害発見システム３０は、システム状態情報保存ＤＢ６１に保存されているシステム状態情報（試験用データｔｄ）に基づいて動作する。この結果、障害発見システム３０は、システム状態情報保存ＤＢ６１に保存された期間に起きた障害を発見し、この発見した障害のリストを発見障害リストｔａとして取り出す。発見障害リストｔａでは、たとえば図６に示すように、各発見障害事例が、各事例を特定する“ＩＤ”、“時刻”、“場所”及び“検出結果”で構成されている。

システム状態情報保存ＤＢ６１に保存されているシステム状態情報（試験用データｔｄ）は、たとえば図７に示すように、各発見障害事例のＩＤに対応して、“ＣＰＵ負荷”、“メモリ使用量”、“ネットワーク使用量”及び“ディスク使用量”で構成されている。障害発見システム検証装置４０（４０Ａ）では、これらの障害発見事例に対応するシステム状態を障害の種類毎にまとめ、障害の種類毎のシステム状態の統計データ（障害種類別状態モデル）を作成する。たとえば、図６では、ＩＤ１，２，４が、同じ障害種類“障害イ”となっているので、一つのグループとしてまとめられ、また、ＩＤ３，６も、同じ障害種類“障害ロ”となっているので、一つのグループにまとめられる。そして、このような障害種類毎に障害種類別状態モデルが作成される。上記“障害イ”に対応する状態モデルは、図８（ａ），（ｂ）に示すように、ＣＰＵ負荷及びメモリ使用量が１００％近辺に偏っている一方、図８（ｃ），（ｄ）に示すように、ネットワーク使用量やディスク使用量は広く分布しているので、“障害イ”においては、ＣＰＵ負荷やメモリ使用量が特徴的であることがわかる。

この状態モデルと発見障害事例に対応するシステム状態とを比較すると、“障害イ”では、ＩＤ１，２は、状態モデルとの外れ度は大きくないが、ＣＰＵ負荷が１００％近辺に強く偏っている状態モデルと比較して、ＩＤ４におけるシステム状態のＣＰＵ負荷は、７７％と高いものの、状態モデル分布からは外れている。つまり、ＩＤ４は、外れ度が大きくなっている。この結果、表示装置５０には、ＩＤ４が先頭近くに表示され、障害発見システム３０の管理者は、まず、このＩＤ４の発見障害事例が正しく分析されているか、つまり、図６中の“９／２１，２０：１２”に、サーバＤで“障害イ”が発生したか否かを実際の記録を見て確認する。このように、表示装置５０に表示される発見障害リストの先頭に近いものほど分析結果が誤っている可能性が高くなっているため、管理者は、検証作業の早期に、問題点、つまり、障害発見システム３０の検出結果と実際に起きた障害が異なる事例を発見することが可能になる。

以上のように、この第３の実施形態では、障害発見システム３０による検出結果が膨大になった場合、管理者が、同検出結果に含まれる全ての障害の事例を予め知っていなくても、検証作業にかかる時間が少なくなり、同検証作業が効率的に行われる。

以上、この発明の実施形態を図面により詳述してきたが、具体的な構成は同実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更などがあっても、この発明に含まれる。
たとえば、上記各実施形態では、障害発見システム検証装置４０，４０Ａは、コンピュータで構成されているが、内部を構成する各部が個別のユニットで構成されていても良い。また、障害発見システム検証装置４０，４０Ａには、外れ度計算部４５で計算された外れ度ｔｆが所定の閾値よりも大きいときにアラームなどを発生する手段が設けられていても良い。

この発明は、監視対象となるサービス提供システムに対応して随時調整を必要とする障害発見システムの動作を検証する装置全般に適用でき、同障害発見システムの調整を効率的に行う場合に有効である。

この発明の第１の実施形態である障害発見システム検証装置の構成を示すブロック図である。図１の障害発見システム検証装置の動作を説明するフローチャートである。この発明の第２の実施形態である障害発見システム検証装置の構成を示すブロック図である。図３の障害発見システム検証装置の動作を説明するフローチャートである。この発明の第３の実施形態である障害発見システム検証装置が用いられる環境を示す模式図である。発見障害リストｔａの例を示す図である。発見障害リストｔａとシステム状態情報ＤＢ６１との対応付けを示す図である。障害種類別状態モデルの例を示す図である。テストデータ管理システムの構成図である。

符号の説明

３０障害発見システム
４０，４０Ａ障害発見システム検証装置
４１システム状態受付部（障害発見システム検証装置の一部）
４２発見障害リスト受付部（障害発見システム検証装置の一部）
４３障害種類分類部（障害種類分類手段、障害発見システム検証装置の一部）
４４障害種類別状態モデル生成部（障害種類別状態モデル生成手段、障害発見システム検証装置の一部）
４５外れ度計算部（外れ度計算手段、障害発見システム検証装置の一部）
４６ソート部（分類抽出手段の一部、障害発見システム検証装置の一部）
４７出力部（分類抽出手段の一部、障害発見システム検証装置の一部）
４８正常時状態モデル生成部（正常時状態モデル生成手段、障害発見システム検証装置の一部）
４９障害種類別判定用パラメータ選定部（障害種類別判定用パラメータ選定手段、障害発見システム検証装置の一部）
５０表示装置
６０サービス提供システム

Claims

所定のサービスを提供するサービス提供システムの障害を検出して障害検出結果を出力する障害発見システムを試験対象とし、前記サービス提供システムの状態情報及び前記障害発見システムから出力される前記障害検出結果に基づいて、障害の種類毎に前記サービス提供システムの状態情報の統計データを示す障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する発見障害事例毎に、前記サービス提供システムの状態情報の前記障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示する構成とされていることを特徴とする障害発見システム検証装置。
前記障害発見システムは、前記サービス提供システムの障害を発見するための所定の調整が行われる構成とされ、
当該障害発見システム検証装置は、
前記サービス提供システムの状態情報が集積されてなる試験用データが与えられた前記障害発見システムから出力される前記障害検出結果を障害の種類毎に分類し、前記試験用データに基づいて前記障害の種類毎に前記サービス提供システムの状態を示す各状態パラメータの統計データを求めて前記障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する各発見障害事例毎に、前記試験用データから、各障害が発生した時刻及び場所に対応する前記サービス提供システムの状態情報を取り出し、該状態情報を前記発見障害事例の障害種類に対応する前記障害種類別状態モデルと比較して、該障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示する構成とされていることを特徴とする請求項１記載の障害発見システム検証装置。
前記試験用データに基づいて、前記サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルを生成すると共に、前記外れ度を求める際に、システム状態を構成する状態パラメータのうち、前記障害種類別状態モデルでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び前記正常時状態モデルでの振る舞いと比較して特徴的なパラメータを有する状態モデルを優先的に使用する構成とされていることを特徴とする請求項２記載の障害発見システム検証装置。
前記試験用データが与えられた前記障害発見システムから出力される前記障害検出結果を障害の種類毎に分類する障害種類分類手段と、
前記試験用データに基づいて前記障害の種類毎に前記サービス提供システムの状態を示す各状態パラメータの統計データを求めて障害種類別状態モデルを生成する障害種類別状態モデル生成手段と、
前記障害検出結果を構成する各発見障害事例毎に、前記試験用データから、各障害が発生した時刻及び場所に対応する前記サービス提供システムの状態情報を取り出し、該状態情報を前記発見障害事例の障害種類に対応する前記障害種類別状態モデルと比較して、該障害種類別状態モデルに対する乖離の度合いを示す外れ度を求める外れ度計算手段と、
前記外れ度の大きい前記発見障害事例から順に分類抽出して提示する分類抽出手段とを備えてなることを特徴とする請求項２記載の障害発見システム検証装置。
前記試験用データ及び前記障害検出結果に基づいて、前記サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルを生成する正常時状態モデル生成手段と、
システム状態を構成する状態パラメータのうち、前記障害種類別状態モデルでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び前記正常時状態モデルでの振る舞いと比較して特徴的なパラメータを有する状態モデルを特徴的状態モデルとして選定し、前記外れ度計算手段で前記外れ度を求める際に、前記特徴的状態モデルを優先的に使用させる障害種類別判定用パラメータ選定手段とが設けられていることを特徴とする請求項４記載の障害発見システム検証装置。
所定のサービスを提供するサービス提供システムの障害を検出して障害検出結果を出力する障害発見システムを試験対象とし、障害発見システム検証装置が、前記サービス提供システムの状態情報及び前記障害発見システムから出力される前記障害検出結果に基づいて、障害の種類毎に前記サービス提供システムの状態情報の統計データを示す障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する発見障害事例毎に、前記サービス提供システムの状態情報の前記障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示することを特徴とする障害発見システム検証方法。
前記障害発見システムが、前記サービス提供システムの障害を発見するための所定の調整が行われる構成とされ、前記障害発見システム検証装置が、前記サービス提供システムの状態情報が集積されてなる試験用データが与えられた前記障害発見システムから出力される前記障害検出結果を障害の種類毎に分類し、前記試験用データに基づいて前記障害の種類毎に前記サービス提供システムの状態を示す各状態パラメータの統計データを求めて前記障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する各発見障害事例毎に、前記試験用データから、各障害が発生した時刻及び場所に対応する前記サービス提供システムの状態情報を取り出し、該状態情報を前記発見障害事例の障害種類に対応する前記障害種類別状態モデルと比較して、該障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示することを特徴とする請求項６記載の障害発見システム検証方法。
前記障害発見システム検証装置が、前記試験用データに基づいて、前記サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルを生成すると共に、前記外れ度を求める際に、システム状態を構成する状態パラメータのうち、前記障害種類別状態モデルでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び前記正常時状態モデルでの振る舞いと比較して特徴的なパラメータを有する状態モデルを優先的に使用することを特徴とする請求項７記載の障害発見システム検証方法。
前記試験用データが与えられた前記障害発見システムから出力される前記障害検出結果を障害の種類毎に分類する障害種類分類処理と、
前記試験用データに基づいて前記障害の種類毎に前記サービス提供システムの状態を示す各状態パラメータの統計データを求めて障害種類別状態モデルを生成する障害種類別状態モデル生成処理と、
前記障害検出結果を構成する各発見障害事例毎に、前記試験用データから、各障害が発生した時刻及び場所に対応する前記サービス提供システムの状態情報を取り出し、該状態情報を前記発見障害事例の障害種類に対応する前記障害種類別状態モデルと比較して、該障害種類別状態モデルに対する乖離の度合いを示す外れ度を求める外れ度計算処理と、
前記外れ度の大きい前記発見障害事例から順に分類抽出して提示する分類抽出処理とを行うことを特徴とする請求項７記載の障害発見システム検証方法。
前記試験用データ及び前記障害検出結果に基づいて、前記サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルを生成する正常時状態モデル生成処理と、
システム状態を構成する状態パラメータのうち、前記障害種類別状態モデルでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び前記正常時状態モデルでの振る舞いと比較して特徴的なパラメータを有する状態モデルを特徴的状態モデルとして選定し、前記外れ度計算処理で前記外れ度を求める際に、前記特徴的状態モデルを優先的に使用させる障害種類別判定用パラメータ選定処理とを行うことを特徴とする請求項９記載の障害発見システム検証方法。
所定のサービスを提供するサービス提供システムの障害を検出して障害検出結果を出力する障害発見システムを試験対象とし、
コンピュータで構成された障害発見システム検証装置が、前記サービス提供システムの状態情報及び前記障害発見システムから出力される前記障害検出結果に基づいて、障害の種類毎に前記サービス提供システムの状態情報の統計データを示す障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する発見障害事例毎に、前記サービス提供システムの状態情報の前記障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示する処理を実行するためのコンピュータ読み取り可能な障害発見システム検証制御プログラム。
前記障害発見システムが、前記サービス提供システムの障害を発見するための所定の調整が行われる構成とされ、前記サービス提供システムの状態情報が集積されてなる試験用データが与えられた前記障害発見システムから出力される前記障害検出結果を障害の種類毎に分類し、前記試験用データに基づいて前記障害の種類毎に前記サービス提供システムの状態を示す各状態パラメータの統計データを求めて前記障害種類別状態モデルを生成すると共に、前記障害検出結果を構成する各発見障害事例毎に、前記試験用データから、各障害が発生した時刻及び場所に対応する前記サービス提供システムの状態情報を取り出し、該状態情報を前記発見障害事例の障害種類に対応する前記障害種類別状態モデルと比較して、該障害種類別状態モデルに対する乖離の度合いを示す外れ度を求め、該外れ度の大きいものから順に前記発見障害事例を提示する処理を、前記障害発見システム検証装置に実行させるための請求項１１記載の障害発見システム検証制御プログラム。
前記試験用データに基づいて、前記サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルを生成すると共に、前記外れ度を求める際に、システム状態を構成する状態パラメータのうち、前記障害種類別状態モデルでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び前記正常時状態モデルでの振る舞いと比較して特徴的なパラメータを有する状態モデルを優先的に使用する処理を、前記障害発見システム検証装置に実行させるための請求項１２記載の障害発見システム検証制御プログラム。
前記試験用データが与えられた前記障害発見システムから出力される前記障害検出結果を障害の種類毎に分類する障害種類分類処理と、
前記試験用データに基づいて前記障害の種類毎に前記サービス提供システムの状態を示す各状態パラメータの統計データを求めて障害種類別状態モデルを生成する障害種類別状態モデル生成処理と、
前記障害検出結果を構成する各発見障害事例毎に、前記試験用データから、各障害が発生した時刻及び場所に対応する前記サービス提供システムの状態情報を取り出し、該状態情報を前記発見障害事例の障害種類に対応する前記障害種類別状態モデルと比較して、該障害種類別状態モデルに対する乖離の度合いを示す外れ度を求める外れ度計算処理と、
前記外れ度の大きい前記発見障害事例から順に分類抽出して提示する分類抽出処理とを、前記障害発見システム検証装置に実行させるための請求項１２記載の障害発見システム検証制御プログラム。
前記試験用データ及び前記障害検出結果に基づいて、前記サービス提供システムが正常時の状態を示す各状態パラメータの統計データを求めて正常時状態モデルを生成する正常時状態モデル生成処理と、
システム状態を構成する状態パラメータのうち、前記障害種類別状態モデルでの振る舞いが、当該状態モデル以外の障害種類別状態モデル及び前記正常時状態モデルでの振る舞いと比較して特徴的なパラメータを有する状態モデルを特徴的状態モデルとして選定し、前記外れ度計算処理で前記外れ度を求める際に、前記特徴的状態モデルを優先的に使用させる障害種類別判定用パラメータ選定処理とを、前記障害発見システム検証装置に実行させるための請求項１４記載の障害発見システム検証制御プログラム。