JP4848979B2

JP4848979B2 - 監視システムおよび監視方法ならびにプログラム

Info

Publication number: JP4848979B2
Application number: JP2007057347A
Authority: JP
Inventors: 和之進鹿田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-03-07
Filing date: 2007-03-07
Publication date: 2011-12-28
Anticipated expiration: 2027-03-07
Also published as: JP2008217682A

Description

本発明は、監視システムおよび監視方法ならびにプログラムに係り、特に、情報処理システムの障害監視における信頼性向上のための技術に係る。

情報処理システムの障害を監視する監視システム（監視装置）には、高い信頼性が要求される。そこで、監視システムの信頼性向上のために様々な工夫がなされている。例えば、特許文献１には、システム監視装置に対する負荷の集中、及び情報量の集中によるオーバーフローがなく、また、単一の監視装置のように、万一その機器が障害を起こした場合、システム情報を管理することが不可能となることがないように、信頼性を向上した監視システムが開示されている。このシステムは、サーバがクライアントへヘルスチェックを行っておりクライアントが正常に機能しているかをチェックするサーバ／クライアントシステムである。

また、特許文献２には、監視装置に障害が発生したとき、遠隔から再起動することができる監視システムが開示されている。この監視システムは、被監視装置を監視する監視装置と、この監視装置からログデータを受信し、ログデータの受信状態により監視装置の障害を検出すると共に、監視装置の障害を電子メールにて遠隔管理者に通知するログ収集送信装置を備えたものである。

さらに、特許文献３には、複数の処理装置の状態を効率よく監視することができる情報処理システムが記載されている。このシステムにおいて、ネットワーク上の処理装置は、それぞれ自分自身を監視し、監視情報を取得する監視手段と、その監視情報を監視装置に送信する送信手段を持つ。複数の処理装置からそれぞれ送信された監視情報は、監視装置によって受信される。監視装置はそのための受信手段と、それを表示装置に表示する表示手段とを持つ。そして、監視装置の監視情報受信手段、表示手段、表示ウィンドウを、監視対象処理装置毎に設ける。

また、特許文献４には、マネージャに管理データ記憶手段と、資源利用関係検索手段と、エージェント動作手段を設け、エージェントで障害が発生または修復した場合、障害が発生した資源を利用するアプリケーションを停止または再開するシステム管理装置が記載されている。

なお、関連する技術として、特許文献５には、上位装置との間のパスが二重化され、上位装置から下位装置に対するヘルスチェックを行う回線アダプタに関する障害検知技術が記載されている。

特開２０００−２０４２７号公報特開２００２−１６９７０６号公報特開平６−１２２８８号公報特開平８−１９０５２８号公報特開平９−５４７３９号公報

従来の監視システムでは、クライアントマシンの監視手段がプロセスや性能情報等の被監視オブジェクトを監視しており、異常を検知するとサーバマシンの出力装置に通知する仕組みを持っている。しかし、監視手段やイベント通知パス自体に障害があると、被監視対象に関するイベントを通知することができない。例えば、特許文献２では、監視装置の障害を電子メールにて遠隔管理者に通知するが、送信装置に障害が発生すると、遠隔管理者は、この障害を検知することができない。また、特許文献３では、監視装置自体に障害が発生すると、監視情報を受信することができず、監視結果を表示することもできない。さらに、特許文献４でも同様に、マネージャに障害が発生すると、管理そのものができなくなってしまう。

一方、特許文献１に記載された監視サーバ・クライアントシステムでは、サーバは、クライアントへヘルスチェックを行っておりクライアントが正常に機能しているかをチェックしている。また、サーバを多重化することにより信頼性を向上させている。しかし、この監視サーバ・クライアントシステムには、マネージャを多重化することでエージェント・マネージャ間を保証しているが、マネージャ・出力部間が正常に機能しない場合を考慮していない。したがって、監視システム全体としては、信頼性を充分に確保した監視を行っているとはいえない。

したがって、本発明の目的は、監視手段やイベント通知パスに障害があった場合であっても、システム全体として信頼性を確保した監視を行う監視システムおよび監視方法ならびにプログラムを提供することにある。

本発明の１つのアスペクトに係る監視システムは、第１、第２および第３の処理装置をそれぞれ含む第１、第２および第３の情報処理装置群を備え、第３の処理装置は、第２の処理装置を監視し、第２の処理装置は、第１の処理装置を監視する監視システムであって、第１の処理装置は、被監視対象とされるオブジェクトを監視する第１の監視部と、第１の監視部を監視する第２の監視部と、を備え、第２の処理装置は、第１の監視部における監視結果を管理する第１の管理部と、第２の監視部および第１の管理部を監視する第３の監視部と、を備え、第３の処理装置は、第１の管理部における監視結果を管理する第２の管理部と、第３の監視部および第２の管理部を監視する第４の監視部と、第２の管理部および第４の監視部の監視結果を出力する出力部と、を備える。

本発明の監視システムにおいて、第２の監視部は、第１の監視部が正常であるか否かを判断し、第１の監視部を異常と判断した場合には、第１の監視部がダウンしていることを表すイベントを発行し、第１の監視部におけるプロセスの再起動を試み、一定時間内に起動すれば、第１の監視部の再起動成功のイベントを発行し、一定時間内に起動しなかった場合には、第１の監視部の再起動失敗のイベントを発行し、該発行したイベントを、第３の監視部に通知するようにしてもよい。

本発明の監視システムにおいて、第３の処理装置は、第４の監視部を監視すると共に監視結果を第１の管理部に通知する第５の監視部をさらに備え、第１の管理部は、第５の監視部における監視結果をさらに管理するようにしてもよい。

本発明の監視システムにおいて、第２の情報処理装置群は、第１の監視部の監視結果を第１の管理部に転送する第１の転送部と、第２の監視部および第１の転送部を監視する第６の監視部と、を備える第４の処理装置を含み、第１の管理部は、第１の転送部からの監視結果をさらに管理し、第３の監視部は、第６の監視部をさらに監視するようにしてもよい。

本発明の監視システムにおいて、第１の管理部は、第１の監視部にヘルスチェックイベントの発行を依頼し、第１の監視部および第１の転送部の双方あるいは一方から一定時間内にヘルスチェックイベントの通知があるか否かを判定し、判定結果を第２の管理部に発行し、第１の監視部は、ヘルスチェックイベントを第１の管理部および第１の転送部に発行し、第２の管理部は、所定時間内に判定結果が得られない場合には、第１の管理部における定期通報が未着である旨のイベントを出力部に発行するようにしてもよい。

本発明の監視システムにおいて、第３の情報処理装置群は、第３の処理装置と同様に構成される、第４の処理装置を管理する第５の処理装置をさらに含むようにしてもよい。

本発明の監視システムにおいて、第１の情報処理装置群は、複数の第１の処理装置を含み、第２および第４の処理装置は、それぞれ１または２以上の第１の処理装置を管理するようにしてもよい。

本発明の監視システムにおいて、第１の情報処理装置群は、複数の第１の処理装置を含み、第２の情報処理装置群は、複数の第６の処理装置をさらに含み、第６の処理装置のそれぞれは、複数の第１の処理装置のいずれか１以上の第１の監視部の監視結果を転送する第２の転送部と、複数の第１の処理装置のいずれか１以上の第２の監視部および第２の転送部を監視する第７の監視部と、を備え、第２の処理装置は、第１の処理装置を監視および管理する替わりに、複数の第６の処理装置のいずれかを監視および管理し、第４の処理装置は、第１の処理装置の監視および第１の処理装置の監視結果の転送を行う替わりに、複数の第６の処理装置のいずれかの監視および監視結果の転送を行うようにしてもよい。

本発明の監視システムにおいて、第２の情報処理装置群は、複数の第７の処理装置をさらに含み、第７の処理装置のそれぞれは、複数の第６の処理装置のいずれか１以上の第２の転送部の転送結果を転送する第３の転送部と、複数の第６の処理装置のいずれか１以上の第７の監視部および第３の転送部を監視する第８の監視部と、を備え、第２の処理装置は、複数の第６の処理装置のいずれかを監視および管理する替わりに、複数の第７の処理装置のいずれかを監視および管理し、第４の処理装置は、複数の第６の処理装置のいずれかの監視および監視結果の転送を行う替わりに、複数の第７の処理装置のいずれかの監視および監視結果の転送を行うようにしてもよい。

本発明の他のアスペクトに係る監視方法は、第１、第２および第３の処理装置をそれぞれ含む第１、第２および第３の情報処理装置群を備え、第３の処理装置は、第２の処理装置を監視し、第２の処理装置は、第１の処理装置を監視する監視システムにおける監視方法であって、前記第１の処理装置において、被監視対象とされるオブジェクトを監視する第１の監視ステップと、前記第１の監視ステップにおける監視状況を監視する第２の監視ステップと、を含み、前記第２の処理装置において、前記第１の監視ステップにおける監視結果の有無を判定する第１の管理ステップと、前記第２の監視ステップおよび前記第１の管理ステップにおける状況を監視する第３の監視ステップと、を含み、前記第３の処理装置において、前記第１の管理ステップにおける判定結果の有無を監視する第２の管理ステップと、前記第３の監視ステップおよび前記第２の管理ステップにおける状況を監視する第４の監視ステップと、前記第２の管理ステップおよび前記第４の監視ステップの監視結果を出力する出力ステップと、を含む。

本発明のさらに他のアスペクトに係るプログラムは、第１、第２および第３の処理装置をそれぞれ含む第１、第２および第３の情報処理装置群を備え、第３の処理装置は、第２の処理装置を監視し、第２の処理装置は、第１の処理装置を監視する監視システムを構成するコンピュータのプログラムであって、プログラムは、前記第１の処理装置を構成するコンピュータに、前記第１の処理装置を、被監視対象とされるオブジェクトを監視する第１の監視部、前記第１の監視部を監視する第２の監視部、として機能させ、前記第２の処理装置を構成するコンピュータに、前記第２の処理装置を、前記第１の監視部おける監視結果の有無を判定する第１の管理部、前記第２の監視部および前記第１の管理部を監視する第３の監視部、として機能させ、前記第３の処理装置を構成するコンピュータに、前記第３の処理装置を、前記第１の管理部おける判定結果の有無を監視する第２の管理部、前記第３の監視部および前記第２の管理部を監視する第４の監視部、前記第２の管理部および前記第４の監視部の監視結果を出力する出力部、として機能させる。

本発明によれば、２つの監視系統によって監視システム全体が正常に機能していることを監視し、被監視オブジェクトに関するイベントを出力部までより確実に通報することができる。したがって、信頼性を充分に確保した監視を行うことができる。

本発明の実施形態に係る監視システムは、第１の処理装置（図１のエージェントマシン１０）、第２の処理装置（図１のマネージャマシン２０ａ）および第３の処理装置（図１のビューマシン３０）をそれぞれ含む第１の情報処理装置群（図１のエージェント層１）、第２の情報処理装置群（図１のマネージャ層２）および第３の情報処理装置群（図１のビュー層３）を備え、第３の処理装置は、第２の処理装置を監視し、第２の処理装置は、第１の処理装置を監視する監視システムである。第１、第２および第３の処理装置は、それぞれ少なくとも独立に監視機能を有すると共に監視情報を伝達する第１の監視系統（図１の監視手段１２、イベント管理手段２２、３２）および第２の監視系統（図１のメタ監視手段１１、２１ａ、３１）を含み、第２の監視系統は、第１の監視系統を監視するように機能する。

第１の処理装置（図１のエージェントマシン１０）は、被監視対象とされるオブジェクト（図１の被監視オブジェクト１３）を監視する第１の監視部（図１の監視手段１２）と、第１の監視部を監視する第２の監視部（図１のメタ監視手段１１）と、を備える。第２の処理装置（図１のマネージャマシン２０ａ）は、第１の監視部における監視結果を管理する第１の管理部（図１のイベント管理手段２２）と、第２の監視部および第１の管理部を監視する第３の監視部（図１のメタ監視手段２１ａ）と、を備える。第３の処理装置（図１のビューマシン３０）は、第１の管理部における監視結果を管理する第２の管理部（図１のイベント管理手段３２）と、第３の監視部および第２の管理部を監視する第４の監視部（図１のメタ監視手段３１）と、第２の管理部および第４の監視部の監視結果を出力する出力部（図１の出力装置３３）と、を備える。

また、第２の監視部（図１のメタ監視手段１１）は、第１の監視部（図１の監視手段１２）が正常であるか否かを判断し、第１の監視部を異常と判断した場合には、第１の監視部がダウンしていることを表すイベントを発行し、第１の監視部におけるプロセスの再起動を試み、一定時間内に起動すれば、第１の監視部の再起動成功のイベントを発行し、一定時間内に起動しなかった場合には、第１の監視部の再起動失敗のイベントを発行し、該発行したイベントを、第３の監視部（図１のメタ監視手段２１ａ）に通知するようにしてもよい。

さらに、第３の処理装置（図１のビューマシン３０ａ）は、第４の監視部（図１のメタ監視手段３１）を監視すると共に監視結果を第１の管理部（図１のイベント管理手段２２）に通知する第５の監視部（図１の監視手段３４）をさらに備え、第１の管理部は、第５の監視部における監視結果をさらに管理するようにしてもよい。

また、第２の情報処理装置群（図１のマネージャ層２）は、第１の監視部（図１の監視手段１２）の監視結果を第１の管理部（図１のイベント管理手段２２）に転送する第１の転送部（図１のイベント転送手段２３）と、第２の監視部（図１のメタ監視手段１１）および第１の転送部を監視する第６の監視部（図１のメタ監視手段２１ｂ）と、を備える第４の処理装置（図１のマネージャマシン２０ｂ）を含み、第１の管理部は、第１の転送部からの監視結果をさらに管理し、第３の監視部は、第６の監視部をさらに監視するようにしてもよい。

さらに、第１の管理部（図１のイベント管理手段２２）は、第１の監視部にヘルスチェックイベントの発行を依頼し、第１の監視部および第１の転送部の双方あるいは一方から一定時間内にヘルスチェックイベントの通知があるか否かを判定し、判定結果を第２の管理部（図１のイベント管理手段３２）に発行し、第１の監視部は、ヘルスチェックイベントを第１の管理部および第１の転送部に発行し、第２の管理部は、所定時間内に判定結果が得られない場合には、第１の管理部における定期通報が未着である旨のイベントを出力部に発行するようにしてもよい。

また、第３の情報処理装置群（図１のビュー層３）は、第３の処理装置（図１のビューマシン３０ａ）と同様に構成される、第４の処理装置（図１のマネージャマシン２０ｂ）を管理する第５の処理装置（図１のビューマシン３０ｂ）をさらに含むようにしてもよい。

さらに、第１の情報処理装置群（図７のエージェント層１ａ）は、複数の第１の処理装置（図７のエージェントマシン１０ａ、１０ｂ、１０ｃ、１０ｄ）を含み、第２および第４の処理装置は、それぞれ１または２以上の第１の処理装置を管理するようにしてもよい。

また、第１の情報処理装置群は、複数の第１の処理装置を含み、第２の情報処理装置群（図７のマネージャ層２ａ）は、複数の第６の処理装置（図７のマネージャマシン２０ｃ、２０ｄ、２０ｆ、２０ｇ）をさらに含み、第６の処理装置のそれぞれは、複数の第１の処理装置のいずれか１以上の第１の監視部の監視結果を転送する第２の転送部（図７のイベント転送手段２３ｃ、２３ｄ、２３ｆ、２３ｇ）と、複数の第１の処理装置のいずれか１以上の第２の監視部および第２の転送部を監視する第７の監視部（図７のメタ監視手段２１ｃ、２１ｄ、２１ｆ、２１ｇ）と、を備え、第２の処理装置は、第１の処理装置を監視および管理する替わりに、複数の第６の処理装置のいずれかを監視および管理し、第４の処理装置は、第１の処理装置の監視および第１の処理装置の監視結果の転送を行う替わりに、複数の第６の処理装置のいずれかの監視および監視結果の転送を行うようにしてもよい。

さらに、第２の情報処理装置群は、複数の第７の処理装置（図７のマネージャマシン２０ｅ、２０ｈ）をさらに含み、第７の処理装置のそれぞれは、複数の第６の処理装置（図７のマネージャマシン２０ｃ、２０ｄ、２０ｆ、２０ｇ）のいずれか１以上の第２の転送部の転送結果を転送する第３の転送部（図７のイベント転送手段２３ｅ、２３ｈ）と、複数の第６の処理装置のいずれか１以上の第７の監視部および第３の転送部を監視する第８の監視部（図７のメタ監視手段２１ｅ、２１ｈ）と、を備え、第２の処理装置（図７のマネージャマシン２０ｊ）は、複数の第６の処理装置のいずれかを監視および管理する替わりに、複数の第７の処理装置のいずれかを監視および管理し、第４の処理装置（図７のマネージャマシン２０ｉ）は、複数の第６の処理装置のいずれかの監視および監視結果の転送を行う替わりに、複数の第７の処理装置のいずれかの監視および監視結果の転送を行うようにしてもよい。

このような構成の監視システムは、主に以下の（１）〜（３）で説明するそれぞれの機能によってシステム全体の健全性を監視する。

（１）監視手段（図１の１２）を監視する機能
メタ監視手段（図１の１１）は、監視手段（図１の１２）を監視し、メタ監視手段（図１の１２）が不正な動作やプロセスダウンを検知すると出力装置（図１の３３）に向けてメタイベントを通知し、また、監視手段（図１の１２）を再起動させ復旧しようとを試みる。ここでメタイベントとは、メタ監視手段が発行する、監視オペレータへ異常を通知するためのイベントである。

（２）監視システム全体の監視機能
各マシンにメタ監視手段を備えることでシステムの健全性の監視を行う。上位層のメタ監視手段（例えば、マネージャ層であればメタ監視手段（図１の２１ａ））は、下位層のメタ監視手段（図１の１１）および同位層の他の手段（図１の２２、２１ｂ）を監視しており、下位層のメタ監視手段や同位層の他の手段に異常があれば、より上位層のメタ監視手段（図１の３１）を経由して出力装置（図１の３３）に向けてメタイベントを通知する。このような監視機能によって監視システム全体を監視することができる。

（３）マネージャ層（図７の２ａ）における多重化機能
１台のマネージャマシンが監視することができるエージェント数には限界がある。したがって、大規模システムにあっては、単一マネージャマシンでは管理しきれなくなる。そこでマネージャ層を多段化し、マネージャマシンを複数配置して負荷分散することで、多数のエージェントの監視を実現する。

以下、実施例に即し、図面を参照して詳しく説明する。

図１は、本発明の第１の実施例に係る監視システムの構成を示すブロック図である。図１において、監視システムは、マネージャ層２によって監視されるマシンの集合からなるエージェント層１と、監視を行うマシンの集合からなるマネージャ層２と、主に監視システム全体で発生したイベントを表示するマシンを含むビュー層３とから構成される。ここで、各マシンは、プログラムを実行して所定の機能を実現するように構成される情報処理装置に相当する。

エージェント層１は、エージェントマシン１０を備える。エージェントマシン１０は、プロセスやログファイルに相当する被監視オブジェクト１３と、被監視オブジェクト１３を監視する監視手段１２と、監視手段１２を監視するメタ監視手段１１とを備える。

マネージャ層２は、エージェントマシン１０を監視するマネージャマシン２０ａ、２０ｂを備える。運用管理ではマネージャ層を二重化することが一般的であり、ここでもマネージャ層を二重化している。ただし、クラスタ構成ではなく両現用のシステムを採用している。マネージャマシン２０ａは、イベント管理手段２２とメタ監視手段２１ａとを備える。マネージャマシン２０ｂは、イベント転送手段２３とメタ監視手段２１ｂとを備える。

ビュー層３は、ビューマシン３０ａ、３０ｂを備える。ビューマシン３０ａは、イベント管理手段３２、メタ監視手段３１、出力装置３３、監視手段３４を備える。ビューマシン３０ｂは、ビューマシン３０ａと同様に構成される。

次に、各部について説明する。マネージャマシン２０ａにおいて、イベント管理手段２２は、監視手段１２から通知（送信）されたイベント（イベント通知）をイベント管理手段３２へ通知（送信）する。また、イベント管理手段２２は、定期的に監視手段１２に対して正常性を確認するヘルスチェックイベントを通知するように依頼し、イベント転送手段２３を経由したイベントと監視手段１２から直接到来するヘルスチェックイベントとを照らし合わせて、対応するイベントとヘルスチェックイベントをイベント管理手段３２へ通知する。

また、メタ監視手段２１ａは、メタ監視手段１１とイベント管理手段２２を監視しており、監視によって異常を確認するとメタ監視手段３１にイベント（メタイベント通知）を通知する。メタ監視手段２１ａは、イベント管理手段２２と同様の判断機能を有しており、メタ監視手段１１から到来するヘルスチェックイベントやメタ監視手段２１ｂを経由してきたヘルスチェックイベントによってメタ監視手段３１へイベントを通知する。

マネージャマシン２０ｂにおいて、イベント転送手段２３は、監視手段１２から通知されてきたヘルスチェックイベントをイベント管理手段２２とビューマシン３０ｂへ転送する。通常のイベントは、マネージャマシン２０ｂに接続しているビューマシン３０ｂへ転送する。

また、メタ監視手段２１ｂは、メタ監視手段１１とイベント転送手段２３を監視しており、監視によって異常を確認するとビューマシン３０ｂへ通知する。また、メタ監視手段１１から送信されたイベントをビューマシン３０ｂへ転送し、ヘルスチェックイベントを、メタ監視手段２１ａとビューマシン３０ｂへ転送する。

ビューマシン３０ａにおいて、イベント管理手段３２は、イベント管理手段２２から通知されてきたイベントやヘルスチェックイベントを出力装置３３へ通知する。また、定期的に発行されるべきヘルスチェックイベントが通知されない場合、イベント通報パスが異常であると判断し、異常である旨を表すイベントを出力装置３３に通知する。

また、メタ監視手段３１は、メタ監視手段２１ａとイベント管理手段３２を監視しており、異常を確認すると出力装置３３へ異常である旨を表すイベントを通知する。メタ監視手段３１は、イベント管理手段３２と同様の判断機能を有しており、メタ監視手段２１ａが通知してきたヘルスチェックイベントによって出力装置３３にイベントを通知する。

さらに、監視手段３４は、エージェント層１の監視手段１２と同様のものであって、メタ監視手段３１を監視するために存在する。監視手段３４によって最上位のメタ監視手段３１を監視することができる。

次に、本発明の第１の実施例に係る監視システムの動作について、以下の（１）〜（３）の機能別に説明する。

（１）監視手段１２を監視する機能
図２は、エージェントマシンの動作を表すフローチャートである。まず、メタ監視手段１１は、監視手段１２が正常であるか否かを判断する（ステップＳ１１）。監視手段１２を異常と判断した場合（ステップＳ１１のＮ）、監視手段１２がダウンしていることを表すイベントの発行を行う（ステップＳ１２）。次に監視手段１２のプロセスの再起動を試み（ステップＳ１３）、一定時間内に起動すれば（ステップＳ１４のＹ）、監視手段１２の再起動成功のイベントを発行する（ステップＳ１５）。一定時間内に起動しなかった場合（ステップＳ１４のＮ）、監視手段１２の再起動失敗のイベントを発行する（ステップＳ１６）。発行されたイベントは、上位のマシンを経由し、出力装置３３において、監視オペレータに通知される。このように動作することでシステム全体を監視しているメタ監視手段が正常に機能していることがわかる。

また、監視手段１２が正常であるか異常であるかを判断するには、まず、監視手段１２は、定期的に監視手段自身が正常であると証明するためのログをログファイル１４として出力する（図３の（Ａ））。ログファイル１４の形式としては、図４に示すような、ｉｄ（identification）、日時、監視手段名、詳細を含むログからなる。次にメタ監視手段１１は、定期的にログファイル１４を読みにいき、前回から更新されたログが存在しない場合、または異常のログが存在する場合、監視手段１２を異常と判断する（図３の（Ｂ））。そして、監視手段１２が正常に機能していない場合、上位のメタ監視手段２１ａにイベントを発行する（図３の（Ｃ））。

（２）イベント通報パスの監視機能
図５は、マネージャマシン２０ａの動作を表すフローチャートである。まず、イベント管理手段２２は、監視手段１２へヘルスチェックイベント発行の依頼をだす（ステップＳ２１）。監視手段１２は、この依頼を受信すると、イベント管理手段２２およびイベント転送手段２３へヘルスチェックイベントを発行する（ステップＳ２２、Ｓ２３）。イベント転送手段２３は、イベント管理手段２２にヘルスチェックイベントを転送する（ステップＳ２４）。一定時間内にイベント転送手段２３および監視手段１２の両方からヘルスチェックイベントが通知されれば、イベント通報パスが正常であると判断し（ステップＳ２５のＹ）、ステップＳ３１に進む。

また、両方からヘルスチェックイベントが通知されない場合（ステップＳ２５のＮ）、一定時間内に管理手段１２およびイベント転送手段２３のいずれか一方からヘルスチェックイベントが通知されるか否かをチェックする（ステップＳ２６）。一定時間内に通知がない場合（ステップＳ２６のＮ）、エージェントマシン１０発の定期通報未着のイベントを発行し（ステップＳ３０）、ステップＳ３１に進む。また、一定時間内に通知があった場合（ステップＳ２６のＹ）、イベント転送手段２３からヘルスチェックイベントが通知されるか否かをチェックする（ステップＳ２７）。イベント転送手段２３からヘルスチェックイベントが通知された場合、すなわち、監視手段１２から直接ヘルスチェックイベントが通知されない場合、マネージャマシン２０ａ経由の定期通報未着のイベントを発行し（ステップＳ２８）、マネージャマシン２０ｂ経由のヘルスチェックイベントが通知されないときは、マネージャマシン２０ｂ経由の定期通報未着のイベントを発行する（ステップＳ２９）。

次に、イベント管理手段２２は、ヘルスチェックイベントをイベント管理手段３２に発行する（ステップＳ３１）。イベント管理手段３２は、一定時間内にイベント管理手段２２からヘルスチェックイベントを受信できないとき（ステップＳ３２のＮ）、イベント管理手段２２発の定期通報未着のイベントを出力装置３３に発行する（ステップＳ３３）。

また、メタ監視手段２１ａも上記と同様な機能を有しており、ヘルスチェックイベントにより、イベント通報パスの健全性をチェックしている。これにより、監視手段１２が発行するイベントの通報パスが正常に機能しているかを確認することができる。

（３）監視システム全体の監視機能
図６は、メタ監視手段の動作を表すフローチャートである。まず、上位のメタ監視手段が下位のメタ監視手段および同位の手段を監視しており、異常を発見すると（ステップＳ４１のＮ）、すぐに下位のメタ監視手段あるいは同位の手段がダウンしている旨のイベントを発行し出力装置３３に向けて通知する（ステップＳ４２）。

なお、監視対象が正常か異常かの判断は、図３に示すようなメタ監視手段１１が監視手段１２を監視する方法と同じである。すなわち、メタ監視手段３１は、イベント管理手段３２とメタ監視手段２１ａを監視し、メタ監視手段２１ａは、イベント管理手段２２、メタ監視手段２１ｂおよびメタ監視手段１１を監視しており、メタ監視手段２１ｂは、イベント転送手段２３およびメタ監視手段１１を監視しており、メタ監視手段１１は、監視手段１２を監視している。

最後に、ビュー層３に存在する最上位のメタ監視手段３１は、エージェント層１の監視手段１２と同様の監視手段３４によって監視され、異常があれば監視手段３４→イベント管理手段２２→イベント管理手段３２→出力装置３３の経路で異常が通知される。このとき、メタ監視手段３１は、監視手段３４から見ると被監視オブジェクトに相当するものとして認識される。

以上のように動作する監視システムによれば、監視オペレータが出力装置３３に表示されるイベントをチェックすることで、被監視オブジェクト１３だけでなく監視システム全体として監視が正常に機能しているか否かを判断することができる。その理由は、上位のメタ監視手段が下位のメタ監視手段を監視しており、異常を発見するとすぐにイベントを発行して出力装置３３に通知することができることによる。

また、システムの一部が故障したときに異常をすばやく検知することができ、また監視において支障がない。その理由は、通報経路の異常がイベント経路とメタイベント経路とに二重化されており、また手段の異常検知機能がマネージャ層とビュー層に多重化されているためである。

図７は、本発明の第２の実施例に係る監視システムの構成を示すブロック図である。図７において、図１と同じ符号は、同一物を表し、その説明を省略する。ただし、監視システムは、図１に示された第１の実施例とはマネージャ層２ａが３段に構成されている点およびエージェント層１ａに多数のエージェントマシンが備えられる点で大きく異なる。

エージェント層１ａは、エージェントマシン１０ａ、１０ｂ、１０ｃ、１０ｄを備える。エージェントマシン１０ａ、１０ｂ、１０ｃ、１０ｄは、それぞれ図１におけるエージェントマシン１０と同様の構成である。

マネージャ層２ａは、マネージャマシン２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉ、２０ｊを備える。マネージャ層２ａにおいて、マネージャマシン２０ｃ、２０ｄ、２０ｆ、２０ｇが一段目として、マネージャマシン２０ｅ、２０ｈが二段目として、マネージャマシン２０ｉ、２０ｊが三段目として構成される。それぞれのマネージャマシン２０ｃ〜２０ｉが備えるメタ監視手段２１ｃ〜２１ｉ、イベント転送手段２３ｃ〜２３ｉのそれぞれは、図１のメタ監視手段２１ｂ、イベント転送手段２３と同等の構成である。また、マネージャマシン２０ｊが備えるメタ監視手段２１ｊ、イベント管理手段２２ｊは、図１のメタ監視手段２１ａ、イベント管理手段２２と同等の構成である。

マネージャマシン２０ｃ、２０ｄは、それぞれエージェントマシン１０ａ、１０ｂを監視している。マネージャマシン２０ｆ、２０ｇは、それぞれエージェントマシン１０ｃ、１０ｄを監視している。マネージャマシン２０ｅは、マネージャマシン２０ｃ、２０ｆを監視している。マネージャマシン２０ｈは、マネージャマシン２０ｄ、２０ｇを監視している。マネージャマシン２０ｊは、マネージャマシン２０ｅ、２０ｉを監視している。マネージャマシン２０ｉは、マネージャマシン２０ｈを監視している。

なお、以上の例では、マネージャ層２ａにおけるマネージャマシンを３段に構成する場合を示した。マネージャマシン２０ｉ、２０ｊの処理能力が充分あれば、２段で構成するようにしてもよい。すなわち、マネージャマシン２０ｅ、２０ｈを省き、マネージャマシン２０ｊが直接マネージャマシン２０ｃ、２０ｆを管理し、マネージャマシン２０ｉが直接マネージャマシン２０ｄ、２０ｇを管理するようにしてもよい。

一般に、一つのマネージャマシンは、監視可能なエージェントマシン数に限界がある。そこで、図７に示すようにマネージャ層を多段に構成してマネージャマシンを複数配置して負荷分散することで、監視可能なエージェントマシン数を増やすことができる。このような構成の監視システムによれば、システム全体として信頼性を充分に確保した監視を行うと共に、大規模なデータセンタ等における数千台のエージェントマシンの監視に対しても対応可能である。

本発明の第１の実施例に係る監視システムの構成を示すブロック図である。エージェントマシンの動作を表すフローチャートである。メタ監視手段が監視手段を監視する場合の動作を模式的に表す図である。ログファイルの構成を表す図である。マネージャマシンの動作を表すフローチャートである。メタ監視手段の動作を表すフローチャートである。本発明の第２の実施例に係る監視システムの構成を示すブロック図である。

符号の説明

１、１ａエージェント層
２、２ａマネージャ層
３ビュー層
１０、１０ａ、１０ｂ、１０ｃ、１０ｄエージェントマシン
１１メタ監視手段
１２監視手段
１３被監視オブジェクト
１４ログファイル
２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ、２０ｉ、２０ｊマネージャマシン
２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ、２１ｆ、２１ｇ、２１ｈ、２１ｉ、２１ｊメタ監視手段
２２、２２ｊイベント管理手段
２３、２３ｃ、２３ｄ、２３ｅ、２３ｆ、２３ｇ、２３ｈ、２３ｉイベント転送手段
３０ａ、３０ｂビューマシン
３１メタ監視手段
３２イベント管理手段
３３出力装置
３４監視手段

Claims

第１、第２および第３の処理装置をそれぞれ含む第１、第２および第３の情報処理装置群を備え、
前記第３の処理装置は、前記第２の処理装置を監視し、前記第２の処理装置は、前記第１の処理装置を監視する監視システムであって、
前記第１の処理装置は、
被監視対象とされるオブジェクトを監視する第１の監視部と、
前記第１の監視部の異常を監視して監視結果を前記第２の処理装置に通知すると共に、前記第１の監視部における前記オブジェクトの監視結果を前記第２の処理装置に通知する第２の監視部と、
を備え、
前記第２の処理装置は、
第１の管理部と、
前記第２の監視部および前記第１の管理部の異常を監視して監視結果を前記第３の処理装置に通知すると共に、前記第２の監視部から通知される監視結果をさらに前記第３の処理装置に通知する第３の監視部と、
を備え、
前記第３の処理装置は、
第２の管理部と、
前記第３の監視部および前記第２の管理部の異常を監視して監視結果を得ると共に、前記第３の監視部から通知される監視結果を新たな監視結果とする第４の監視部と、
前記第２の管理部および前記第４の監視部の監視結果を出力する出力部と、
を備え、
前記第１の管理部は、前記第１の監視部にヘルスチェックイベントの発行を依頼し、前記第１の監視部から一定時間内に前記ヘルスチェックイベントの通知があるか否かを判定し、判定結果を前記第２の管理部に発行し、
前記第１の監視部は、前記ヘルスチェックイベントを前記第１の管理部に発行し、
前記第２の管理部は、所定時間内に前記判定結果が得られない場合には、前記第１の管理部における定期通報が未着である旨のイベントを異常を表す監視結果として前記出力部に発行することを特徴とする監視システム。
前記第２の監視部は、前記第１の監視部が正常であるか否かを判断し、前記第１の監視部を異常と判断した場合には、前記第１の監視部がダウンしていることを表すイベントを発行し、前記第１の監視部におけるプロセスの再起動を試み、一定時間内に起動すれば、前記第１の監視部の再起動成功のイベントを発行し、一定時間内に起動しなかった場合には、前記第１の監視部の再起動失敗のイベントを発行し、該発行したイベントを、前記第３の監視部に通知することを特徴とする請求項１記載の監視システム。
前記第３の処理装置は、前記第４の監視部の異常を監視すると共に監視結果を前記第１の管理部に通知する第５の監視部をさらに備え、
前記第１の管理部は、前記第５の監視部における監視結果をさらに前記第２の管理部に通知することを特徴とする請求項１記載の監視システム。
前記第２の情報処理装置群は、
前記第１の監視部の監視結果を前記第１の管理部に転送する第１の転送部と、
前記第２の監視部および前記第１の転送部の異常を監視する第６の監視部と、
を備える第４の処理装置を含み、
前記第１の管理部は、前記第１の転送部からの監視結果をさらに前記第２の管理部に通知し、
前記第３の監視部は、前記第６の監視部の異常をさらに監視することを特徴とする請求項１または３記載の監視システム。
前記第１の管理部は、前記第１の転送部から一定時間内に前記ヘルスチェックイベントの通知があるか否かを判定し、判定結果を前記第２の管理部に発行し、
前記第１の監視部は、前記ヘルスチェックイベントを前記第１の転送部に発行し、
前記第２の管理部は、所定時間内に前記判定結果が得られない場合には、前記第１の管理部における定期通報が未着である旨のイベントを異常を表す監視結果として前記出力部に発行することを特徴とする請求項４記載の監視システム。
前記第３の情報処理装置群は、前記第３の処理装置と同様に構成される、前記第４の処理装置との間の通知機能及び監視機能を有する第５の処理装置をさらに含むことを特徴とする請求項４記載の監視システム。
前記第１の情報処理装置群は、複数の前記第１の処理装置を含み、
前記第２および第４の処理装置は、それぞれ１または２以上の前記第１の処理装置との間の通知機能及び監視機能を有することを特徴とする請求項４または６記載の監視システム。
前記第１の情報処理装置群は、複数の前記第１の処理装置を含み、
前記第２の情報処理装置群は、複数の第６の処理装置をさらに含み、
前記第６の処理装置のそれぞれは、
複数の前記第１の処理装置のいずれか１以上の前記第１の監視部の監視結果を転送する第２の転送部と、
複数の前記第１の処理装置のいずれか１以上の前記第２の監視部および前記第２の転送部を監視する第７の監視部と、
を備え、
前記第２の処理装置は、前記第１の処理装置の替わりに、前記複数の第６の処理装置のいずれかとの間の通知機能及び監視機能を有し、
前記第４の処理装置は、前記第１の処理装置の監視および前記第１の処理装置の監視結果の転送を行う替わりに、前記複数の第６の処理装置のいずれかの監視および監視結果の転送を行うことを特徴とする請求項４または６記載の監視システム。
前記第２の情報処理装置群は、複数の第７の処理装置をさらに含み、
前記第７の処理装置のそれぞれは、
複数の前記第６の処理装置のいずれか１以上の前記第２の転送部の転送結果を転送する第３の転送部と、
複数の前記第６の処理装置のいずれか１以上の前記第７の監視部および前記第３の転送部を監視する第８の監視部と、
を備え、
前記第２の処理装置は、前記複数の第６の処理装置のいずれかの替わりに、前記複数の第７の処理装置のいずれかとの間の通知機能及び監視機能を有し、
前記第４の処理装置は、前記複数の第６の処理装置のいずれかの監視および監視結果の転送を行う替わりに、前記複数の第７の処理装置のいずれかの監視および監視結果の転送を行うことを特徴とする請求項８記載の監視システム。
第１、第２および第３の処理装置をそれぞれ含む第１、第２および第３の情報処理装置群を備え、前記第３の処理装置は、前記第２の処理装置を監視し、前記第２の処理装置は、前記第１の処理装置を監視する監視システムにおける監視方法であって、
前記第１の処理装置において、
被監視対象とされるオブジェクトを監視する第１の監視ステップと、
前記第１の監視ステップにおける異常を監視して監視結果を前記第２の処理装置に通知すると共に、前記第１の監視ステップにおける前記オブジェクトの監視結果を前記第２の処理装置に通知する第２の監視ステップと、
を含み、
前記第２の処理装置において、
第１の管理ステップと、
前記第２の監視ステップおよび前記第１の管理ステップにおける異常を監視して監視結果を前記第３の処理装置に通知すると共に、前記第２の監視ステップにおいて通知される監視結果をさらに前記第３の処理装置に通知する第３の監視ステップと、
を含み、
前記第３の処理装置において、
第２の管理ステップと、
前記第３の監視ステップおよび前記第２の管理ステップにおける異常を監視して監視結果を得ると共に、前記第３の監視ステップにおいて通知される監視結果を新たな監視結果とする第４の監視ステップと、
前記第２の管理ステップおよび前記第４の監視ステップの監視結果を出力する出力ステップと、
を含み、
前記第１の管理ステップにおいて、前記第１の監視ステップに対しヘルスチェックイベントの発行を依頼するし、前記第１の監視ステップの後に一定時間内に前記ヘルスチェックイベントの通知があるか否かを判定し、判定結果を前記第２の管理ステップに発行し、
前記第１の監視ステップにおいて、前記ヘルスチェックイベントを前記第１の管理ステップに発行し、
前記第２の管理ステップにおいて、所定時間内に前記判定結果が得られない場合には、前記第１の管理ステップにおける定期通報が未着である旨のイベントを異常を表す監視結果として前記出力ステップに発行することを特徴とする監視方法。
前記第２の監視ステップは、
前記第１の監視ステップにおける監視結果が正常であるか否かを判断するステップと、
前記第１の監視ステップにおける監視結果を異常と判断した場合には、前記第１の監視ステップにおいてダウンしていることを表すイベントを発行するステップと、
前記第１の監視ステップにおけるプロセスの再起動を試み、一定時間内に起動すれば、前記第１の監視ステップにおける再起動成功のイベントを前記第３の監視ステップに対し発行するステップと、
一定時間内に起動しなかった場合には、前記第１の監視ステップにおける再起動失敗のイベントを前記第３の監視ステップに対し発行するステップと、
を含むことを特徴とする請求項１０記載の監視方法。
前記第３の処理装置が、前記第４の監視ステップにおける異常を監視すると共に監視結果を前記第１の管理ステップに対し通知する第５の監視ステップを含み、
前記第１の管理ステップにおいて、前記第５の監視ステップにおける監視結果をさらに前記第２の管理ステップに対して通知することを特徴とする請求項１０記載の監視方法。
前記第２の情報処理装置群は、さらに第４の処理装置を含み、
前記第４の処理装置が、前記第１の監視ステップの監視結果を前記第１の管理ステップに対して転送する第１の転送ステップと、
前記第４の処理装置が、前記第２の監視ステップおよび前記第１の転送ステップにおける異常を監視する第６の監視ステップと、
を含み、
前記第１の管理ステップにおいて、前記第１の転送ステップからの監視結果をさらに前記第２の管理ステップに通知するステップと、
前記第３の監視ステップにおいて、前記第６の監視ステップにおける異常をさらに監視するステップと、
を含むことを特徴とする請求項１２記載の監視方法。
前記第１の管理ステップにおいて、
前記第１の転送ステップの後、一定時間内に前記ヘルスチェックイベントの通知があるか否かを判定し、判定結果を前記第２の管理ステップに発行し、
前記第１の監視ステップにおいて、前記ヘルスチェックイベントを前記第１の転送ステップに発行し、
前記第２の管理ステップにおいて、所定時間内に前記判定結果が得られない場合には、前記第１の管理ステップにおける定期通報が未着である旨のイベントを異常を表す監視結果として前記出力ステップに発行することを特徴とする請求項１３記載の監視方法。
前記第３の情報処理装置群は、前記第３の処理装置と同様に構成される第５の処理装置をさらに含み、
前記第５の処理装置において、前記第４の処理装置との間の通知機能及び監視機能を有することを特徴とする請求項１３記載の監視方法。
前記第１の情報処理装置群は、複数の前記第１の処理装置を含み、
前記第２および第４の処理装置において、それぞれ１または２以上の前記第１の処理装置との間の通知機能及び監視機能を有することを特徴とする請求項１３または１５記載の監視方法。
前記第１の情報処理装置群は、複数の前記第１の処理装置を含み、
前記第２の情報処理装置群は、複数の第６の処理装置をさらに含み、
前記第６の処理装置のそれぞれが、複数の前記第１の処理装置のいずれか１以上における前記第１の監視ステップの監視結果を転送する第２の転送ステップと、
前記第６の処理装置のそれぞれが、複数の前記第１の処理装置のいずれか１以上における前記第２の監視ステップおよび前記第２の転送ステップを監視する第７の監視ステップと、
を含み、
前記第２の処理装置が、前記第１の処理装置の替わりに、前記複数の第６の処理装置のいずれかとの間の通知機能及び監視機能を有し、
前記第４の処理装置が、前記第１の処理装置の監視および前記第１の処理装置の監視結果の転送を行う替わりに、前記複数の第６の処理装置のいずれかの監視および監視結果の転送を行うことを特徴とする請求項１３または１５記載の監視方法。
前記第２の情報処理装置群は、複数の第７の処理装置をさらに含み、
前記第７の処理装置のそれぞれが、複数の前記第６の処理装置のいずれか１以上における前記第２の転送ステップにおける転送結果を転送する第３の転送ステップと、
前記第７の処理装置のそれぞれが、複数の前記第６の処理装置のいずれか１以上における前記第７の監視ステップおよび前記第３の転送ステップにおける監視を行う第８の監視ステップと、
を含み、
前記第２の処理装置が、前記複数の第６の処理装置のいずれかの替わりに、前記複数の第７の処理装置のいずれかとの間の通知機能及び監視機能を有し、
前記第４の処理装置が、前記複数の第６の処理装置のいずれかの監視および監視結果の転送を行う替わりに、前記複数の第７の処理装置のいずれかの監視および監視結果の転送を行うことを特徴とする請求項１７記載の監視方法。