以下、本発明の実施形態を図面に基づいて説明する。
1.概要
2.機能
2.1 アラーム出力機能
2.2 判定信号監視機能
3.動作例
3.1 アラーム出力処理
3.2 判定信号監視処理
<1.概要>
まず始めに、本発明の一実施形態における監視装置の構成と処理の概要を表す図1ないし図5と、監視システムの一般的な構成を表す図42、43とを用いて、本発明の概要を述べる。
図42は、従来の監視システムの例を表す。当該監視システムは、被監視装置、監視対象、総合監視装置、監視者、監視室、の要素で構成される。ここで、監視者とは、総合監視装置や被監視装置のアラーム音、GUI(モニタ表示)を常時監視している人間をさす。
また、監視室とは、監視者が監視を行う部屋である。各アラーム表示モニタやアラーム音発生スピーカが集積している。総合監視装置、被監視装置や監視対象の機器本体が監視室と同じ室内に存在するということは保守性の面から不利であることが多く、通常、機器本体はラック室等の集積室にまとめられており、映像(モニタ)出力や音声出力のみが監視室に延ばされている。すなわち「装置が出力した画面や音声は手元にある」が「装置本体は遠くにある」状況である。
図43は、従来の監視システムにおける監視方法を分類したものである。図43に示されるように、現在の一般的な監視システムは大別すると、
(1)「アラームを集積する総合監視装置」を監視するシステム(非特許文献1、特許文献1、特許文献2に記載のシステム)
のほか、総合監視装置を用いない場合として、
(2)「目に訴える画面によるアラームおよび、耳に訴える音声によるアラームを発する被監視装置」を監視するシステム
(3)「目に訴える画面によるアラームは発するが、音によるアラームを発しない被監視装置」を監視するシステム
(4)「目に訴える画面によるアラームを発さず、音によるアラームを発する被監視装置」を監視するシステム
(5)「監視対象を監視し、状態の変化がアラームであるか否かを監視者が必要に応じて判断するシステム」
の5つに分けられる。
監視者は、本発明の一実施形態における監視装置を用いることで、(1)ないし(5)に示されるような総合監視装置又は被監視装置そのものには手を加えることなく、アラームを発生させるための判定条件の設定を、直感的に行うことができる。また、監視者は、判定条件が満たされると、所望の情報を含むアラームが出力されるよう、設定することができる。
図1は、本発明の一実施形態における監視装置100及びその周辺機器の構成の概略図である。
監視装置100は、例えば、CPU、RAM、ROM、HDD等を有する、汎用的なPCを構成するハードウェアによって構成され、VGA−USB変換器110等を介して、被監視装置や監視対象から映像信号を受信する。また、監視装置100は、マイク120を介して、被監視装置や監視対象から音声信号を受信する。また、監視装置100は、キーボード、マウス、タッチパネル等の入力装置を通じて、監視者からの入力を受け付ける。
監視者は、監視装置100を用いて、受信した信号に含まれる情報(信号が映像の場合は、画面の所定の領域に含まれる文字及び/又は色、信号が音声の場合は、発話されたメッセージの内容又は音の特性)に関する判定条件の設定を行うことができる。また、監視者は、判定条件が満たされたとき、監視装置100に接続されたモニタ130又はスピーカ140を通じて出力される、アラームの内容を設定することができる。アラームは、文字列及びその背景色と、音によって出力される。監視者は、判定条件の設定と共に、どのようなアラームを出力するか、設定することができる。図4は、上述した判定条件とアラーム出力の設定の流れを表したフローチャートである。詳しくは後述する。
また、監視装置100は、他の監視装置とUSB又はネットワーク等で通信し、他の監視装置が出力する信号を受け取る事ができる。当該信号の中身は、監視装置が監視する被監視装置の状態を表すステータス(当該監視装置の装置番号+出力番号(判定条件に対して監視者が設定可能な数字))である(以下、「判定信号」とする)。また、アラーム状態が解除となった場合には、さらに、アラームが解除されたことを他の監視装置に伝えるために、解除フラグが判定信号に含まれる。図1において、判定信号の流れは、破線の矢印で表される。
判定信号を受け取った監視装置100は、この判定信号に含まれる装置番号と出力番号とを用いて、さらに判定条件を設定し、判定条件が満たされた場合に、所定の内容のアラームを出力するよう構成することができる。監視者は、上述した、被監視装置からの信号に対して設定される判定条件やアラームの設定と同様に、判定信号に対する判定条件やアラームの設定を行うことができる。図5は、判定信号に基づく判定条件とアラーム出力の設定の流れを表したフローチャートである。詳しくは後述する。
以下、混同を避けるために、被監視装置からの信号に対して設定される判定条件を「第1判定条件」とし、判定信号に対して設定される判定条件を「第2判定条件」とする。また、第1判定条件に基づいて判定を行い、アラームを出力するとともに、他の監視装置に対して判定信号を送信する監視装置を、「監視装置100A」と表現する。また、一以上の監視装置100Aから送信された判定信号を受信し、第2判定条件に基づいて判定を行い、アラームを出力する監視装置を、「監視装置100B」と表現する。
ここで、監視装置100Aと監視装置100Bは、説明のために区別されているに過ぎず、実際には、一の監視装置100が、使用目的に応じて、監視装置100A、100Bの何れかとして動作するよう、任意に構成され得る。
VGA−USB変換器110は、VGA等で被監視装置や監視対象がディスプレイに表示する監視状態の映像信号を受け取り、当該映像信号を、PCで読み取れるように映像信号をUSB信号等に変換する。なお、USBはあくまで一例であり、イーサネット(登録商標)信号等に変換してもよい。当該映像信号は、USB等のインターフェースで、監視装置100へと入力される。
マイク120は、被監視装置等から出力された音声を空気の信号を通じて検知し、アナログの電気信号へと変換する。当該アナログの電気信号は、監視装置100に入力される。なお、被監視装置等から、アナログ信号が電気信号によって入力可能である場合には、マイク120は不要である。
モニタ130は、液晶ディスプレイやCRTのような、PC本体と接続される表示装置であり、監視装置100から出力された映像信号を受信する。モニタ130は、ユーザに対して、文字や色によって表現されるアラームを通知する。
スピーカ140は、監視装置100から出力された音声信号を受信し、ユーザに対して、音によって表現されるアラームを通知する。
なお、上記の例では、監視装置100は、VGA−USB変換器110、マイク120、モニタ130、スピーカ140と分離して記載されているが、この例に限られない。例えば、VGA−USB変換器110、モニタ130又はスピーカ140が、監視装置100と同一のハードウェアとして提供されてもよい。
また、図1の例では、監視装置100は、汎用的なPCを用いて構成されるものとして説明したが、監視装置100は、後述する機能を最小限発揮することのできる、専用のハードウェアを用いて構成されてもよい。
<アラーム出力機能を有する監視装置100Aの例>
図2は、本発明の一実施形態における監視装置100Aの使用例を表している。まず、図2(A)は、通常の監視システムを表している。被監視装置や監視対象からの情報を表すモニタとスピーカが監視室に存在している。
一方、図2(B)は、本監視装置100の接続された例を表している。まず、被監視装置200(又は監視対象)が出力する監視状態の映像が、映像分配器210に入力される。映像分配器210で、被監視装置や監視対象の映像を分配する。分配された映像は、ディスプレイ220に表示される。音声についても同様に、被監視装置からの出力が分配されて、本監視装置100に入力される。
本監視装置は、信号を受け取り、これを取り込む。そして、監視装置100は、取り込まれた信号に対して、監視者によって設定された判定条件を適用する。その結果、監視装置100は、通知されるべきアラームを、モニタ130又はスピーカ140に対して出力する。
<判定信号監視機能を有する監視装置100Bの例>
図3は、上述した、複数の監視装置100A−1、・・・、100A−Nから、判定信号を受け取り、その判定信号の内容に対して、第2判定条件を適用し、条件が満たされた場合に、所定のアラームを出力する監視装置100Bの使用例を表している。各監視装置100は、監視者のための入力装置及びモニタ、スピーカを備えず、専ら、判定信号を監視装置100Bに送信するよう構成されてもよい。
なお、監視装置100Aと監視装置100Bは、例えば、USB又はイーサネットによるネットワークのような、任意の手段で接続され得る。
<2.機能>
次に、図6を用いて、本発明の一実施形態における監視装置100の機能ブロックについて説明する。図6には、これらの装置が備える様々な要素のうち、本実施形態の説明に特に関連する要素が示されている。
以下では、上述したように、信号に対して第1判定条件に基づいて判定を行い、アラーム及び判定信号を出力するアラーム出力機能(監視装置100Aの例)と、判定信号に対する第2判定条件に基づいて判定を行い、アラームを出力する判定信号監視機能(監視装置100Bの例)に分けて説明する。また、以下では、説明を簡単にするために、特に記述しない限り、被監視装置から映像信号のみが出力されるものとして、説明を行う。
<2.1 アラーム出力機能>
本発明の一実施形態における監視装置100Aは、判定条件設定部601と、記憶部602と、第1判定部603と、映像信号取込部604と、映像信号解析部605と、音声信号取込部606と、音声信号解析部607と、判定結果出力部608と、判定信号送信部609を有する。
判定条件設定部601は、監視者からGUIを通じた第1判定条件、アラーム出力及び判定信号についての設定を受け付け、その内容を後述する記憶部602に格納する。監視者による設定の手順は、図4に示した通りである。ここで、この手順について、具体的なGUIの例を挙げて説明する。
図7は、監視者が、第1判定条件の判定の対象とする、領域を決定する(図4のステップS401に対応)GUI画面の例である。監視者は、監視装置100Aに取り込まれ、画面に表示された映像の上に、図中のaのようにフリーハンドで、あるいは図中のb、c、dのように「自由にサイズを決め、移動できる」図形(例えば、四角形や円)で、領域を定義することができる。枠によって囲まれる領域が、判定部分となる。なお、a、b、c、dは、領域ID700であり、領域を識別するために用いられる。
判定条件設定部601は、監視者による領域指定を認識し、任意の方法により、この領域の情報を記憶部602の領域情報651として格納する。領域情報651を格納するテーブルの例を図10に示す。図10の例では、各領域は、表示画面上のピクセル座標によって表される。例えば、領域ID「a」によって識別子される領域は、画面上の点(256,550)、(258,548)、(260,549)、・・・、(254,560)、(256,550)を結んだ領域である。ここでは、点と点とを結ぶ線は、直線である。但し、画面上の領域を特定するための座標の指定方法は、この例に限られず、任意に指定することができる。
また、各領域の枠の色を表す情報が、「枠の色」の項目に格納されている。「枠の色」を表す方法として、ここでは、10進数によって表されたRGB値を用いるが、これに限られない。図10の領域情報651に含まれる、その他の情報については、後述する。
図8は、領域の設定が完了した後、それぞれの領域に対する判定条件(第1判定条件)を設定するGUI画面である(図4のステップS402に対応)。当該画面には、領域ID700と、枠の色802と、枠内の情報に対して適用する判定種別804(文字判定、色判定、文字+色判定、設定なし)と、色を指定するために用いるスポイト806と、色判定に使用される色条件810が含まれる。ここで、判定種別として選択可能な項目を以下に記す。
−文字判定 :領域に含まれる文字(文字列)を判定条件とする。条件に指定する文字列は、後に説明するGUI画面により設定する。
−色判定 :領域に含まれる色を判定条件とする。条件に指定する色は、当該GUI画面にて、色条件810で指定する
−文字+色判定:文字判定と色判定を組み合わせて使用する
−設定なし :この領域に含まれる情報は判定条件に使用しないことを表す
また、監視者は、色条件810として色を指定する際には、色環指定画面808を通じて設定することができる。このとき、指定色に対して、一定の幅をもたせるために、色相の範囲(度)を設定することもできる。
判定条件設定部601は、監視者による入力内容を認識し、任意の方法により、この領域の情報を記憶部602の領域情報651として格納する。領域情報651を格納するテーブルの例を図10に示す。図8の画面を通じて設定される項目は、以下の通りである。
−判定処理 :文字判定、色判定、文字+色判定、設定なしの情報が格納される
−色1〜色4 :指定した色が10進数のRGB値で格納される
−色1範囲〜色4範囲:指定した色に幅をもたせるための色相の範囲が度数で表されている
なお、色相の範囲(度)の指定によって条件に含まれることとなる色(RGB値)は、後述する第1判定部603が、条件判定を行う際に、計算によって求めることができる。あるいは、当該画面を通じて色相を指定した際に、そのような計算がなされ、その色(RGB値)が格納されてもよい。このような場合には、「色範囲」に含まれる色の情報である、複数のRGB値が、領域情報651の追加の項目としてさらに格納されてもよい。また、上記の例では、色と色の範囲の指定が最大で4種類となっているが、より少ないか、あるいはより多い種類の色と色の範囲が指定されてもよい。
図9は、設定した領域に対する判定条件(第1判定条件)と、条件が満たされた場合の、アラーム出力の内容及び判定信号の内容を設定するGUI画面の例である(図4のステップS403、S404に対応)。監視者は、当該画面を用いて、条件式900と、出力音902と、出力文字列904と、背景色906と、判定信号に含まれる出力番号908と、判定信号に含まれる当該監視装置100Aの装置番号910とを設定できる。
条件式900は、図8で設定した、アルファベットで区別された領域IDごとの「文字判定」、「色判定」の指定と、論理演算記号を組み合わせて、条件式を入力する。論理演算記号の表現形式は任意であるが、例えば、「or」条件として「+」を、「and」条件として「*」を用いてもよい。
「文字判定」の場合、条件式は、領域IDと、それに続く{}に囲まれるキーワードにより、記述される。例えば、「a{(高知)+(高松)}」は、領域aの中に、「高知」か「高松」の文字列が出現したことを表す。
「色判定」の場合、条件式は、領域IDと、それに続く数値により、記述される。例えば、「c1」は、領域cの中に、「色1」で指定した色(又は、「色相の範囲」によって特定される範囲の色)が含まれるという条件を意味する。
出力音902は、条件式が満たされると出力される、任意の音声ファイルを表す。複数の条件式が同時に満たされた場合には、例えば、上から順に出力されるように構成される。図9の例では、「チャイムその1」、「チャイムその2」、「チャイムその3」の順序で出力されることになる。
出力文字列904は、本監視装置100Aによって出力される文字列である。空欄なら、何も表示しない。
背景色906は、本監視装置100Aによって出力される文字列の背景色を表す。背景色は、「表示色選択」ウィンドウを用いて、用意された色から選択するか、RGB各色の成分を指定することにより、設定される。図9の例では、黄色が指定されている。
出力番号908は、本監視装置100Aにおいて、当該条件を特定するための識別子として用いられる番号である。出力番号908は、後述する本監視装置100Aの第1判定部603が当該条件を満たすと判定したとき、判定信号に含められ、他の監視装置100Bに送信される。なお、出力番号908に「0」が指定された場合には、当該条件が満たされても、判定信号は、他の監視装置100Bに送信されない。
装置番号910は、本監視装置100Aを識別するために用いられる。装置番号910は、判定信号が他の監視装置100Bに送信される際、上述した出力番号908とともに、判定信号に含められる。
判定条件設定部601は、監視者によって指定された上記の内容を、第1判定条件652及び装置番号653に格納する。第1判定条件652を格納するテーブルの例を図11に示す。各項目について以下に記す。
−ID :エントリごとに自動で付されるシーケンス番号
−条件式 :各領域に対して適用される条件式
−出力音 :条件が満たされた場合に出力される音のファイル
−出力文字列:条件が満たされた場合に出力される文字列
−背景色 :条件が満たされた場合に出力される背景色
−出力番号 :当該条件が満たされたことを他の監視装置に通知する判定信号に含まれる、当該条件を識別するための番号
−発生状態 :当該条件が満たされた状態であることを示すフラグ
なお、指定された装置番号は、装置番号653として格納される。
図15は、図9で示した条件のうち、ID「1」、「2」の条件が満たされ、ID「3」の条件が満たされていない場合に、後述する判定結果出力部608によって出力される画面の例を表している(図4のステップS405に対応)。また、画面と同時に、出力音に設定された「チャイムその1.wav」が出力され、その後、「チャイムその2.wav」出力される。
上記の例は、被監視装置から出力される信号が、映像信号である場合の例である。一方、被監視装置から出力される信号が、音声信号である場合には、図10に示した領域情報は不要となる。また、図11に示した条件式900は、例えば、「(高知)+(香川)」のように、領域IDを含まない形式で、記述され得る。これによって、音声信号に含まれる音声メッセージに「高知」又は「香川」という発話内容が含まれる場合に、条件が満たされることとなる。また、別の条件式900の例として、例えば、「被監視装置Aの警報音.wav」のように、音声ファイルが指定されてもよい。これによって、音声信号が、被監視装置Aから発せられる、既知の音声信号と同一である場合に、条件が満たされることとなる。出力音902、出力文字列904、背景色906、出力番号908、発生状態912は、映像信号の場合の例と同様である。
記憶部602は、上述したように、領域情報651、第1判定条件652、装置番号653を格納する。判定信号情報654、第2判定条件655については後述する。
第1判定部603は、被監視装置から入力される信号に含まれる情報が、監視者により、図7−9を通じて指定された条件(第1判定条件)を満たすかどうか判定する。第1判定部603は、入力される信号が映像信号である場合には、後述する映像信号取込部604を通じて、映像信号を取り込む。次に、第1判定部603は、取り込んだ映像のうち、領域情報651で特定された領域に含まれる文字又は色の情報を、後述する映像信号解析部605に取得させる。そして、第1判定部603は、第1判定条件652を参照し、条件が満たされるかを判定する。
一方、第1判定部603は、入力される信号が音声信号である場合には、後述する音声信号取込部606を通じて、音声信号を取り込む。次に、第1判定部603は、取り込んだ音声が表す音声の内容を、後述する音声信号解析部607に取得させる。そして、第1判定部603は、第1判定条件652を参照し、条件が満たされるかを判定する。あるいは、第1判定部603は、取り込んだ音声の音声波形(スペクトラム)と、第1判定条件652で指定された音声ファイルの音声波形とを比較し、条件が満たされるかを判定する。2つの音声波形を比較する技術は、既知であるため、ここでの説明は省略する。
第1判定部603は、ある条件が満たされると、図11の第1判定条件652のうち、「発生状態」の項目を、「1」に設定する。そして、後の判定の結果、当該条件が満たされなくなった場合には、「発生状態」の項目を、「0」に設定する。
映像信号取込部604は、被監視装置から送信される映像信号を取り込む。
映像信号解析部605は、映像信号を解析し、領域情報651の領域で特定される領域に含まれる文字又は色の情報を取得する。文字は、例えば、既知のOCR技術を用いて取得される。
音声信号取込部606は、被監視装置から送信される音声信号を取り込む。
音声信号解析部607は、音声信号を解析し、音声信号に含まれる音声メッセージの内容を取得する。音声メッセージの内容は、例えば、既知の音声認識技術を用いて取得される。
判定結果出力部608は、第1判定部603が、満たされると判定した条件に対応する出力音及び出力文字列を、モニタ130とスピーカ140に出力する。
判定信号送信部609は、第1判定部603が、満たされると判定した条件に対応する出力番号と、当該監視装置100Aの装置番号とを用いて、判定信号を構成する。そして、当該判定信号を、他の監視装置100Bに送信する。
判定信号の構成例を、図12に示す。図12(A)は、例えば、出力番号1、2の条件が満たされた場合に、他の監視装置100Bに送信される、判定信号の構成の例を表している。ここでは、監視者が、図9の画面を通じて設定した、当該監視装置100Aの装置番号「1」と、満たされている条件に対応する出力番号「1」、「2」が指定されている。
一方、第1判定部603のさらなる判定により、当該条件が満たされなくなった場合には、図12(B)に示されるように、「解除フラグ」が付された判定信号が、再度、他の監視装置100Bに送信される。ここでは、「解除フラグ」として、「1」という情報が含まれているが、どのような情報を「解除フラグ」として用いるかは、任意に定めることができる。
図13は、映像信号を取り込み、条件が満たされる場合にアラームを出力する監視装置100Aの処理を表すフローチャートである。図13に示される処理は、一定間隔おきに繰り返し実行される。
ステップS1301において、映像信号取込部604は、被監視装置から入力される映像信号を取り込む。
ステップS1302において、第1判定部603は、記憶部602の領域情報651を読み込む。
ステップS1303において、映像信号解析部605は、映像信号から、領域情報651によって指定された領域に含まれる情報を取得する。
ステップS1304において、第1判定部603は、記憶部602の第1判定条件652を読み込む。
ステップS1305において、第1判定条件652から読み込んだ条件の「発生状態」が「0」である場合(すなわち、その条件が満たされていない場合)、ステップS1306に進む。そして、第1判定部603は、ステップS1303で取得した文字列及び/又は色が、ステップS1304で読み込んだ条件を満たすかどうか判定する。
ステップS1306において、判定の結果、条件が満たされる場合には、ステップS1307に進み,第1判定条件652(図11)の「発生状態」の項目を「1」に設定する。
一方、ステップS1306において、判定の結果,条件が満たされない場合には、処理を終了する。
ステップS1308において、判定結果出力部608は、第1判定条件652(図11)で指定された出力音、出力文字列を、モニタ130及びスピーカ140に出力する。
ステップS1309において、判定信号送信部609は、第1判定条件652(図11)で指定された出力番号と、当該監視装置100Aの装置番号653とを含む、判定信号(図12(A))を構成し、当該判定信号を他の監視装置100Bに送信する。
一方、上述したステップS1305において、第1判定条件652から読み込んだ条件の「発生状態」が「1」である場合(すなわち、条件が満たされた状態である場合)、ステップS1310に進む。そして、第1判定部603は、ステップS1303で取得した文字列及び/又は色が、ステップS1304で読み込んだ条件を引き続き満たしているかどうか判定する。
ステップS1310において、判定の結果、条件が引き続き満たされている場合には、処理を終了する。
一方、ステップS1310において、判定の結果,条件が満たされなくなっている場合には、ステップS1311に進み,第1判定条件652(図11)の「発生状態」の項目を「0」に設定する。
ステップS1312において、判定結果出力部608は、第1判定条件652(図11)で指定された出力音、出力文字列の出力を停止する。
ステップS1313において、判定信号送信部609は、第1判定条件652(図11)で指定された出力番号と、当該監視装置100Aの装置番号653と、解除フラグを含む、判定信号(図12(B))を構成し、当該判定信号を他の監視装置100Bに送信する。
図14は、音声信号を取り込み、条件が満たされる場合にアラームを出力する監視装置100Aの処理を表すフローチャートである。図13に示される、映像信号を取り込む場合と異なり、音声信号取込部606が、音声信号を取り込む(ステップS1401)。ここで、第1判定部603は、領域情報651を読み込む必要がなく、音声信号解析部607は、音声信号から音声メッセージの内容を取得する(ステップS1402)。その後の処理は、図13で示した処理と同様である。
以上の処理によって、本発明の一実施形態における監視装置100Aは、既存の被監視装置が出力する映像又は音声信号を取り込み、これらの信号に含まれる情報が、監視者によって任意に設定された条件を満たす場合に、所定の情報を出力することができる。特に、監視者は、既存の被監視装置から出力される映像信号に対し、直感的なGUI画面を通じて、監視領域を設定し、所望の条件が満たされた場合に、所望のアラームを発生させることができる。これによって、被監視装置に対して如何なる改修を施すことなく、所望のアラームを発生させることができる。
<2.2 判定信号監視機能>
以上、被監視装置からの出力を取り込み、監視者によって設定された判定条件(第1判定条件)に基づいて、アラームを出力し、同時に、そのアラームの内容を表す判定信号を送信する、監視装置100Aの機能について説明した。以下では、このような監視装置100Aから送信された判定信号を受信し、判定信号の内容に対して設定された判定条件(第2判定条件)に基づいて、さらなるアラームを出力させることのできる、監視装置100Bの機能について説明する。
図16は、本監視装置100Bと、それぞれ被監視装置から映像信号を受信する、監視装置100Aとの接続構成を表す図である。ここでは、例として、4つの監視装置100A−1ないし100A−4を記載している。各監視装置100Aは、それぞれ監視者によって設定された第1判定条件652に応じて、アラームを出力するとともに、対応する判定信号を送信する。監視装置100Bは、この判定信号を受信して、さらなるアラームの出力を行うことができる。
本発明の一実施形態における監視装置100Bは、監視装置100Aが備える機能ブロックに加えて、さらに、判定信号受信部610と、第2判定部611を有する。また、既に説明した記憶部602は、さらに、判定信号情報654及び第2判定条件655を格納する。
上述した判定条件設定部601は、さらに、監視者からGUIを通じた第2判定条件についての設定を受け付け、その内容を記憶部602に格納する。監視者による設定の手順を図5に示す。当該手順について、具体的なGUIの例を挙げて説明する。
図17は、監視装置100Aから送信される判定信号を評価する条件式1600と、条件が満たされた場合に出力する出力音1602と、出力文字列1604と、背景色1606とを設定するGUI画面を表している(図5のステップS501、S502に対応)。図9のGUI画面と異なり、監視者は、異なる書式の条件式を用いて、条件を設定する。
ここで、監視者は、各監視装置100Aから送信される判定信号に含まれる装置番号及び出力番号により、条件式を記述する。論理演算の方法については図9の場合と同様である。図17において、条件式に含まれる「1−10」は、装置番号が「1」の開発装置の、出力番号「10」のアラームを表す。
条件が満たされた場合に音や文字列、背景色を出力する点は、図9で説明した例と同様である。なお、監視者は、図9の場合と異なり、出力番号及び装置番号を指定する必要はない。
判定条件設定部601は、図17のGUI画面を用いた、監視者による入力内容を認識し、これらの情報を、図18に例示される第2判定条件655に格納する。
図21は、図17で示した条件のうち、ID「1」、「2」の条件が満たされた場合に、上述した判定結果出力部608によって出力される画面の例を表している(図5のステップS503に対応)。また、画面と同時に、出力音に設定された「チャイムその1.wav」が出力され、その後、「チャイムその2.wav」が出力される。
判定信号受信部610は、他の監視装置100Aから送信される判定信号(構成は図12参照)を受信し、その内容を記憶部602の判定信号情報654に格納する。図19は、そのような判定信号情報654を格納するテーブルの例である。図19の例では、装置番号「1」の監視装置100Aから、出力番号「2、8、10」を含む判定信号を受け取ったことを表している。さらに、他の監視装置からも、判定信号を受信していることがわかる。
判定信号受信部610は、図12(A)に示されるように、条件が満たされた場合に送信される判定信号を受信すると、判定信号に含まれる装置番号と出力番号を、図19の判定信号情報654に格納する。一方、判定信号受信部610は、図12(B)に示されるように、条件が満たされなくなった場合に送信される判定信号を受信すると、図19に格納した対応する項目を削除する。
図22(A)−(C)は、そのような判定信号情報654の変化を表した図である。まず、当初、判定信号情報654は、図22(A)に示される通りであったとする。次に、判定信号受信部610が、「装置番号=3、出力番号=8」の判定信号を受信すると、図22(B)に示されるように、判定信号情報654が更新される。さらに、判定信号受信部610が、「装置番号=1、出力番号2、10、解除フラグ=1」の判定信号を受信すると、図22(C)に示されるように、対応する項目が削除される。
第2判定部611は、記憶部602に格納された判定信号情報654が、監視者により、図17を通じて指定された条件(第2判定条件)を満たすかどうか判定する。第2判定部611は、条件が満たされると、図18の第2判定条件655のうち、「発生状態」の項目を、「1」に設定する。そして、後の判定の結果、当該条件が満たされなくなった場合には、「発生状態」の項目を、「0」に設定する。
上述した判定結果出力部608は、さらに、第2判定部611が、満たされると判定した条件に対応する出力音及び出力文字列を、モニタ130とスピーカ140に出力する。
図20は、他の監視装置100Aから判定信号を受信し、条件が満たされる場合に、アラームを出力する監視装置100Bの処理を表すフローチャートである。
ステップS2001において、判定信号受信部610は、他の監視装置100Aから送信された判定信号を受信する。
ステップS2002において、判定信号受信部610は、受信した判定信号の内容を、判定信号情報654に格納する。ここで、判定信号が解除フラグを含む場合には、対応する項目を、判定信号情報654から削除する。
ステップS2003において、第2判定部611は、記憶部602の第2判定条件655を読み込む。
ステップS2004において、第2判定条件655から読み込んだ条件の「発生状態」が「0」である場合(すなわち、その条件が満たされていない場合)、ステップS2005に進む。そして、第2判定部611は、ステップS2002で更新した判定信号情報654が、ステップS2003で読み込んだ条件を満たすかどうか判定する。
ステップS2005において、判定の結果、条件が満たされる場合には、ステップS2006に進み、第2判定条件655(図18)の「発生状態」の項目を「1」に設定する。
一方、ステップS2005において、判定の結果,条件が満たされない場合には、処理を終了する。
ステップS2007において、判定結果出力部608は、第2判定条件655(図18)で指定された出力音、出力文字列を、モニタ130及びスピーカ140に出力し、処理を終了する。
一方、上述したステップS2004において、第2判定条件655から読み込んだ条件の「発生状態」が「1」である場合(すなわち、既に条件が満たされ、アラームが出力されている最中の条件が、継続して満たされている場合)、ステップS2008に進む。そして、第2判定部611は、ステップS2002で更新した判定信号情報654が、ステップS2003で読み込んだ条件を満たすかどうか判定する。
ステップS2008において、判定の結果、条件が引き続き満たされている場合には、処理を終了する。
一方、ステップS2008において、判定の結果,条件が満たされなくなっている場合には、ステップS2009に進み,第2判定条件655(図18)の「発生状態」の項目を「0」に設定する。
ステップS2010において、判定結果出力部608は、第2判定条件655(図18)で指定された出力音、出力文字列の出力を停止し、処理を終了する。
以上の処理によって、本発明の一実施形態における監視装置100Bは、被監視装置の出力を監視する、複数の監視装置100Aのアラーム発生状態に応じて、さらなるアラームを出力することができる。また、監視装置100Bは、複数の判定信号を入力可能なハードウェアである必要があるが、上述したように、監視装置100Aと監視装置100Bのハードウェアを同一とすることもできる。この場合、例えば、監視装置100Aと監視装置100Bの導入後、それらの必要数が変わったときに、これらのハードが同一であることにより、監視装置100Aと監視装置100Bとの間で流用が可能となる。
なお、上述した監視装置100Bのさらなる構成の例を図23、図24に示す。図23は、被監視装置から音声信号のみを取り込む監視装置100Aにより送信される判定信号を、監視装置100Bが受信する例を表している。また、図24は、判定信号を受信する監視装置100Bが、さらに、監視装置100Aと同様に、被監視装置等から直接映像を受信し、第1判定条件652に基づき、アラーム出力を行う例を表している。監視装置100Bの計算処理能力が充分高い場合には、このような構成も可能となる。
以上に述べた、本発明の一実施形態における監視装置100A、100Bの機能により、何者かに監視されることを想定して作られていない、すなわち、アラームを発する機能のない装置を含め、一般的な音声出力や画面出力を有しており、画面出力において、読むべき表示や色彩の位置が画面内で固定されている全ての装置を被監視装置として、被監視装置に改造を加えずに、アラームの発生条件を柔軟かつ統合的に設定して監視することができる。
また、本監視装置は、被監視装置の音声出力や画面出力を分配して利用するため、被監視装置本体と付属のモニタやスピーカが離れた位置にある場合に、被監視装置本体の近くに設置スペースがなくても、付属のモニタやスピーカの近くに設置することが可能であり、従って設置場所に柔軟性がある。
さらに、複数の異なる被監視装置や監視対象の画面出力や音声出力を統合的に監視して、被監視装置単体からは得られない複合的なアラームを発生させることができる。
<3.動作例>
以下では、本発明の一実施形態における監視装置100の動作の具体例を説明する。ここでは、被監視装置から送信される映像信号に対して判定を行い、アラーム及び判定信号を出力する監視装置100Aの例(以下の3.1節で説明)と、判定信号に対して判定を行い、アラームを出力する監視装置100Bの例(以下の3.2節で説明)とに分けて説明する。
<3.1 アラーム出力機能>
<被監視装置が動画タイトラーである場合の例>
まず、図25−28を用いて、本発明の一実施形態における監視装置100Aが、被監視装置「動画タイトラー」から出力される映像信号を監視する例について説明する。動画タイトラーとは、動画ファイルをHDDなどの記憶媒体に蓄積しておき、使用者が任意の動画を選択して映像として再生できる装置である。この装置は、図25に示すように、選択した動画のファイル名などを表示するGUI画面を出力するが、自らアラームを発する機能を有していない(図43の(5)に対応)。
このような、何者かに監視されることを想定して作られていない装置であっても、GUI画面を出力可能な装置であれば、本監視装置100Aによって、監視者にわかりやすくアラーム発生を伝えることができる。動画タイトラーのGUI画面について、図25の中に示した番号を用いて説明する。
−1:選択出来る動画ファイル一覧。ここから動画を選択する
−2:1で動画を選択した後、スタンバイボタンを押すと、動画がスタンバイされて再生準備状態となる
−3:スタンバイされた動画が表示される。スタンバイされた動画がないときは何も表示されない
−4:TAKEボタンを押すと、スタンバイされた動画が再生され、動画タイトラーに付属している映像・音声出力端子から出力される
図26は、本監視装置100Aにおいて、上記の動画タイトラーの出力する映像信号において、判定対象となる領域を指定するためのGUI画面(図7に対応)を示している。本監視装置100Aの映像信号取込部604は、被監視装置である動画タイトラーの画面を一定間隔で取り込んでいる。したがって、本監視装置100A上には、動画タイトラーの出力する画面と同じ画像が表示される。本監視装置100Aは、動画タイトラーの出力する画面全体を取り込んでいるため、動画タイトラー内に表示された時計やウィンドウもそのまま取り込まれる。
図26の中で指定された、領域a、b、cは、監視者が、本監視装置100Aの判定条件設定部601を通じて指定した領域である。既に説明したように、本監視装置100Aの映像信号解析部605は、これらの領域の内部の「文字列」及び/又は「色」を取得し、監視者によって指定された第1判定条件に従って、判定を行う。ここでは、以下のような領域情報が設定されたものとする。
−領域a:文字判定 OCRにより、取り込んだ画像の文字を読み取る
−領域b:色判定 取り込んだ画像の色を判定する
−領域c:文字判定 OCRにより、取り込んだ画像の文字を読み取る
このとき、監視者によってGUI画面に入力された情報の例を、図27に示す(図8のGUI画面に対応)。
なお、OCRでは、文字を誤認識する可能性があるが、一般に、PCの画面の文字を読み取る場合、手書き文字の認識に比べ、OCRの精度が良くなる。特に、動画タイトラーなどの監視対象や、被監視装置に使用されているフォントをOCRに指定すれば、誤認識の発生は実用上問題ない程度に低く抑えられる。
次に、監視者によってGUI画面に入力された第1判定条件の例を、図28に示す(図9のGUI画面に対応)。例えば、20時45分に「845OP」という動画を、7時45分に「745OP」という動画を再生する必要がある場合、動画タイトラーの操作者が、それぞれの動画を、再生予定時刻より前にスタンバイする。ここで、OSの時計が7時台であるときに「845OP」をスタンバイするなど、スタンバイする動画を間違えると、アラームを出力させる(図29)。これによって、スタンバイする動画の間違いを防ぐことができる。
このようにして、動画タイトラー自体を改修することなく、かつ、PC本体に何も手を加えずに、監視者の要望に簡単かつ柔軟に応えることができる。
<被監視装置がP波表示PCである場合の例>
次に、図30−33を用いて、本発明の一実施形態における監視装置100Aが、被監視装置「P波表示PC」から出力される映像信号を監視する例について説明する。P波表示PCとは、P波と呼ばれる、本格的な地震の直前に観測される弱い揺れの観測情報をもとに、震源、マグニチュード、各地の震度、到達予想を、刻々と動く図で表示するパソコンである。
P波表示PCの出力画面について、図30を参照し、図面中に示した数字を用いて説明する。
1:日本地図が表示される。
2:P波が観測された場合、震源地を中心にして、所定の色の円が広がっていく。円に塗りつぶされた場所は地震が到達したことを示し、リアルタイムに広がっていく
3:観測されたマグニチュードや震度が表示される。その大きさに応じて、マグニチュード、震度を表示する枠内の色が変わる
4:実際に地震が観測された地方と、各地方の震度が表示される。
P波表示PCは音による注意喚起を行わないが、マグニチュードや震度に応じて色が変化することで、アラームを発生可能な装置ともいえる(図43の(3)の例に対応)。
図31は、監視者が、本監視装置100Aを用いて、判定対象とする領域を指定するためのGUI画面を示している(図7に対応)。ここでは、図31の領域a、b、cが設定されたものとする。領域aは色判定、領域bは文字または色判定、領域cは色判定とする。領域情報の設定画面を図32に示す。
このとき、監視者は、図33に示すような条件式を用いて、第1判定条件を設定することで、四国近辺(条件式b{(松山)+(高知)+(徳島)+(高松)})の地震(c1)や、ある程度大きい地震が予測される場合(条件式a1)のみアラームを出力させるなど、所望のアラームを出力させることができる。図34は、「条件式b{(松山)+(高知)+(徳島)+(高松)}*c1」が満たされた場合に出力されるアラーム出力画面の例を表している。
<被監視装置が総合監視装置である場合の例>
次に、図35−36を用いて、本発明の一実施形態における監視装置100Aが、被監視装置である「統合監視装置」から出力される映像信号を監視する例について説明する。ここで説明する「統合監視装置」は、既に述べたように、図43(1)の態様で動作する装置である。
統合監視装置の出力画面について、図35を参照して説明する。当該画面には、通常、何も表示されず、アラームが発生した場合に、どの装置でどのようなアラームが発生したかが、予め決められた大きさの長方形で表示される。アラーム音の種類は1種類のビープ音で、アラームが発生すると、再生されるように構成されている。
図36は、本監視装置100Aにおいて、判定対象となる領域を決めるためのGUI画面の例(図7に対応)を表示している。図36において、色付きの枠で囲まれた部分は、「文字判定」、「色判定」、「文字+色判定」のいずれかの判定がなされる。画面出力された文字や色が、後に設定した条件に適合する場合に、アラームが出力される。
このように、本監視装置100Aの設定により、アラーム音を任意に設定することが可能となる。その結果、例えば、ある監視対象Aの故障が頻発しているような場合に、監視対象Aのアラーム発生に伴い、監視対象Aと接続された監視対象B〜監視対象Fでも「A装置と通信できない」というアラームが発生したとき、条件式を追加し、「A装置故障の可能性」という音声アラームを発生させるよう、事後的に設定することができる。そして、監視対象Aの故障が復旧した際には、当該の条件式を削除することができる。
このように、本監視装置100Aを用いて判定条件と出力アラームの設定を行うことにより、一時的に特定の機器を集中的に監視したい場合などに、都度アラーム発生の条件式を柔軟に設定することができる。また、総合監視装置導入後に、関連する監視機器が増え続けても、本監視装置100A上で設定を変更することにより、対応することができる。
なお、本実施例では、統合監視装置の画面例として、図35に示されるような例を挙げたが、例えば、図37(A)−(D)に例示されるように、色や文字でアラーム告知される場所が一定であれば、本発明を適用することができる。
<被監視装置がレーダー降雨量表示PCである場合の例>
次に、図38、39を用いて、本発明の一実施形態における監視装置100Aが、被監視装置である「レーダー降雨量表示PC」から出力される映像信号を監視する例について説明する。レーダー降雨量表示PCとは、図38に示すように、地図上において雨が観測された地点を、雨量の強さに応じて、青色から赤色まで異なる色で塗りつぶしていき、降雨量を表わす装置である。データは5分ごとに更新され、書き換えられる。レーダー降雨量表示PCは、アラームを発生する機能を有さない(すなわち、図43(5)の例に対応)。
図39は、本監視装置100Aにおいて、監視者が、判定対象とする領域を決めるためのGUI画面(図7に対応)を表している。例えば、領域a(色判定)を設定し、愛媛県、すなわち領域a内に青色が含まれることを条件として、「愛媛に雨が降り始めました」と音声アラームを出力させることができる。また、領域a内に赤色が含まれることを条件として、「愛媛に大雨が降り始めました」と音声アラームを出力させることができる。さらに、領域a内に青色又は赤色が含まれなくなったことを条件として「愛媛の雨はやみました」と音声アラームを出力させるようにしてもよい。このようにして、愛媛県に降雨があることを音声アラームで通知することが可能となる。
また、その他の例として、例えば九州のある場所に雨が降り出せば、四国も続いて雨になることが多いと経験によってわかった場合、その九州のある場所を監視装置の監視枠で囲い、四国に雨が降るという予測を示すアラーム音を発生させることも可能となる。
<3.2 判定信号監視機能>
次に、図40、図41を用いて、本発明の一実施形態における監視装置100Bが、被監視装置から出力される判定信号を監視する例について説明する。
図40の例では、二台の監視装置100A−1、100A−2が使用されており、被監視装置1は、上述した「P波表示PC」であり、被監視装置2は、「レーダー降雨量表示PC」である。
ここで、「P波表示PC」を監視する監視装置100A−1から、「愛媛で震度3以上の地震が確認された」ことを示す出力番号が出力され、同時に、「レーダー降雨量表示PC」を監視する監視装置100A−2から、「大雨が観測される愛媛県内の地域Aがある」ことを示す出力番号が出力されると、地震と大雨による複合的な災害への注意喚起として、本監視装置100Bにおいて、「A地方の土砂災害注意」と音声アラームを出力させることができる。
図41は、被監視装置の音声出力を監視装置100Aで監視する場合において、その被監視装置に、音声出力端子が無い場合の例を表している。被監視装置は、内部のスピーカからのみアラーム音を発生させるため、監視装置による遠隔からの監視や、被監視装置の総合監視装置への組み込みが不可能となっている。このような被監視装置に対し、本発明の監視装置100A、100Bを適用する例を、図41を使用して説明する。
例えば、外部のつまみで設定した温度を超えた場合に、温度に応じて装置本体から2種類の違うビープ音を発する「温度監視装置」(外部端子からの音声信号出力に非対応)が、監視室から離れた部屋に配置されているものとする。ここで、図41に示すように、周りを防音構成とした指向性の高いマイクを被監視装置の前に置き、マイクの出力を監視装置100Aへと送信させる。監視装置100A(音声信号取込部606)は、被監視装置から出力されるビープ音を取り込み、予め監視者によって設定された第1判定条件に従って、判定信号を、監視装置100Bへと送信する。ここで、判定信号に含まれる出力番号は、ビープ音ごとに、異なる値に設定される。
これにより、外部音声出力端子を備えておらず、離れた場所での監視を想定していない装置の出力する信号を、本監視装置100A及び100Bにより、監視することが可能になる。
以上のように、本発明の一実施形態における監視装置100Bにより、被監視装置の出力する信号に加えて、監視装置の出力するアラームの内容に応じて、さらに所望のアラームを出力することができる。これにより、既存の方法では、他の装置の改修等の要因によって困難であった、統合的な監視も可能となる。統合的な監視の例としては、機器ラック室などで冷房の温度や空調の状態を監視する必要がある場合に、温度が上がるとビープ音を発する機器と接続した監視装置100A−1と、既存の空調を監視する装置と接続した監視装置100A−2を、本監視装置100Bで統合的に監視することが考えられる。この場合、空調の異常はないが、温度が上がっているといった複合的な情報も得る事ができる。