JP3581566B2 - Monitoring system - Google Patents
Monitoring system Download PDFInfo
- Publication number
- JP3581566B2 JP3581566B2 JP16185898A JP16185898A JP3581566B2 JP 3581566 B2 JP3581566 B2 JP 3581566B2 JP 16185898 A JP16185898 A JP 16185898A JP 16185898 A JP16185898 A JP 16185898A JP 3581566 B2 JP3581566 B2 JP 3581566B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- video
- monitoring
- sensor
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Small-Scale Networks (AREA)
- Selective Calling Equipment (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、複数のセンサーと複数の監視カメラをネットワークに接続して配置し、それらから得られる異常検知情報と映像情報を利用して監視を行う監視システムに関する。
【0002】
【従来の技術】
センサーおよび監視カメラを利用した従来の監視システムとしては、例えば特開平9−74592号公報記載の借室遠方監視システムが挙げられる。このシステムでは、監視対象の借室にセンサーと監視カメラとが設置され、センサー情報や監視カメラで得られる映像情報が光専用線を介して中央の監視局に送信される。センサーが異常を検知した場合には、まず、その通知情報が光専用線を介して監視局に送られ、映像情報は別途監視局からの指示に応じて送信される。
【0003】
一方、複数の監視カメラの映像情報をネットワークを介して監視卓処理装置に転送し、表示装置で表示するシステムがある。このシステムでは、全ての監視カメラの映像情報がネットワークで転送される。
【0004】
【発明が解決しようとする課題】
複数の監視カメラの映像情報をネットワークを介して監視卓処理装置に転送する上記従来のシステムでは、ネットワークのトラヒック量の制限により、監視カメラの数が増加すると、トラヒックの輻輳により、監視卓処理装置に転送される映像情報(パケット)の遅延や廃棄が発生する。また、各監視カメラから転送する映像情報の量を小さく制限しなければならないため、異常検知個所の鮮明な映像を監視者に提供できなくなる。
【0005】
また、センサーの異常検知情報をネットワークを介して監視卓処理装置に転送する場合には、映像情報と同様に、異常検知情報に遅延や破棄が起りやすくなる。これにより、監視卓処理装置の監視者は、センサーの異常検知情報を速やかにかつ確実に知ることができなくなる。
【0006】
一方、上記の借室遠方監視システムの監視方法のように、映像情報の転送を監視局の指示に応じて行う場合には、センサーの異常検知情報がまず監視局に送られ、異常検知情報に応じて例えば監視局の監視者が異常発生個所の監視カメラに映像情報の転送の指示を出すことで、映像情報の転送が開始されることになる。このように、映像情報の表示までに時間のかかる複数の行程を経る必要があるため、監視者が速やかに異常発生個所の映像を確認することが難しい。
【0007】
そこで、本発明は、多くの監視カメラを用いる場合にも、異常発生個所に対応する映像情報をネットワークを介して速やかにかつ確実に転送して表示することのできる監視システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記課題を解決するため、本発明は、複数のセンサーと、それぞれ1つ以上の前記センサーに接続された複数のセンサー制御装置と、複数の監視カメラと、それぞれ前記監視カメラに接続された複数のカメラ制御装置と、表示装置に接続された監視卓処理装置と、前記センサー制御装置、カメラ制御装置、および、監視卓処理装置に接続されたネットワークとを有する監視システムにおいて、前記センサー制御装置は、接続されたセンサーが異常を検知した時、該検知を通知するためのアラーム情報を、前記ネットワークに送出する手段を有し、前記カメラ制御装置は、前記アラーム情報を受信する手段と、受信したアラーム情報を基に、自装置に接続された監視カメラに対応するセンサーで異常が検知されたか否かを判断するための手段と、対応するセンサーで異常が検知された場合に、自装置に接続された監視カメラの映像情報を前記ネットワークに送出する手段とを有し、前記監視卓処理装置は、前記カメラ制御装置から送出された映像情報を受信する手段と、受信した映像情報を前記表示装置に表示させるための制御手段とを有することを特徴とする監視システムを提供する。
【0009】
【発明の実施の形態】
以下、本発明の実施の形態に係る監視システムについて、図面を用いて説明する。
【0010】
図1は、本発明の実施の形態に係る監視システム1の全体構成を示した図である。図示のように、監視システム1は、監視用のビデオカメラ41〜44、カメラ制御装置31〜34、異常検知用のセンサー群61〜69、センサー制御装置51〜53、監視卓処理装置21、および、ネットワーク10を有する。
【0011】
監視卓処理装置21は、通信機能および映像表示機能を有するコンピュータであり、モニター(大型ディスプレイ)22、キーボード23、マウス24、および、ネットワーク10に接続される。
【0012】
各センサー61〜69は、ドアの異常開閉や異常発火等の異常を検出するものであり、通信機能を有するセンサー制御装置51〜53を介してネットワーク10に接続される。また、各センサー61〜69には、予め識別子が割振られている。
【0013】
ビデオカメラ41〜44は、監視位置の映像を表す映像データを生成するものであり、通信機能を有するカメラ制御装置31〜34を介してネットワーク10に接続される。各ビデオカメラ41〜44には、予め識別子が割振られている。
【0014】
ここで、各センサー61〜69と各ビデオカメラ41〜44とは、予め対応付けがなされている。例えば、センサー64があるドアの異常開閉を検出し、そのドア周辺をビデオカメラ43が撮影するといった対応関係がある。
【0015】
ネットワーク10としては、イーサーネットワークのようなローカルエリアネットワークを用いる。なお、ネットワーク上の複数の装置にパケットを同報できるブロードキャストあるいはマルチキャストを実施可能なものであれば、他の形態のネットワーク(例えば、ワイドエリアネットワーク)を用いてもよい。
【0016】
各カメラ制御装置31〜34には、接続されたビデオカメラに対応するセンサーの識別子を含む管理情報が予め設定されている。また、各カメラ制御装置31〜34は、転送する映像データの解像度(表示画素数)およびフレームレートを調整する帯域制御処理の機能を有する。
【0017】
次に、監視システム1の特徴的な動作の具体例を、図2を用いて説明する。なお、ここでは、センサー64の識別子がカメラ制御装置33のみに設定されているものとする。
【0018】
図2において、センサー64で異常が検知されると、センサー制御装置52は、センサー64の識別子を設定したパケット(以下、アラームパケット)14をネットワーク10にブロードキャストで送信する。このアラームパケット14は、各カメラ制御装置31〜34でそれぞれ受信される。
【0019】
カメラ制御装置33は、受信したアラームパケット14内のセンサー識別子と同じものが管理情報として設定されているため、カメラ43からの映像データおよび異常の内容を設定したパケット(以下、センサー連携映像パケット)15を、監視卓処理装置21に宛てて送信する。一方、他のカメラ制御装置31、32、34では、受信したセンサー識別子が設定されていないため、映像データの転送は行わない。
【0020】
送信されたセンサー連携映像パケット15は、監視卓処理装置21で受信され、センサー連携映像としてモニター22に自動的に表示される。
【0021】
各カメラ制御装置31〜34は、センサー群61〜69で異常が検知されないときにも、監視卓処理装置21からの要求に応じて、映像データを設定したパケット(以下、通常映像パケット)を監視卓処理装置21に転送する動作を行う。通常映像パケットの送信元のビデオカメラは、監視者により指定される。
【0022】
カメラ制御装置31、32、34は、監視卓処理装置21からの要求で通常映像パケットを転送している時に、上記のアラームパケット14を受信すると、帯域制御処理により、転送する映像データのデータ量を低減させる。一方、カメラ制御装置33は、通常映像パケットを転送している時に、アラームパケット14を受信すると、映像品質を向上させる帯域制御処理を行い、転送する映像データのデータ量を増加させる。
【0023】
なお、1つのセンサーに複数のビデオカメラを対応付けて、異常個所を複数のビデオカメラで多角的に監視することも可能である。
【0024】
以上のようのに、監視システム1では、異常検知時に、カメラ制御装置31〜34とセンサー制御装置51〜53とが連携して映像データの転送を行い、その映像データがモニター22に自動的に表示されるため、監視者が速やかに異常検知個所の映像を確認することができる。また、これにより、監視卓処理装置21の処理負荷が軽減され、ビデオカメラの選択ミスなどの誤動作も起らない。
【0025】
また、監視システム1では、通常、監視卓処理装置21により指定されたビデオカメラの映像パケットのみが転送され、さらに、異常検知時には異常個所に対応しない映像データが帯域制御処理によりデータ量を低減されるため、ネットワーク10の通信量に余裕が生じ、異常発生個所の映像データが高速かつ確実に監視卓処理装置21に転送されるようになる。
【0026】
次に、監視システム1の構成について、さらに詳しく説明する。
【0027】
図3に、カメラ制御装置3i(31〜34)のハードウェア構成を示す。各カメラ制御装置3iは、接続されたビデオカメラ4iを制御するカメラコントローラー301と、CPU302と、メモリ303と、ネットワーク接続コントローラー304と、これら各部を接続するバス305とを有する。
【0028】
図4に、センサー制御装置5i(51〜53)のハードウェア構成を示す。各センサー制御装置5iは、接続されたセンサー群6iの設定やセンサー6iからの異常検出信号を読み込むセンサーコントローラー501と、CPU502と、メモリ503と、ネットワーク接続コントローラー504と、これら各部を接続するバス505とを有する。
【0029】
図5に、監視卓処理装置21のハードウェア構成を示す。図示のように、監視卓処理装置21は、ネットワーク接続コントローラー201と、CPU202と、メモリ203と、キーボード23やマウス24等を制御するための入出力コントローラー204と、モニター22を制御するためのモニターコントローラー205と、これら各部を接続するバス206とを有する。なお、メモリ203に記憶するデータをハードディスク装置に保存し、監視卓処理装置21の起動時にハードディスク装置から転送するようにしてもよい。
【0030】
次に、各装置の機能構成について説明する。
【0031】
図6は、監視卓処理装置21のメモリ203に格納されているソフトウェアおよびテーブルのブロック構成を示した図である。このテーブルおよびソフトウェアは、CPU202によりアクセスおよび実行される。
【0032】
メモリ203には、外部との入出力機能を実現するソフトウェアとして、ネットワーク制御ドライバ211、通信管理モジュール212、および、入出力装置制御ドライバ213が格納されている。ここで、ネットワーク制御ドライバ211は、ネットワーク接続コントローラー201を制御してネットワーク10での通信を実施する。通信管理モジュール212はその通信の管理を行うものであり、指定された装置との間でパケットを転送する一対一通信と、ネットワーク上の全ての装置にパケットを転送するブロードキャスト通信とを実施することができる。入出力装置制御ドライバ213は、モニター22、キーボード23、マウス24等の制御を行う。
【0033】
また、メモリ203には、主要機能を実現するソフトウェアとして、監視ウィンドウ制御モジュール214と、映像/アラーム表示モジュール215とが格納されている。ここで、監視ウィンドウ制御モジュール214は、入出力装置制御ドライバ213からデータを受取り、送信キュー216を介して通信管理モジュール212にデータ送る動作を行う。映像/アラーム表示モジュール215は、受信キュー217を介して通信管理モジュール212からデータを受取り、入出力装置制御ドライバ213にデータを送る動作を行う。
【0034】
さらに、メモリ203には、監視ウィンドウの状態が設定される監視ウィンドウ状態管理テーブル218と、処理の分岐情報が設定される監視ウィンドウ状態遷移テーブル219と、システム全体の運用状態が設定される運用状態管理テーブル220と、異常検知により表示を停止状態とされた映像データを保持する退避映像バッファ221とが格納されている。
【0035】
図7は、カメラ制御装置3iのメモリ303に格納されているソフトウェアおよびテーブルの構成を示したブロック図である。このテーブルおよびソフトウェアは、CPU302によりアクセスおよび実行される。
【0036】
メモリ303には、入出力機能を実現するソフトウェアとして、ネットワーク制御ドライバ311と、通信管理モジュール312と、ビデオカメラ4iを制御するためのカメラ制御ドライバ313とが格納されている。
【0037】
また、メモリ303には、主要機能を実現するソフトウェアとして、カメラ制御モジュール314と、映像送信モジュール315とが格納されている。ここで、カメラ制御モジュール314は、受信キュー316を介して通信管理モジュール312からデータを受取り、カメラ制御ドライバ313に制御データを送る動作を行う。映像送信モジュール315は、カメラ制御ドライバ313から映像データを受取り、送信キュー317を介して通信管理モジュール312にデータを送る動作を行う。
【0038】
また、メモリ303には、管理用のテーブルとして、解像度やフレームレート値等のビデオカメラの状態が設定されるカメラ状態管理テーブル318と、センサに連携した動作を可能にする、センサーIDを含む管理情報が設定される連携センサー管理テーブル319とが格納されている。
【0039】
図8は、センサー制御装置5iのメモリ503内に格納されているソフトウェアおよびテーブルのブロック構成を示した図である。このテーブルおよびソフトウェアは、CPU502によりアクセスおよび実行される。
【0040】
メモリ503には、入出力機能を実現するソフトウェアとして、ネットワーク制御ドライバ511と、通信管理モジュール512と、センサー6iを制御するためのセンサー制御ドライバ513とが格納されている。また、主要機能を実現するソフトウェアとして、センサー制御モジュール514と、アラーム送信モジュール515とが格納されている。ここで、センサー制御モジュール514は、受信キュー516を介して通信管理モジュール512から受信データを受取ると共に、センサー制御ドライバ513に制御データを送る動作を行う。アラーム送信モジュール515は、センサー制御ドライバ513から検出データを受取り、送信キュー517を介して通信管理モジュール512にデータを送る。さらに、メモリ503には、センサーが異常を検出した時、送信するアラームパケットに設定する各種情報が設定されるメッセージ管理テーブル518が格納されている。
【0041】
次に、監視システム1の動作について、フローチャートを用いて説明する。
【0042】
監視システム1の動作は、システム運用開始時の動作、監視者の指定したビデオカメラの映像を表示する通常運用時の動作、センサーによる異常検知時の動作、検知した異常への対処が完了し通常運用に回復する場合の動作、および、システム運用終了時の動作に分けることができる。
【0043】
(1)システム運用開始時の動作
監視システム1は、監視卓処理装置21の起動により、運用を開始される。監視卓処理装置21が起動されると、まず、監視ウィンドウ制御モジュール214が起動されて、図9に示すフローの処理が実行される。
【0044】
図9において、監視ウィンドウ制御モジュール214は、まず、監視卓処理装置21内のテーブル群218〜220や退避バッファ221の内容を初期化した後(処理701)、基本ウィンドウをモニター22に表示し(処理702)、メニュー入力待ち状態となる(処理703)。ここで、基本ウィンドウは、図11に示すように、上部に「開始」と「終了」のメニューを表示する画面である。このメニューは、監視者がマウス24を用いて指定することができる。メニューが指定されると、監視ウィンドウ制御モジュール214は、その内容をチェックする(処理704)。指定されたのが「開始」である場合は、運用状態管理テーブル220内の運用状態をチェックし(処理707)、運用状態が運用中である場合はエラー表示を行い(処理708)、メニュー入力待ち状態となる。運用状態が初期状態なら、ネットワーク上に分散しているカメラ群41〜44およびセンサー群61〜69を一斉に立ち上げるために、運用開始パケットを作成して、送信キュー216に入力すると共に、そのブロードキャストを通信管理モジュール212に依頼する(処理709)。
【0045】
ここで、監視システム1内の各装置21、3i、5i間で送受信されるパケットは、図18に示すように、ヘッダ部71〜74と、データ部75とからなる。ヘッダ部は、パケットの種別を示すトランザクションコード(以後、TCD)の設定エリア71と、送信元装置のアドレスSAの設定エリア72と、送信先装置のアドレスDAの設定エリア73と、データ部75のデータ長Lの設定エリア74とからなる。
【0046】
各装置のアドレスとしては、監視システム1において予め割り振られたアドレスが用いられる。また、ブロードキャストは、送信先アドレスDAとして予め定めた値(例えば“0”)を設定することによりなされる。監視卓処理装置21、カメラ制御装置3i、センサー制御装置5iの各通信管理モジュールは、上位のモジュール(215、314、514)の受信要求に応じてパケットの受信を行う。そして、受信要求で指定されたTCDを持つ受信パケットのみを上位のモジュールに渡す。
【0047】
監理卓処理装置21で生成された上記の運用開始パケットは、運用開始パケットであることを示すTCDと、ブロードキャストを指定する送信先アドレスとを設定された後、ネットワーク制御ドライバ211を経由してネットワーク10上でブロードキャストされる。そして、全てのカメラ制御装置3iおよびセンサー制御装置5iで受信される。
【0048】
カメラ制御装置3iで受信されたパケットは、通信管理モジュール312を介してカメラ制御モジュール314に渡される。センサー制御装置5iで受信されたパケットは、ネットワーク制御ドライバ511を介してセンサー制御モジュール514に渡される。
【0049】
図19は、カメラ制御装置3i内のカメラ制御モジュール314の処理フローである。カメラ制御モジュール31は、起動されると、通信管理モジュール312にパケット受信要求を出し、パケット受信待ち状態となる(処理801)。この状態で運用開始パケットが受信されると、そのパケットを受取り、TCDをチェックする(処理802)。そして、TCDから運用開始パケットであることが判ると、ビデオカメラをパワーオンし(処理803)、再びパケット受信待ち状態となる。
【0050】
図21は、センサー制御装置5i内のセンサー制御モジュール514の処理フロー図である。センサー制御モジュール514は、起動されると、通信管理モジュール512にパケット受信要求を出し、パケット受信待ち状態となる(処理901)。この状態で運用開始パケットが受信されると、そのパケットを取得し、TCDをチェックする(処理902)。そして、運用開始パケットであることが判ると、接続されている全てのセンサーを異常検知が可能なセット状態とし(処理903)、再びパケット受信待ち状態となる。
【0051】
以上の動作により、全てのセンサー61〜69およびビデオカメラ41〜44が動作状態とされる。
【0052】
(2)通常運用時の動作
運用開始パケットをブロードキャストした後、監視ウィンドウ制御モジュール214は、図12に示すように、基本ウィンドウ231の内部に複数の監視ウィンドウ241〜246を表示する(図9の処理710)。続いて、監視ウィンドウ状態管理テーブル218を初期化した後(処理711)、監視ウィンドウ241〜246および基本ウィンドウ231におけるメニューの入力待ち状態となる(処理712)。
【0053】
各監視ウィンドウ241〜246は、図13に示すように、上部にメニューとして、モニターすべきカメラを指定するための「カメラ指定」2401と、表示映像を異常検知個所の映像から元の映像に回復させるよう指示するための「映像回復」2402とが表示される。また、下部には検知した異常の内容を示すアラームメッセージの表示エリア2403が設けられ、中央には監視カメラからの映像データの表示エリア2404が設けられている。
【0054】
監視ウィンドウ状態管理テーブル218は、図15に示すように、監視ウィンドウ241〜246のそれぞれに対応するエントリー2181〜2186を有する。各エントリーは、対応する監視ウィンドウの状態が設定される状態フィールド2187と、同監視ウィンドウの映像表示状態が設定される表示映像情報フィールド2188とからなる。
【0055】
ここで、状態フィールド2187に設定される状態としては、映像を表示していないNull状態と、監視者より指定されたビデオカメラの映像を表示しているマニュアル状態と、センサーの異常検知に応じて異常個所の映像を表示しているセンサー連携状態とがある。
【0056】
表示映像情報フィールド2188は、図16に示すように、現在表示している映像について、映像データの生成元のカメラIDの設定フィールド2189と、解像度の設定フィールド2190と、フレームレートの設定フィールド2191と、センサー連携映像を表示する場合のセンサーIDの設定フィールド2192とを有する。
【0057】
さらに、表示映像情報フィールド2188は、退避映像を管理するためのフィールド2193〜2196を有する。ここで、退避映像とは、マニュアル状態で表示される映像の内、センサー連携映像の表示により表示を中断されている映像のことである。フィールド2193〜2196には、それぞれ、退避映像の有無を示すフラグ、カメラID、解像度、フレームレート値がそれぞれ設定される。
【0058】
上記の処理712(図9)のメニュー入力待ち状態において、監視者がメニューを指定すると、監視ウィンドウ制御モジュール214は、指定されたメニューが基本ウィンドウ内のメニューであるか否かをチェックする(処理713)。基本ウィンドウのメニューが指示された場合は処理704に戻り、指示内容に応じた処理を実施する。一方、監視ウィンドウ内のメニューが指示された場合は、監視ウィンドウ状態管理テーブル218を参照して、その監視ウィンドウの表示状態を取得する(処理714)。そして、指定されたメニューと取得した表示状態とを用いて、監視ウィンドウ状態遷移テーブル219で分岐先の処理を検索する(処理715)。
【0059】
監視ウィンドウ状態遷移テーブルは、図17に示すように、監視ウィンドウの状態と指定メニューとにより分岐先の処理が定まる構成を有する。分岐先の処理としては、表示映像を現状から別のカメラの映像に切り替えるための切替え処理と、表示映像をセンサー連携映像から異常検知前の対象の映像に戻すための回復処理と、不正な指示に対処するためのエラー処理とが設定されている。
【0060】
なお、切替え処理では、切替え元および切替え先のビデオカメラに関するデータの指定を受けて、表示する映像データの生成元のカメラを切替える。ただし、切替え先のカメラが指定されない場合には、現在の映像表示を停止させる。
【0061】
ここで、何も表示されていない状態(Null状態)の監視ウィンドウにおいて、監視者が「カメラ指定」を指示したとする。この場合には、図9の処理715において、監視ウィンドウ状態遷移テーブル219より切替え処理が選択され、カメラ選択ウィンドウを表示する(処理716)。
【0062】
このカメラ選択ウィンドウは、図14に示すように、カメラIDの入力エリア2405と、解像度の入力エリア2406と、フレームレートの入力エリア2407とを有する。監視者は、マウス24およびキーボード23を使って、これらエリアに値を入力してゆき、OKボタン2408を押して入力を完了する。
【0063】
カメラ選択ウィンドウの入力が完了すると、監視ウィンドウ制御モジュール214は、監視ウィンドウ状態管理テーブル218内の対応するエントリーにおいて、状態フィールド2187にマニュアル状態を設定し、また、フィールド2189、2190、2191に、それぞれ、カメラ選択ウィンドウで入力されたカメラID、解像度、フレームレートの各値を設定する(処理717)。そして、カメラ切替えパケットを作成し、通信管理モジュール212にブロードキャストを依頼する(処理718)。これにより、カメラ切替えパケットを示すTCDが設定されたカメラ切替えパケットが送信され、各カメラ制御装置31〜34で受信される。
【0064】
カメラ切替えパケットのデータ部75は、図23に示すように、現在の表示映像の生成元のカメラIDの設定エリア81と、新たに表示映像の生成元とするカメラのカメラIDの設定エリア82と、解像度の設定エリア83と、フレームレートの設定エリア84とを有する。
【0065】
上述の処理718で生成されたカメラ切替えパケットは、表示なしの状態からカメラを指定するものであるため、切替え元のカメラIDのエリア81には指定無しを意味する“0”が設定され、切替え先カメラID、解像度、および、フレームレートのエリア82〜84には、処理716で監視者が入力した値がそれぞれ設定される。
【0066】
なお、上記処理715において、監視ウィンドウ状態遷移テーブル219からエラー処理が選択された場合は、メニュー指示の誤りを示すパケットをモニター22上に表示して(処理719)、再びメニュー入力待ち状態になる。
【0067】
さて、ネットワーク10にブロードキャストされたカメラ切替えパケットは、全てのカメラ制御装置31〜34で受信され、それらの通信管理モジュール312を介して、カメラ制御モジュール314に渡され、図19の処理801、802の処理を受ける。TCDからカメラ切替えパケットであることが判るため、データ部75中のエリア81または82に、自カメラ制御装置3iに接続されたビデオカメラのIDと同じIDが設定されているか否かをチェックする(処理804)。いずれのエリアにも設定されていない場合は、自カメラ制御装置3iに関係のないものであるため、受信パケットを廃棄し(処理805)、再びパケット受信待ち状態となる。
【0068】
接続されたビデオカメラと同じIDが設定されている場合には、切替え先か、切替え元かをチェックする(処理806)。そして、切替え元に設定されている場合は、そのビデオカメラの映像データの送信を停止するため、そのビデオカメラにコマンドを送って動作を停止し(処理807)、カメラ状態管理テーブル318の内容を更新する(処理808)。
【0069】
カメラ状態管理テーブルは、図24に示すように、接続されているビデオカメラの動作状態の設定エリア3181と、映像データの転送先となる監視卓処理装置のアドレスの設定エリア3182と、解像度の設定エリア3183と、フレームレートの設定エリア3184と、センサーと連携して映像を転送している場合のそのセンサーIDの設定エリア3185と、アラームメッセージおよびそのデータサイズの設定エリア3186、3187と、センサー連携以前に映像を転送していた場合の解像度およびフレームレートの設定エリア3188、3189とを有する。
【0070】
ここで、動作状態エリア3181に設定される状態としては、映像を転送していない状態であるOFF状態と、監視者の指示により映像を転送している状態であるマニュアル状態と、センサーの異常検知に連携して映像を転送している状態であるセンサー連携状態と、他の制御装置がセンサー連携状態の時に、自らの解像度やフレームレートを落としてトラフィックを制限している状態である帯域抑制状態とがある。
【0071】
上記の処理807でビデオカメラの停止を行った後には、カメラ状態管理テーブル318の状態フィールド3181にOFF状態が設定する(処理808)。
【0072】
さて、上記の処理806において、切替え先のカメラIDが自制御装置3iのビデオカメラのIDと同じ場合は、まず、カメラ切替えパケット内の解像度およびフレームレートを取込み(処理809)、これら情報をカメラ制御ドライバ313を介してビデオカメラに設定する(処理810)。そして、カメラ状態制御管理テーブル318の状態フィールド3181にマニュアル状態を設定し、フィールド3182、3183、3184に、それぞれ、カメラ切替えパケット内の送信元アドレス(監視卓処理装置21のアドレス)、解像度、フレームレートを設定して(処理811)、再びパケット受信待ち状態となる。
【0073】
上記の処理810で設定をなされたビデオカメラは、撮像映像の映像データを、指定された解像度およびフレームレートでカメラ制御装置3iに出力し始める。そして、カメラ制御装置3i内の映像送信モジュール215は、入力される映像データを設定したパケットをネットワーク10を介して監視卓処理装置21に転送し始める。
【0074】
図20は、カメラ制御装置3i内の映像送信モジュール215の処理フローである。この映像送信モジュール215は、起動されると、カメラ制御ドライバ313からの割込み待ち状態となる(処理851)。ビデオカメラが映像データの出力を開始すると、その映像データと割込み信号とをカメラ制御ドライバ313から渡される。そして、渡された映像データをフレーム単位に取込み(処理852)、続いて、カメラ状態管理テーブル318内の動作状態フィールド3181を参照して現在の状態をチェックする(処理854)。状態がマニュアル状態の場合は、フレームデータを設定した通常映像パケットを作成し、通信管理モジュール312にパケット転送を依頼する(処理856)。これにより、通常映像パケットであることを示すTCDと、送信先アドレスとして監視卓処理装置21のアドレスが設定された通常映像パケットの転送が開始される。
【0075】
ここで、通常映像パケットのデータ部75は、図25に示すように、送信元カメラのIDの設定エリア85と、フレームレートの設定エリア86と、映像フレームデータ本体のデータサイズの設定エリア87と、映像フレームデータの設定エリア88とからなる。この通常映像パケットは、上記のフレームレートを満足するように、カメラ制御装置3iから監視卓処理装置21に転送される。
【0076】
図10は、監視卓処理装置21内の映像/アラーム表示モジュール215の処理フローである。映像/アラーム表示モジュール215は、起動されると、パケット受信待ち状態となる(処理751)。この状態で上記の通常映像パケットが受信されると、通信管理モジュール212の割込みを受け、受信パケットのTCDをチェックする(処理752)。通常映像パケットが受信されたことがわかると、その映像を監視ウィンドウに表示するための処理を開始する。まず、受信した通常映像パケットのカメラIDフィールド85から送信元カメラのIDを取出し(処理753)、次に監視ウィンドウ状態管理テーブル218において、上記取出したカメラIDと同じIDをフィールド2189に設定しているエントリーを探す(処理754)。一致するエントリがあれば、対応するウィンドウの番号と受信パケット内のフレームデータとを入出力制御装置ドライバ213に渡し、モニター22への映像出力を依頼する(処理755)。これにより、通常映像の一つのフレームが監視ウィンドウに表示される。そして、上記フレームレートを満足するように通常映像パケットが順次受信され、上記の処理751〜755が繰り返されることにより、映像データが監視ウィンドウにリアルタイムに表示される。
【0077】
以上のようにして、監視者が監視卓処理装置21で指定したビデオカメラの映像がモニター22の監視ウィンドウに表示されるようになる。
【0078】
(3)センサー異常検知時の動作
図22は、異常検知時のアラーム送信モジュール515の処理フローである。センサーで異常が検知されると、そのセンサーに接続されたセンサー制御装置5i内のアラーム送信モジュール515が起動される。起動されたアラーム送信モジュール515は、まず、異常を検知したセンサーに対応するエントリをメッセージ管理テーブル518で検索し、取得する(処理951)。メッセージ管理テーブル518は、接続されたそれぞれのセンサーについて、センサーIDと、アラームメッセージ(例えば「ドア異常開閉発生」等の文字情報)と、アラームメッセージのデータサイズとからなるエントリを有する。続いて、アラーム送信モジュール515は、取得したエントリを用いてアラームパケットを作成し(処理952)、通信管理モジュール512にそのブロードキャストを依頼する。これにより、アラームパケットがネットワーク10上でブロードキャストされる。
【0079】
アラームパケットのデータ部75は、図26に示すように、異常を検知したセンサーのセンサーIDの設定エリア91と、アラームメッセージの設定エリア93と、アラームメッセージのデータサイズの設定エリア92とを有する。
【0080】
ネットワーク10上にブロードキャストされたアラームパケットは、全てのカメラ制御装置31〜34で受信され、カメラ制御モジュール314に渡される。
【0081】
図19において、カメラ制御モジュール314は、アラームパケットが受信されると(処理801)、そのTCDからアラームパケットであると判定し(処理802)、連携センサー管理テーブル319内のデータにアクセスする(処理812)。
【0082】
連携センサー管理テーブル319は、図27に示すように、連携して映像転送を行う必要のあるセンサーのIDが設定されるエリア3191と、そのセンサーの異常検知に応じて転送すべき映像データの解像度およびフレームレートがそれぞれ設定されるエリア3192、3193とからなるエントリを有する。ここで、エリア3192および3193の解像度およびフレームレートは、より詳細な映像表示を可能とするため、通常よりも高解像度、高フレームレートとなる値に予め設定されている。
【0083】
そして、カメラ制御モジュール314は、受信したアラームパケット内のセンサーIDと同じものが連携センサー管理テーブル319に設定されているか否かをチェックすることで、転送センサ連携映像パケットの送信を開始するか否かを判断する(処理813)。同じセンサーIDが設定されている場合には送信を開始すると判断し、続いて、現在、通常映像パケットの送信を行っているか否かをチェックする(処理814)。送信中である場合には、転送する映像データの品質を高める帯域制御処理を行う。
【0084】
この帯域制御処理では、まず、カメラ状態管理テーブル318のエリア3183、3184に設定されている現在転送中の映像の解像度およびフレームレートを、エリア3188および3189に設定(退避)する(処理815)。続いて、連携センサー管理テーブル319の解像度およびフレームレートをビデオカメラに設定する(処理816)。そして、同じ解像度とフレームレートをカメラ状態管理テーブル318のフィールド3183、3184にも設定し、さらに、受信したアラームパケット内のセンサーID、アラームメッセージ、そのサイズを、フィールド3184、3187、3186にそれぞれ設定し、動作状態フィールド3181にセンサー連携状態を設定してから(処理817)、パケット待ち状態となる。なお、上記の処理814の判定で映像転送中でない場合には、上記の処理815は実行されずに、処理816および817が実行される。
【0085】
これにより、ビデオカメラからは、解像度およびフレームレートを高められた、データ量の多い映像データが出力されるようになる。
【0086】
一方、異常を検知したセンサーと連携しないカメラ制御装置は、上記の処理813でセンサー連携映像パケットの送信が必要ないと判断する。続いて、カメラ制御モジュール314は、カメラ状態管理テーブル318のフィールド3181に設定された動作状態をチェックして、通常映像パケットを送信中であるか否かを調べる(処理818)。動作状態がOFF状態の場合には送信中でないため、そのままパケット受信待ち状態となる。動作状態がマニュアル状態の場合には、通常映像パケットを送信中であるため、他のカメラ制御装置によるセンサー連携映像パケットの転送と表示が滞りなく実施されるように、転送する映像データの解像度およびフレームレートを低減する帯域制御処理を実施する。
【0087】
この帯域制御処理では、まず、カメラ状態管理テーブル318において、現状転送中の映像の解像度およびフレームレートをそれぞれ退避フィールド3188、3189に設定し(処理819)、より小さい解像度およびフレームレートをビデオカメラに設定する(処理820)。この時、解像度およびフレームレートは、例えば、通常運用時の1/2とされる。続いて、同じ解像度およびフレームレートをカメラ状態管理テーブル318のフィールド3182および3183に設定し、さらに、受信したセンサーIDをフィールド3184に設定し、動作状態フィールド3181に帯域抑制状態を設定する(処理821)。そして、パケット待ち状態となる。
【0088】
これにより、ビデオカメラからは、解像度およびフレームレートを低減された、データ量の少ない映像データが出力されるようになる。なお、上記の帯域制御処理において、通常映像パケットの送出自体を停止するようにしてもよい。
【0089】
アラームパケットの受信により、カメラ制御装置の動作状態がOFF状態からセンサー連携状態に移行すると、ビデオカメラの映像データの出力が開始される。これにより、映像送信モジュール315は、図20の処理851〜854を実行する。そして、動作状態がセンサー連携状態であるため、取り込んだフレームデータを設定したセンサー連携映像パケットを作成し(処理857)、監視卓処理装置21への送信を通信管理モジュール312に依頼する。これにより、センサー連携映像パケットであることを示すTCDの設定されたセンサー連携映像パケットの監視卓処理装置21への転送が開始される。
【0090】
センサー連携映像パケットのデータ部75は、図28に示すように、通常映像パケット(図25)が有するエリアに加え、連携するセンサーのIDが設定されるエリア101と、アラームメッセージが設定されるエリア103と、アラームメッセージのデータサイズが設定されるエリア103とを有する。これらエリア101〜106には、カメラ状態管理テーブル318のフィールド3183〜3187に設定されているデータが設定される。
【0091】
動作状態がマニュアル状態からセンサー連携状態に移行する場合には、送信するパケットが通常映像パケットからセンサー連携映像パケットに変り、より映像品質の高い映像データが転送されるようになる。
【0092】
以上のようにして、異常を検知したセンサーに対応するビデオカメラの映像データがセンサー連携映像パケットにより、管理卓処理装置21に転送されるようになる。
【0093】
図10において、センサー連携映パケットが受信されると、監視卓処理装置21内の映像/アラーム表示モジュール215は、処理752において、TCDよりセンサー連携映パケットであると判断する。続いて、監視ウィンドウ状態管理テーブル219の状態フィールド2187を先頭から順次チェックし、現在表示を行っていないNull状態の監視ウィンドウ(空きウィンドウ)を探す。Null状態の監視ウィンドウが見つかった場合には、同じエントリの表示映像情報フィールド3188内のフィールド2192、2189、2190、2191に、受信したセンサー連携映像パケット内の連携センサーID、カメラID、解像度、および、フレームレートを設定する(処理760)。以降、このエントリの監視ウィンドウは、アラーム用として使用されることになる。続いて、センサー連携映像パケット内のアラームメッセージおよびフレームデータを入出力装置制御ドライバ213に渡して、アラーム用の監視ウィンドウ(図13)内のアラームメッセージ表示エリア2403および映像表示エリア2404にそれぞれ表示させる(処理761、762)。この表示により監視者は、発生した異常の内容と、異常個所の映像とを得ることができる。
【0094】
上記の処理759で空きウィンドウがない場合、映像/アラーム表示モジュール215は、図10の通常映像退避処理(処理763)を実行する。具体的には、まず、監視ウィンドウ状態管理テーブル218の状態フィールド2187を先頭から順次チェックし、マニュアル状態のエントリーを探す。そして、見つけたエントリーの表示映像情報フィールド3188において、フィールド2189〜2191のカメラID、解像度、および、フレームレートを、退避用のフィールド2194〜2194にそれぞれ設定し、フィールド2194に退避映像有りを設定する。そして、フィールド2189〜2192に対しては、上記の処理760と同様に、受信したセンサー連携映像パケットを用いた設定を行う。続いて、処理761および762が実行されることにより、監視ウィンドウには、受信したセンサー連携映像パケットに対応した表示がなされる。
【0095】
これにより、監視者は、監視ウィンドウ241〜246の全てに通常映像を表示している場合にも、異常が発生すると、異常の発生と、異常検知個所の映像を速やかに知ることができる。
【0096】
一方、上記の通常映像退避処理763により退避の対象となった通常映像パケットを受信した場合、映像/アラーム表示モジュール215は、図10の処理756〜757を実行し、そのフレームデータを退避映像バッファ221に書き込む動作を行う。なお、退避映像バッファ221に複数フレーム分の記憶容量を設け、複数の個所での異常の検知に対応するようにしてもよい。
【0097】
映像/アラーム表示モジュール215は、通常映像パケットが受信されると、まず、監視ウィンドウ状態管理テーブル220の各エントリのフィールド2194をチェックし、受信した通常映像パケット内の送信元カメラIDと同じIDが設定されているエントリーを探す(処理756)。同じIDが設定されたエントリーがある場合、受信したフレームデータを退避映像バッファ221に書き込み(処理757)、受信待ち状態となる。同じIDが設定されたエントリーが無い場合には、受信パケットを廃棄し(処理758)、受信待ち状態となる。なお、上記の処理757では、後でカメラIDを使って対象のフレームデータの記憶位置が見つかるように、記憶するフレームデータの先頭にその送信元のカメラのIDを付加して書き込むようにする。
【0098】
(4)通常運用への回復時の動作
監視者は、センサー連携映像を表示している監視ウィンドウのメニューで「回復」を指定することで、回復動作の開始を指示する。監視ウィンドウ内の「回復」が指定されると、監視卓処理装置21内の監視ウィンドウ制御モジュール214は、図9の処理712、713、714を経て、処理715を実行する。この時、監視ウィンドウの状態がセンサー連携状態で、指示が「回復」なので、監視ウィンドウ状態遷移テーブル219(図17)より回復処理が選択され、実行される。
【0099】
回復処理では、まず、監視ウィンドウ状態管理テーブル218において、指定がなされた監視ウィンドウのエントリを探し、そのフィールド2193から退避映像の有無をチェックする(処理720)。退避映像があれば、同じエントリ内のフィールド2189〜2192の設定を消去し、そこに、退避用のフィールド2194〜2196のカメラID、解像度、フレームレートを新たに設定する。そして、状態フィールド2187に通常状態を設定し、フィールド2193に退避映像無しを設定する(処理721)。続いて、新たに設定したカメラIDを用いて、退避映像バッファ221で、対応する最新の通常映像フレームデータを検索し、そのフレームデータを入出力装置制御ドライバ213に渡し、モニター22への表示を依頼する(処理722)。これにより、静止映像ではあるが、「回復」指示とほぼ同時に、センサー連携映像の表示以前に監視していた位置の最新の映像が表示されることになる。すなわち、監視者は、素早く通常の運用に戻ることができる。
【0100】
上記の処理720において退避映像が無い場合は、上記エントリの表示映像情報フィールド2188内のカメラID、解像度、フレームレート、および、連携センサーIDを消去する。そして、監視ウィンドウ状態管理テーブルの状態フィールド2187にNull状態を設定し(処理724)、センサー連携映像を表示していた監視ウィンドウの初期化を行う(処理725)。
【0101】
処理722および725の後、監視ウィンドウ制御モジュール214は、アラーム回復パケットを送信する処理を行う(処理723)。この処理では、まず、上記の処理722で消去した設定を用いてアラーム回復パケットを作成する。ここで、アラーム回復パケットのデータ部は、図29に示すように、連携動作を行ったカメラIDの設定エリア111と、連携センサーIDの設定エリア112とを有する。そして、監視ウィンドウ制御モジュール214は、通信管理モジュール214にブロードキャストを依頼し(処理723)、メニュー入力待ち状態となる。これにより、アラーム回復パケットがブロードキャストで送信される。
【0102】
カメラ制御装置内のカメラ制御モジュール314は、アラーム回復パケットを受信すると、図19の処理801、802を経て、処理822に進み、カメラ状態管理テーブル318(図24)内のフィールド3181で現在の動作状態を調べる。
【0103】
動作状態がOFF状態の場合は、そのままパケット受信待ち状態となる。動作状態が帯域抑制状態の場合は、フィールド3188および3189に退避していた解像度およびフレームレートを、フィールド3183および3184に再設定し(処理823)、同じ値をビデオカメラに再設定して(処理824)、パケット受信待ち状態となる。これにより、ビデオカメラからは帯域抑制前の解像度およびフレームレートで映像情報が出力されるようになる。そして、カメラ制御装置の映像送信モジュール315では、その映像データを設定した通常映像パケットを監視卓処理装置21に転送する動作が行われる。
【0104】
上記の処理822において、動作状態がセンサー連携状態であった場合、カメラ制御モジュール314は、カメラ状態管理テーブル318のフィールド3188、3189に退避映像に関する情報が設定されているか否かをチェックする(処理825)。有効な設定が無い場合(即ち初期値“0”が設定されている場合)は、センサー連携の前に通常映像パケットの送信を行っていなかった場合であるため、映像出力の停止を指示するコマンドをカメラに出し(処理826)、カメラ状態管理テーブル318のフィールド3181にOFF状態を設定して、パケット受信待ち状態となる。
【0105】
上記の処理825で有効な設定が有る場合は、フィールド3188、3189に退避していた解像度およびフレームレートの値を、フィールド3183、3184に再設定してから、フィールド3188、3189に0値を設定してクリアする(処理828)。そして、再設定した解像度およびフレームレートをカメラに再設定して(処理829)、パケット受信待ち状態となる。これにより、ビデオカメラからはセンサー連携前の解像度およびフレームレートで映像データが出力され、その映像データを設定した通常映像パケットが監視卓処理装置21に転送されるようになる。
【0106】
一方、センサー制御装置内のセンサー制御モジュール514は、アラーム回復パケットを受信すると、図21の処理901、902を経て、処理904に進む。そして、受信したパケットに設定されている連携センサーIDを取得し、同じIDのものが自センサー制御装置に接続されているセンサー(またはセンサー群)にあるか否かをチェックする。同じIDのセンサーがある場合、そのセンサーをリセットし(処理905)、異常検知が新たに開始されるようにする。また、同じIDのセンサーがない場合、そのまま、パケット受信待ち状態となる。
【0107】
(5)システム終了時の動作
最後に、監視システム1を終了停止する場合の動作について説明する。システムの運用を停止する場合、監視者は、モニター22上の基本ウィンドウ(図11)のメニューで「終了」を指定する。
【0108】
「終了」が指定されると、監視卓処理装置内の監視ウィンドウ制御モジュール214の処理は、図9の処理713または712から、処理704を経て処理705に移行する。これにより、監視ウィンドウ制御モジュール214は、システム終了を示すTCDを設定したシステム終了パケットを生成し、システム全体にブロードキャストする(処理705)。そして、監視ウィンドウおよび基本ウィンドウの表示を終了して、処理を終了する(処理706)。
【0109】
システム終了パケットを受信したカメラ制御装置では、カメラ制御モジュール314が、システム終了パケットであると判断し、図19に示す処理803を実行により、ビデオカメラの電源をOFFとし、全ての映像転送処理を終了する。
【0110】
システム終了パケットを受信したセンサー制御装置では、センサー制御モジュール514が、システム終了パケットであると判断し、図21に示すよう処理906を実行することにより、センサーの電源をOFFとし、全ての異常検知処理を終了する。
【0111】
なお、以上の動作説明では、異常を検知したセンサーに対応する撮影を一台のビデオカメラが行い、異常検知時には、一台のカメラ制御装置からセンサー連携映像パケットが送信される場合について述べた。もちろん、一つのセンサーに対応する撮影を複数台のビデオカメラで行うことも可能である。この場合、異常検知時には、複数のカメラ制御装置の転送する連携映像が、別々の監視ウィンドウに表示されることになる。
【0112】
以上で説明したように、監視システム1によれば、センサーが異常検知した場合、センサー制御装置とカメラ制御装置の連携により、監視卓処理装置を介することなく、異常発生個所の映像データが監視卓処理装置に転送されることになる。このため、短時間に監視者が映像による異常個所の確認チェックを行うことができる。
【0113】
また、異常検知前から映像を転送中のカメラ制御装置が、異常発生時に画像の解像度やフレームレートを低減する帯域制御処理により、ネットワークの帯域に余裕が生じ、また監視卓処理装置における処理負荷も軽減されるため、より確実に異常個所の映像を転送することでき、かつ、監視卓処理装置でも、受信と表示をより確実に行うことができる。
【0114】
【発明の効果】
本発明によれば、多くの監視カメラを用いる場合にも、異常発生個所に対応する映像情報をネットワークを介して速やかにかつ確実に転送して表示することのできる監視システムを提供することができる。
【図面の簡単な説明】
【図1】本発明が適用されるシステムの構成図である。
【図2】本発明の概要を説明するための図である。
【図3】カメラ制御装置のハードウエア構成図である。
【図4】センサー制御装置のハードウエア構成図である。
【図5】監視卓処理装置のハードウエア構成図である。
【図6】監視卓処理装置のソフトウエア構成図である。
【図7】カメラ制御装置のソフトウエア構成図である。
【図8】センサー制御装置のソフトウエア構成図である。
【図9】監視ウィンドウ制御モジュールの処理フローである。
【図10】映像/アラーム表示モジュールの処理フローである。
【図11】基本ウィンドウの構成図である。
【図12】監視ウィンドウ表示時の基本ウィンドウの構成図である。
【図13】監視ウィンドウの構成図である。
【図14】カメラ選択ウィンドウの構成図である。
【図15】監視ウィンドウ状態管理テーブルの構成図である。
【図16】監視ウィンドウ状態管理テーブル内表示映像情報の構成図である。
【図17】監視ウィンドウ状態遷移テーブルの構成図である。
【図18】通信パケットの一般的フォーマットである。
【図19】カメラ制御モジュールの処理フローである。
【図20】映像送信モジュールの処理フローである。
【図21】センサー制御モジュールの処理フローである。
【図22】アラーム送信モジュールの処理フローである。
【図23】カメラ切替えパケットのフォーマットである。
【図24】カメラ状態管理テーブルの構成図である。
【図25】通常映像パケットのフォーマットである。
【図26】アラームパケットのフォーマットである。
【図27】連携センサー管理テーブルのフォーマットである。
【図28】アラーム連携映像パケットのフォーマットである。
【図29】アラーム回復パケットのフォーマットである。
【符号の説明】
10…ネットワーク、21…監視卓処理装置、22…モニタ、23…キーボード、24…マウス、3i…カメラ制御装置、4i…カメラ、5i…センサー制御装置、6i…センサー、201…ネットワーク制御コントローラー、202…CPU、203…メモリ、204…入出力コントローラー、205…モニターコントローラー、206…バス、211…ネットワーク制御ドライバ、212…通信管理モジュール、213…入出力装置制御ドライバ、214…監視ウィンドウ制御モジュール、215…映像/アラーム表示モジュール、216…送信キュー、217…受信キュー、218…監視ウィンドウ状態管理テーブル、219…監視ウィンドウ状態遷移テーブル、220…運用状態管理テーブル、221…退避映像バッファ、231…基本ウィンドウ、241…監視ウィンドウ、242…監視ウィンドウ、243…監視ウィンドウ、244…監視ウィンドウ、245…監視ウィンドウ、246…監視ウィンドウ、301…カメラコントローラー、302…CPU、303…メモリ、304…ネットワーク制御コントローラー、305…バス、311…ネットワーク制御ドライバ、312…通信管理モジュール、313…カメラ制御ドライバ、314…カメラ制御モジュール、315…映像送信モジュール、316…受信キュー、317…送信キュー、318…カメラ状態管理テーブル、319…連携センサー管理テーブル、501…センサーコントローラー、502…CPU、503…メモリ、504…ネットワーク制御コントローラー、505…バス、511…ネットワーク制御ドライバ、512…通信管理モジュール、313…センサー制御ドライバ、514…センサー制御モジュール、515…アラーム送信モジュール、516…受信キュー、517…送信キュー、518…メッセージ管理テーブル。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a monitoring system that arranges a plurality of sensors and a plurality of monitoring cameras connected to a network, and performs monitoring using abnormality detection information and video information obtained from the sensors.
[0002]
[Prior art]
As a conventional surveillance system using a sensor and a surveillance camera, there is, for example, a rented room remote surveillance system described in JP-A-9-74592. In this system, a sensor and a surveillance camera are installed in a room to be monitored, and sensor information and video information obtained by the surveillance camera are transmitted to a central monitoring station via a dedicated optical line. When the sensor detects an abnormality, first, the notification information is sent to the monitoring station via the optical dedicated line, and the video information is separately transmitted according to an instruction from the monitoring station.
[0003]
On the other hand, there is a system in which video information of a plurality of monitoring cameras is transferred to a monitoring console processing device via a network and displayed on a display device. In this system, video information of all surveillance cameras is transferred via a network.
[0004]
[Problems to be solved by the invention]
In the above-described conventional system for transferring video information of a plurality of monitoring cameras to a monitoring console processing device via a network, when the number of monitoring cameras increases due to the limitation of the amount of traffic on the network, the congestion of traffic causes the monitoring console processing device to transmit. The video information (packet) transferred to the PC is delayed or discarded. In addition, since the amount of video information transferred from each monitoring camera must be limited to a small amount, it is not possible to provide a clear video of a location where an abnormality is detected to a monitoring person.
[0005]
In addition, when the sensor abnormality detection information is transferred to the monitoring console processing device via the network, the abnormality detection information is likely to be delayed or discarded similarly to the video information. This makes it impossible for the observer of the monitoring console processing device to quickly and reliably know the abnormality detection information of the sensor.
[0006]
On the other hand, when the transfer of video information is performed according to the instruction of the monitoring station, as in the monitoring method of the rented room remote monitoring system described above, the abnormality detection information of the sensor is first sent to the monitoring station, and the abnormality detection information is In response, for example, the supervisor of the monitoring station issues an instruction to transfer the video information to the surveillance camera at the location where the abnormality has occurred, so that the transmission of the video information is started. As described above, it is necessary to go through a plurality of time-consuming steps until the display of the video information, and thus it is difficult for the observer to promptly check the video of the location where the abnormality has occurred.
[0007]
Therefore, an object of the present invention is to provide a surveillance system that can quickly and reliably transfer and display video information corresponding to a location where an abnormality has occurred via a network even when many surveillance cameras are used. And
[0008]
[Means for Solving the Problems]
In order to solve the above problems, the present invention provides a plurality of sensors, a plurality of sensor control devices each connected to one or more of the sensors, a plurality of surveillance cameras, and a plurality of surveillance cameras respectively connected to the surveillance cameras. In a monitoring system having a camera control device, a monitoring console processing device connected to a display device, and the sensor control device, the camera control device, and a network connected to the monitoring console processing device, the sensor control device includes: When a connected sensor detects an abnormality, the camera control device includes a unit that sends alarm information for notifying the detection to the network, wherein the camera control device includes a unit that receives the alarm information, Means for determining whether an abnormality has been detected by a sensor corresponding to the monitoring camera connected to the own device based on the information. Means for sending video information of a monitoring camera connected to the apparatus itself to the network when an abnormality is detected by a corresponding sensor, wherein the monitoring console processing apparatus sends the video information from the camera control apparatus. A monitoring system is provided, comprising: means for receiving video information; and control means for displaying the received video information on the display device.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a monitoring system according to an embodiment of the present invention will be described with reference to the drawings.
[0010]
FIG. 1 is a diagram showing an overall configuration of a
[0011]
The monitoring
[0012]
The
[0013]
The
[0014]
Here, the
[0015]
As the
[0016]
In each of the
[0017]
Next, a specific example of the characteristic operation of the
[0018]
In FIG. 2, when an abnormality is detected by the
[0019]
Since the same camera identifier as the sensor identifier in the received
[0020]
The transmitted sensor
[0021]
Each of the
[0022]
When the
[0023]
In addition, it is also possible to associate a plurality of video cameras with one sensor and to monitor an abnormal part from a plurality of video cameras.
[0024]
As described above, in the
[0025]
In the
[0026]
Next, the configuration of the
[0027]
FIG. 3 shows a hardware configuration of the
[0028]
FIG. 4 shows a hardware configuration of the
[0029]
FIG. 5 shows a hardware configuration of the monitoring
[0030]
Next, the functional configuration of each device will be described.
[0031]
FIG. 6 is a diagram showing a block configuration of software and a table stored in the
[0032]
The
[0033]
The
[0034]
Further, in the
[0035]
FIG. 7 is a block diagram showing the configuration of software and tables stored in the
[0036]
The
[0037]
Further, in the
[0038]
Further, the
[0039]
FIG. 8 is a diagram showing a block configuration of software and a table stored in the
[0040]
The
[0041]
Next, the operation of the
[0042]
The operation of the
[0043]
(1) Operation at the start of system operation
The operation of the
[0044]
In FIG. 9, the monitoring
[0045]
Here, the packets transmitted and received between the
[0046]
As the address of each device, an address previously allocated in the
[0047]
The above-mentioned operation start packet generated by the
[0048]
The packet received by the
[0049]
FIG. 19 is a processing flow of the
[0050]
FIG. 21 is a processing flowchart of the
[0051]
By the above operation, all the
[0052]
(2) Operation during normal operation
After broadcasting the operation start packet, the monitoring
[0053]
As shown in FIG. 13, each of the monitoring
[0054]
As shown in FIG. 15, the monitoring window state management table 218 has entries 2181 to 2186 corresponding to the
[0055]
Here, the state set in the
[0056]
As shown in FIG. 16, the display
[0057]
Further, the display
[0058]
When the observer specifies a menu in the menu input waiting state of the above-described process 712 (FIG. 9), the monitoring
[0059]
As shown in FIG. 17, the monitoring window state transition table has a configuration in which the branch destination process is determined by the monitoring window state and the designated menu. The processing at the branch destination includes switching processing for switching the display video from the current state to the video of another camera, recovery processing for returning the display video from the sensor cooperation video to the target video before abnormality detection, and incorrect instruction And error handling to deal with
[0060]
Note that, in the switching process, in response to designation of data relating to the switching source and switching destination video cameras, the camera that generates the video data to be displayed is switched. However, if the switching destination camera is not specified, the current video display is stopped.
[0061]
Here, it is assumed that the observer has instructed "camera designation" in the monitoring window in a state where nothing is displayed (null state). In this case, in the
[0062]
As shown in FIG. 14, the camera selection window has a camera
[0063]
When the input of the camera selection window is completed, the monitoring
[0064]
As shown in FIG. 23, the
[0065]
Since the camera switching packet generated in the above-described processing 718 is for specifying a camera from a state of no display, “0” meaning no specification is set in the
[0066]
In the
[0067]
The camera switching packet broadcast to the
[0068]
If the same ID as that of the connected video camera is set, it is checked whether it is the switching destination or the switching source (step 806). If the video camera is set as the switching source, a command is sent to the video camera to stop the transmission of the video data of the video camera, and the operation is stopped (processing 807). Update (step 808).
[0069]
As shown in FIG. 24, the camera state management table includes an operation state setting area 3181 of a connected video camera, an
[0070]
Here, the states set in the operation state area 3181 include an OFF state in which images are not transferred, a manual state in which images are transferred according to an instruction of a monitor, and a sensor abnormality detection. The sensor coordination state, in which video is transferred in coordination with the network, and the bandwidth suppression state, in which other controllers reduce traffic by limiting their resolution and frame rate when in sensor coordination state There is.
[0071]
After the video camera is stopped in the
[0072]
In the
[0073]
The video camera set in the above process 810 starts outputting video data of the captured video to the
[0074]
FIG. 20 is a processing flow of the
[0075]
Here, as shown in FIG. 25, the
[0076]
FIG. 10 is a processing flow of the video /
[0077]
As described above, the image of the video camera designated by the observer on the
[0078]
(3) Operation when sensor abnormality is detected
FIG. 22 is a processing flow of the
[0079]
As shown in FIG. 26, the
[0080]
The alarm packet broadcast on the
[0081]
In FIG. 19, when an alarm packet is received (process 801), the
[0082]
As shown in FIG. 27, the cooperative sensor management table 319 includes an
[0083]
Then, the
[0084]
In this band control processing, first, the resolution and frame rate of the video currently being transferred set in the
[0085]
As a result, the video camera outputs video data with a high data amount and a high resolution and a high frame rate.
[0086]
On the other hand, the camera control device that does not cooperate with the sensor that has detected the abnormality determines in step 813 that transmission of the sensor cooperation video packet is not necessary. Subsequently, the
[0087]
In this band control processing, first, in the camera state management table 318, the resolution and frame rate of the video currently being transferred are set in the
[0088]
This allows the video camera to output video data with a reduced data amount and reduced resolution and frame rate. In the above-described band control process, transmission of the normal video packet itself may be stopped.
[0089]
When the operation state of the camera control device shifts from the OFF state to the sensor cooperation state due to the reception of the alarm packet, the output of the video data of the video camera is started. Thereby, the
[0090]
As shown in FIG. 28, the
[0091]
When the operation state shifts from the manual state to the sensor cooperative state, the packet to be transmitted changes from a normal video packet to a sensor cooperative video packet, and video data of higher video quality is transferred.
[0092]
As described above, the video data of the video camera corresponding to the sensor that has detected the abnormality is transferred to the management
[0093]
In FIG. 10, when a sensor cooperation image packet is received, the video /
[0094]
If there is no empty window in the
[0095]
Thus, even when the normal image is displayed in all of the monitoring
[0096]
On the other hand, when the normal video packet which has been saved by the normal
[0097]
When the normal video packet is received, the video /
[0098]
(4) Operation during recovery to normal operation
The monitor instructs the start of the recovery operation by designating “recovery” in the menu of the monitoring window displaying the sensor cooperation image. When “recovery” is designated in the monitoring window, the monitoring
[0099]
In the recovery processing, first, the entry of the designated monitoring window is searched in the monitoring window state management table 218, and the presence or absence of the evacuation video is checked from the field 2193 (processing 720). If there is an evacuation video, the settings of the
[0100]
If there is no evacuation video in the
[0101]
After the
[0102]
Upon receiving the alarm recovery packet, the
[0103]
When the operation state is the OFF state, the apparatus directly enters the packet reception waiting state. When the operation state is the band suppression state, the resolution and the frame rate saved in the
[0104]
If the operation state is the sensor cooperation state in the above-described processing 822, the
[0105]
If there is a valid setting in the above processing 825, the values of the resolution and frame rate saved in the
[0106]
On the other hand, upon receiving the alarm recovery packet, the
[0107]
(5) Operation at system termination
Lastly, an operation when the
[0108]
When “end” is specified, the processing of the monitoring
[0109]
In the camera control device that has received the system end packet, the
[0110]
In the sensor control device that has received the system end packet, the
[0111]
In the above description of the operation, a case has been described in which one video camera performs imaging corresponding to a sensor that has detected an abnormality, and a sensor cooperation video packet is transmitted from one camera control device when an abnormality is detected. Of course, shooting corresponding to one sensor can be performed by a plurality of video cameras. In this case, when an abnormality is detected, cooperative images transferred by a plurality of camera control devices are displayed in separate monitoring windows.
[0112]
As described above, according to the
[0113]
In addition, the camera control device, which is transmitting video before the abnormality is detected, has extra bandwidth in the network due to the bandwidth control processing that reduces the resolution and frame rate of the image when an abnormality occurs, and the processing load on the monitoring console processing device is also reduced. Because of the reduction, the video of the abnormal location can be transferred more reliably, and the reception and display can be performed more reliably even with the monitor processing device.
[0114]
【The invention's effect】
According to the present invention, even when many surveillance cameras are used, a surveillance system that can quickly and reliably transfer and display video information corresponding to a location where an abnormality occurs via a network can be provided. .
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a system to which the present invention is applied.
FIG. 2 is a diagram for explaining an outline of the present invention.
FIG. 3 is a hardware configuration diagram of the camera control device.
FIG. 4 is a hardware configuration diagram of a sensor control device.
FIG. 5 is a hardware configuration diagram of the monitoring console processing device.
FIG. 6 is a software configuration diagram of the monitoring console processing device.
FIG. 7 is a software configuration diagram of the camera control device.
FIG. 8 is a software configuration diagram of a sensor control device.
FIG. 9 is a processing flow of a monitoring window control module.
FIG. 10 is a processing flow of a video / alarm display module.
FIG. 11 is a configuration diagram of a basic window.
FIG. 12 is a configuration diagram of a basic window when a monitoring window is displayed.
FIG. 13 is a configuration diagram of a monitoring window.
FIG. 14 is a configuration diagram of a camera selection window.
FIG. 15 is a configuration diagram of a monitoring window state management table.
FIG. 16 is a configuration diagram of display video information in a monitoring window state management table.
FIG. 17 is a configuration diagram of a monitoring window state transition table.
FIG. 18 is a general format of a communication packet.
FIG. 19 is a processing flow of the camera control module.
FIG. 20 is a processing flow of a video transmission module.
FIG. 21 is a processing flow of a sensor control module.
FIG. 22 is a processing flow of the alarm transmission module.
FIG. 23 shows a format of a camera switching packet.
FIG. 24 is a configuration diagram of a camera state management table.
FIG. 25 shows a format of a normal video packet.
FIG. 26 shows a format of an alarm packet.
FIG. 27 is a format of a cooperative sensor management table.
FIG. 28 shows a format of an alarm cooperation video packet.
FIG. 29 is a format of an alarm recovery packet.
[Explanation of symbols]
DESCRIPTION OF
Claims (5)
前記センサー制御装置は、接続されたセンサーが異常を検知した時、該検知を通知するためのアラーム情報を、前記ネットワークに送出する手段を有し、
前記カメラ制御装置は、前記アラーム情報を受信する手段と、受信したアラーム情報を基に、自装置に接続された監視カメラに対応するセンサーで異常が検知されたか否かを判断するための手段と、対応するセンサーで異常が検知された場合に、自装置に接続された監視カメラの映像情報を前記ネットワークに送出する手段と、前記監視卓処理装置からの要求情報に応じて、自装置に接続された監視カメラの映像情報を送出するための手段と、該手段により送出を行っている状態で、自装置に対応しないセンサーで異常の検知がなされた場合、自装置からの映像情報の送出を制限する制御を行う制御手段と、を有し、
前記監視卓処理装置は、前記カメラ制御装置から送出された映像情報を受信する手段と、受信した映像情報を前記表示装置に表示させるための制御手段とを有する
ことを特徴とする監視システム。A plurality of sensors, a plurality of sensor controllers respectively connected to one or more of the sensors, a plurality of monitoring cameras, a plurality of camera controllers respectively connected to the monitoring cameras, and a display connected to the display device In a monitoring system having a monitoring console processing device and the sensor control device, the camera control device, and a network to which the monitoring console processing device is connected,
The sensor control device, when the connected sensor detects an abnormality, has a means for sending alarm information to notify the detection to the network,
Means for receiving the alarm information, based on the received alarm information, means for determining whether an abnormality is detected by a sensor corresponding to the monitoring camera connected to the own device, Means for transmitting video information of a monitoring camera connected to the own device to the network when an abnormality is detected by the corresponding sensor, and connecting to the own device according to request information from the monitoring console processing device. Means for transmitting the video information of the surveillance camera, and, if an abnormality is detected by a sensor that does not correspond to the own apparatus while the means is transmitting, the transmission of the video information from the own apparatus is performed. Control means for performing control to limit,
A monitoring system, wherein the monitoring console processing device includes means for receiving video information transmitted from the camera control device, and control means for displaying the received video information on the display device.
前記カメラ制御装置の制御手段は、自装置から送出する映像情報の量を低減する、もしくは、映像情報の送出を停止することを特徴とする監視システム。The monitoring system according to claim 1 ,
A monitoring system, wherein the control means of the camera control device reduces the amount of video information transmitted from the own device or stops transmission of video information.
前記カメラ制御装置は、前記監視卓処理装置からの要求情報に応じて、自装置に接続された監視カメラの映像情報を送出するための手段と、自装置に対応するセンサーで異常の検知がなされた場合、自装置から送出する映像情報の映像品質をより高める制御を行う制御手段とを、さらに有することを特徴とする監視システム。The monitoring system according to claim 1 ,
The camera control device, in response to the request information from the monitoring console processing device, transmits an image information of a monitoring camera connected to the own device, and an abnormality is detected by a sensor corresponding to the own device. And a control unit for performing control for further improving the video quality of the video information transmitted from the own device in the case of the monitoring system.
前記カメラ制御装置の制御手段は、さらに、前記監視卓処理装置からの回復要求に応じて、自装置での映像情報の送出状態が、前記アラーム情報が受信される前の状態となるようにすることを特徴とする監視システム。The monitoring system according to claim 1, 2 or 3 ,
The control means of the camera control device further controls the transmission state of the video information in the own device to the state before the alarm information is received in response to the recovery request from the monitoring console processing device. A monitoring system, characterized in that:
前記カメラ制御装置の制御手段は、自装置に接続された監視カメラに設定する、映像の解像度およびフレームレートの少なくとも一方を更新することにより、前記監視カメラから出力される映像情報の量を変更することを特徴とする監視システム。The monitoring system according to claim 1, 2, 3, or 4 ,
The control unit of the camera control device changes an amount of video information output from the surveillance camera by updating at least one of a video resolution and a frame rate set in the surveillance camera connected to the own device. A monitoring system, characterized in that:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16185898A JP3581566B2 (en) | 1998-06-10 | 1998-06-10 | Monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16185898A JP3581566B2 (en) | 1998-06-10 | 1998-06-10 | Monitoring system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11355761A JPH11355761A (en) | 1999-12-24 |
JP3581566B2 true JP3581566B2 (en) | 2004-10-27 |
Family
ID=15743304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16185898A Expired - Fee Related JP3581566B2 (en) | 1998-06-10 | 1998-06-10 | Monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3581566B2 (en) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3799935B2 (en) * | 2000-02-15 | 2006-07-19 | 日本ビクター株式会社 | Surveillance camera system |
JP3656823B2 (en) * | 2000-09-04 | 2005-06-08 | 三菱電機株式会社 | Automatic monitoring method and automatic monitoring device |
JP3937799B2 (en) * | 2001-10-26 | 2007-06-27 | 松下電工株式会社 | On-premises communication system |
AU2004292297B2 (en) * | 2003-11-18 | 2009-11-19 | Intergraph Software Technologies Company | Digital video surveillance |
JP2005323038A (en) * | 2004-05-07 | 2005-11-17 | Atsumi Electric Co Ltd | Image monitor system |
JP4731129B2 (en) * | 2004-06-04 | 2011-07-20 | 三菱電機株式会社 | Surveillance camera system |
JP4651999B2 (en) * | 2004-09-02 | 2011-03-16 | 綜合警備保障株式会社 | Monitoring system and monitoring method |
JP2006339733A (en) * | 2005-05-31 | 2006-12-14 | Hitachi Kokusai Electric Inc | Method and system for transmitting image |
JP2007214831A (en) * | 2006-02-09 | 2007-08-23 | Hitachi Kokusai Electric Inc | Video processing system |
CN100446043C (en) * | 2007-02-06 | 2008-12-24 | 重庆大学 | Video safety prevention and monitoring method based on biology sensing and image information fusion |
US20080320408A1 (en) * | 2007-06-21 | 2008-12-25 | Dziezanowski Joseph J | Devices, Systems, and Methods Regarding Machine Vision User Interfaces |
JP2010233114A (en) * | 2009-03-27 | 2010-10-14 | Sogo Keibi Hosho Co Ltd | Monitoring system and image transfer method of the same |
CN107480695A (en) * | 2015-02-06 | 2017-12-15 | 安徽大学 | A kind of contour of object detection recognition method |
JP6595287B2 (en) * | 2015-03-27 | 2019-10-23 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Monitoring system, monitoring method, analysis apparatus and analysis program |
JP6434396B2 (en) * | 2015-12-10 | 2018-12-05 | 日本電信電話株式会社 | Sensor data collection system and method |
FI128735B (en) * | 2016-05-06 | 2020-11-13 | Procemex Oy Ltd | A machine vision method and system |
-
1998
- 1998-06-10 JP JP16185898A patent/JP3581566B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11355761A (en) | 1999-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3581566B2 (en) | Monitoring system | |
JP4235300B2 (en) | Communications system | |
US5432715A (en) | Computer system and monitoring method | |
US8064080B2 (en) | Control of data distribution apparatus and data distribution system | |
US5594426A (en) | Network station and network management system | |
JPH11110311A (en) | Information processing system, device, method and storage medium | |
JPH08294100A (en) | Communication terminal and its monitor system | |
US7817537B2 (en) | Matrix switcher and method of controlling matrix switcher | |
US8350917B2 (en) | Digital camera, method for sending image data and system for transmitting and receiving image data | |
JPH08237276A (en) | Detecting method of connection of scart type connection in system network for home | |
JP4021998B2 (en) | Data transmission control system and data transmission control method | |
JPH11161322A (en) | Production line monitor system | |
JP2001250180A (en) | Security system | |
JPH0581083A (en) | Supervisory control system for plural online systems using plural cpu | |
JP2002268961A (en) | Monitor controller, monitor control method and monitor control program | |
JP3067414B2 (en) | Communication line monitor | |
JP3196724B2 (en) | Console switching apparatus and method | |
JP2001051716A (en) | Supervisory and control system | |
CN116016341B (en) | Remote control system, method and storage medium | |
JP2003198547A (en) | Communication device and communication method | |
JP2561730B2 (en) | Building remote monitoring controller | |
KR100347714B1 (en) | Remote communication method in digital video recorder system | |
JPH10164537A (en) | Video communication system, information processor and its control method | |
JP2005004404A (en) | Method for automatic detection of switching of dual network management system, dual network management system, monitoring program, and program for network management system | |
JP3254550B2 (en) | Automatic program control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040511 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040610 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040610 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040723 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070730 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080730 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090730 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100730 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110730 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120730 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |