JP2022098663A - Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system - Google Patents
Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system Download PDFInfo
- Publication number
- JP2022098663A JP2022098663A JP2020212182A JP2020212182A JP2022098663A JP 2022098663 A JP2022098663 A JP 2022098663A JP 2020212182 A JP2020212182 A JP 2020212182A JP 2020212182 A JP2020212182 A JP 2020212182A JP 2022098663 A JP2022098663 A JP 2022098663A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- angle
- image processing
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 72
- 230000005856 abnormality Effects 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims description 171
- 238000012545 processing Methods 0.000 claims abstract description 206
- 238000012937 correction Methods 0.000 claims description 74
- 239000003350 kerosene Substances 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 51
- 238000006243 chemical reaction Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 7
- 238000001454 recorded image Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本開示は、防犯カメラ又は監視カメラからの画像情報に対して、画像処理結果の精度向上及び演算コストの低減を目的にマスク領域を設定し、マスク領域における画像情報の画像処理を行い、置き去り検知又は侵入検知などの異常検知を行う監視システムに関する。 In the present disclosure, a mask area is set for the image information from a security camera or a surveillance camera for the purpose of improving the accuracy of the image processing result and reducing the calculation cost, and the image information in the mask area is image-processed to detect the leftover. Or related to a monitoring system that detects abnormalities such as intrusion detection.
カメラで撮影された撮影画像から人物を検出し追跡する監視カメラシステムが特許文献１に示されている。
この特許文献１には、監視カメラシステムに用いて好適なカメラ設定装置が示されており、施工者がカメラを設置する際に、仮設置した状態において、追跡された人物に対する、顔の検出回数、顔の向き、画角、動線のいずれか一つを来店者情報として用い、カメラの設置状況が適しているかを推定してカメラの設定変更を促す最適カメラ設定装置が示されている。
This
しかるに、従来の監視カメラシステムでは、カメラを設置後、カメラに対する振動又は経年劣化のなどの外乱により、人間の目では分り難いカメラ本体の画角ズレが生じ、マスク領域が期待した領域から外れてしまい、カメラに対するメンテナンスを実施しない限り、置き去り検知又は侵入検知などの異常検知を精度高く行えないという問題が生ずる。 However, in the conventional surveillance camera system, after the camera is installed, the angle of view of the camera body shifts, which is difficult for the human eye to see, due to disturbances such as vibration or deterioration over time, and the mask area deviates from the expected area. Therefore, unless maintenance is performed on the camera, there arises a problem that abnormality detection such as abandonment detection or intrusion detection cannot be performed with high accuracy.
本開示は、上記した点に鑑みてなされたものであり、カメラ本体の画角ズレに対してマスク領域を補正し、置き去り検知又は侵入検知などの異常検知を精度高く行える監視システムを得ることを目的とする。 The present disclosure has been made in view of the above points, and it is desired to obtain a monitoring system capable of correcting the mask area for the angle of view deviation of the camera body and detecting an abnormality such as abandonment detection or intrusion detection with high accuracy. The purpose.
本開示に係る監視システムは、カメラからの画像情報を受信する映像受信部と、設定された画像処理の範囲であるマスク領域における映像受信部からの画像情報を基にカメラの画角ズレ量を演算し、当該演算された画角ズレ量から補正マスク領域を得、当該得た補正マスク領域における映像受信部からの画像情報を解析し、置き去り検知又は侵入検知などの異常検知を検出する画像処理部を有する画像処理サーバを備える。 The monitoring system according to the present disclosure determines the amount of angle of view deviation of the camera based on the image information from the image receiving unit that receives the image information from the camera and the image receiving unit in the mask area that is the range of the set image processing. Image processing that performs calculation, obtains a correction mask area from the calculated angle of view deviation amount, analyzes image information from the video receiving unit in the obtained correction mask area, and detects abnormality detection such as abandonment detection or intrusion detection. It is provided with an image processing server having a unit.
本開示によれば、置き去り検知又は侵入検知などの異常検知を精度高く行える監視システムを得ることができる。 According to the present disclosure, it is possible to obtain a monitoring system capable of accurately detecting anomalies such as abandonment detection or intrusion detection.
実施の形態１．
実施の形態１に係る監視システム１を図１から図７に基づいて説明する。
図１に示すように、複数台のネットワークカメラである防犯カメラ又は監視カメラ（以下、総称してカメラと称す）２（１）からカメラ２（ｎ）が駅構内又は店舗等の監視したい場所に設置される。
なお、以下の説明において、特に、個々のカメラ２（１）～２（ｎ）を特定して説明する必要がない場合は（）書きの符号は、煩雑さを避けるため、省略して説明する。
The
As shown in FIG. 1, a security camera or a surveillance camera (hereinafter collectively referred to as a camera) 2 (1), which is a plurality of network cameras, to a camera 2 (n) in a station yard or a place to be monitored such as a store. Will be installed.
In the following description, in particular, when it is not necessary to specify and explain the individual cameras 2 (1) to 2 (n), the reference numerals in () will be omitted in order to avoid complexity. ..
カメラ２は、撮影された映像をＪＰＥＧ又はＨ．２６４などのデジタル映像にエンコード圧縮し、ＲＴＰ（Real-time Transport Protocol、ＲＦＣ３５５１）などの映像転送プロトコルによりＲＴＰパケットに変換して画像情報として出力する。
カメラ２から出力された画像情報は、ネットワークスイッチ３を介してマルチキャスト配信によりネットワーク上に送信され、ネットワークを介して監視システム１に送信される。
The
The image information output from the
監視システム１は、ネットワークスイッチ３を介して配信された複数のカメラ２からの画像情報を受信し、それぞれのカメラ２に対する画像情報について画像処理を行い、つまり、画像情報を分析、解析し、置き去り検知又は侵入検知、あるいは人が灯油缶を持った灯油缶検知又は長尺物を持った長尺物検知などの異常検知を検出し、異常検知を検出すると、異常検知情報を通知する。
監視システム１は、映像記録装置１０と、画像処理サーバ２０と、監視端末装置３０を備える。
映像記録装置１０と、画像処理サーバ２０と、監視端末装置３０は、マルチキャスト配信により、カメラ２から出力された画像情報が同時に配信される。
The
The
The
画像処理サーバ２０と監視端末装置３０は、図２に示すように、カメラ一覧テーブル４０と、映像記録装置一覧テーブル５０と、閾値リスト６０を共有情報として記憶している。
カメラ一覧テーブル４０は、図３に示すように、「カメラ番号」、「カメラ名称」、「設置場所名称」、「マップ」、「マップ位置」、及び「図中符号」が紐付けされた情報のテーブルである。
監視システム１内では、カメラ一覧テーブル４０の「カメラ番号」によりカメラ２（１）～２（ｎ）が特定され、「カメラ番号」を用いてカメラ一覧テーブル４０からカメラ情報が参照される。
As shown in FIG. 2, the
As shown in FIG. 3, the camera list table 40 is information associated with a "camera number", a "camera name", an "installation location name", a "map", a "map position", and a "code in the figure". It is a table of.
In the
「カメラ番号」は、本監視システムにおいて一意に決まるインデックス番号を表す。例えば、センサと区別するために便宜上「Ｃ」を頭に、設置フロア、３桁のインデックス番号を組合せた全５桁で表している。システム内ではカメラ番号の番号を用いてカメラ一覧テーブル４０からカメラ情報を参照する。
「カメラ名称」及び「設置場所名称」は監視端末装置３０のＧＵＩ（Graphical User Interface）画面に表示するカメラ名称を表す。
The "camera number" represents an index number uniquely determined in this monitoring system. For example, in order to distinguish it from the sensor, it is represented by a total of 5 digits, which is a combination of the installation floor and the 3-digit index number, with "C" at the head for convenience. In the system, the camera information is referred from the camera list table 40 using the camera number.
The "camera name" and "installation location name" represent the camera names displayed on the GUI (Graphical User Interface) screen of the monitoring
映像記録装置１０は、受信したカメラ２からの画像情報を、図３に示したカメラ一覧テーブル４０のカメラ番号に基づいて、カメラ２のカメラ番号と時刻が紐付けされて記録される。映像記録装置１０はハードディスク又はＳＳＤ（Solid State Drive）装置などの大容量の記録装置を搭載する。
The
画像処理サーバ２０は、図２に示すように、それぞれがカメラ２（１）～２（ｎ）のそれぞれに対応して設けられ、対応したカメラ２（１）～２（ｎ）からの画像情報を受信する複数の映像受信部２１（１）～２１（ｎ）と、設定された画像処理の範囲であるマスク領域における映像受信部２１（１）～２１（ｎ）からの画像情報を解析して対象としたカメラ２（１）～２（ｎ）の画角ズレ量を演算し、当該演算された画角ズレ量から補正マスク領域を得、当該得た補正マスク領域における映像受信部２１（１）～２１（ｎ）からの画像情報を再解析し、置き去り検知又は侵入検知あるいは灯油缶検知又は長尺物検知などの異常検知を再検出する画像処理部２２を有する。
なお、以下の説明において、特に、個々の映像受信部２１（１）～２１（ｎ）を特定して説明する必要がない場合は（）書きにて示した符号は、煩雑さを避けるため、省略して説明する。
As shown in FIG. 2, the
In the following description, in particular, when it is not necessary to specify and explain the individual video receiving units 21 (1) to 21 (n), the reference numerals shown in () are used to avoid complexity. The explanation will be omitted.
画像処理サーバ２０は、受信したカメラ２からの画像情報に基づいて、設定された画像処理の範囲であるマスク領域における映像受信部２１からの画像情報を解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出する第１の機能と、マスク領域における映像受信部２１からの画像情報を解析し、カメラ２の画角ズレ量を演算し、当該演算された画角ズレ量から補正マスク領域を得る第２の機能とを有する。
The
画像処理サーバ２０における第２の機能は、異常検知を検出すると、受信したカメラ２からの画像情報と、映像記録装置１０から取得した過去の映像を使用し、画角ズレ量を演算し、演算された画角ズレ量により設定されたマスク領域を座標変換して更新した補正マスク領域を得る機能である。
画像処理サーバ２０における第１の機能は、第２の機能により画角ズレ量が、閾値リスト６０に示されたカメラ番号に対する閾値未満である場合は設定されたマスク領域に基づいて画像処理をして異常検知を検出し、閾値以上である場合は、第２の機能により得られた補正マスク領域に基づいて画像処理を行い、異常検知を検出する機能である。
なお、更新された補正マスク領域は、次回以降の設定されたマスク領域になる。
The second function of the
The first function of the
The updated correction mask area will be the set mask area from the next time onward.
画像処理サーバ２０における第１の機能は、さらに、第２の機能により画角ズレ量が、上記閾値より値が大きな第２の閾値以上である場合は、画角ズレ量に対する自動調整が不可として画角ズレ警報情報を出力する機能を有する。
第２の閾値は、カメラ２に対して大きな振動、例えば、何らかの衝撃又はいたずらによる角度変更が与えられた場合、カメラ２自体を調整する必要があると判断される値である。
第２の閾値も、閾値と同様に閾値リスト６０にカメラ番号に対する第２の閾値として格納されている。
The first function of the
The second threshold value is a value at which it is determined that the
The second threshold value is also stored in the
画像処理サーバ２０はサーバ型のコンピュータであり、高速で並列度の高いＣＰＵ（Central Processing Unit）と、大容量の半導体メモリ（ＲＡＭ：Random Access Memory）と、ハードディスク装置又はＳＳＤ装置などの不揮発性記録装置などの記憶装置（ＲＯＭ：Read only memory）から構成され、ＲＯＭに格納されたプログラムをＲＡＭにロードし、ＣＰＵがＲＡＭにロードされたプログラムに基づき各種処理を実行する。画像処理サーバ２０は汎用的なＯＳ（Operating System）で駆動される。
なお、画像処理サーバ２０は、処理負荷の大きさに応じて、複数のコンピュータで構成することで処理負荷を分散することも可能である。また、細かく処理内容の分担を分けることによって、監視システム１内で複数の複雑な画像処理を並行して実施することも可能である。
The
It is also possible to distribute the processing load by configuring the
画像処理サーバ２０は、図２の機能ブロック図が示すように、処理機能として処理の単位である１つ１つの機能ブロックを有する。各機能ブロックは、ＯＳが管理するタスク又はプログラムあるいはスレッド単位である。また、連携する処理部と処理部の間は、ＯＳの持つ共有メモリインターフェース又はネットワークを介したソケットインターフェースによりデータ送受信が行われる。
As shown in the functional block diagram of FIG. 2, the
画像処理サーバ２０が有する機能ブロックは、映像受信部２１（１）～２１（ｎ）と、画像変換部２３（１）～２３（ｎ）と、記録映像受信部２４（１）～２4（ｎ）と、画像処理部２２と、イベント蓄積部２５と、イベント通知部２６を有する。
画像処理部２２は、現画像処理部２２１と、画角ズレ検出部２２２と、マスク領域補正部２２３と、再画像処理部２２４を有する。
The functional blocks of the
The
映像受信部２１（１）～２１（ｎ）それぞれは、図３に示したカメラ一覧テーブル４０のカメラ番号に基づいて、カメラ２（１）～２（ｎ）からの画像情報を順番に割り当てられ、カメラ２（１）～２（ｎ）それぞれと対応して稼働する。
映像受信部２１は、カメラ２から配信されるＲＴＰパケットを受信し、ＲＴＰパケットのペイロードから映像データを抽出し、一時的にメモリ（図示せず）上にバッファリングする。バッファリングした映像データは、例えば、ＪＰＥＧならばフレーム単位に、Ｈ．２６４ならばＩフレームを先頭とした関連フレームの連続したデータ群（ＧＯＰ：Group Of Picture）を画像情報として抽出され、それぞれの映像受信部２１（１）～２１（ｎ）が対応した画像変換部２３（１）～２３（ｎ）へ画像情報として送る。
Each of the video receiving units 21 (1) to 21 (n) is sequentially assigned image information from the cameras 2 (1) to 2 (n) based on the camera numbers of the camera list table 40 shown in FIG. , It operates corresponding to each of the cameras 2 (1) and 2 (n).
The
画像変換部２３（１）～２３（ｎ）それぞれは対応した映像受信部２１（１）～２１（ｎ）のそれぞれと対をなし、対をなした映像受信部２１（１）～２１（ｎ）のそれぞれと連携動作する。
なお、以下の説明において、特に、個々の画像変換部２３（１）～２３（ｎ）を特定して説明する必要がない場合は（）書きの符号は、煩雑さを避けるため、省略して説明する。
Each of the image conversion units 23 (1) to 23 (n) is paired with each of the corresponding video reception units 21 (1) to 21 (n), and the paired video reception units 21 (1) to 21 (n). ) Works in cooperation with each.
In the following description, in particular, when it is not necessary to specify and explain the individual image conversion units 23 (1) to 23 (n), the reference numerals in () are omitted in order to avoid complexity. explain.
画像変換部２３は、映像受信部２１から受け取った画像情報であるデジタル映像データをデコード伸長し、カメラ２で撮影したフレーム毎の画像データを生成する。生成された画像データはフレーム単位での画像情報として、画像処理部２２の現画像処理部２２１へ送られ、処理される。
The
現画像処理部２２１は、画像変換部２３からの画像情報に基づきＶＣＡ（Video Content Analysis）技術（映像解析技術）を用いて人の顔又は物体の特徴を抽出することにより、特定の対象物を認識、識別及び抽出し、置き去り又は持ち去りあるいは持ち物、侵入、病人又は酔客などの異常の有無を解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知、病人又は酔客の検知などの異常検知を検出する。
現画像処理部２２１における画像認識機能は、既に監視カメラシステムにおいて実用化されている、例えば、学習モデルを構築し人物の行動を検知する機能、又は背景差分を用いて置き去り物又は人物の滞留を検知する機能を用いる。
The current
The image recognition function in the current
現画像処理部２２１における置き去り検知は、画像変換部２３からの画像情報における背景差分により行われる。
また、現画像処理部２２１は、置き去り検知と同様に、侵入検知、シャッターの開閉を確認するシャッター検知、ＡＩによる学習モデルを使用した灯油缶検知、長尺物検知、うろつき検知、車いす検知等、特定の条件をもつ人物の検知等を行う。
The abandonment detection in the current
In addition, the current
現画像処理部２２１は、画像変換部２３から受け取ったフレーム単位の画像情報から、画像処理サーバ２０が持つ複数の画像処理演算を並行して実施し、画像処理結果を出力する。
この時の画像処理演算は、画像処理結果の精度向上及び演算コストの低減を目的に画像変換部２３からの画像情報に対して画像処理の範囲であるマスク領域が設定され、設定されたマスク領域における画像情報の画像処理が行なわれる。
The current
In the image processing calculation at this time, a mask area, which is the range of image processing, is set for the image information from the
画像処理結果は、置き去り発生の有無、人の侵入の有無、灯油缶を持った人の有無、長尺物を持った人の有無などの異常検知の有無を、異常検知の検出有を「１」もしくは異常検知の検出無を「０」としたものである。
現画像処理部２２１が取得した画像変換部２３からの画像情報及び画像処理結果は画角ズレ検出部２２２に送られる。
The image processing result indicates whether or not anomaly detection has occurred, such as whether or not a person has been left behind, whether or not a person has invaded, whether or not a person has a kerosene can, and whether or not a person has a long object. Or, the absence of abnormality detection is set to "0".
The image information and the image processing result from the
記録映像受信部２４（１）～２４（ｎ）のそれぞれは、カメラ２（１）～２（ｎ）のそれぞれに対応して設けられ、図３に示したカメラ一覧テーブル４０のカメラ番号に基づいて、映像記録装置１０に記録された過去の画像情報を取得する。
なお、以下の説明において、特に、個々の記録映像受信部２４（１）～２４（ｎ）を特定して説明する必要がない場合は（）書きの符号は、煩雑さを避けるため、省略して説明する。
Each of the recorded image receiving units 24 (1) to 24 (n) is provided corresponding to each of the cameras 2 (1) to 2 (n), and is based on the camera number of the camera list table 40 shown in FIG. The past image information recorded in the
In the following description, in particular, when it is not necessary to specify and explain the individual recorded video receiving units 24 (1) to 24 (n), the reference numerals in () are omitted in order to avoid complexity. I will explain.
記録映像受信部２４は現画像処理部２２１の画像処理結果と連動して動作し、画像処理結果が「１」だった場合、映像記録装置１０に記録された過去の画像情報を取得する。
記録映像受信部２４が取得した過去の画像情報は画角ズレ検出部２２２に送られる。
記録映像受信部２４は、複数の画像情報を画角ズレ検出部２２２に送ることができる。
The recorded
The past image information acquired by the recorded
The recorded
画角ズレ検出部２２２は、現画像処理部２２１が取得した画像変換部２３からの画像情報に基づきカメラ２からの画像情報の画角ズレ量を演算する。
画角ズレ検出部２２２は、現画像処理部２２１からの異常検知有の画像処理結果を受けると、現画像処理部２２１が取得した画像変換部２３からの画像情報と記録映像受信部２４が取得した過去の画像情報とを比較し、画角ズレ量を算出する。
すなわち、現画像処理部２２１が取得した画像変換部２３からの画像情報Ａと、記録映像受信部２４が取得した過去の画像情報Ｂと、予め登録されている画像処理用の画像情報Ｃを用いて、画角ズレ量を算出する。
画角ズレ量の算出の際に用いる画像情報は、マスク領域における画像情報である。
The angle of view
When the angle of view
That is, the image information A from the
The image information used when calculating the amount of angle of view deviation is the image information in the mask area.
画角ズレ検出部２２２における画角ズレ量の算出タイミングは、現画像処理部２２１の画像処理のタイミングと常に同期して行われてもよいが、カメラ２に画角ズレが生じるのはカメラ２に対する振動又は経年劣化のなどの外乱による場合が多いので、現画像処理部２２１の画像処理結果が異常検知有「１」だったタイミングと同期して行われるのが好ましい。
また、画角ズレ検出部２２２における画角ズレ量の算出タイミングは、一定期間ごとに行ってもよい。
The calculation timing of the angle of view deviation amount in the angle of view
Further, the timing of calculating the angle of view deviation amount in the angle of view
算出された画角ズレ量は、マスク領域補正部２２３とイベント蓄積部２５に送られる。
併せて、画角ズレ検出部２２２における画角ズレ量の算出の有無、つまり、画角ズレ量の有無がイベント蓄積部２５に送られる。
画角ズレ検出部２２２における画角ズレ量の有無は、画角ズレ検出部２２２により、算出された画角ズレ量と閾値リスト６０に格納された閾値とが比較され、画角ズレ量が閾値以上の場合は画角ズレが「有」、閾値未満の場合は画角ズレが「無」と判断される。
The calculated angle of view deviation amount is sent to the mask
At the same time, the presence / absence of calculation of the angle of view deviation amount in the angle of view
The presence or absence of the angle of view deviation in the angle of
また、画角ズレ検出部２２２により、算出された画角ズレ量と閾値リスト６０に格納された第２の閾値とが比較され、画角ズレ量が第２の閾値以上である場合は画角ズレ警報情報が監視端末装置３０に送られる。
Further, the angle of view
イベント蓄積部２５では、図４に示すイベントリストテーブルに画角ズレ検出部２２２における画角ズレ量の算出の有無を、図５に示す画角ズレカメラリストテーブルに画角ズレ検出部２２２における画角ズレ量の算出の有無及び画角ズレ量が格納される。
In the
図４に示すイベントリストテーブルは、「イベントＩＤ」、「発生時刻」、「解除時刻」、「検知種別」、「画角ズレ」、「カメラ番号」が紐付けされた情報のテーブルである。
「イベントＩＤ」は、イベント蓄積部２５に蓄積した個別のイベントに対して割り当てられた番号であり、画角ズレ検出部２２２による画角ズレ量の算出の有無がイベント蓄積部２５に送られた時に自動的に付与される。
The event list table shown in FIG. 4 is a table of information associated with "event ID", "occurrence time", "release time", "detection type", "angle of view deviation", and "camera number".
The "event ID" is a number assigned to each event accumulated in the
「発生時刻」は、イベントが発生した時刻であり、画角ズレ検出部２２２による画角ズレ量の算出の有無がイベント蓄積部２５に送られた時にイベントＩＤが付与された時刻である。
「解除時刻」は、ユーザがイベントを手動で解除した時刻を表し、ユーザがイベントを解除した時に自動的に解除した時刻が記憶される。
The “occurrence time” is the time when the event occurred, and is the time when the event ID is given when the presence / absence of calculation of the angle of view deviation amount by the angle of view
The "cancellation time" represents the time when the user manually cancels the event, and the time when the user cancels the event is automatically stored.
「検知種別」は、画像処理サーバ２０が複数の画像処理を行う場合、画像処理内容に対応して付した番号である。例えば、「置き去り検知」に対して「１」、「侵入検知」に対して「２」が付され、異常検知の種別に固有に付された番号である。
「画角ズレ」は、画角ズレ検出部２２２による画角ズレ量の有無を示し、画角ズレ有に対して「１」、画角ズレ無に対して「０」が付される。
The "detection type" is a number assigned according to the image processing content when the
The “angle of view deviation” indicates the presence or absence of the amount of the angle of view deviation by the angle of view
「カメラ番号」は、イベント蓄積部２５に送られた現画像処理部２２１による画像処理結果を得たカメラ２を特定する名称、つまり、カメラ２の番号を示し、図３に示したカメラ一覧テーブル４０のカメラ番号に基づいている。
The "camera number" indicates a name that identifies the
図５に示す画角ズレカメラリストテーブルは、「カメラ番号」と、「カメラ名称」と、「X方向（水平方向）」の画角ズレ量と、「Y方向（垂直方向）」の画角ズレ量と、「画角ズレ」が紐付けされた情報のテーブルである。
「カメラ番号」は、イベント蓄積部２５に送られた現画像処理部２２１による画像処理結果を得たカメラ２の番号を示し、図３に示したカメラ一覧テーブル４０のカメラ番号に基づいている。
The angle of view deviation camera list table shown in FIG. 5 shows the "camera number", "camera name", the amount of angle of view deviation in the "X direction (horizontal direction)", and the angle of view in the "Y direction (vertical direction)". This is a table of information in which the amount of deviation and the "angle of view deviation" are linked.
The “camera number” indicates the number of the
「カメラ名称」は、監視端末１５０のＧＵＩ画面に表示するカメラ名称を表し、図３に示したカメラ一覧テーブル４０のカメラ名称に基づいている。
「X方向」は、画角ズレ検出部２２２により算出されたX方向の画角ズレ量を表す。
「Y方向」は、画角ズレ検出部２２２により算出されたＹ方向の画角ズレ量を表す。
例えば、図５において、カメラ番号Ｃ２００１について、X方向が＋１０mm、Y方向が＋９mm、画角がずれていることを示している。
「画角ズレ」は、画角ズレ検出部２２２による画角ズレ量の有無を示し、画角ズレ有に対して「１」、画角ズレ無に対して「０」が付される。
The "camera name" represents the camera name displayed on the GUI screen of the monitoring terminal 150, and is based on the camera name of the camera list table 40 shown in FIG.
“X direction” represents the amount of angle of view deviation in the X direction calculated by the angle of view
The “Y direction” represents the amount of angle of view deviation in the Y direction calculated by the angle of view
For example, FIG. 5 shows that the camera number C2001 is +10 mm in the X direction, +9 mm in the Y direction, and the angle of view is deviated.
The “angle of view deviation” indicates the presence or absence of the amount of the angle of view deviation by the angle of view
マスク領域補正部２２３は、画角ズレ検出部２２２が画角ズレ有と判断した場合、画角ズレ検出部２２２により演算された画角ズレ量から現画像処理部２２１に用いられた「設定されたマスク領域」を補正する補正マスク領域を得る。
この時の補正マスク領域は、「設定されたマスク領域」を画角ズレ量により座標変換して更新して得た領域である。
補正マスク領域は再画像処理部２２４に送られる。
When the angle of view
The correction mask area at this time is an area obtained by updating the "set mask area" by performing coordinate conversion according to the amount of angle of view deviation.
The correction mask area is sent to the
画角ズレ検出部２２２が画角ズレ無と判断した場合、マスク領域補正部２２３による補正マスク領域は「設定されたマスク領域」のままで良く、マスク領域補正部２２３は、再画像処理の不要を再画像処理部２２４に送る。
画角ズレ検出部２２２が画角ズレ無と判断した場合、現画像処理部２２１による画像処理結果を直接監視端末装置３０に送るようにしてもよい。
When the angle of view
When the angle of view
再画像処理部２２４は、マスク領域補正部２２３からの補正マスク領域により、映像受信部２１からの画像情報を再度解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を再検出する。
再画像処理部２２４における補正マスク領域を用いての再画像処理は、現画像処理部２２１による画像処理と同様の画像処理である。
再画像処理部２２４による画像処理結果は監視端末装置３０に送られる。
マスク領域補正部２２３から再画像処理の不要を受けると、再画像処理部２２４は再画像処理を実施せず、現画像処理部２２１による画像処理結果を監視端末装置３０に送る。
The
The reimage processing using the correction mask area in the
The image processing result by the
When the mask
上記に示した画像処理部２２は、画像処理部２２が有する機能ブロックとして、順に、現画像処理部２２１と画角ズレ検出部２２２とマスク領域補正部２２３と再画像処理部２２４を有するものとしたが、画角ズレ検出部２２２の機能を先にし、その後、マスク領域補正部２２３と現画像処理部２２１としてもよい。
The
すなわち、画像処理部２２が有する機能ブロックを、順に、画角ズレ検出部２２２とマスク領域補正部２２３と現画像処理部２２１とした場合、まず、画角ズレ検出部２２２により画角ズレ量の演算をし、現画像処理部２２１は、画角ズレ検出部２２２により画角ズレが無いとされた場合は、画像変換部２３からの画像情報に対して設定されたマスク領域における画像情報の画像処理を行い、画角ズレ検出部２２２により画角ズレが有るとされた場合は、画像変換部２３からの画像情報に対してマスク領域補正部２２３からの補正されたマスク領域における画像情報の画像処理を行う。
That is, when the functional blocks of the
イベント通知部２６は、イベント蓄積部２５に格納された図４に示すイベントリストテーブルにおけるイベントリスト、又は図５に示す画角ズレカメラリストテーブルにおける画角ズレカメラリストのいずれか一方のリストを読み出し、読み出したリストを監視端末装置３０に送る。
The
監視端末装置３０は、図２に示すように、映像受信部３１（１）～３１（ｎ）と、画像変換部３２（１）～３２（ｎ）と、再生制御部３３と、処理結果受信部３４と、ＧＵＩ画面を有する表示手段３５を有する。
映像受信部３１（１）～３１（ｎ）と画像変換部３２（１）～３２（ｎ）はそれぞれ、画像処理サーバ２０の映像受信部２１（１）～２１（ｎ）と画像変換部２３（１）～２３（ｎ）である。つまり、監視端末装置３０の映像受信部３１（１）～３１（ｎ）と画像変換部３２（１）～３２（ｎ）は、画像処理サーバ２０の映像受信部２１（１）～２１（ｎ）と画像変換部２３（１）～２３（ｎ）と共通である。
As shown in FIG. 2, the monitoring
The video receiving units 31 (1) to 31 (n) and the image conversion units 32 (1) to 32 (n) are the video receiving units 21 (1) to 21 (n) and the
従って、カメラ２からの画像情報は、映像受信部２１（３１）と画像変換部２３（３２）を介してフレーム単位での画像情報として、画像処理部２２及び表示手段３５に送られる。
映像受信部３１と画像変換部３２は、表示手段３５からの「カメラ切替要求」により、選択されたカメラ２の画像情報を表示手段３５に送る。
Therefore, the image information from the
The
監視端末装置３０は、監視用プログラムにより制御される、カメラ選択機能と、ライブ映像表示機能と、記録映像表示機能と、イベント情報・画角ズレ量表示機能を有する。
カメラ選択機能は、カメラ２（１）～２（ｎ）からの画像情報を受信し、カメラ２（１）～２（ｎ）から任意のカメラを選択する機能である。
ライブ映像表示機能は、選択したカメラ２からの画像情報をライブ映像として単画面又は分割画面により表示手段３５の表示画面３５２（図６参照）に表示する機能である。
The monitoring
The camera selection function is a function of receiving image information from the cameras 2 (1) to 2 (n) and selecting an arbitrary camera from the cameras 2 (1) to 2 (n).
The live image display function is a function of displaying image information from the selected
記録映像表示機能は、映像記録装置１０に記録されたカメラ２の内の選択したカメラ２からの画像情報、もしくは映像記録装置１０に記録された図４に示すイベントリストテーブルから選択したイベントの記録映像を、表示手段３５の表示画面３５２に再生、表示する機能である。
イベント情報・画角ズレ量表示機能は、画像処理サーバ２０から受信した異常検知の有無を示す画像処理結果及び画角ズレ量の有無を対象とするカメラ表示の色変化又は点滅などにより表示手段３５の表示画面３５１、３５３、３５５（図６参照）に表示する機能と、イベント通知部２６から受信したイベント蓄積部２５に格納された図４に示すイベントリストテーブルに基づくイベントリスト又は図５に示す画角ズレカメラリストテーブルに基づく画角ズレカメラリストを、表示手段３５の表示画面３５５（図６参照）に表示する機能である。
The recorded video display function records image information from the selected
The event information / angle-of-view deviation amount display function is a display means 35 based on an image processing result indicating the presence / absence of abnormality detection received from the
監視端末装置３０は、図２に機能ブロックで表した映像受信部３１と画像変換部３２と再生制御部３３と処理結果受信部３４が一般的なＰＣ（Personal Computer）で構成され、ＣＰＵ、半導体メモリ（ＲＡＭ）、不揮発性記録装置（ＲＯＭ）から構成され、ＲＯＭに格納された監視用プログラムをＲＡＭにロードし、ＣＰＵがＲＡＭにロードされた監視用プログラムに基づき各種処理を実行する。監視端末装置３０は汎用的なＯＳで駆動される。
表示手段３５は、一般的なＯＳのウィンドウシステムを使用したグラフィカルなユーザインターフェースを持つＧＵＩ部を有する。
The monitoring
The display means 35 has a GUI unit having a graphical user interface using a general OS window system.
映像受信部３１と画像変換部３２は、表示手段３５からの「カメラ切替要求」により、選択されたカメラ２の画像情報を表示手段３５に送る。
映像受信部３１と画像変換部３２と表示手段３５は、選択したカメラ２に対するライブ映像表示機能を司る。
The
The
再生制御部３３は、表示手段３５からの映像記録装置１０への「検索再生要求」を送り、映像記録装置１０からの「検索再生要求応答」を受信すると、再生準備を行い、映像記録装置１０に記録されたカメラ２からの画像情報を再生映像として受信して表示手段３５に送り、表示手段３５が映像記録装置１０に記録されたカメラ２からの画像情報を再生する。
The
具体的には、表示手段３５から「カメラ番号」と「再生開始時刻」を付与した「検索再生要求」を送信し、「検索再生要求」を受信した映像記録装置１０は「カメラ番号」と「再生開始時刻」によりカメラ２からの画像情報の有無を検索し、存在すれば、映像記録装置１０は再生制御部３３に「検索再生要求応答」とともに検索したカメラ２からの画像情報を再生映像として送信する。
再生制御部３３は、映像記録装置１０から送信されたカメラ２からの画像情報を表示手段３５に送る。
Specifically, the
The
また、再生制御部３３は、イベントを特定した表示手段３５からの「検索再生要求」を受信すると、要求されたイベントに対応する映像記録装置１０に記録されたカメラ２からの画像情報を再生映像として受信して表示手段３５に送り、表示手段３５が映像記録装置１０に記録されたイベントに対応するカメラ２からの画像情報を再生する。
再生制御部３３と表示手段３５は記録映像表示機能を司る。
Further, when the
The
処理結果受信部３４は、画像処理サーバ２０における再画像処理部２２４からの画像処理結果を表示手段３５に送るとともに、イベント通知部２６からのイベント蓄積部２５に格納された図４に示すイベントリストテーブルから読みだされたイベントリスト、又は図５に示す画角ズレカメラリストテーブルから読みだされた画角ズレカメラリストのいずれか一方を常時受け、いずれか一方のリストを表示手段３５に送る。
The processing
また、処理結果受信部３４はイベントＩＤを検索キーとしてイベント通知部２６へイベント要求し、イベント通知部２６はイベント蓄積部２５にイベントリストテーブルの検索を指示し、イベント蓄積部２５はイベントＩＤに対応するイベント情報が存在する場合は「検索成功」の応答とともにイベント情報をイベント通知部２６へ応答する。処理結果受信部３４はイベント通知部２６を介してイベント要求に対するイベント情報を受け取り、表示手段３５に送る。
イベント蓄積部２５はイベントＩＤに対応するイベント情報が存在しない場合は、「検索失敗」の応答をイベント通知部２６へ応答する。
処理結果受信部３４と表示手段３５はイベント情報・画角ズレ量表示機能を司る。
Further, the processing
If the event information corresponding to the event ID does not exist, the
The processing
表示手段３５におけるＧＵＩ部の表示画面に表示する画面デザインとしては、次の４つの機能を有する。
第１に、ライブ映像表示機能を司るために、図３に示したカメラ一覧テーブルからカメラ番号に基づいてカメラ２を選択した「カメラ切替要求」を映像受信部３１と画像変換部３２へ送り、選択したカメラ２からの画像情報を映像受信部３１及び画像変換部３２を介して受信し、表示画面３５２にライブ映像として表示する機能である。
The screen design to be displayed on the display screen of the GUI unit in the display means 35 has the following four functions.
First, in order to control the live video display function, a "camera switching request" in which the
第２に、記録映像表示機能を司るために、「検索再生要求」を再生制御部３３へ送り、映像記録装置１０に記録され、検索されたカメラ２の画像情報を記録映像として表示画面３５２に表示する機能である。
第３に、イベント情報・画角ズレ量表示機能を司るために、画像処理サーバ２０におけるイベント蓄積部２５に格納された図４に示すイベントリストテーブルにおけるイベント通知部２６から通知されたイベント内容である「イベントリスト」を表示画面３５５に表示、及び表示されている「イベントリスト」を更新する機能である。
Second, in order to control the recorded video display function, a "search / playback request" is sent to the
Thirdly, in order to control the event information / angle of view deviation amount display function, the event content notified from the
第４に、イベント情報・画角ズレ量表示機能を司るために、画像処理サーバ２０におけるイベント蓄積部２５に格納された図５に示す画角ズレカメラリストテーブルにおけるイベント通知部２６から通知された「画角ズレカメラリスト」を表示画面３５５に表示する機能である。
また、表示画面３５５に表示されている「画角ズレカメラリスト」は、イベント通知部２６から通知され、また、表示画面３５５に表示されている「イベントリスト」に付与された情報を基に、表示内容を決定し、更新できる。
Fourth, in order to control the event information / angle of view deviation amount display function, the
Further, the "angle-of-view camera list" displayed on the
表示手段３５におけるＧＵＩ部の表示画面に表示された表示例の一例を図６に示す。
ＧＵＩ部の表示画面は、カメラリスト表示部３５１と、映像表示部３５２と、マップ表示部３５３と、再生制御部３５４と、画角ズレカメラリスト表示部３５５によって構成される。
FIG. 6 shows an example of a display example displayed on the display screen of the GUI unit of the display means 35.
The display screen of the GUI unit is composed of a camera
カメラリスト表示部３５１は、画像処理サーバ２０及び監視端末装置３０が管理するカメラ２を一覧表示するエリアであり、図３に示したカメラ一覧テーブル４０に基づいてカメラ２がマップ毎、カメラ毎に階層的に表示される。
表示されるカメラ名称、例えば「２階 西階段」は、図３に示したカメラ一覧テーブル４０のカメラ名称に基づいている。
The camera
The displayed camera name, for example, "2nd floor west staircase", is based on the camera name of the camera list table 40 shown in FIG.
ユーザが、カメラリスト表示部３５１に表示されたリストからカメラアイコン又はカメラ名称を選択すると、選択されたカメラ２を示す「カメラ切替要求」が映像受信部３１と画像変換部３２に送られ、映像受信部３１及び画像変換部３２を介して選択されたカメラ２からの画像情報によるライブ映像が映像表示部３５２に表示される。
また、再画像処理部２２４による画角ズレ有の画像処理結果を処理結果受信部３４が受けると、対象としたカメラ２に対応するカメラアイコン及びカメラ名称の色表示が変えられる、もしくは点滅される。
When the user selects a camera icon or a camera name from the list displayed on the camera
Further, when the processing
映像表示部３５２は、映像受信部３１及び画像変換部３２を介して入力された選択されたカメラ２からの画像情報によるライブ映像を、又は再生制御部３３により映像記録装置１０に記録された指定したカメラ２からの画像情報による再生映像を表示するエリアである。
図６では４分割された表示エリアを示しており、４つのカメラ２からのライブ映像を、又は３つのカメラ２からのライブ映像と映像記録装置１０に記録された１つのカメラ２からの再生映像を同時に表示できる。
The
FIG. 6 shows a display area divided into four, and the live image from the four
マップ表示部３５３は、カメラ２が駅構内に配置されている場合は駅構内のマップを表示するエリアである。駅構内に設置されているカメラ２がアイコンで表示され、図３に示したカメラ一覧テーブル４０のマップ及びマップ位置に基づいて配置される。
ユーザが、マップ表示部３５３に表示されたカメラアイコンを選択すると、カメラリスト表示部３５１に表示されたカメラアイコンと連動してカメラ２が選択され、選択されたカメラ２からの画像情報によるライブ映像が映像表示部３５２に表示される
また、再画像処理部２２４による画角ズレ有の画像処理結果を処理結果受信部３４が受けると、対象としたカメラ２に対応するカメラアイコンの色表示が変えられる、もしくは点滅される。
図６においては、駅構内に設置されているセンサのアイコンも表示されている。
The
When the user selects the camera icon displayed on the
In FIG. 6, the icon of the sensor installed in the station yard is also displayed.
再生制御部３５４は、再生開始位置を時間指定するための時刻入力部分と、映像表示部３５２に表示された映像記録装置１０に記録されたカメラ２からの画像情報による再生映像の再生制御に必要な「早戻し」「再生」「一時停止」「早送り」などのボタン、再生速度を制御するスライダーを表示するエリアである。
The
画角ズレカメラリスト表示部３５５は、イベント蓄積部２５に格納された図４に示すイベントリストテーブルから読みだされたイベントリスト、又は図５に示す画角ズレカメラリストテーブルから読みだされた画角ズレカメラリストを表示するエリアである。
図６は、画角ズレカメラリストを表示している例を示し、「カメラ番号」と、「Ｘ方向」の画角ズレ量及び「Ｙ方向」の画角ズレ量と、「カメラ名称」と、「画角ズレ発生」の状態がリアルタイムに表示されている。
The angle-of-view deviation camera
FIG. 6 shows an example of displaying the angle-of-view deviation camera list, showing the “camera number”, the amount of angle-of-view deviation in the “X direction”, the amount of angle-of-view deviation in the “Y direction”, and the “camera name”. , The status of "angle of view deviation" is displayed in real time.
ユーザは、画角ズレカメラリスト表示部３５５を見ることにより、例えば、カメラ番号Ｃ２００１、カメラ名称２階・西階段のカメラ２が、Ｘ方向が＋１０mm、Ｙ方向が＋９mmの画角ズレが生じているのが分かる。
また、画角ズレカメラリスト表示部３５５のカメラ番号を選択することにより、カメラ番号とマップ表示部３５３のカメラアイコンとが連動しているので、マップ表示部３５３のカメラアイコンが色変化又は点滅などにより表示が変化する。その結果、画角ズレカメラリスト表示部３５５にて選択したカメラ２の設置場所がマップ表示部３５３のカメラアイコンにより分かる。
When the user sees the camera
Further, since the camera number and the camera icon of the
画角ズレカメラリスト表示部３５５は、画角ズレカメラリストの表示からイベントリストの表示に適宜切り替えられ、その逆の切り替えも適宜行われる。
画角ズレカメラリスト表示部３５５にイベントリストを表示しているとき、ユーザがイベントＩＤを選択、例えば、表示されたイベントＩＤをダブルクリックすると、イベントリストテーブルに格納されているカメラ番号及び発生時刻をキーに、再生制御部３３が映像記録装置１０に記録されたカメラ２の画像情報を選択し、選択されたカメラ２の画像情報を再生映像として映像表示部３５２に表示する。
The angle-of-view shift camera
When the user selects an event ID while the event list is displayed on the camera
次に、監視システムにおける画像処理サーバ２０の動作、主として画像処理部２２の動作を図７に基づいて説明する。
ステップＳＴ１において、カメラ２からの画像情報を映像受信部２１が受信し、受信したカメラ２からの画像情報を、画像変換部２３を介して現画像処理部２２１に送信する。
現画像処理部２２１では、図３に示したカメラ一覧テーブル４０のカメラ番号に基づいて受信したカメラ２の画像情報について、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知に関する画像処理に対応した演算処理を行い、異常検知を検出し、ステップＳＴ２に進む。
Next, the operation of the
In step ST1, the
The current
ステップＳＴ２において、現画像処理部２２１が取得した画像変換部２３からの画像情報及び画像処理結果並びに置き去り検知又は侵入検知あるいは灯油缶検知又は長尺物検知などの検知情報（検知種別）が画角ズレ検出部２２２に送られ、ステップＳＴ３に進む。
ステップＳＴ３において、画角ズレ検出部２２２による画角ズレの検出が行われる。
すなわち、画角ズレ検出部２２２は、設定された画像処理の範囲であるマスク領域における映像受信部２１からの画像情報を基にカメラの画角ズレ量を演算する。
In step ST2, the image information and the image processing result from the
In step ST3, the angle of view
That is, the angle of view
具体的には、画角ズレ検出部２２２が、カメラ一覧テーブル４０のカメラ番号をキーにして、現画像処理部２２１が取得した画像変換部２３からの画像情報と記録映像受信部２４が取得した過去の画像情報とを比較し、画角ズレ量を算出する。
Specifically, the angle-of-view
画角ズレ検出部２２２により画角ズレ量が算出されなかった場合は、画角ズレ無をイベント蓄積部２５に送り、処理を終了する。図７には示していないが、現画像処理部２２１の画像処理結果が監視端末装置３０に送られる。
画角ズレ検出部２２２により画角ズレ量が算出された場合は、算出された画角ズレ量は、イベント蓄積部２５に送られ、ステップＳＴ４に進む。
イベント蓄積部２５では、図５に示す画角ズレカメラリストテーブルに、カメラ番号とカメラ名称とともに、Ｘ方向及びＹ方向の画角ズレ量を格納する。
If the angle of view
When the angle of view
The
ステップＳＴ４において、カメラ一覧テーブル４０のカメラ番号をキーにして、検知種別に対応する閾値リスト６０に格納された閾値を取得し、ステップＳＴ５に進む。
ステップＳＴ５において、画角ズレ検出部２２２により、算出された画角ズレ量と閾値リスト６０に格納された閾値とが比較され、画角ズレ量が閾値未満の場合は画角ズレが「無」としてイベント蓄積部２５に送り、ステップＳＴ２に戻る。
画角ズレ量が閾値以上の場合は、画角ズレが「有」としてイベント蓄積部２５に送り、画角ズレ量をマスク領域補正部２２３に送り、ステップＳＴ６に進む。
In step ST4, using the camera number in the camera list table 40 as a key, the threshold value stored in the
In step ST5, the angle of view
If the angle of view deviation is equal to or greater than the threshold value, the angle of view deviation is set to "Yes" and sent to the
イベント蓄積部２５では、図４に示すイベントリストテーブルに、イベントＩＤと発生時刻と検知種別とカメラ番号とともに画角ズレが有又は無を格納する。
また、イベント蓄積部２５では、図５に示す画角ズレカメラリストテーブルに、画角ズレを比較したカメラ２のカメラ番号に対して画角ズレが有又は無を格納する。
The
Further, in the
ステップＳＴ６において、マスク領域補正部２２３が、画角ズレ検出部２２２により演算された画角ズレ量から現画像処理部２２１に用いられた「設定されたマスク領域」を補正する補正マスク領域を得、得た補正マスク領域を再画像処理部２２４に送り、ステップＳＴ７に進む。
In step ST6, the mask
具体的には、マスク領域補正部２２３が、画角ズレ検出部２２２により演算された画角ズレ量に応じて、カメラ一覧テーブル４０のカメラ番号毎に登録されたマスク領域を示すマスク情報、つまり、設定されたマスク領域を示すマスク情報に座標変換処理を実施し、マスク領域を示すマスク情報を更新する。
更新されたマスク情報が補正マスク領域を示すマスク情報であり、次の画像処理に対する設定されたマスク領域を示すマスク情報になる。
Specifically, the mask information indicating the mask area registered for each camera number in the camera list table 40 according to the angle deviation amount calculated by the mask
The updated mask information is the mask information indicating the correction mask area, and is the mask information indicating the set mask area for the next image processing.
ステップＳＴ７において、再画像処理部２２４が、補正マスク領域を用いての映像受信部２１からの画像情報を解析し、現画像処理部２２１による画像処理に対応した演算処理と同様に置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出する。
図７には示していないが、再画像処理部２２４の画像処理結果が監視端末装置３０に送られ、処理を終了する。
In step ST7, the
Although not shown in FIG. 7, the image processing result of the
図６に示された処理ステップを、画像処理サーバ２０を構成するコンピュータにおけるＲＯＭにプログラムとして格納されてもよい。
すなわち、ＲＯＭに格納されるプログラムは、カメラからの画像情報を受信する手順と、設定された画像処理の範囲であるマスク領域における前記受信したカメラからの画像情報を基に前記カメラの画角ズレ量を演算する手順と、当該演算された画角ズレ量から補正マスク領域を得る手順と、当該得た補正マスク領域における前記受信したカメラからの画像情報を解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出する手順をコンピュータに実行させる監視システムの異常検知検出プログラムである。
The processing step shown in FIG. 6 may be stored as a program in the ROM of the computer constituting the
That is, the program stored in the ROM shifts the angle of view of the camera based on the procedure for receiving the image information from the camera and the image information from the received camera in the mask area which is the range of the set image processing. The procedure for calculating the amount, the procedure for obtaining the correction mask area from the calculated angle of view deviation amount, and the image information from the received camera in the obtained correction mask area are analyzed, and left-behind detection or intrusion detection, or It is an abnormality detection detection program of a monitoring system that causes a computer to execute a procedure for detecting an abnormality such as kerosene can detection or long object detection.
以上のように、実施の形態１に係る監視システムは、画像処理部２２が、映像受信部２１からの画像情報を基にカメラ２の画角ズレ量を演算し、当該演算された画角ズレ量から補正マスク領域を得、当該得た補正マスク領域における映像受信部２１からの画像情報を解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出するものとしたので、画像処理の範囲であるマスク領域を自動補正でき、カメラ２による画像認識に対するメンテナンス及びカメラ２に対するパラメータ調整の頻度を抑制できた上で、精度の高い異常検知を検出できる。
As described above, in the monitoring system according to the first embodiment, the
その結果、実施の形態１に係る監視システムは、異常検知による誤報及び失報に対する改善が図れる。
例えば、カメラ２に画角ズレが生じ、置き去り検知の異常検知の検出において、不審物及び忘れ物が存在しないにも関わらず、カメラ２からの画像情報に基づいた背景差分の検出による異常検知が検出され、異常検知が検出されたことによる誤報が発生することがある。
実施の形態１に係る監視システムでは、マスク領域を自動補正しているため、このような誤報が発生することを低減でき、誤報による確認操作というユーザの負荷を低減できる。
As a result, the monitoring system according to the first embodiment can be improved against false alarms and false alarms due to abnormality detection.
For example, in the detection of anomaly detection due to an angle of view shift in the
In the monitoring system according to the first embodiment, since the mask area is automatically corrected, it is possible to reduce the occurrence of such false alarms and reduce the user's load of confirmation operation due to false alarms.
また、実施の形態１に係る監視システムは、画像処理サーバ２０に、カメラ２に付与された一意に決まるインデックス番号であるカメラ番号と、カメラ２に付与された設置位置を示すカメラ名称と、カメラ２のＸ方向の画角ズレ量を示すＸ方向画角ズレ量と、カメラ２のＹ方向の画角ズレ量を示すＹ方向画角ズレ量と、カメラ２の画角ズレの有無が紐付けされた画角ズレカメラリストテーブルが格納されるイベント蓄積部２５を有するので、イベント蓄積部２５に格納された画角ズレカメラリストテーブルから画角ズレカメラリストを読み出し、表示されることにより、ユーザに対して画角ズレを容易に認識させることができる。
Further, in the monitoring system according to the first embodiment, the
さらに、実施の形態１に係る監視システムは、画像処理サーバ２０に、画像処理部２２が異常検知を検出した際に付されたイベントＩＤ及び発生時刻と、当該異常検知を検出した映像受信部２１からの画像情報に対する、カメラ２を特定する名称及び画角ズレ量の有無を含むイベントリストテーブルを格納するイベント蓄積部を有するので、イベント蓄積部２５に格納されたイベントリストテーブルからイベントリストを読み出し、表示されることにより、ユーザに対して画角ズレが発生した時刻を容易に認識させることができる。
また、イベントＩＤを用いて異常検知を検出した際のカメラ２の画像情報による映像が表示可能である。
Further, in the monitoring system according to the first embodiment, the event ID and the occurrence time assigned to the
Further, it is possible to display an image based on the image information of the
またさらに、実施の形態１に係る監視システムは、画像処理部２２が、閾値より値が大きな第２の閾値を超えている場合は画角ズレ警報情報を出力するので、異常検知の検出が単なる画角ズレによるものではなく、カメラ２に対して大きな振動、例えば、何らかの衝撃又はいたずらによる角度変更が与えられたことによりカメラ２の角度が変わったことが通知される。その結果、ユーザによるカメラ２に対する点検を低減できる。
Further, in the monitoring system according to the first embodiment, when the
実施の形態２．
実施の形態２に係る監視システム１を図８に基づいて説明する。
各図中、同一符号は同一又は相当部分を示す。
実施の形態２に係る監視システム１は、実施の形態１に係る監視システム１における画像処理部２２のマスク領域補正部２２３に対して、画像処理パラメータ補正部２２５ａを含むマスク領域補正部２２５とした点が異なり、画像処理パラメータ補正部２２５ａからの補正パラメータを受ける再画像処理部２２６の機能が若干異なる点以外は実施の形態１に係る監視システム１と同様である。
すなわち、実施の形態２に係る監視システム１は、マスク領域補正部２２５及び再画像処理部２２６以外の他の構成要素については実施の形態１に係る監視システム１における構成要素と同様である。
The
In each figure, the same reference numerals indicate the same or corresponding parts.
The
That is, the
マスク領域補正部２２５は、マスク領域補正部２２３と同様の機能、つまり、画角ズレ検出部２２２により演算された画角ズレ量から現画像処理部２２１に用いられた「設定されたマスク領域」を補正する補正マスク領域を得る機能を有する他、現画像処理部２２１で用いられた人物を検知するための人物検知パラメータ、灯油缶検知、長尺物検知といった特定の人物を検出するパラメータを補正する補正パラメータを得るパラメータ補正機能を持つ画像処理パラメータ補正部２２５ａを含む。
The mask
パラメータは画像処理パラメータを意味し、煩雑さを避けるため、単にパラメータと表現している。
マスク領域補正部２２５における画像処理パラメータ補正部２２５ａは、画角ズレ検出部２２２から画角ズレが有とされたカメラ２を対象とし、対象としたカメラ２からの画像情報に対して特定の人物を検出する補正パラメータを得る。
The parameter means an image processing parameter and is simply expressed as a parameter to avoid complexity.
The image processing
パラメータ補正機能は、対象とされたカメラ２の過去の画像情報が記録された映像記録装置１０から灯油缶検知又は長尺物検知が検出された画像情報を記録映像受信部２４から受信するとともに、対象とされたカメラ２と関連するカメラ２の画像情報を映像受信部２１及び画像変換部２３を介して受信し、対象とされたカメラ２の画像情報と、対象とされたカメラ２の過去の画像情報及び関連するカメラ２の画像情報とを比較し、対象とされたカメラ２の画像情報に対する補正パラメータを得る機能である。
補正パラメータは再画像処理部２２６に送られる。
The parameter correction function receives the image information in which kerosene can detection or long object detection is detected from the
The correction parameter is sent to the
再画像処理部２２６は、マスク領域補正部２２５からの補正マスク領域及び補正パラメータにより、映像受信部２１からの画像情報を再度解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を再検出する。
再画像処理部２２６による画像処理結果は監視端末装置３０に送られる。
The
The image processing result by the
このように実施の形態２に係る監視システム１は、画角ズレが有とされたカメラ２の画像情報に対して、画角ズレの補正と画像処理を行うパラメータに対して補正パラメータを得た上で画像処理を行うので、精度の高い異常検知を検出できる。
As described above, the
なお、パラメータ補正機能として、イベント蓄積部２５に格納された図４に示すイベントリストテーブルから検知種別をキーに、対象とされたカメラ２が灯油缶検知又は長尺物検知を行った時間帯における、対象とされたカメラ２と関連するカメラ２のイベントＩＤを取得し、イベントＩＤを基に映像記録装置１０から対象とされたカメラ２及び関連するカメラ２の画像情報を受信し、対象とされたカメラ２の画像情報と、対象とされたカメラ２に関連するカメラ２の画像情報とを比較し、対象とされたカメラ２の画像情報に対する補正パラメータを得る機能であってもよい。
As a parameter correction function, the
なお、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。 It is possible to freely combine the embodiments, modify any component of each embodiment, or omit any component of each embodiment.
本開示に係る監視システムは、駅構内又は店舗等の監視したい場所に設置される防犯カメラ又は監視カメラからの画像情報に基づいて、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出する監視システムに好適である。 The surveillance system according to the present disclosure is based on image information from a security camera or a surveillance camera installed in a station yard or a place to be monitored such as a store, and is used for abandonment detection or intrusion detection, kerosene can detection, long object detection, etc. It is suitable for a monitoring system that detects anomaly detection.
１ 監視システム、２（１）～２（ｎ） カメラ、３ ネットワークスイッチ、１０ 映像記録装置、２０ 画像処理サーバ、２１（１）～２１（ｎ） 映像受信部、２２ 画像処理部、２２１ 現画像処理部、２２２ 画角ズレ検出部、２２３ マスク領域補正部、２２４ 再画像処理部、２３（１）～２３（ｎ） 画像変換部、２４ 記録映像受信部、２５ イベント蓄積部、２６ イベント通知部、３０ 監視端末装置、３１（１）～３１（ｎ） 映像受信部、３２（１）～３２（ｎ） 画像変換部、３３ 再生制御部、３４ 処理結果受信部、３５ 表示手段、２２５ マスク領域補正部、２２５ａ 画像処理パラメータ補正部、２２６ 再画像処理部。 1 Surveillance system, 2 (1) to 2 (n) camera, 3 network switch, 10 video recording device, 20 image processing server, 21 (1) to 21 (n) video receiver, 22 image processing unit, 221 current image Processing unit, 222 Image angle deviation detection unit, 223 Mask area correction unit, 224 Re-image processing unit, 23 (1) to 23 (n) image conversion unit, 24 Recorded video reception unit, 25 Event storage unit, 26 Event notification unit , 30 Monitoring terminal device, 31 (1) to 31 (n) video receiving unit, 32 (1) to 32 (n) image conversion unit, 33 playback control unit, 34 processing result receiving unit, 35 display means, 225 mask area Correction unit, 225a Image processing parameter correction unit, 226 Re-image processing unit.
Claims (10)
設定された画像処理の範囲であるマスク領域における前記映像受信部からの画像情報を解析し、置き去り検知又は侵入検知などの異常検知を検出する現画像処理部と、前記映像受信部からの画像情報から前記カメラの画角ズレ量を演算する画角ズレ検出部と、前記画角ズレ検出部により演算された画角ズレ量から前記マスク領域を補正する補正マスク領域を得るマスク領域補正部と、前記マスク領域補正部からの補正マスク領域により、前記映像受信部からの画像情報を再度解析し、置き去り検知又は侵入検知などの異常検知を再検出する再画像処理部を具備する画像処理部と、
を有する画像処理サーバを備えた監視システム。 A video receiver that receives image information from the camera,
The current image processing unit that analyzes the image information from the video receiving unit in the mask area within the set image processing range and detects abnormality detection such as abandonment detection or intrusion detection, and the image information from the video receiving unit. An image angle deviation detection unit that calculates the amount of angle of view deviation of the camera, and a mask area correction unit that obtains a correction mask area that corrects the mask area from the amount of angle of view deviation calculated by the image angle deviation detection unit. An image processing unit including a re-image processing unit that re-analyzes image information from the video receiving unit by the correction mask area from the mask area correction unit and rediscovers abnormality detection such as abandonment detection or intrusion detection.
Surveillance system with an image processing server.
前記イベント蓄積部に格納された画角ズレカメラリストテーブルから読みだされた前記カメラ名称及び前記画角ズレ量を含む画角ズレカメラリストを表示する表示手段を有する監視端末装置を備えた請求項１から請求項４のいずれか１項に記載の監視システム。 The image processing server stores an event storage in which an angle-of-view camera list table including the camera name of the camera and the amount of angle-of-view deviation is stored for the image information from the video receiving unit when the image processing unit detects an abnormality detection. Has a part,
The claim is provided with a monitoring terminal device having a display means for displaying the camera name and the angle-of-view deviation camera list including the angle-of-view deviation amount read from the angle-of-view deviation camera list table stored in the event storage unit. The monitoring system according to any one of claims 1 to 4.
前記イベント蓄積部に格納されたイベントリストテーブルから読みだされた前記カメラを特定する名称及び前記画角ズレ量の有無を含むイベントリストを表示する表示手段を有する監視端末装置を備えた請求項１から請求項４のいずれか１項に記載の監視システム。 The image processing server is an event storage unit that stores an event list table including a name that identifies the camera and the presence or absence of an angle of view deviation for image information from the video receiving unit for which the image processing unit has detected an abnormality detection. Have,
1. Claim 1 comprising a monitoring terminal device having a display means for displaying an event list including a name specifying the camera read from the event list table stored in the event storage unit and the presence / absence of the angle of view deviation amount. The monitoring system according to any one of claims 4.
画像処理部が、設定された画像処理の範囲であるマスク領域における前記映像受信部からの画像情報を基に前記カメラの画角ズレ量を演算するステップと、当該演算された画角ズレ量から補正マスク領域を得るステップと、当該得た補正マスク領域における前記映像受信部からの画像情報を解析し、置き去り検知又は侵入検知などの異常検知を検出するステップを有する監視システムの異常検知検出方法。 The step in which the video receiver receives the image information from the camera,
From the step of calculating the angle of view deviation amount of the camera based on the image information from the video receiving unit in the mask area which is the range of the set image processing, and the calculated angle of view deviation amount. An abnormality detection detection method of a monitoring system having a step of obtaining a correction mask area and a step of analyzing image information from the video receiving unit in the obtained correction mask area and detecting an abnormality detection such as abandonment detection or intrusion detection.
設定された画像処理の範囲であるマスク領域における前記受信したカメラからの画像情報を基に前記カメラの画角ズレ量を演算する手順と、
当該演算された画角ズレ量から補正マスク領域を得る手順と、
当該得た補正マスク領域における前記受信したカメラからの画像情報を解析し、置き去り検知又は侵入検知などの異常検知を検出する手順を、
コンピュータに実行させる監視システムの異常検知検出プログラム。 The procedure for receiving image information from the camera and
A procedure for calculating the amount of angle of view deviation of the camera based on the image information from the received camera in the mask area which is the range of the set image processing, and
The procedure for obtaining the correction mask area from the calculated angle of view deviation amount, and
A procedure for analyzing the image information from the received camera in the obtained correction mask area and detecting an abnormality detection such as abandonment detection or intrusion detection.
Anomaly detection detection program for monitoring systems run by computers.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020212182A JP2022098663A (en) | 2020-12-22 | 2020-12-22 | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020212182A JP2022098663A (en) | 2020-12-22 | 2020-12-22 | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022098663A true JP2022098663A (en) | 2022-07-04 |
Family
ID=82261903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020212182A Pending JP2022098663A (en) | 2020-12-22 | 2020-12-22 | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022098663A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116528042A (en) * | 2023-06-29 | 2023-08-01 | 深圳市巨龙创视科技有限公司 | Control method and system for remote camera |
-
2020
- 2020-12-22 JP JP2020212182A patent/JP2022098663A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116528042A (en) * | 2023-06-29 | 2023-08-01 | 深圳市巨龙创视科技有限公司 | Control method and system for remote camera |
| CN116528042B (en) * | 2023-06-29 | 2023-10-27 | 深圳市巨龙创视科技有限公司 | Control method and system for remote camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4847165B2 (en) | Video recording / reproducing method and video recording / reproducing apparatus | |
| EP2954499B1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
| US10552713B2 (en) | Image analysis system, image analysis method, and storage medium | |
| US8743204B2 (en) | Detecting and monitoring event occurrences using fiber optic sensors | |
| US10719946B2 (en) | Information processing apparatus, method thereof, and computer-readable storage medium | |
| KR101696801B1 (en) | integrated image monitoring system based on IoT camera | |
| KR101464344B1 (en) | Surveillance camera and image managing system, and method for detecting abnormal state by training normal state of surveillance image | |
| JP2011233133A (en) | Shoplifting preventing system | |
| KR101019384B1 (en) | Apparatus and method for unmanned surveillance using omni-directional camera and pan/tilt/zoom camera | |
| JP2008035095A (en) | Monitoring apparatus, monitoring system, monitoring method and program | |
| JP6013923B2 (en) | System and method for browsing and searching for video episodes | |
| JP4808139B2 (en) | Monitoring system | |
| JP4959592B2 (en) | Network video monitoring system and monitoring device | |
| KR101212082B1 (en) | Image Recognition Apparatus and Vison Monitoring Method thereof | |
| JP3942606B2 (en) | Change detection device | |
| JP2008288870A (en) | Video image monitoring system and video image monitoring method | |
| EP3432575A1 (en) | Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus | |
| KR20160093253A (en) | Video based abnormal flow detection method and system | |
| JP2022098663A (en) | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system | |
| KR100718521B1 (en) | Image outputting system and control program for outputting image | |
| KR101747215B1 (en) | Apparatus and Method for storing and searching image using ladar | |
| JP2010233185A (en) | Apparatus, system and program for processing image | |
| US10783365B2 (en) | Image processing device and image processing system | |
| KR100779858B1 (en) | picture monitoring control system by object identification and the method thereof | |
| JP4738142B2 (en) | Intrusion monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230524 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240611 |