JP2022098663A - Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system - Google Patents
Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system Download PDFInfo
- Publication number
- JP2022098663A JP2022098663A JP2020212182A JP2020212182A JP2022098663A JP 2022098663 A JP2022098663 A JP 2022098663A JP 2020212182 A JP2020212182 A JP 2020212182A JP 2020212182 A JP2020212182 A JP 2020212182A JP 2022098663 A JP2022098663 A JP 2022098663A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- angle
- image processing
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 72
- 230000005856 abnormality Effects 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title claims description 171
- 238000012545 processing Methods 0.000 claims abstract description 206
- 238000012937 correction Methods 0.000 claims description 74
- 239000003350 kerosene Substances 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000009434 installation Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 51
- 238000006243 chemical reaction Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 7
- 238000001454 recorded image Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本開示は、防犯カメラ又は監視カメラからの画像情報に対して、画像処理結果の精度向上及び演算コストの低減を目的にマスク領域を設定し、マスク領域における画像情報の画像処理を行い、置き去り検知又は侵入検知などの異常検知を行う監視システムに関する。 In the present disclosure, a mask area is set for the image information from a security camera or a surveillance camera for the purpose of improving the accuracy of the image processing result and reducing the calculation cost, and the image information in the mask area is image-processed to detect the leftover. Or related to a monitoring system that detects abnormalities such as intrusion detection.
カメラで撮影された撮影画像から人物を検出し追跡する監視カメラシステムが特許文献1に示されている。
この特許文献1には、監視カメラシステムに用いて好適なカメラ設定装置が示されており、施工者がカメラを設置する際に、仮設置した状態において、追跡された人物に対する、顔の検出回数、顔の向き、画角、動線のいずれか一つを来店者情報として用い、カメラの設置状況が適しているかを推定してカメラの設定変更を促す最適カメラ設定装置が示されている。
This
しかるに、従来の監視カメラシステムでは、カメラを設置後、カメラに対する振動又は経年劣化のなどの外乱により、人間の目では分り難いカメラ本体の画角ズレが生じ、マスク領域が期待した領域から外れてしまい、カメラに対するメンテナンスを実施しない限り、置き去り検知又は侵入検知などの異常検知を精度高く行えないという問題が生ずる。 However, in the conventional surveillance camera system, after the camera is installed, the angle of view of the camera body shifts, which is difficult for the human eye to see, due to disturbances such as vibration or deterioration over time, and the mask area deviates from the expected area. Therefore, unless maintenance is performed on the camera, there arises a problem that abnormality detection such as abandonment detection or intrusion detection cannot be performed with high accuracy.
本開示は、上記した点に鑑みてなされたものであり、カメラ本体の画角ズレに対してマスク領域を補正し、置き去り検知又は侵入検知などの異常検知を精度高く行える監視システムを得ることを目的とする。 The present disclosure has been made in view of the above points, and it is desired to obtain a monitoring system capable of correcting the mask area for the angle of view deviation of the camera body and detecting an abnormality such as abandonment detection or intrusion detection with high accuracy. The purpose.
本開示に係る監視システムは、カメラからの画像情報を受信する映像受信部と、設定された画像処理の範囲であるマスク領域における映像受信部からの画像情報を基にカメラの画角ズレ量を演算し、当該演算された画角ズレ量から補正マスク領域を得、当該得た補正マスク領域における映像受信部からの画像情報を解析し、置き去り検知又は侵入検知などの異常検知を検出する画像処理部を有する画像処理サーバを備える。 The monitoring system according to the present disclosure determines the amount of angle of view deviation of the camera based on the image information from the image receiving unit that receives the image information from the camera and the image receiving unit in the mask area that is the range of the set image processing. Image processing that performs calculation, obtains a correction mask area from the calculated angle of view deviation amount, analyzes image information from the video receiving unit in the obtained correction mask area, and detects abnormality detection such as abandonment detection or intrusion detection. It is provided with an image processing server having a unit.
本開示によれば、置き去り検知又は侵入検知などの異常検知を精度高く行える監視システムを得ることができる。 According to the present disclosure, it is possible to obtain a monitoring system capable of accurately detecting anomalies such as abandonment detection or intrusion detection.
実施の形態1.
実施の形態1に係る監視システム1を図1から図7に基づいて説明する。
図1に示すように、複数台のネットワークカメラである防犯カメラ又は監視カメラ(以下、総称してカメラと称す)2(1)からカメラ2(n)が駅構内又は店舗等の監視したい場所に設置される。
なお、以下の説明において、特に、個々のカメラ2(1)~2(n)を特定して説明する必要がない場合は()書きの符号は、煩雑さを避けるため、省略して説明する。
The
As shown in FIG. 1, a security camera or a surveillance camera (hereinafter collectively referred to as a camera) 2 (1), which is a plurality of network cameras, to a camera 2 (n) in a station yard or a place to be monitored such as a store. Will be installed.
In the following description, in particular, when it is not necessary to specify and explain the individual cameras 2 (1) to 2 (n), the reference numerals in () will be omitted in order to avoid complexity. ..
カメラ2は、撮影された映像をJPEG又はH.264などのデジタル映像にエンコード圧縮し、RTP(Real-time Transport Protocol、RFC3551)などの映像転送プロトコルによりRTPパケットに変換して画像情報として出力する。
カメラ2から出力された画像情報は、ネットワークスイッチ3を介してマルチキャスト配信によりネットワーク上に送信され、ネットワークを介して監視システム1に送信される。
The
The image information output from the
監視システム1は、ネットワークスイッチ3を介して配信された複数のカメラ2からの画像情報を受信し、それぞれのカメラ2に対する画像情報について画像処理を行い、つまり、画像情報を分析、解析し、置き去り検知又は侵入検知、あるいは人が灯油缶を持った灯油缶検知又は長尺物を持った長尺物検知などの異常検知を検出し、異常検知を検出すると、異常検知情報を通知する。
監視システム1は、映像記録装置10と、画像処理サーバ20と、監視端末装置30を備える。
映像記録装置10と、画像処理サーバ20と、監視端末装置30は、マルチキャスト配信により、カメラ2から出力された画像情報が同時に配信される。
The
The
The
画像処理サーバ20と監視端末装置30は、図2に示すように、カメラ一覧テーブル40と、映像記録装置一覧テーブル50と、閾値リスト60を共有情報として記憶している。
カメラ一覧テーブル40は、図3に示すように、「カメラ番号」、「カメラ名称」、「設置場所名称」、「マップ」、「マップ位置」、及び「図中符号」が紐付けされた情報のテーブルである。
監視システム1内では、カメラ一覧テーブル40の「カメラ番号」によりカメラ2(1)~2(n)が特定され、「カメラ番号」を用いてカメラ一覧テーブル40からカメラ情報が参照される。
As shown in FIG. 2, the
As shown in FIG. 3, the camera list table 40 is information associated with a "camera number", a "camera name", an "installation location name", a "map", a "map position", and a "code in the figure". It is a table of.
In the
「カメラ番号」は、本監視システムにおいて一意に決まるインデックス番号を表す。例えば、センサと区別するために便宜上「C」を頭に、設置フロア、3桁のインデックス番号を組合せた全5桁で表している。システム内ではカメラ番号の番号を用いてカメラ一覧テーブル40からカメラ情報を参照する。
「カメラ名称」及び「設置場所名称」は監視端末装置30のGUI(Graphical User Interface)画面に表示するカメラ名称を表す。
The "camera number" represents an index number uniquely determined in this monitoring system. For example, in order to distinguish it from the sensor, it is represented by a total of 5 digits, which is a combination of the installation floor and the 3-digit index number, with "C" at the head for convenience. In the system, the camera information is referred from the camera list table 40 using the camera number.
The "camera name" and "installation location name" represent the camera names displayed on the GUI (Graphical User Interface) screen of the monitoring
映像記録装置10は、受信したカメラ2からの画像情報を、図3に示したカメラ一覧テーブル40のカメラ番号に基づいて、カメラ2のカメラ番号と時刻が紐付けされて記録される。映像記録装置10はハードディスク又はSSD(Solid State Drive)装置などの大容量の記録装置を搭載する。
The
画像処理サーバ20は、図2に示すように、それぞれがカメラ2(1)~2(n)のそれぞれに対応して設けられ、対応したカメラ2(1)~2(n)からの画像情報を受信する複数の映像受信部21(1)~21(n)と、設定された画像処理の範囲であるマスク領域における映像受信部21(1)~21(n)からの画像情報を解析して対象としたカメラ2(1)~2(n)の画角ズレ量を演算し、当該演算された画角ズレ量から補正マスク領域を得、当該得た補正マスク領域における映像受信部21(1)~21(n)からの画像情報を再解析し、置き去り検知又は侵入検知あるいは灯油缶検知又は長尺物検知などの異常検知を再検出する画像処理部22を有する。
なお、以下の説明において、特に、個々の映像受信部21(1)~21(n)を特定して説明する必要がない場合は()書きにて示した符号は、煩雑さを避けるため、省略して説明する。
As shown in FIG. 2, the
In the following description, in particular, when it is not necessary to specify and explain the individual video receiving units 21 (1) to 21 (n), the reference numerals shown in () are used to avoid complexity. The explanation will be omitted.
画像処理サーバ20は、受信したカメラ2からの画像情報に基づいて、設定された画像処理の範囲であるマスク領域における映像受信部21からの画像情報を解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出する第1の機能と、マスク領域における映像受信部21からの画像情報を解析し、カメラ2の画角ズレ量を演算し、当該演算された画角ズレ量から補正マスク領域を得る第2の機能とを有する。
The
画像処理サーバ20における第2の機能は、異常検知を検出すると、受信したカメラ2からの画像情報と、映像記録装置10から取得した過去の映像を使用し、画角ズレ量を演算し、演算された画角ズレ量により設定されたマスク領域を座標変換して更新した補正マスク領域を得る機能である。
画像処理サーバ20における第1の機能は、第2の機能により画角ズレ量が、閾値リスト60に示されたカメラ番号に対する閾値未満である場合は設定されたマスク領域に基づいて画像処理をして異常検知を検出し、閾値以上である場合は、第2の機能により得られた補正マスク領域に基づいて画像処理を行い、異常検知を検出する機能である。
なお、更新された補正マスク領域は、次回以降の設定されたマスク領域になる。
The second function of the
The first function of the
The updated correction mask area will be the set mask area from the next time onward.
画像処理サーバ20における第1の機能は、さらに、第2の機能により画角ズレ量が、上記閾値より値が大きな第2の閾値以上である場合は、画角ズレ量に対する自動調整が不可として画角ズレ警報情報を出力する機能を有する。
第2の閾値は、カメラ2に対して大きな振動、例えば、何らかの衝撃又はいたずらによる角度変更が与えられた場合、カメラ2自体を調整する必要があると判断される値である。
第2の閾値も、閾値と同様に閾値リスト60にカメラ番号に対する第2の閾値として格納されている。
The first function of the
The second threshold value is a value at which it is determined that the
The second threshold value is also stored in the
画像処理サーバ20はサーバ型のコンピュータであり、高速で並列度の高いCPU(Central Processing Unit)と、大容量の半導体メモリ(RAM:Random Access Memory)と、ハードディスク装置又はSSD装置などの不揮発性記録装置などの記憶装置(ROM:Read only memory)から構成され、ROMに格納されたプログラムをRAMにロードし、CPUがRAMにロードされたプログラムに基づき各種処理を実行する。画像処理サーバ20は汎用的なOS(Operating System)で駆動される。
なお、画像処理サーバ20は、処理負荷の大きさに応じて、複数のコンピュータで構成することで処理負荷を分散することも可能である。また、細かく処理内容の分担を分けることによって、監視システム1内で複数の複雑な画像処理を並行して実施することも可能である。
The
It is also possible to distribute the processing load by configuring the
画像処理サーバ20は、図2の機能ブロック図が示すように、処理機能として処理の単位である1つ1つの機能ブロックを有する。各機能ブロックは、OSが管理するタスク又はプログラムあるいはスレッド単位である。また、連携する処理部と処理部の間は、OSの持つ共有メモリインターフェース又はネットワークを介したソケットインターフェースによりデータ送受信が行われる。
As shown in the functional block diagram of FIG. 2, the
画像処理サーバ20が有する機能ブロックは、映像受信部21(1)~21(n)と、画像変換部23(1)~23(n)と、記録映像受信部24(1)~24(n)と、画像処理部22と、イベント蓄積部25と、イベント通知部26を有する。
画像処理部22は、現画像処理部221と、画角ズレ検出部222と、マスク領域補正部223と、再画像処理部224を有する。
The functional blocks of the
The
映像受信部21(1)~21(n)それぞれは、図3に示したカメラ一覧テーブル40のカメラ番号に基づいて、カメラ2(1)~2(n)からの画像情報を順番に割り当てられ、カメラ2(1)~2(n)それぞれと対応して稼働する。
映像受信部21は、カメラ2から配信されるRTPパケットを受信し、RTPパケットのペイロードから映像データを抽出し、一時的にメモリ(図示せず)上にバッファリングする。バッファリングした映像データは、例えば、JPEGならばフレーム単位に、H.264ならばIフレームを先頭とした関連フレームの連続したデータ群(GOP:Group Of Picture)を画像情報として抽出され、それぞれの映像受信部21(1)~21(n)が対応した画像変換部23(1)~23(n)へ画像情報として送る。
Each of the video receiving units 21 (1) to 21 (n) is sequentially assigned image information from the cameras 2 (1) to 2 (n) based on the camera numbers of the camera list table 40 shown in FIG. , It operates corresponding to each of the cameras 2 (1) and 2 (n).
The
画像変換部23(1)~23(n)それぞれは対応した映像受信部21(1)~21(n)のそれぞれと対をなし、対をなした映像受信部21(1)~21(n)のそれぞれと連携動作する。
なお、以下の説明において、特に、個々の画像変換部23(1)~23(n)を特定して説明する必要がない場合は()書きの符号は、煩雑さを避けるため、省略して説明する。
Each of the image conversion units 23 (1) to 23 (n) is paired with each of the corresponding video reception units 21 (1) to 21 (n), and the paired video reception units 21 (1) to 21 (n). ) Works in cooperation with each.
In the following description, in particular, when it is not necessary to specify and explain the individual image conversion units 23 (1) to 23 (n), the reference numerals in () are omitted in order to avoid complexity. explain.
画像変換部23は、映像受信部21から受け取った画像情報であるデジタル映像データをデコード伸長し、カメラ2で撮影したフレーム毎の画像データを生成する。生成された画像データはフレーム単位での画像情報として、画像処理部22の現画像処理部221へ送られ、処理される。
The
現画像処理部221は、画像変換部23からの画像情報に基づきVCA(Video Content Analysis)技術(映像解析技術)を用いて人の顔又は物体の特徴を抽出することにより、特定の対象物を認識、識別及び抽出し、置き去り又は持ち去りあるいは持ち物、侵入、病人又は酔客などの異常の有無を解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知、病人又は酔客の検知などの異常検知を検出する。
現画像処理部221における画像認識機能は、既に監視カメラシステムにおいて実用化されている、例えば、学習モデルを構築し人物の行動を検知する機能、又は背景差分を用いて置き去り物又は人物の滞留を検知する機能を用いる。
The current
The image recognition function in the current
現画像処理部221における置き去り検知は、画像変換部23からの画像情報における背景差分により行われる。
また、現画像処理部221は、置き去り検知と同様に、侵入検知、シャッターの開閉を確認するシャッター検知、AIによる学習モデルを使用した灯油缶検知、長尺物検知、うろつき検知、車いす検知等、特定の条件をもつ人物の検知等を行う。
The abandonment detection in the current
In addition, the current
現画像処理部221は、画像変換部23から受け取ったフレーム単位の画像情報から、画像処理サーバ20が持つ複数の画像処理演算を並行して実施し、画像処理結果を出力する。
この時の画像処理演算は、画像処理結果の精度向上及び演算コストの低減を目的に画像変換部23からの画像情報に対して画像処理の範囲であるマスク領域が設定され、設定されたマスク領域における画像情報の画像処理が行なわれる。
The current
In the image processing calculation at this time, a mask area, which is the range of image processing, is set for the image information from the
画像処理結果は、置き去り発生の有無、人の侵入の有無、灯油缶を持った人の有無、長尺物を持った人の有無などの異常検知の有無を、異常検知の検出有を「1」もしくは異常検知の検出無を「0」としたものである。
現画像処理部221が取得した画像変換部23からの画像情報及び画像処理結果は画角ズレ検出部222に送られる。
The image processing result indicates whether or not anomaly detection has occurred, such as whether or not a person has been left behind, whether or not a person has invaded, whether or not a person has a kerosene can, and whether or not a person has a long object. Or, the absence of abnormality detection is set to "0".
The image information and the image processing result from the
記録映像受信部24(1)~24(n)のそれぞれは、カメラ2(1)~2(n)のそれぞれに対応して設けられ、図3に示したカメラ一覧テーブル40のカメラ番号に基づいて、映像記録装置10に記録された過去の画像情報を取得する。
なお、以下の説明において、特に、個々の記録映像受信部24(1)~24(n)を特定して説明する必要がない場合は()書きの符号は、煩雑さを避けるため、省略して説明する。
Each of the recorded image receiving units 24 (1) to 24 (n) is provided corresponding to each of the cameras 2 (1) to 2 (n), and is based on the camera number of the camera list table 40 shown in FIG. The past image information recorded in the
In the following description, in particular, when it is not necessary to specify and explain the individual recorded video receiving units 24 (1) to 24 (n), the reference numerals in () are omitted in order to avoid complexity. I will explain.
記録映像受信部24は現画像処理部221の画像処理結果と連動して動作し、画像処理結果が「1」だった場合、映像記録装置10に記録された過去の画像情報を取得する。
記録映像受信部24が取得した過去の画像情報は画角ズレ検出部222に送られる。
記録映像受信部24は、複数の画像情報を画角ズレ検出部222に送ることができる。
The recorded
The past image information acquired by the recorded
The recorded
画角ズレ検出部222は、現画像処理部221が取得した画像変換部23からの画像情報に基づきカメラ2からの画像情報の画角ズレ量を演算する。
画角ズレ検出部222は、現画像処理部221からの異常検知有の画像処理結果を受けると、現画像処理部221が取得した画像変換部23からの画像情報と記録映像受信部24が取得した過去の画像情報とを比較し、画角ズレ量を算出する。
すなわち、現画像処理部221が取得した画像変換部23からの画像情報Aと、記録映像受信部24が取得した過去の画像情報Bと、予め登録されている画像処理用の画像情報Cを用いて、画角ズレ量を算出する。
画角ズレ量の算出の際に用いる画像情報は、マスク領域における画像情報である。
The angle of view
When the angle of view
That is, the image information A from the
The image information used when calculating the amount of angle of view deviation is the image information in the mask area.
画角ズレ検出部222における画角ズレ量の算出タイミングは、現画像処理部221の画像処理のタイミングと常に同期して行われてもよいが、カメラ2に画角ズレが生じるのはカメラ2に対する振動又は経年劣化のなどの外乱による場合が多いので、現画像処理部221の画像処理結果が異常検知有「1」だったタイミングと同期して行われるのが好ましい。
また、画角ズレ検出部222における画角ズレ量の算出タイミングは、一定期間ごとに行ってもよい。
The calculation timing of the angle of view deviation amount in the angle of view
Further, the timing of calculating the angle of view deviation amount in the angle of view
算出された画角ズレ量は、マスク領域補正部223とイベント蓄積部25に送られる。
併せて、画角ズレ検出部222における画角ズレ量の算出の有無、つまり、画角ズレ量の有無がイベント蓄積部25に送られる。
画角ズレ検出部222における画角ズレ量の有無は、画角ズレ検出部222により、算出された画角ズレ量と閾値リスト60に格納された閾値とが比較され、画角ズレ量が閾値以上の場合は画角ズレが「有」、閾値未満の場合は画角ズレが「無」と判断される。
The calculated angle of view deviation amount is sent to the mask
At the same time, the presence / absence of calculation of the angle of view deviation amount in the angle of view
The presence or absence of the angle of view deviation in the angle of
また、画角ズレ検出部222により、算出された画角ズレ量と閾値リスト60に格納された第2の閾値とが比較され、画角ズレ量が第2の閾値以上である場合は画角ズレ警報情報が監視端末装置30に送られる。
Further, the angle of view
イベント蓄積部25では、図4に示すイベントリストテーブルに画角ズレ検出部222における画角ズレ量の算出の有無を、図5に示す画角ズレカメラリストテーブルに画角ズレ検出部222における画角ズレ量の算出の有無及び画角ズレ量が格納される。
In the
図4に示すイベントリストテーブルは、「イベントID」、「発生時刻」、「解除時刻」、「検知種別」、「画角ズレ」、「カメラ番号」が紐付けされた情報のテーブルである。
「イベントID」は、イベント蓄積部25に蓄積した個別のイベントに対して割り当てられた番号であり、画角ズレ検出部222による画角ズレ量の算出の有無がイベント蓄積部25に送られた時に自動的に付与される。
The event list table shown in FIG. 4 is a table of information associated with "event ID", "occurrence time", "release time", "detection type", "angle of view deviation", and "camera number".
The "event ID" is a number assigned to each event accumulated in the
「発生時刻」は、イベントが発生した時刻であり、画角ズレ検出部222による画角ズレ量の算出の有無がイベント蓄積部25に送られた時にイベントIDが付与された時刻である。
「解除時刻」は、ユーザがイベントを手動で解除した時刻を表し、ユーザがイベントを解除した時に自動的に解除した時刻が記憶される。
The “occurrence time” is the time when the event occurred, and is the time when the event ID is given when the presence / absence of calculation of the angle of view deviation amount by the angle of view
The "cancellation time" represents the time when the user manually cancels the event, and the time when the user cancels the event is automatically stored.
「検知種別」は、画像処理サーバ20が複数の画像処理を行う場合、画像処理内容に対応して付した番号である。例えば、「置き去り検知」に対して「1」、「侵入検知」に対して「2」が付され、異常検知の種別に固有に付された番号である。
「画角ズレ」は、画角ズレ検出部222による画角ズレ量の有無を示し、画角ズレ有に対して「1」、画角ズレ無に対して「0」が付される。
The "detection type" is a number assigned according to the image processing content when the
The “angle of view deviation” indicates the presence or absence of the amount of the angle of view deviation by the angle of view
「カメラ番号」は、イベント蓄積部25に送られた現画像処理部221による画像処理結果を得たカメラ2を特定する名称、つまり、カメラ2の番号を示し、図3に示したカメラ一覧テーブル40のカメラ番号に基づいている。
The "camera number" indicates a name that identifies the
図5に示す画角ズレカメラリストテーブルは、「カメラ番号」と、「カメラ名称」と、「X方向(水平方向)」の画角ズレ量と、「Y方向(垂直方向)」の画角ズレ量と、「画角ズレ」が紐付けされた情報のテーブルである。
「カメラ番号」は、イベント蓄積部25に送られた現画像処理部221による画像処理結果を得たカメラ2の番号を示し、図3に示したカメラ一覧テーブル40のカメラ番号に基づいている。
The angle of view deviation camera list table shown in FIG. 5 shows the "camera number", "camera name", the amount of angle of view deviation in the "X direction (horizontal direction)", and the angle of view in the "Y direction (vertical direction)". This is a table of information in which the amount of deviation and the "angle of view deviation" are linked.
The “camera number” indicates the number of the
「カメラ名称」は、監視端末150のGUI画面に表示するカメラ名称を表し、図3に示したカメラ一覧テーブル40のカメラ名称に基づいている。
「X方向」は、画角ズレ検出部222により算出されたX方向の画角ズレ量を表す。
「Y方向」は、画角ズレ検出部222により算出されたY方向の画角ズレ量を表す。
例えば、図5において、カメラ番号C2001について、X方向が+10mm、Y方向が+9mm、画角がずれていることを示している。
「画角ズレ」は、画角ズレ検出部222による画角ズレ量の有無を示し、画角ズレ有に対して「1」、画角ズレ無に対して「0」が付される。
The "camera name" represents the camera name displayed on the GUI screen of the monitoring terminal 150, and is based on the camera name of the camera list table 40 shown in FIG.
“X direction” represents the amount of angle of view deviation in the X direction calculated by the angle of view
The “Y direction” represents the amount of angle of view deviation in the Y direction calculated by the angle of view
For example, FIG. 5 shows that the camera number C2001 is +10 mm in the X direction, +9 mm in the Y direction, and the angle of view is deviated.
The “angle of view deviation” indicates the presence or absence of the amount of the angle of view deviation by the angle of view
マスク領域補正部223は、画角ズレ検出部222が画角ズレ有と判断した場合、画角ズレ検出部222により演算された画角ズレ量から現画像処理部221に用いられた「設定されたマスク領域」を補正する補正マスク領域を得る。
この時の補正マスク領域は、「設定されたマスク領域」を画角ズレ量により座標変換して更新して得た領域である。
補正マスク領域は再画像処理部224に送られる。
When the angle of view
The correction mask area at this time is an area obtained by updating the "set mask area" by performing coordinate conversion according to the amount of angle of view deviation.
The correction mask area is sent to the
画角ズレ検出部222が画角ズレ無と判断した場合、マスク領域補正部223による補正マスク領域は「設定されたマスク領域」のままで良く、マスク領域補正部223は、再画像処理の不要を再画像処理部224に送る。
画角ズレ検出部222が画角ズレ無と判断した場合、現画像処理部221による画像処理結果を直接監視端末装置30に送るようにしてもよい。
When the angle of view
When the angle of view
再画像処理部224は、マスク領域補正部223からの補正マスク領域により、映像受信部21からの画像情報を再度解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を再検出する。
再画像処理部224における補正マスク領域を用いての再画像処理は、現画像処理部221による画像処理と同様の画像処理である。
再画像処理部224による画像処理結果は監視端末装置30に送られる。
マスク領域補正部223から再画像処理の不要を受けると、再画像処理部224は再画像処理を実施せず、現画像処理部221による画像処理結果を監視端末装置30に送る。
The
The reimage processing using the correction mask area in the
The image processing result by the
When the mask
上記に示した画像処理部22は、画像処理部22が有する機能ブロックとして、順に、現画像処理部221と画角ズレ検出部222とマスク領域補正部223と再画像処理部224を有するものとしたが、画角ズレ検出部222の機能を先にし、その後、マスク領域補正部223と現画像処理部221としてもよい。
The
すなわち、画像処理部22が有する機能ブロックを、順に、画角ズレ検出部222とマスク領域補正部223と現画像処理部221とした場合、まず、画角ズレ検出部222により画角ズレ量の演算をし、現画像処理部221は、画角ズレ検出部222により画角ズレが無いとされた場合は、画像変換部23からの画像情報に対して設定されたマスク領域における画像情報の画像処理を行い、画角ズレ検出部222により画角ズレが有るとされた場合は、画像変換部23からの画像情報に対してマスク領域補正部223からの補正されたマスク領域における画像情報の画像処理を行う。
That is, when the functional blocks of the
イベント通知部26は、イベント蓄積部25に格納された図4に示すイベントリストテーブルにおけるイベントリスト、又は図5に示す画角ズレカメラリストテーブルにおける画角ズレカメラリストのいずれか一方のリストを読み出し、読み出したリストを監視端末装置30に送る。
The
監視端末装置30は、図2に示すように、映像受信部31(1)~31(n)と、画像変換部32(1)~32(n)と、再生制御部33と、処理結果受信部34と、GUI画面を有する表示手段35を有する。
映像受信部31(1)~31(n)と画像変換部32(1)~32(n)はそれぞれ、画像処理サーバ20の映像受信部21(1)~21(n)と画像変換部23(1)~23(n)である。つまり、監視端末装置30の映像受信部31(1)~31(n)と画像変換部32(1)~32(n)は、画像処理サーバ20の映像受信部21(1)~21(n)と画像変換部23(1)~23(n)と共通である。
As shown in FIG. 2, the monitoring
The video receiving units 31 (1) to 31 (n) and the image conversion units 32 (1) to 32 (n) are the video receiving units 21 (1) to 21 (n) and the
従って、カメラ2からの画像情報は、映像受信部21(31)と画像変換部23(32)を介してフレーム単位での画像情報として、画像処理部22及び表示手段35に送られる。
映像受信部31と画像変換部32は、表示手段35からの「カメラ切替要求」により、選択されたカメラ2の画像情報を表示手段35に送る。
Therefore, the image information from the
The
監視端末装置30は、監視用プログラムにより制御される、カメラ選択機能と、ライブ映像表示機能と、記録映像表示機能と、イベント情報・画角ズレ量表示機能を有する。
カメラ選択機能は、カメラ2(1)~2(n)からの画像情報を受信し、カメラ2(1)~2(n)から任意のカメラを選択する機能である。
ライブ映像表示機能は、選択したカメラ2からの画像情報をライブ映像として単画面又は分割画面により表示手段35の表示画面352(図6参照)に表示する機能である。
The monitoring
The camera selection function is a function of receiving image information from the cameras 2 (1) to 2 (n) and selecting an arbitrary camera from the cameras 2 (1) to 2 (n).
The live image display function is a function of displaying image information from the selected
記録映像表示機能は、映像記録装置10に記録されたカメラ2の内の選択したカメラ2からの画像情報、もしくは映像記録装置10に記録された図4に示すイベントリストテーブルから選択したイベントの記録映像を、表示手段35の表示画面352に再生、表示する機能である。
イベント情報・画角ズレ量表示機能は、画像処理サーバ20から受信した異常検知の有無を示す画像処理結果及び画角ズレ量の有無を対象とするカメラ表示の色変化又は点滅などにより表示手段35の表示画面351、353、355(図6参照)に表示する機能と、イベント通知部26から受信したイベント蓄積部25に格納された図4に示すイベントリストテーブルに基づくイベントリスト又は図5に示す画角ズレカメラリストテーブルに基づく画角ズレカメラリストを、表示手段35の表示画面355(図6参照)に表示する機能である。
The recorded video display function records image information from the selected
The event information / angle-of-view deviation amount display function is a display means 35 based on an image processing result indicating the presence / absence of abnormality detection received from the
監視端末装置30は、図2に機能ブロックで表した映像受信部31と画像変換部32と再生制御部33と処理結果受信部34が一般的なPC(Personal Computer)で構成され、CPU、半導体メモリ(RAM)、不揮発性記録装置(ROM)から構成され、ROMに格納された監視用プログラムをRAMにロードし、CPUがRAMにロードされた監視用プログラムに基づき各種処理を実行する。監視端末装置30は汎用的なOSで駆動される。
表示手段35は、一般的なOSのウィンドウシステムを使用したグラフィカルなユーザインターフェースを持つGUI部を有する。
The monitoring
The display means 35 has a GUI unit having a graphical user interface using a general OS window system.
映像受信部31と画像変換部32は、表示手段35からの「カメラ切替要求」により、選択されたカメラ2の画像情報を表示手段35に送る。
映像受信部31と画像変換部32と表示手段35は、選択したカメラ2に対するライブ映像表示機能を司る。
The
The
再生制御部33は、表示手段35からの映像記録装置10への「検索再生要求」を送り、映像記録装置10からの「検索再生要求応答」を受信すると、再生準備を行い、映像記録装置10に記録されたカメラ2からの画像情報を再生映像として受信して表示手段35に送り、表示手段35が映像記録装置10に記録されたカメラ2からの画像情報を再生する。
The
具体的には、表示手段35から「カメラ番号」と「再生開始時刻」を付与した「検索再生要求」を送信し、「検索再生要求」を受信した映像記録装置10は「カメラ番号」と「再生開始時刻」によりカメラ2からの画像情報の有無を検索し、存在すれば、映像記録装置10は再生制御部33に「検索再生要求応答」とともに検索したカメラ2からの画像情報を再生映像として送信する。
再生制御部33は、映像記録装置10から送信されたカメラ2からの画像情報を表示手段35に送る。
Specifically, the
The
また、再生制御部33は、イベントを特定した表示手段35からの「検索再生要求」を受信すると、要求されたイベントに対応する映像記録装置10に記録されたカメラ2からの画像情報を再生映像として受信して表示手段35に送り、表示手段35が映像記録装置10に記録されたイベントに対応するカメラ2からの画像情報を再生する。
再生制御部33と表示手段35は記録映像表示機能を司る。
Further, when the
The
処理結果受信部34は、画像処理サーバ20における再画像処理部224からの画像処理結果を表示手段35に送るとともに、イベント通知部26からのイベント蓄積部25に格納された図4に示すイベントリストテーブルから読みだされたイベントリスト、又は図5に示す画角ズレカメラリストテーブルから読みだされた画角ズレカメラリストのいずれか一方を常時受け、いずれか一方のリストを表示手段35に送る。
The processing
また、処理結果受信部34はイベントIDを検索キーとしてイベント通知部26へイベント要求し、イベント通知部26はイベント蓄積部25にイベントリストテーブルの検索を指示し、イベント蓄積部25はイベントIDに対応するイベント情報が存在する場合は「検索成功」の応答とともにイベント情報をイベント通知部26へ応答する。処理結果受信部34はイベント通知部26を介してイベント要求に対するイベント情報を受け取り、表示手段35に送る。
イベント蓄積部25はイベントIDに対応するイベント情報が存在しない場合は、「検索失敗」の応答をイベント通知部26へ応答する。
処理結果受信部34と表示手段35はイベント情報・画角ズレ量表示機能を司る。
Further, the processing
If the event information corresponding to the event ID does not exist, the
The processing
表示手段35におけるGUI部の表示画面に表示する画面デザインとしては、次の4つの機能を有する。
第1に、ライブ映像表示機能を司るために、図3に示したカメラ一覧テーブルからカメラ番号に基づいてカメラ2を選択した「カメラ切替要求」を映像受信部31と画像変換部32へ送り、選択したカメラ2からの画像情報を映像受信部31及び画像変換部32を介して受信し、表示画面352にライブ映像として表示する機能である。
The screen design to be displayed on the display screen of the GUI unit in the display means 35 has the following four functions.
First, in order to control the live video display function, a "camera switching request" in which the
第2に、記録映像表示機能を司るために、「検索再生要求」を再生制御部33へ送り、映像記録装置10に記録され、検索されたカメラ2の画像情報を記録映像として表示画面352に表示する機能である。
第3に、イベント情報・画角ズレ量表示機能を司るために、画像処理サーバ20におけるイベント蓄積部25に格納された図4に示すイベントリストテーブルにおけるイベント通知部26から通知されたイベント内容である「イベントリスト」を表示画面355に表示、及び表示されている「イベントリスト」を更新する機能である。
Second, in order to control the recorded video display function, a "search / playback request" is sent to the
Thirdly, in order to control the event information / angle of view deviation amount display function, the event content notified from the
第4に、イベント情報・画角ズレ量表示機能を司るために、画像処理サーバ20におけるイベント蓄積部25に格納された図5に示す画角ズレカメラリストテーブルにおけるイベント通知部26から通知された「画角ズレカメラリスト」を表示画面355に表示する機能である。
また、表示画面355に表示されている「画角ズレカメラリスト」は、イベント通知部26から通知され、また、表示画面355に表示されている「イベントリスト」に付与された情報を基に、表示内容を決定し、更新できる。
Fourth, in order to control the event information / angle of view deviation amount display function, the
Further, the "angle-of-view camera list" displayed on the
表示手段35におけるGUI部の表示画面に表示された表示例の一例を図6に示す。
GUI部の表示画面は、カメラリスト表示部351と、映像表示部352と、マップ表示部353と、再生制御部354と、画角ズレカメラリスト表示部355によって構成される。
FIG. 6 shows an example of a display example displayed on the display screen of the GUI unit of the display means 35.
The display screen of the GUI unit is composed of a camera
カメラリスト表示部351は、画像処理サーバ20及び監視端末装置30が管理するカメラ2を一覧表示するエリアであり、図3に示したカメラ一覧テーブル40に基づいてカメラ2がマップ毎、カメラ毎に階層的に表示される。
表示されるカメラ名称、例えば「2階 西階段」は、図3に示したカメラ一覧テーブル40のカメラ名称に基づいている。
The camera
The displayed camera name, for example, "2nd floor west staircase", is based on the camera name of the camera list table 40 shown in FIG.
ユーザが、カメラリスト表示部351に表示されたリストからカメラアイコン又はカメラ名称を選択すると、選択されたカメラ2を示す「カメラ切替要求」が映像受信部31と画像変換部32に送られ、映像受信部31及び画像変換部32を介して選択されたカメラ2からの画像情報によるライブ映像が映像表示部352に表示される。
また、再画像処理部224による画角ズレ有の画像処理結果を処理結果受信部34が受けると、対象としたカメラ2に対応するカメラアイコン及びカメラ名称の色表示が変えられる、もしくは点滅される。
When the user selects a camera icon or a camera name from the list displayed on the camera
Further, when the processing
映像表示部352は、映像受信部31及び画像変換部32を介して入力された選択されたカメラ2からの画像情報によるライブ映像を、又は再生制御部33により映像記録装置10に記録された指定したカメラ2からの画像情報による再生映像を表示するエリアである。
図6では4分割された表示エリアを示しており、4つのカメラ2からのライブ映像を、又は3つのカメラ2からのライブ映像と映像記録装置10に記録された1つのカメラ2からの再生映像を同時に表示できる。
The
FIG. 6 shows a display area divided into four, and the live image from the four
マップ表示部353は、カメラ2が駅構内に配置されている場合は駅構内のマップを表示するエリアである。駅構内に設置されているカメラ2がアイコンで表示され、図3に示したカメラ一覧テーブル40のマップ及びマップ位置に基づいて配置される。
ユーザが、マップ表示部353に表示されたカメラアイコンを選択すると、カメラリスト表示部351に表示されたカメラアイコンと連動してカメラ2が選択され、選択されたカメラ2からの画像情報によるライブ映像が映像表示部352に表示される
また、再画像処理部224による画角ズレ有の画像処理結果を処理結果受信部34が受けると、対象としたカメラ2に対応するカメラアイコンの色表示が変えられる、もしくは点滅される。
図6においては、駅構内に設置されているセンサのアイコンも表示されている。
The
When the user selects the camera icon displayed on the
In FIG. 6, the icon of the sensor installed in the station yard is also displayed.
再生制御部354は、再生開始位置を時間指定するための時刻入力部分と、映像表示部352に表示された映像記録装置10に記録されたカメラ2からの画像情報による再生映像の再生制御に必要な「早戻し」「再生」「一時停止」「早送り」などのボタン、再生速度を制御するスライダーを表示するエリアである。
The
画角ズレカメラリスト表示部355は、イベント蓄積部25に格納された図4に示すイベントリストテーブルから読みだされたイベントリスト、又は図5に示す画角ズレカメラリストテーブルから読みだされた画角ズレカメラリストを表示するエリアである。
図6は、画角ズレカメラリストを表示している例を示し、「カメラ番号」と、「X方向」の画角ズレ量及び「Y方向」の画角ズレ量と、「カメラ名称」と、「画角ズレ発生」の状態がリアルタイムに表示されている。
The angle-of-view deviation camera
FIG. 6 shows an example of displaying the angle-of-view deviation camera list, showing the “camera number”, the amount of angle-of-view deviation in the “X direction”, the amount of angle-of-view deviation in the “Y direction”, and the “camera name”. , The status of "angle of view deviation" is displayed in real time.
ユーザは、画角ズレカメラリスト表示部355を見ることにより、例えば、カメラ番号C2001、カメラ名称2階・西階段のカメラ2が、X方向が+10mm、Y方向が+9mmの画角ズレが生じているのが分かる。
また、画角ズレカメラリスト表示部355のカメラ番号を選択することにより、カメラ番号とマップ表示部353のカメラアイコンとが連動しているので、マップ表示部353のカメラアイコンが色変化又は点滅などにより表示が変化する。その結果、画角ズレカメラリスト表示部355にて選択したカメラ2の設置場所がマップ表示部353のカメラアイコンにより分かる。
When the user sees the camera
Further, since the camera number and the camera icon of the
画角ズレカメラリスト表示部355は、画角ズレカメラリストの表示からイベントリストの表示に適宜切り替えられ、その逆の切り替えも適宜行われる。
画角ズレカメラリスト表示部355にイベントリストを表示しているとき、ユーザがイベントIDを選択、例えば、表示されたイベントIDをダブルクリックすると、イベントリストテーブルに格納されているカメラ番号及び発生時刻をキーに、再生制御部33が映像記録装置10に記録されたカメラ2の画像情報を選択し、選択されたカメラ2の画像情報を再生映像として映像表示部352に表示する。
The angle-of-view shift camera
When the user selects an event ID while the event list is displayed on the camera
次に、監視システムにおける画像処理サーバ20の動作、主として画像処理部22の動作を図7に基づいて説明する。
ステップST1において、カメラ2からの画像情報を映像受信部21が受信し、受信したカメラ2からの画像情報を、画像変換部23を介して現画像処理部221に送信する。
現画像処理部221では、図3に示したカメラ一覧テーブル40のカメラ番号に基づいて受信したカメラ2の画像情報について、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知に関する画像処理に対応した演算処理を行い、異常検知を検出し、ステップST2に進む。
Next, the operation of the
In step ST1, the
The current
ステップST2において、現画像処理部221が取得した画像変換部23からの画像情報及び画像処理結果並びに置き去り検知又は侵入検知あるいは灯油缶検知又は長尺物検知などの検知情報(検知種別)が画角ズレ検出部222に送られ、ステップST3に進む。
ステップST3において、画角ズレ検出部222による画角ズレの検出が行われる。
すなわち、画角ズレ検出部222は、設定された画像処理の範囲であるマスク領域における映像受信部21からの画像情報を基にカメラの画角ズレ量を演算する。
In step ST2, the image information and the image processing result from the
In step ST3, the angle of view
That is, the angle of view
具体的には、画角ズレ検出部222が、カメラ一覧テーブル40のカメラ番号をキーにして、現画像処理部221が取得した画像変換部23からの画像情報と記録映像受信部24が取得した過去の画像情報とを比較し、画角ズレ量を算出する。
Specifically, the angle-of-view
画角ズレ検出部222により画角ズレ量が算出されなかった場合は、画角ズレ無をイベント蓄積部25に送り、処理を終了する。図7には示していないが、現画像処理部221の画像処理結果が監視端末装置30に送られる。
画角ズレ検出部222により画角ズレ量が算出された場合は、算出された画角ズレ量は、イベント蓄積部25に送られ、ステップST4に進む。
イベント蓄積部25では、図5に示す画角ズレカメラリストテーブルに、カメラ番号とカメラ名称とともに、X方向及びY方向の画角ズレ量を格納する。
If the angle of view
When the angle of view
The
ステップST4において、カメラ一覧テーブル40のカメラ番号をキーにして、検知種別に対応する閾値リスト60に格納された閾値を取得し、ステップST5に進む。
ステップST5において、画角ズレ検出部222により、算出された画角ズレ量と閾値リスト60に格納された閾値とが比較され、画角ズレ量が閾値未満の場合は画角ズレが「無」としてイベント蓄積部25に送り、ステップST2に戻る。
画角ズレ量が閾値以上の場合は、画角ズレが「有」としてイベント蓄積部25に送り、画角ズレ量をマスク領域補正部223に送り、ステップST6に進む。
In step ST4, using the camera number in the camera list table 40 as a key, the threshold value stored in the
In step ST5, the angle of view
If the angle of view deviation is equal to or greater than the threshold value, the angle of view deviation is set to "Yes" and sent to the
イベント蓄積部25では、図4に示すイベントリストテーブルに、イベントIDと発生時刻と検知種別とカメラ番号とともに画角ズレが有又は無を格納する。
また、イベント蓄積部25では、図5に示す画角ズレカメラリストテーブルに、画角ズレを比較したカメラ2のカメラ番号に対して画角ズレが有又は無を格納する。
The
Further, in the
ステップST6において、マスク領域補正部223が、画角ズレ検出部222により演算された画角ズレ量から現画像処理部221に用いられた「設定されたマスク領域」を補正する補正マスク領域を得、得た補正マスク領域を再画像処理部224に送り、ステップST7に進む。
In step ST6, the mask
具体的には、マスク領域補正部223が、画角ズレ検出部222により演算された画角ズレ量に応じて、カメラ一覧テーブル40のカメラ番号毎に登録されたマスク領域を示すマスク情報、つまり、設定されたマスク領域を示すマスク情報に座標変換処理を実施し、マスク領域を示すマスク情報を更新する。
更新されたマスク情報が補正マスク領域を示すマスク情報であり、次の画像処理に対する設定されたマスク領域を示すマスク情報になる。
Specifically, the mask information indicating the mask area registered for each camera number in the camera list table 40 according to the angle deviation amount calculated by the mask
The updated mask information is the mask information indicating the correction mask area, and is the mask information indicating the set mask area for the next image processing.
ステップST7において、再画像処理部224が、補正マスク領域を用いての映像受信部21からの画像情報を解析し、現画像処理部221による画像処理に対応した演算処理と同様に置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出する。
図7には示していないが、再画像処理部224の画像処理結果が監視端末装置30に送られ、処理を終了する。
In step ST7, the
Although not shown in FIG. 7, the image processing result of the
図6に示された処理ステップを、画像処理サーバ20を構成するコンピュータにおけるROMにプログラムとして格納されてもよい。
すなわち、ROMに格納されるプログラムは、カメラからの画像情報を受信する手順と、設定された画像処理の範囲であるマスク領域における前記受信したカメラからの画像情報を基に前記カメラの画角ズレ量を演算する手順と、当該演算された画角ズレ量から補正マスク領域を得る手順と、当該得た補正マスク領域における前記受信したカメラからの画像情報を解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出する手順をコンピュータに実行させる監視システムの異常検知検出プログラムである。
The processing step shown in FIG. 6 may be stored as a program in the ROM of the computer constituting the
That is, the program stored in the ROM shifts the angle of view of the camera based on the procedure for receiving the image information from the camera and the image information from the received camera in the mask area which is the range of the set image processing. The procedure for calculating the amount, the procedure for obtaining the correction mask area from the calculated angle of view deviation amount, and the image information from the received camera in the obtained correction mask area are analyzed, and left-behind detection or intrusion detection, or It is an abnormality detection detection program of a monitoring system that causes a computer to execute a procedure for detecting an abnormality such as kerosene can detection or long object detection.
以上のように、実施の形態1に係る監視システムは、画像処理部22が、映像受信部21からの画像情報を基にカメラ2の画角ズレ量を演算し、当該演算された画角ズレ量から補正マスク領域を得、当該得た補正マスク領域における映像受信部21からの画像情報を解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出するものとしたので、画像処理の範囲であるマスク領域を自動補正でき、カメラ2による画像認識に対するメンテナンス及びカメラ2に対するパラメータ調整の頻度を抑制できた上で、精度の高い異常検知を検出できる。
As described above, in the monitoring system according to the first embodiment, the
その結果、実施の形態1に係る監視システムは、異常検知による誤報及び失報に対する改善が図れる。
例えば、カメラ2に画角ズレが生じ、置き去り検知の異常検知の検出において、不審物及び忘れ物が存在しないにも関わらず、カメラ2からの画像情報に基づいた背景差分の検出による異常検知が検出され、異常検知が検出されたことによる誤報が発生することがある。
実施の形態1に係る監視システムでは、マスク領域を自動補正しているため、このような誤報が発生することを低減でき、誤報による確認操作というユーザの負荷を低減できる。
As a result, the monitoring system according to the first embodiment can be improved against false alarms and false alarms due to abnormality detection.
For example, in the detection of anomaly detection due to an angle of view shift in the
In the monitoring system according to the first embodiment, since the mask area is automatically corrected, it is possible to reduce the occurrence of such false alarms and reduce the user's load of confirmation operation due to false alarms.
また、実施の形態1に係る監視システムは、画像処理サーバ20に、カメラ2に付与された一意に決まるインデックス番号であるカメラ番号と、カメラ2に付与された設置位置を示すカメラ名称と、カメラ2のX方向の画角ズレ量を示すX方向画角ズレ量と、カメラ2のY方向の画角ズレ量を示すY方向画角ズレ量と、カメラ2の画角ズレの有無が紐付けされた画角ズレカメラリストテーブルが格納されるイベント蓄積部25を有するので、イベント蓄積部25に格納された画角ズレカメラリストテーブルから画角ズレカメラリストを読み出し、表示されることにより、ユーザに対して画角ズレを容易に認識させることができる。
Further, in the monitoring system according to the first embodiment, the
さらに、実施の形態1に係る監視システムは、画像処理サーバ20に、画像処理部22が異常検知を検出した際に付されたイベントID及び発生時刻と、当該異常検知を検出した映像受信部21からの画像情報に対する、カメラ2を特定する名称及び画角ズレ量の有無を含むイベントリストテーブルを格納するイベント蓄積部を有するので、イベント蓄積部25に格納されたイベントリストテーブルからイベントリストを読み出し、表示されることにより、ユーザに対して画角ズレが発生した時刻を容易に認識させることができる。
また、イベントIDを用いて異常検知を検出した際のカメラ2の画像情報による映像が表示可能である。
Further, in the monitoring system according to the first embodiment, the event ID and the occurrence time assigned to the
Further, it is possible to display an image based on the image information of the
またさらに、実施の形態1に係る監視システムは、画像処理部22が、閾値より値が大きな第2の閾値を超えている場合は画角ズレ警報情報を出力するので、異常検知の検出が単なる画角ズレによるものではなく、カメラ2に対して大きな振動、例えば、何らかの衝撃又はいたずらによる角度変更が与えられたことによりカメラ2の角度が変わったことが通知される。その結果、ユーザによるカメラ2に対する点検を低減できる。
Further, in the monitoring system according to the first embodiment, when the
実施の形態2.
実施の形態2に係る監視システム1を図8に基づいて説明する。
各図中、同一符号は同一又は相当部分を示す。
実施の形態2に係る監視システム1は、実施の形態1に係る監視システム1における画像処理部22のマスク領域補正部223に対して、画像処理パラメータ補正部225aを含むマスク領域補正部225とした点が異なり、画像処理パラメータ補正部225aからの補正パラメータを受ける再画像処理部226の機能が若干異なる点以外は実施の形態1に係る監視システム1と同様である。
すなわち、実施の形態2に係る監視システム1は、マスク領域補正部225及び再画像処理部226以外の他の構成要素については実施の形態1に係る監視システム1における構成要素と同様である。
The
In each figure, the same reference numerals indicate the same or corresponding parts.
The
That is, the
マスク領域補正部225は、マスク領域補正部223と同様の機能、つまり、画角ズレ検出部222により演算された画角ズレ量から現画像処理部221に用いられた「設定されたマスク領域」を補正する補正マスク領域を得る機能を有する他、現画像処理部221で用いられた人物を検知するための人物検知パラメータ、灯油缶検知、長尺物検知といった特定の人物を検出するパラメータを補正する補正パラメータを得るパラメータ補正機能を持つ画像処理パラメータ補正部225aを含む。
The mask
パラメータは画像処理パラメータを意味し、煩雑さを避けるため、単にパラメータと表現している。
マスク領域補正部225における画像処理パラメータ補正部225aは、画角ズレ検出部222から画角ズレが有とされたカメラ2を対象とし、対象としたカメラ2からの画像情報に対して特定の人物を検出する補正パラメータを得る。
The parameter means an image processing parameter and is simply expressed as a parameter to avoid complexity.
The image processing
パラメータ補正機能は、対象とされたカメラ2の過去の画像情報が記録された映像記録装置10から灯油缶検知又は長尺物検知が検出された画像情報を記録映像受信部24から受信するとともに、対象とされたカメラ2と関連するカメラ2の画像情報を映像受信部21及び画像変換部23を介して受信し、対象とされたカメラ2の画像情報と、対象とされたカメラ2の過去の画像情報及び関連するカメラ2の画像情報とを比較し、対象とされたカメラ2の画像情報に対する補正パラメータを得る機能である。
補正パラメータは再画像処理部226に送られる。
The parameter correction function receives the image information in which kerosene can detection or long object detection is detected from the
The correction parameter is sent to the
再画像処理部226は、マスク領域補正部225からの補正マスク領域及び補正パラメータにより、映像受信部21からの画像情報を再度解析し、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を再検出する。
再画像処理部226による画像処理結果は監視端末装置30に送られる。
The
The image processing result by the
このように実施の形態2に係る監視システム1は、画角ズレが有とされたカメラ2の画像情報に対して、画角ズレの補正と画像処理を行うパラメータに対して補正パラメータを得た上で画像処理を行うので、精度の高い異常検知を検出できる。
As described above, the
なお、パラメータ補正機能として、イベント蓄積部25に格納された図4に示すイベントリストテーブルから検知種別をキーに、対象とされたカメラ2が灯油缶検知又は長尺物検知を行った時間帯における、対象とされたカメラ2と関連するカメラ2のイベントIDを取得し、イベントIDを基に映像記録装置10から対象とされたカメラ2及び関連するカメラ2の画像情報を受信し、対象とされたカメラ2の画像情報と、対象とされたカメラ2に関連するカメラ2の画像情報とを比較し、対象とされたカメラ2の画像情報に対する補正パラメータを得る機能であってもよい。
As a parameter correction function, the
なお、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。 It is possible to freely combine the embodiments, modify any component of each embodiment, or omit any component of each embodiment.
本開示に係る監視システムは、駅構内又は店舗等の監視したい場所に設置される防犯カメラ又は監視カメラからの画像情報に基づいて、置き去り検知又は侵入検知、あるいは灯油缶検知又は長尺物検知などの異常検知を検出する監視システムに好適である。 The surveillance system according to the present disclosure is based on image information from a security camera or a surveillance camera installed in a station yard or a place to be monitored such as a store, and is used for abandonment detection or intrusion detection, kerosene can detection, long object detection, etc. It is suitable for a monitoring system that detects anomaly detection.
1 監視システム、2(1)~2(n) カメラ、3 ネットワークスイッチ、10 映像記録装置、20 画像処理サーバ、21(1)~21(n) 映像受信部、22 画像処理部、221 現画像処理部、222 画角ズレ検出部、223 マスク領域補正部、224 再画像処理部、23(1)~23(n) 画像変換部、24 記録映像受信部、25 イベント蓄積部、26 イベント通知部、30 監視端末装置、31(1)~31(n) 映像受信部、32(1)~32(n) 画像変換部、33 再生制御部、34 処理結果受信部、35 表示手段、225 マスク領域補正部、225a 画像処理パラメータ補正部、226 再画像処理部。 1 Surveillance system, 2 (1) to 2 (n) camera, 3 network switch, 10 video recording device, 20 image processing server, 21 (1) to 21 (n) video receiver, 22 image processing unit, 221 current image Processing unit, 222 Image angle deviation detection unit, 223 Mask area correction unit, 224 Re-image processing unit, 23 (1) to 23 (n) image conversion unit, 24 Recorded video reception unit, 25 Event storage unit, 26 Event notification unit , 30 Monitoring terminal device, 31 (1) to 31 (n) video receiving unit, 32 (1) to 32 (n) image conversion unit, 33 playback control unit, 34 processing result receiving unit, 35 display means, 225 mask area Correction unit, 225a Image processing parameter correction unit, 226 Re-image processing unit.
Claims (10)
設定された画像処理の範囲であるマスク領域における前記映像受信部からの画像情報を解析し、置き去り検知又は侵入検知などの異常検知を検出する現画像処理部と、前記映像受信部からの画像情報から前記カメラの画角ズレ量を演算する画角ズレ検出部と、前記画角ズレ検出部により演算された画角ズレ量から前記マスク領域を補正する補正マスク領域を得るマスク領域補正部と、前記マスク領域補正部からの補正マスク領域により、前記映像受信部からの画像情報を再度解析し、置き去り検知又は侵入検知などの異常検知を再検出する再画像処理部を具備する画像処理部と、
を有する画像処理サーバを備えた監視システム。 A video receiver that receives image information from the camera,
The current image processing unit that analyzes the image information from the video receiving unit in the mask area within the set image processing range and detects abnormality detection such as abandonment detection or intrusion detection, and the image information from the video receiving unit. An image angle deviation detection unit that calculates the amount of angle of view deviation of the camera, and a mask area correction unit that obtains a correction mask area that corrects the mask area from the amount of angle of view deviation calculated by the image angle deviation detection unit. An image processing unit including a re-image processing unit that re-analyzes image information from the video receiving unit by the correction mask area from the mask area correction unit and rediscovers abnormality detection such as abandonment detection or intrusion detection.
Surveillance system with an image processing server.
前記イベント蓄積部に格納された画角ズレカメラリストテーブルから読みだされた前記カメラ名称及び前記画角ズレ量を含む画角ズレカメラリストを表示する表示手段を有する監視端末装置を備えた請求項1から請求項4のいずれか1項に記載の監視システム。 The image processing server stores an event storage in which an angle-of-view camera list table including the camera name of the camera and the amount of angle-of-view deviation is stored for the image information from the video receiving unit when the image processing unit detects an abnormality detection. Has a part,
The claim is provided with a monitoring terminal device having a display means for displaying the camera name and the angle-of-view deviation camera list including the angle-of-view deviation amount read from the angle-of-view deviation camera list table stored in the event storage unit. The monitoring system according to any one of claims 1 to 4.
前記イベント蓄積部に格納されたイベントリストテーブルから読みだされた前記カメラを特定する名称及び前記画角ズレ量の有無を含むイベントリストを表示する表示手段を有する監視端末装置を備えた請求項1から請求項4のいずれか1項に記載の監視システム。 The image processing server is an event storage unit that stores an event list table including a name that identifies the camera and the presence or absence of an angle of view deviation for image information from the video receiving unit for which the image processing unit has detected an abnormality detection. Have,
1. Claim 1 comprising a monitoring terminal device having a display means for displaying an event list including a name specifying the camera read from the event list table stored in the event storage unit and the presence / absence of the angle of view deviation amount. The monitoring system according to any one of claims 4.
画像処理部が、設定された画像処理の範囲であるマスク領域における前記映像受信部からの画像情報を基に前記カメラの画角ズレ量を演算するステップと、当該演算された画角ズレ量から補正マスク領域を得るステップと、当該得た補正マスク領域における前記映像受信部からの画像情報を解析し、置き去り検知又は侵入検知などの異常検知を検出するステップを有する監視システムの異常検知検出方法。 The step in which the video receiver receives the image information from the camera,
From the step of calculating the angle of view deviation amount of the camera based on the image information from the video receiving unit in the mask area which is the range of the set image processing, and the calculated angle of view deviation amount. An abnormality detection detection method of a monitoring system having a step of obtaining a correction mask area and a step of analyzing image information from the video receiving unit in the obtained correction mask area and detecting an abnormality detection such as abandonment detection or intrusion detection.
設定された画像処理の範囲であるマスク領域における前記受信したカメラからの画像情報を基に前記カメラの画角ズレ量を演算する手順と、
当該演算された画角ズレ量から補正マスク領域を得る手順と、
当該得た補正マスク領域における前記受信したカメラからの画像情報を解析し、置き去り検知又は侵入検知などの異常検知を検出する手順を、
コンピュータに実行させる監視システムの異常検知検出プログラム。 The procedure for receiving image information from the camera and
A procedure for calculating the amount of angle of view deviation of the camera based on the image information from the received camera in the mask area which is the range of the set image processing, and
The procedure for obtaining the correction mask area from the calculated angle of view deviation amount, and
A procedure for analyzing the image information from the received camera in the obtained correction mask area and detecting an abnormality detection such as abandonment detection or intrusion detection.
Anomaly detection detection program for monitoring systems run by computers.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020212182A JP2022098663A (en) | 2020-12-22 | 2020-12-22 | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020212182A JP2022098663A (en) | 2020-12-22 | 2020-12-22 | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022098663A true JP2022098663A (en) | 2022-07-04 |
Family
ID=82261903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020212182A Pending JP2022098663A (en) | 2020-12-22 | 2020-12-22 | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022098663A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116528042A (en) * | 2023-06-29 | 2023-08-01 | 深圳市巨龙创视科技有限公司 | Control method and system for remote camera |
-
2020
- 2020-12-22 JP JP2020212182A patent/JP2022098663A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116528042A (en) * | 2023-06-29 | 2023-08-01 | 深圳市巨龙创视科技有限公司 | Control method and system for remote camera |
CN116528042B (en) * | 2023-06-29 | 2023-10-27 | 深圳市巨龙创视科技有限公司 | Control method and system for remote camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4847165B2 (en) | Video recording / reproducing method and video recording / reproducing apparatus | |
EP2954499B1 (en) | Information processing apparatus, information processing method, program, and information processing system | |
US10552713B2 (en) | Image analysis system, image analysis method, and storage medium | |
US8743204B2 (en) | Detecting and monitoring event occurrences using fiber optic sensors | |
US10719946B2 (en) | Information processing apparatus, method thereof, and computer-readable storage medium | |
KR101696801B1 (en) | integrated image monitoring system based on IoT camera | |
KR101464344B1 (en) | Surveillance camera and image managing system, and method for detecting abnormal state by training normal state of surveillance image | |
JP2011233133A (en) | Shoplifting preventing system | |
KR101019384B1 (en) | Apparatus and method for unmanned surveillance using omni-directional camera and pan/tilt/zoom camera | |
JP2008035095A (en) | Monitoring apparatus, monitoring system, monitoring method and program | |
JP6013923B2 (en) | System and method for browsing and searching for video episodes | |
JP4808139B2 (en) | Monitoring system | |
JP4959592B2 (en) | Network video monitoring system and monitoring device | |
KR101212082B1 (en) | Image Recognition Apparatus and Vison Monitoring Method thereof | |
JP3942606B2 (en) | Change detection device | |
JP2008288870A (en) | Video image monitoring system and video image monitoring method | |
EP3432575A1 (en) | Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus | |
KR20160093253A (en) | Video based abnormal flow detection method and system | |
JP2022098663A (en) | Monitoring system, abnormality sensing detection method of monitoring system, and abnormality sensing detection program of monitoring system | |
KR100718521B1 (en) | Image outputting system and control program for outputting image | |
KR101747215B1 (en) | Apparatus and Method for storing and searching image using ladar | |
JP2010233185A (en) | Apparatus, system and program for processing image | |
US10783365B2 (en) | Image processing device and image processing system | |
KR100779858B1 (en) | picture monitoring control system by object identification and the method thereof | |
JP4738142B2 (en) | Intrusion monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240611 |