JP2016103246A - Image monitoring device - Google Patents
Image monitoring device Download PDFInfo
- Publication number
- JP2016103246A JP2016103246A JP2014242546A JP2014242546A JP2016103246A JP 2016103246 A JP2016103246 A JP 2016103246A JP 2014242546 A JP2014242546 A JP 2014242546A JP 2014242546 A JP2014242546 A JP 2014242546A JP 2016103246 A JP2016103246 A JP 2016103246A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- attribute information
- image
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 5
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims description 68
- 238000003384 imaging method Methods 0.000 claims description 2
- 241000238631 Hexapoda Species 0.000 description 63
- 241000282414 Homo sapiens Species 0.000 description 63
- 238000000034 method Methods 0.000 description 31
- 230000005484 gravity Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 21
- 230000005856 abnormality Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 9
- 241000239290 Araneae Species 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Alarm Systems (AREA)
Abstract
Description
本発明は、監視領域を撮像した画像を順次処理し、監視領域に検出対象が存在するか否かを判定する画像監視装置に関する。 The present invention relates to an image monitoring apparatus that sequentially processes images captured in a monitoring area and determines whether or not a detection target exists in the monitoring area.
従来、監視領域の画像をカメラで撮影し、撮影した画像から侵入者等の検出対象を検出する画像監視装置がある。このような画像監視装置では、順次撮影した画像（入力画像）と予め記憶してある基準画像（背景画像）とを比較して、変化のある領域（移動物体領域）を抽出する。そして、移動物体領域に基づいて監視領域中の侵入者（人間）の存在を検出する。しかし、移動物体領域として抽出されるのは、人間だけではない。例えば、太陽光や照明光による変化、風に揺れる植栽やその影、小動物や虫などの変化も移動物体領域として抽出される。このため、画像監視装置では、これらの外乱による変化と検出対象である人間による変化とを区別する必要がある。 2. Description of the Related Art Conventionally, there is an image monitoring apparatus that captures an image of a monitoring area with a camera and detects a detection target such as an intruder from the captured image. In such an image monitoring apparatus, a sequentially changed image (input image) is compared with a reference image (background image) stored in advance, and an area with a change (moving object area) is extracted. Then, the presence of an intruder (human) in the monitoring area is detected based on the moving object area. However, it is not only humans that are extracted as moving object regions. For example, changes due to sunlight or illumination light, planting swaying in the wind, shadows thereof, changes in small animals, insects, and the like are also extracted as moving object regions. For this reason, in the image monitoring apparatus, it is necessary to distinguish between a change caused by these disturbances and a change caused by a human being to be detected.
特許文献１には、撮影された画像情報を処理して、人間らしさを多値で示す人属性情報と、人間以外の要因らしさを多値で示す外乱属性情報とを算出し、人属性情報と外乱属性情報との累積値の比率に基づき人間の存在の有無を判定する画像センサが開示されている。特に、特許文献１の画像センサは、フレーム毎に人属性情報と外乱属性情報を算出し、それぞれの属性情報の複数フレームにおける累積値どうしを比較することで検出精度を向上させている。
In
ところで、人属性情報は、移動物体領域の大きさや形状が人間らしい場合に高い値となる。また、「人間は、影や光とは違って実体が存在する」ことに着目し、移動物体領域内において、背景画像に映っている背景物のエッジを隠していたり、背景画像との輝度値の相関が低い場合に、人属性情報は高い値となる。 By the way, the human attribute information has a high value when the size and shape of the moving object region are human. Also, paying attention to the fact that “human beings exist differently from shadows and light”, the edges of background objects reflected in the background image are hidden in the moving object area, or the brightness value of the background image When the correlation of is low, the human attribute information has a high value.
しかしながら、人間以外の移動物体が撮像された場合でも、人属性情報が外乱属性情報（人以外属性情報）よりも高く算出されてしまうことがある。この原因として、移動物体の存在する位置によって入力画像上の移動物体の映り方が人間らしく見えてしまう（光の当たり方やカメラとの位置関係によって人間らしく映ってしまう）ことや、移動物体の背後に存在する背景物のテクスチャが影響して背景画像の特徴を用いて算出される属性情報の算出精度が下がってしまうことが考えられる。 However, even when a moving object other than a human being is imaged, the human attribute information may be calculated higher than the disturbance attribute information (non-human attribute information). The cause of this is that the moving object on the input image looks like a human depending on the position of the moving object (it appears human as a result of how the light hits and the position of the camera), or behind the moving object It is conceivable that the calculation accuracy of the attribute information calculated using the characteristics of the background image is lowered due to the influence of the texture of the existing background object.
特許文献１のように属性情報の累積値を用いて人間か否かを判定することの利点は、あるフレームにおいて、属性情報が精度良く算出できなくても、他のフレームで属性情報が精度良く算出されれば、検出精度が確保できることにある。
The advantage of determining whether or not a person is a person using the accumulated value of attribute information as in
しかしながら、前述したように属性情報を精度良く算出しにくい画像上の位置に移動物体が留まると、精度の低い属性情報が累積値（フレーム毎の属性情報の和）に大きな影響を与えることになり、その結果、精度の低い属性情報によって累積値が人間か否かを判定するための閾値を超えてしまうという問題があった。 However, as described above, if the moving object stays at a position on the image where it is difficult to accurately calculate the attribute information, the attribute information with low accuracy will greatly affect the accumulated value (the sum of the attribute information for each frame). As a result, there is a problem that the threshold value for determining whether or not the accumulated value is human is exceeded by attribute information with low accuracy.
本発明は、上記問題を鑑みてなされたものであり、検出対象の検出精度を高めた画像監視装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide an image monitoring apparatus with improved detection accuracy of a detection target.
本発明の１つの態様は、監視領域を順次撮像した画像を入力し、前記画像に検出対象が存在するか否かを判定する画像監視装置であって、前記画像から移動物体領域を抽出する移動物体領域抽出手段と、同一移動物体による移動物体領域を前記画像上にて順次追跡する追跡手段と、前記移動物体領域に対して検出対象らしさを表す属性情報を算出する属性情報算出手段と、前記同一移動物体による移動物体領域において、所定の位置関係を有している移動物体領域を関連付けて１つのグループを構成させ、その他の移動物体領域を単独にてグループを構成させる領域関連付手段と、前記グループ毎に、構成する移動物体領域の属性情報を用いて１つの代表属性情報を算出する代表属性情報算出手段と、前記代表属性情報を用いて前記検出対象が存在するか否かを判定する対象判定手段と、を備えることを特徴とする画像監視装置である。 One aspect of the present invention is an image monitoring apparatus that inputs an image obtained by sequentially capturing a monitoring area and determines whether or not a detection target exists in the image, the moving object area extracting from the image An object area extracting means, a tracking means for sequentially tracking a moving object area by the same moving object on the image, an attribute information calculating means for calculating attribute information indicating the likelihood of detection for the moving object area, In a moving object region by the same moving object, a region association means for associating a moving object region having a predetermined positional relationship to form one group and forming the other moving object regions independently as a group; For each group, representative attribute information calculating means for calculating one representative attribute information using attribute information of the moving object area constituting the group, and the detection target using the representative attribute information And determining target determining means for determining whether or not there is an image monitoring apparatus comprising: a.
ここで、前記領域関連付手段は、前記移動物体領域の属性情報が変動し難い相互位置に所在する関係を前記所定の位置関係とすることが好適である。 Here, it is preferable that the area association means uses the predetermined positional relation as a relation located in a mutual position where the attribute information of the moving object area hardly changes.
また、前記領域関連付手段は、予め画像上に設定された範囲に前記移動物体領域が所在する関係を前記所定の位置関係とすることが好適である。 Further, it is preferable that the region association means sets the relationship in which the moving object region is located in a predetermined range on the image as the predetermined positional relationship.
また、前記領域関連付手段は、前記移動物体領域の追跡開始時点の位置を基準位置に設定し、当該基準位置から所定範囲内に移動物体領域が所在する関係を前記所定の位置関係として関連付け、前記移動物体領域が前記基準位置から前記所定範囲外になると、その時点における移動物体領域の位置を新たな基準位置として設定することが好適である。 In addition, the region association unit sets the position of the tracking start point of the moving object region as a reference position, associates the relationship where the moving object region is located within a predetermined range from the reference position as the predetermined positional relationship, When the moving object region is outside the predetermined range from the reference position, it is preferable to set the position of the moving object region at that time as a new reference position.
また、前記対象判定手段は、少なくとも前記代表属性情報の累積値又は平均値に基づいて前記検出対象が存在するか否かを判定することが好適である。 Further, it is preferable that the target determination unit determines whether or not the detection target exists based on at least a cumulative value or an average value of the representative attribute information.
本発明によれば、監視領域を撮像した画像を順次処理し、監視領域に検出対象が存在するか否かを判定する画像監視装置において、検出対象の検出精度を高めることができる。 ADVANTAGE OF THE INVENTION According to this invention, the detection precision of a detection target can be raised in the image monitoring apparatus which processes the image which imaged the monitoring area | region sequentially, and determines whether a detection target exists in a monitoring area | region.
本発明の実施の形態について、図面に基づいて説明する。本発明の画像監視装置は、屋内や屋外の監視領域を撮像した画像から検出対象を検出するものである。本実施の形態では、屋外の監視領域にて、当該監視領域の外部から監視領域の内部に侵入してきた人間を検出する。 Embodiments of the present invention will be described with reference to the drawings. The image monitoring apparatus of the present invention detects a detection target from an image obtained by capturing an indoor or outdoor monitoring area. In the present embodiment, a person who has entered the monitoring area from the outside of the monitoring area is detected in the outdoor monitoring area.
図１は、監視領域における様々な状況を示すイメージ図である。図１（ａ）と図１（ｂ）は、同じ監視領域の異なる時刻の状況を示している。監視領域には、背景物として樹木１１が存在している。カメラ２は、所定の高さに設置され、監視領域を上方から下方に向かって所定の俯角で撮影している。図１（ａ）は、時刻Ｔにおいて、人間９が監視領域内を建物１２に向かって歩行している状況を示している。また、図１（ｂ）は、時刻ｔにおいて、監視領域内のカメラ２の付近にクモ１０が存在している状況を示している。
FIG. 1 is an image diagram showing various situations in the monitoring area. FIG. 1A and FIG. 1B show the situation at different times in the same monitoring area. A
本実施の形態では、画像監視処理の例として、当該監視領域において検出対象である人間９と検出対象ではないクモ１０を区別する場合を説明する。
In the present embodiment, as an example of image monitoring processing, a case will be described in which a
図２は、本実施の形態における画像監視装置１の機能ブロック図である。画像監視装置１は、図２に示すように、画像入力部３、記憶部４、画像処理部５、異常判定部６、出力部７及び背景画像更新部８を含んで構成されている。本実施の形態では、画像監視装置１として各部を一体的に説明するが、画像入力部３、記憶部４、画像処理部５、異常判定部６、出力部７、背景画像更新部８を別筐体に格納し、通信技術を用いて必要な制御信号等を通信するようにしてもよい。また、本実施の形態では、カメラ２を画像監視装置１と別筐体としているが、他の構成要素と同一の筐体に組み込んでもよい。なお、これに限らず、その他の筐体構成を採用してもよい。
FIG. 2 is a functional block diagram of the
カメラ２は、監視領域を撮像する。カメラ２は、光学系、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、アナログ／デジタル変換器等を含んで構成される。カメラ２は、固定設置され、視野は一定に保たれる。そして、カメラ２は、一定の時間間隔（例えば、毎フレーム１／５秒）で順次撮像する。撮像した画像は、例えば、各画素値が、０〜２５５の画素値を有するデジタル画像として表現される。なお、カメラ２は、カラー画像を生成するものでもよい。
The
画像入力部３は、カメラ２と接続され、カメラ２で撮像された画像を順次取得し、当該画像を画像処理部５に順次出力するインターフェースである。以下、画像入力部３が取得し、画像処理部５にて検出対象の存否を判定する対象となる画像を入力画像４０と称する。
The
なお、本実施の形態では、画像入力部３は、カメラ２の撮像タイミングに合わせて順次画像を取得する。しかし、これに限定されるものではなく、画像入力部３は、取得した画像を後述する記憶部４に記憶し、記憶部４を介して画像処理部５に入力画像４０を順次出力してもよい。また、画像入力部３を画像監視装置１の外部に設けた記憶装置（図示しない）に接続し、当該記憶装置に記憶されているカメラ２で撮像された入力画像４０を順次取得するようにしてもよい。
In the present embodiment, the
記憶部４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリ、ハードディスク等のメモリ装置で構成される。記憶部４は、画像処理部５および背景画像更新部８などからアクセス可能である。
The
記憶部４に記憶される主な情報は、背景画像４１である。背景画像４１は、監視領域内に検出対象が存在しないときに撮影された画像である。背景画像４１は、後述する背景画像更新部８にて適宜更新される。また、図示しないが、記憶部４は、画像監視装置１の各処理を実現するための各種プログラムやパラメータ、カメラ２の設置高や俯角などの情報も記憶する。
The main information stored in the
画像処理部５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）又はＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等の演算装置により構成され、記憶部４に記憶している各種プログラムを読み出して実行して画像監視処理を行う。画像監視処理では、画像入力部３によって取得された入力画像４０を順次処理する。なお、本実施の形態では、入力画像４０は、１フレーム毎に撮影時間順に処理される。
The
画像処理部５は、移動物体領域抽出手段５１、位置算出手段５２、追跡手段５３、属性情報算出手段５４、領域関連付手段５５、代表属性情報算出手段５６及び対象判定手段５７の各モジュールを含んで構成される。以下、各モジュールについて説明する。
The
移動物体領域抽出手段５１は、画像入力部３が取得した入力画像４０について、変化が生じている領域（移動物体領域）を抽出する。具体的には、入力画像４０と、記憶部４に記憶されている背景画像４１との差分の絶対値を求め、当該差分の絶対値が所定の閾値以上となる領域を差分領域（２値）として抽出する。そして、移動物体領域抽出手段５１は、１枚のフレームから抽出された差分領域に対して、同一移動物体による差分領域をラベル付けする。具体的には、８連結で隣接する画素をひとまとまりとしてラベル領域とし、近接するラベル領域に対しては、一定の大きさや位置関係にあるものを同一移動物体であるとし、一つのラベル領域とする。以降、このラベル領域を「移動物体領域」と称する。
The moving object region extraction unit 51 extracts a region (moving object region) where a change has occurred in the input image 40 acquired by the
なお、移動物体領域の抽出は、上述した背景差分に限らず、複数のフレーム間における差分や、背景画像４１と入力画像４０の正規化相関や学習識別器等で検出した領域を用いてもよい。
The extraction of the moving object region is not limited to the background difference described above, and a difference between a plurality of frames, a normalized correlation between the
位置算出手段５２は、移動物体領域抽出手段５１にて抽出された移動物体領域について、入力画像４０上の位置を算出する。具体的には、移動物体領域の重心座標を算出する。移動物体領域毎に算出した重心座標は、記憶部４に記憶されるとともに、後述する追跡手段５３および領域関連付手段５５などに出力される。
The
追跡手段５３は、移動物体領域抽出手段５１にて抽出された移動物体領域を時間的に追跡する。具体的には、異なる時刻に撮像された入力画像４０間で、同一の移動物体による移動物体領域を対応付けることで、移動物体領域の追跡を実現する。追跡手段５３は、前回フレームの移動物体領域と今回のフレームの移動物体領域との対応付けを行い、前回フレームの移動物体領域と対応付けられない移動物体領域は、新規の追跡対象として追跡を開始する。また、前回フレームまでに追跡されていた移動物体領域のうち、今回のフレームの移動物体領域と対応付けられない移動物体領域については、当該移動物体領域に対する追跡処理を終了する。なお、移動物体領域の対応付けは、位置算出手段５２にて算出された重心座標や、別途算出した移動物体領域の面積を用いて、公知の手法によって行えばよい。
The
ここで、図３及び図４を参照して、本実施の形態における画像と移動物体領域について説明する。図３及び図４は、本実施の形態における各種画像と移動物体領域を示した図である。 Here, with reference to FIG. 3 and FIG. 4, an image and a moving object region in the present embodiment will be described. 3 and 4 are diagrams showing various images and moving object areas in the present embodiment.
図３は、図１（ａ）の状況にある監視領域を時々刻々撮像した複数の入力画像４０に対応する。図４は、図１（ｂ）の状況にある監視領域を時々刻々撮像した複数の入力画像４０に対応する。背景画像４１は、図３及び図４において同じ画像であり、ともに監視領域内に存在する樹木１１が映っている。
FIG. 3 corresponds to a plurality of input images 40 obtained by capturing the monitoring area in the state of FIG. FIG. 4 corresponds to a plurality of input images 40 in which the monitoring area in the state of FIG. The
まず、図３について説明する。図１（ａ）に示した時刻Ｔの時点の監視領域を撮影した入力画像Ｔ、入力画像Ｔの前２フレーム分と後３フレーム分の入力画像である入力画像Ｔ−２、入力画像Ｔ−１、入力画像Ｔ＋１、入力画像Ｔ＋２、入力画像Ｔ＋３が撮影時刻順に並んでいる。これらの入力画像には、人間９と樹木１１が映っており、時刻が進むにつれて、人間９は樹木１１の前方を通って右方向に移動している。各フレームの入力画像と背景画像４１を用いて抽出された移動物体領域は、黒色で示す移動物体領域１３ａとなる。なお、移動物体領域１３ａは、入力画像Ｔ−２の時点において新規の追跡対象として追跡が開始され、入力画像Ｔ＋３の時点まで追跡されている。
First, FIG. 3 will be described. An input image T obtained by photographing the monitoring area at the time T shown in FIG. 1A, an input image T-2 that is an input image for two frames before and after the input image T, and an input image T- 1, an input image T + 1, an input image T + 2, and an input image T + 3 are arranged in order of photographing time. These input images show a
次に、図４について説明する。図１（ｂ）に示した時刻ｔの時点の監視領域を撮影した入力画像ｔ、入力画像ｔの前２フレーム分と後３フレーム分の入力画像である入力画像ｔ−２、入力画像ｔ−１、入力画像ｔ＋１、入力画像ｔ＋２、入力画像ｔ＋３が撮影時刻順に並んでいる。これらの入力画像には、クモ１０と樹木１１が映っており、時刻が進むにつれて、クモ１０は風に揺れ、画像の中央に映っている樹木１１の前方を横切って右方向に移動している。このとき、クモ１０は、カメラ２の近傍に存在しているため入力画像上では図３に示す人間９と同じくらいの大きさに映る。各フレームの入力画像と背景画像４１を用いて抽出された移動物体領域は、黒色で示す移動物体領域１３ｂとなる。なお、移動物体領域１３ｂは、入力画像ｔ−２の時点に新規の追跡対象として追跡が開始され、入力画像ｔ＋３の時点まで追跡されている。
Next, FIG. 4 will be described. An input image t obtained by photographing the monitoring area at the time t shown in FIG. 1B, an input image t-2 that is an input image for two frames before and after the input image t, and an input image t- 1, an input image t + 1, an input image t + 2, and an input image t + 3 are arranged in order of photographing time. In these input images, the
属性情報算出手段５４は、追跡手段５３にて追跡されている移動物体領域について、フレーム毎に、検出対象らしさを表わす属性情報を算出する。本実施の形態では、人間らしさを表す人属性情報を算出する。また、属性情報算出手段５４は、追跡手段５３にて追跡されている移動物体領域について、フレーム毎に、人間以外らしさを表す人以外属性情報を算出する。本実施の形態では、人以外属性情報として、虫らしさを表す虫属性情報を算出する。属性情報算出手段５４は、フレーム毎に算出した属性情報を記憶部４に記憶するとともに、後述する代表属性情報算出手段５６に出力する。以下に、人属性情報と虫属性情報の算出について詳細に説明する。
The attribute
まず、人属性情報の算出について説明する。属性情報算出手段５４は、追跡手段５３にて追跡されている移動物体領域について、フレーム毎に、人属性情報を算出するための特徴量（人属性要素）を算出する。本実施の形態では、移動物体領域の実面積（人属性要素１）、背景輝度相関（人属性要素２）、背景エッジ保存率（人属性要素３）を算出する。
First, calculation of human attribute information will be described. The attribute
「実面積」は、移動物体領域の大きさについて、人間の大きさとしての妥当性を示す特徴量である。属性情報算出手段５４は、例えば、移動物体領域に外接する矩形について、入力画像４０内の位置とカメラ２の設置高・俯角情報等のパラメータに基づいて求まる実空間での高さ×幅から実面積を算出する。「背景輝度相関」は、「人間は光や影と違って実体があり、また、衣服を身に着けているため背景とはテクスチャが異なる」ということを利用した特徴量である。属性情報算出手段５４は、例えば、移動物体領域内について背景画像４１の輝度値と入力画像４０の輝度値の相関を算出する。相関値が低いほど人間としての妥当性が高いことを表す。「背景エッジ保存率」は、「人間は光や影と違って実体があるため背景物を隠す」ということを利用した特徴量である。属性情報算出手段５４は、例えば、移動物体領域内について、「背景画像４１のエッジの数」に占める「入力画像４０のエッジ且つ背景画像４１のエッジの数」×１００で求める。すなわち、「背景エッジ保存率」が低いほど、背景物が実体によって隠されて背景物のエッジが入力画像４０から消えたことを表し、実体のある人間としての妥当性が高いことを表す。
The “real area” is a feature amount indicating the validity of the size of the moving object region as a human size. For example, the attribute
なお、本実施の形態では、３つの特徴量（人属性要素）にて説明したが、これらに限定されるものではなく、３つの特徴量からいくつかを選択してもよいし、他の種々の特徴量を利用してもよい。 In the present embodiment, the three feature amounts (human attribute elements) have been described. However, the present invention is not limited to these, and some of the three feature amounts may be selected. The feature amount may be used.
属性情報算出手段５４は、算出した各人属性要素の値を用いて、人属性情報を算出する。具体的には、図５に示すメンバーシップ関数に各人属性要素の値を代入し、それぞれ人らしいほど１、人らしくないほど０になるような値を求める。そして、求めた値を以下の式に代入して人属性情報を算出する。
（式１）
人属性情報＝人属性値要素１×人属性値要素２×人属性値要素３・・・（１）
The attribute information calculation means 54 calculates human attribute information using the calculated value of each human attribute element. Specifically, the value of each person attribute element is substituted into the membership function shown in FIG. 5 to obtain a value that becomes 1 for a person and 0 for a person. Then, the human attribute information is calculated by substituting the obtained value into the following equation.
(Formula 1)
Person attribute information = person
次に、虫属性情報の算出について、説明する。属性情報算出手段５４は、追跡手段５３にて追跡されている移動物体領域について、フレーム毎に、虫属性情報を算出するための特徴量（虫属性要素）を算出する。本実施の形態では、背景差分マイナス点率（虫属性要素１）、輝度平均値（虫属性要素２）、入力エッジ強度平均値（虫属性要素３）を算出する。
Next, calculation of insect attribute information will be described. The attribute
「背景差分マイナス点率」は、「虫はカメラの直近に映るため環境光を遮って、背景画像よりも暗く映る」ということを利用した特徴量である。属性情報算出手段５４は、例えば、移動物体領域内について「移動物体領域のピクセル面積」に占める「入力画像４０の輝度値−背景画像４１の輝度値がマイナスの値となる画素数」×１００を「背景差分マイナス点率」として算出する。「背景差分マイナス点率」が高いほど、移動物体領域全体が背景画像よりも暗くなっていることを表し、環境光を遮って映る虫としての妥当性が高いことを表す。「輝度平均値」は、「虫はカメラの直近に映るため環境光を遮って背景画像よりも暗く映ること、また、虫自体が黒系の色をしている」ということを利用した特徴量である。属性情報算出手段５４は、例えば、移動物体領域内の輝度値の平均値を算出する。輝度平均値が低いほど、移動物体領域全体が黒色であることを表し、入力画像に黒く映る虫としての妥当性が高いことを表す。「入力エッジ強度平均値」は、「虫はカメラの直近に映るためピントがぼやけて映る」ということを利用した特徴量である。属性情報算出手段５４は、例えば、移動物体領域内について「移動物体領域のピクセル面積」に占める「入力画像４０のエッジ強度の総和」を「入力エッジ強度平均値」として算出する。すなわち、「入力エッジ強度平均値」が低いほど、ピントがぼやけて映っていることを表し、カメラの直近に映る虫としての妥当性が高いことを表す。
The “background difference minus point rate” is a feature quantity that utilizes the fact that “the insect appears in the darkness of the background image by blocking the ambient light because it appears in the immediate vicinity of the camera”. For example, the attribute
なお、本実施の形態では、３つの特徴量（虫属性要素）にて説明したが、これらに限定されるものではなく、３つの特徴量からいくつかを選択してもよいし、他の種々の特徴量を利用してもよい。 In the present embodiment, three feature amounts (insect attribute elements) have been described. However, the present invention is not limited to these, and some of the three feature amounts may be selected. The feature amount may be used.
属性情報算出手段５４は、算出した各虫属性要素の値を用いて、虫属性情報を算出する。具体的には、図５に示すメンバーシップ関数に各虫属性要素の値を代入し、それぞれ虫らしいほど１、虫らしくないほど０になるような値を求める。そして、求めた値を以下の式に代入して虫属性値情報を算出する。
（式２）
虫属性値情報＝虫属性値要素１×虫属性値要素２×虫属性値要素３・・・（２）
The attribute information calculation means 54 calculates insect attribute information using the calculated value of each insect attribute element. More specifically, the value of each insect attribute element is substituted into the membership function shown in FIG. 5, and a value that becomes 1 when it seems to be an insect and 0 when it does not seem to be an insect is obtained. The insect attribute value information is calculated by substituting the obtained value into the following equation.
(Formula 2)
Insect attribute value information = insect
なお、本実施の形態では、人以外属性情報として虫らしさを表す虫属性情報を用いたが、これに限られるものではない。例えば、影らしさを表す特徴量から影属性値情報、植栽らしさを表す特徴量から植栽属性値情報等を求めればよい。 In the present embodiment, insect attribute information representing the nature of insects is used as attribute information other than a person, but the present invention is not limited to this. For example, what is necessary is just to obtain | require planting attribute value information etc. from the shadow attribute value information from the feature-value showing shadowiness, and the feature-value showing plantingness.
領域関連付手段５５は、位置算出手段５２でフレーム毎に算出された各移動物体領域の位置に基づいて、追跡手段５３にて追跡されている移動物体領域のうち所定の位置関係を有している移動物体領域を関連付けてグループ化する。また、その他の移動物体領域を単独にグループ化する。関連付処理は、異なる時刻に撮像された入力画像４０から抽出された移動物体領域のうち同一の移動物体として追跡処理されている移動物体領域間において行う。 The area association means 55 has a predetermined positional relationship among the moving object areas tracked by the tracking means 53 based on the position of each moving object area calculated for each frame by the position calculation means 52. Group moving object regions in association with each other. In addition, other moving object regions are grouped independently. The association processing is performed between the moving object regions that are tracked as the same moving object among the moving object regions extracted from the input image 40 captured at different times.
本実施の形態では、領域関連付手段５５は、位置算出手段５２で算出した移動物体領域の位置に基づき、当該位置が所定範囲内となる移動物体領域をグループ化する。ここで、所定範囲は、移動物体の画像上の位置の時間的な変化が少ないこと、すなわち、移動物体がその場で留まっている状態や移動物体の移動速度が遅い状態を判断可能な範囲とする。これは、画像上の位置が変化しない場合は、移動物体の映り方や移動物体の背後に存在する背景物が変化しないという知見に基づいて、移動物体領域の属性情報が変動し難い状態であるといえる。このため、本実施の形態は、所定範囲に所在する移動物体領域を関連付けてグループ化することで、移動物体の属性情報が変動し難い相互位置に所在する移動物体領域をグループ化する。例えば、領域関連付手段５５は、基準位置を設定し、設定時点以降において当該基準位置と位置算出手段５２で算出した移動物体領域の位置との距離が所定距離Ｒ以内となる２つの移動物体領域を関連付けて同一のグループとする。具体的には、領域関連付手段５５は、追跡処理の開始時点のフレームの移動物体領域の重心位置を基準位置として設定すると共に、当該移動物体領域を新たなグループに割り当てる。そして、次回のフレームの移動物体領域の重心位置と基準位置とのピクセル距離を求め、当該ピクセル距離が所定距離Ｒ以内（例えば、１０ピクセル以内）である場合は当該移動物体領域と基準位置を設定した移動物体領域とを関連付けて同じグループに割り当てる。さらに、次々回のフレームの移動物体領域の重心位置と基準位置とのピクセル距離を求め、当該ピクセル距離が所定距離Ｒ以内（例えば、１０ピクセル以内）である場合は、当該移動物体領域を基準位置を設定した移動物体領域及び次回のフレームの移動物体領域と関連付けて基準位置を設定した移動物体領域と次回のフレームの移動物体領域と同じグループに割り当てる。領域関連付手段５５は、この処理を移動物体領域に対する追跡が終了するまでフレーム毎に順次繰り返し、すべての移動物体領域について関連付けを行う。なお、処理対象となっているフレームの移動物体領域の重心位置と基準位置とのピクセル距離が所定距離Ｒ以内でなければ、当該移動物体領域の重心位置を新たな基準位置として設定すると共に、当該移動物体領域を新たなグループに割り当てて処理を繰り返す。また、基準位置を設定したフレームの次回のフレームの移動物体領域の重心位置と基準位置とのピクセル距離が所定距離Ｒ以内でなければ、当該基準位置を設定したフレームの移動物体領域のみが属する１つのグループができる。
In the present embodiment, the
本実施の形態では、関連付けの条件となる所定範囲をピクセル距離によって設定したが、これに限るものではなく、カメラ２の設置高や俯角などから算出した実距離を用いてもよい。また、ピクセル距離と実距離を併用して、移動物体がカメラ２の視軸方向の遠方に存在する場合のピクセル距離と移動物体がカメラ２の視軸方向の近傍に存在する場合のピクセル距離の違いを吸収するようにしてもよい。例えば、ピクセル距離が１０ピクセル以内且つ、５ピクセル以内または実距離が５０ｃｍ以内のものを関連付けするようにしてもよい。また、画像上又は実空間上において所定の形状の範囲を所定範囲としてもよい。また、移動物体領域同士が重複する関係になる範囲を所定範囲としてもよい。
In the present embodiment, the predetermined range as the association condition is set by the pixel distance. However, the present invention is not limited to this, and an actual distance calculated from the installation height of the
ここで、図６を参照し、本実施の形態における移動物体領域の関連付けについて説明する。図６は、本実施の形態における関連付けの例を示した図である。図６（ａ）は、図３に対応し、図６（ｂ）は、図４に対応する。 Here, with reference to FIG. 6, association of the moving object region in the present embodiment will be described. FIG. 6 is a diagram showing an example of association in the present embodiment. 6A corresponds to FIG. 3, and FIG. 6B corresponds to FIG.
まず、図６（ａ）を例に説明する。黒色の円は、各フレームにおける移動物体領域の重心位置を示したものである。例えば、図３の時刻Ｔ−２における移動物体領域１３ａの重心位置を図６（ａ）では、重心位置Ｔ−２としている。また、白色の円は、所定距離Ｒを半径とする円である。
First, FIG. 6A will be described as an example. The black circle indicates the position of the center of gravity of the moving object region in each frame. For example, the center of gravity position of the moving
移動物体領域１３ａについては、時刻Ｔ−２に追跡処理を開始している。このため、重心位置Ｔ−２が基準位置として設定され、時刻Ｔ−２の移動物体領域１３ａがグループ１ａに割り当てられる。そして、次のフレームである時刻Ｔ−１のフレームから抽出された移動物体領域１３ａの重心位置Ｔ−１と基準位置のピクセル距離は、所定距離Ｒ以上であるため、時刻Ｔ−１の移動物体領域１３ａは時刻Ｔ−２の移動物体領域１３ａとは関連付けられず、重心位置Ｔ−１が新たな基準位置に設定される。これにより、グループ１ａには、時刻Ｔ−２の移動物体領域１３ａのみが属することになり、時刻Ｔ−１の移動物体領域１３ａは新たなグループ２ａに属することになる。そして、次のフレームである時刻Ｔのフレームから抽出された移動物体領域１３ａの重心位置Ｔと基準位置である重心位置Ｔ−１とのピクセル距離は、所定距離Ｒ以内であるため、時刻Ｔの移動物体領域１３ａは時刻Ｔ−１の移動物体領域１３ａと関連付けられてグループ２ａに割り当てられる。また、次のフレームである時刻Ｔ＋１のフレームから抽出された移動物体領域１３ａの重心位置Ｔ＋１と基準位置である重心位置Ｔ−１とのピクセル距離は、所定距離Ｒ以内であるため、時刻Ｔ＋１の移動物体領域１３ａは時刻Ｔ−１の移動物体領域１３ａ及び時刻Ｔの移動物体領域１３ａと関連付けられてグループ２ａに割り当てられる。次のフレームである時刻Ｔ＋２のフレームから抽出された移動物体領域１３ａの重心位置Ｔ＋２と基準位置である重心位置Ｔ−１とのピクセル距離は、所定距離Ｒ以上であるため、時刻Ｔ＋２の移動物体領域１３ａは時刻Ｔ−１の移動物体領域１３ａとは関連付けられず、重心位置Ｔ＋２が新たな基準位置に設定される。これにより、グループ２ａには、時刻Ｔ−１，Ｔ，Ｔ＋１の移動物体領域１３ａが属することになり、時刻Ｔ＋２の移動物体領域１３ａは新たなグループ３ａに属することになる。また、次のフレームである時刻Ｔ＋３のフレームから抽出された移動物体領域１３ａの重心位置Ｔ＋３と基準位置である重心位置Ｔ＋２とのピクセル距離は、所定距離Ｒ以内であるため、時刻Ｔ＋３の移動物体領域１３ａは時刻Ｔ＋２の移動物体領域１３ａと関連付けられてグループ３ａに割り当てられる。
For the moving
このようにして、図３における移動物体領域１３ａについて、時刻Ｔ−２の移動物体領域１３ａはグループ１ａ、時刻Ｔ−１から時刻Ｔ＋１の移動物体領域１３ａはグループ２ａ、時刻Ｔ＋２から時刻Ｔ＋３の移動物体領域１３ａはグループ３ａとして関連付けられる。
In this way, with respect to the moving
次に、図６（ｂ）について説明する。黒色の円は、図６（ａ）と同様に各フレームにおける移動物体領域の重心位置を示したものである。例えば、図４の時刻ｔ−２における移動物体領域１３ｂの重心位置を図６（ｂ）では、重心位置ｔ−２としている。また、白色の円は、図６（ａ）と同様に所定距離Ｒを半径とする円である。
Next, FIG. 6B will be described. The black circle indicates the position of the center of gravity of the moving object region in each frame, as in FIG. For example, the center of gravity position of the moving
移動物体領域１３ｂは、時刻ｔ−２に追跡処理を開始している。このため、重心位置ｔ−２が基準位置として設定され、時刻ｔ−２の移動物体領域１３ｂがグループ１ｂに割り当てられる。そして、次のフレームである時刻ｔ−１のフレームから抽出された移動物体領域１３ｂの重心位置ｔ−１と基準位置のピクセル距離は、所定距離Ｒ以上であるため、時刻ｔ−１の移動物体領域１３ｂは時刻ｔ−２の移動物体領域１３ｂとは関連付けられず、重心位置ｔ−１が新たな基準位置に設定される。これにより、グループ１ｂには、時刻ｔ−２の移動物体領域１３ｂのみが属することになり、時刻ｔ−１の移動物体領域１３ｂは新たなグループ２ｂに属することになる。そして、次のフレームである時刻ｔのフレームから抽出された移動物体領域１３ｂの重心位置ｔと基準位置である重心位置ｔ−１とのピクセル距離は、所定距離Ｒ以内であるため、時刻ｔの移動物体領域１３ｂは時刻ｔ−１の移動物体領域１３ｂと関連付けられてグループ２ｂに割り当てられる。また、次のフレームである時刻ｔ＋１のフレームから抽出された移動物体領域１３ｂの重心位置ｔ＋１と基準位置である重心位置ｔ−１とのピクセル距離は、所定距離Ｒ以内であるため、時刻ｔ＋１の移動物体領域１３ｂは時刻ｔ−１の移動物体領域１３ｂ及び時刻ｔの移動物体領域１３ｂと関連付けられてグループ２ｂに割り当てられる。次のフレームである時刻ｔ＋２のフレームから抽出された移動物体領域１３ｂの重心位置ｔ＋２と基準位置である重心位置ｔ−１とのピクセル距離は、所定距離Ｒ以上であるため、時刻ｔ＋２の移動物体領域１３ｂは時刻ｔ−１の移動物体領域１３ｂとは関連付けられず、重心位置ｔ＋２が新たな基準位置に設定される。これにより、グループ２ｂには、時刻ｔ−１，ｔ，ｔ＋１の移動物体領域１３ｂが属することになり、時刻ｔ＋２の移動物体領域１３ｂは新たなグループ３ｂに属することになる。また、次のフレームである時刻ｔ＋３のフレームから抽出された移動物体領域１３ｂの重心位置ｔ＋３と基準位置である重心位置ｔ＋２とのピクセル距離は、所定距離Ｒ以内であるため、時刻ｔ＋３の移動物体領域１３ｂは時刻ｔ＋２の移動物体領域１３ｂと関連付けられてグループ３ｂに割り当てられる。
The moving
このようにして、図４における移動物体領域１３ｂについて、時刻ｔ−２の移動物体領域１３ｂはグループ１ｂ、時刻ｔ−１から時刻ｔ＋１の移動物体領域１３ｂはグループ２ｂ、時刻ｔ＋２から時刻ｔ＋３の移動物体領域１３ｂはグループ３ｂとして関連付けられる。
In this way, with respect to the moving
代表属性情報算出手段５６は、領域関連付手段５５にて同一のグループとして互いに関連付けられた移動物体領域について、同一のグループに含まれる移動物体領域の属性情報を代表する１つの代表属性情報を求める。
The representative attribute
本実施の形態では、同一のグループに割り当てられた移動物体領域について属性情報算出手段５４にて算出された人属性情報及び虫属性情報の平均値を算出し、それを代表人属性情報および代表虫属性情報とする。代表属性情報算出手段５６は、今回フレームまでに算出した代表属性情報を記憶部４に記憶するとともに、後述する対象判定手段５７に出力する。
In the present embodiment, the average value of the human attribute information and the insect attribute information calculated by the attribute information calculation means 54 is calculated for the moving object regions assigned to the same group, and the average values are used as the representative attribute information and the representative insect. Attribute information. The representative attribute
本実施の形態では、代表属性情報として平均値を算出したが、これに限らない。代表属性情報は、グループを構成する移動物体領域から求めた各属性情報を１つの移動物体領域から求めた属性領域とみなせる程度の値にまとめたものであればよい。例えば、代表属性情報算出手段５６は、グループを構成する移動物体領域の属性情報の最小値から最大値の範囲にほぼ入る値が算出できる方法で算出すればよいし、多少この範囲を逸脱してもよい。具体的には、中央値や最大値、最小値、重み付け平均、割り算等で蓄積値を低く補正した値等を代表属性情報として算出するようにしてもよい。
In the present embodiment, the average value is calculated as the representative attribute information, but the present invention is not limited to this. The representative attribute information may be any information as long as each attribute information obtained from the moving object areas constituting the group is collected to a value that can be regarded as an attribute area obtained from one moving object area. For example, the representative attribute
対象判定手段５７は、代表属性情報算出手段５６にて算出された代表属性情報に基づいて、移動物体領域が検出対象か否かを判定する。本実施の形態では、追跡を開始してから今回フレームまでに算出された代表人属性情報の蓄積値と代表虫属性情報の蓄積値を算出し、代表人属性情報の蓄積値が閾値以上（例えば、３以上）、かつ、代表虫属性情報に対する代表人属性情報の比率が閾値以上（例えば、２．５以上）であるときに、当該移動物体領域が検出対象、すなわち人間であると判定する。対象判定手段５７は、移動物体領域に対する判定結果を後述する異常判定部６に出力する。
The
なお、本実施の形態では、代表人属性情報の蓄積値と代表虫属性情報の蓄積値の比率を用いて判定を行ったが、判定方法はこれに限定されるものではない。例えば、代表人属性情報や代表虫属性情報のうち一方の代表属性情報に基づいて判定を行ってもよい。具体的には、代表人属性情報の蓄積値、代表虫属性値情報の蓄積値、代表人属性情報の平均値や代表虫属性情報の平均値、代表人属性情報の最小値や最大値、代表虫属性情報の最小値や最大値、等に応じて判定を行ってもよく、これらを複数組み合わせて判定に用いてもよい。この場合、属性情報算出手段５４および代表属性情報算出手段５６は、判定に必要な属性情報を算出するようにすればよい。なお、代表属性値の蓄積値又は平均値を用いる場合、移動物体領域の各グループにおける代表属性値が平等に扱われ、対象判定手段５７による判定が極端にならない点で好ましい。
In the present embodiment, the determination is performed using the ratio between the accumulated value of the representative attribute information and the accumulated value of the representative insect attribute information, but the determination method is not limited to this. For example, the determination may be made based on one representative attribute information of representative person attribute information and representative insect attribute information. Specifically, the accumulated value of representative attribute information, the accumulated value of representative insect attribute value information, the average value of representative attribute information and the average value of representative insect attribute information, the minimum and maximum values of representative attribute information, the representative The determination may be made according to the minimum value or the maximum value of the insect attribute information, or a plurality of these may be used for the determination. In this case, the attribute
また、本実施の形態では、追跡を開始してから今回フレームまでに算出された代表属性情報に基づいて判定を行ったが、これに限らず、直近の所定数のグループ（例えば、５グループ分）の代表属性情報に基づいて判定を行ってもよい。 In the present embodiment, the determination is performed based on the representative attribute information calculated from the start of tracking to the current frame. However, the present invention is not limited to this, and the most recent predetermined number of groups (for example, for five groups). The determination may be made based on the representative attribute information.
ここで、図７を参照して、本実施の形態における代表属性情報の算出について説明する。図７は、本実施の形態における各属性情報と各代表属性情報を示す図である。図７（ａ）は、図３及び図６（ａ）に対応し、図７（ｂ）は、図４及び図６（ｂ）に対応する。 Here, with reference to FIG. 7, calculation of representative attribute information in the present embodiment will be described. FIG. 7 is a diagram showing each attribute information and each representative attribute information in the present embodiment. 7A corresponds to FIGS. 3 and 6A, and FIG. 7B corresponds to FIGS. 4 and 6B.
図３の移動物体領域１３ａについて算出された人属性情報及び虫属性情報、互いに関連付けられた移動物体領域のグループ毎の代表人属性情報及び代表虫属性情報は、図７（ａ）に示すようにそれぞれ「３」と「０」になる。よって、代表虫属性情報に対する代表人属性情報の比率は、大きな値である「∞」となる。したがって、代表人属性情報の蓄積値が閾値以上（例えば、３以上）かつ、比率が閾値以上（例えば、２．５以上）の場合に人間であるとする判定条件を適用すると、本例において移動物体領域１３ａは人間であると判定される。
As shown in FIG. 7A, the human attribute information and insect attribute information calculated for the moving
また、図４の移動物体領域１３ｂについて算出された人属性情報及び虫属性情報、互いに関連付けられた移動物体領域のグループ毎の代表人属性情報及び代表虫属性情報は、図７（ｂ）に示すようにそれぞれ「３」と「２．２」になる。よって、代表虫属性情報に対する代表人属性情報の比率は「１．４」となる。したがって、代表人属性情報の蓄積値が閾値以上（例えば、３以上）かつ、比率が閾値以上（例えば、２．５以上）の場合に人間であるとする判定条件を適用すると、本例において移動物体領域１３ｂは人ではないと判定される。
Also, the human attribute information and insect attribute information calculated for the moving
ここで、図７（ｂ）に示すように、時刻ｔ−１、ｔ、ｔ＋１のフレームにおいて移動物体領域１３ｂの人属性情報が虫属性情報よりも高くなっている。すなわち、虫はカメラの直近に映ると人間と同じ程度の大きさに映り、人間と同様に実体があるので、人属性情報だけでは人間と虫との区別が難しくなる。そこで、虫らしさを表す虫属性情報を用いて判定を行う。しかし、時刻ｔ−１、ｔ、ｔ＋１のように虫が背景物の樹木１１と重なる場合、背景画像の輝度を用いて算出される虫属性要素（例えば、背景差分マイナス点率）を精度良く算出することができなくなる。これは、樹木１１の幹の部分が元々低い輝度値で映るため、虫の輝度値よりも輝度が低い部分が多くなるからである。このため、従来のようにフレーム毎に算出された属性情報を単に蓄積してしまうと、時刻ｔ−１、ｔ、ｔ＋１のように属性情報が精度良く算出できない位置に虫が留まる場合に、時刻ｔ＋１のフレームの時点で、蓄積値が「４」、属性情報の比率が「２．５」になってしまい、それぞれが前述した閾値をこえる。その結果、虫による移動物体領域である１３ｂが「人間」として誤って判定されてしまう。本発明は、異なる時刻における同一物体による移動物体領域をその位置に基づいて関連付けてグループ化し、グループ毎に当該グループを代表する代表属性情報を算出して検出対象の判定に用いる。これにより、属性情報が精度良く算出できない位置に移動物体領域が留まっている時刻ｔ−１、ｔ、ｔ＋１のフレームで算出された属性情報を１つにまとめることができ、その結果、虫による移動物体領域である１３ｂが「人間」として誤って判定されてしまうことを防止できる。
Here, as shown in FIG. 7B, the human attribute information of the moving
異常判定部６は、画像処理部５の対象判定手段５７における判定結果に基づいて、監視領域内の異常の有無を判定する。本実施の形態では、異常判定部６は、人間と判定された移動物体領域がある場合に「異常あり」と判定し、出力部７に対してその旨の信号を出力する。
The
出力部７は、異常判定部６から「異常あり」の信号を入力すると、異常信号を警報部（図示しない）に出力し、ブザーの鳴動や警告灯の表示などにより周囲に異常の発生を通知する。また、インターネット等の通信網を介して遠隔の監視センタ（図示しない）に監視センタに出力することによって、異常の発生を監視センタに通知する構成としてもよい。
When the “abnormal” signal is input from the
背景画像更新部８は、カメラ２にて撮影された画像（入力画像４０）と対象判定手段５７の判定結果などを用いて、記憶部４に記憶されている背景画像４１を更新する。具体的には、対象判定手段５７にて、人間がいると判定された場合は背景画像４１の更新を行わず、人間がいない場合に背景画像４１の更新を行う。
The background
なお、背景画像４１の更新方法は、これに限定されるものではなく、人間はいないが移動物体領域がある場合は背景画像の更新頻度を低下させるなどしてもよい。また、一定時間間隔で更新する方法や移動物体領域がないと判断された画像で更新する方法、照明変動を検知した場合に更新する方法などを適用してもよい。
Note that the method of updating the
以下、図８及び図９のフローチャートを参照して、本実施の形態の画像監視装置１を用いた画像監視処理を説明する。図８は、本実施形態の画像監視処理のフローチャートである。図９は、本実施形態の領域関連付処理のフローチャートである。
Hereinafter, image monitoring processing using the
画像監視装置１は、画像監視処理を開始すると、ステップＳ１において、画像入力部３にてカメラ２で撮影した画像を入力画像４０として順次取得する。以下のステップは、取得した１フレームの入力画像４０に対して行われる。
When starting the image monitoring process, the
ステップＳ２では、移動物体領域抽出手段５１にて、画像入力部３が取得した入力画像４０と記憶部４に記憶されている背景画像４１との差分の絶対値を閾値処理し、入力画像４０中の差分領域（２値）を抽出する。
In step S <b> 2, the moving object region extraction unit 51 performs threshold processing on the absolute value of the difference between the input image 40 acquired by the
ステップＳ３では、移動物体領域抽出手段５１にて、ステップＳ２において抽出された差分領域にラベル付けし、ラベル領域を生成する。本実施の形態では、このラベル領域を移動物体領域とする。 In step S3, the moving object area extracting means 51 labels the difference area extracted in step S2 to generate a label area. In this embodiment, this label area is a moving object area.
ステップＳ４では、位置算出手段５２にて、移動物体領域毎に重心位置を算出する。位置算出手段５２は、入力画像４０から抽出された移動物体領域毎の重心位置を求めて記憶部４に記憶させるとともに、追跡手段５３及び領域関連付手段５５に出力する。
In step S4, the position calculation means 52 calculates the gravity center position for each moving object area. The position calculation means 52 obtains the position of the center of gravity for each moving object area extracted from the input image 40 and stores it in the
ステップＳ５では、追跡手段５３にて、今回のフレームの移動物体領域に対して前回フレームの移動物体領域との対応付けを行う。また、前回フレームの移動物体領域と対応付けられない移動物体領域は新規の追跡対象として追跡を開始する。また、前回フレームまでに追跡されていた移動物体領域に対して、今回のフレームの移動物体領域と対応付けられない移動物体領域について追跡を終了する。
In step S5, the
以下のステップＳ６からステップＳ１１は、入力画像４０中における全ての追跡中の移動物体領域を順次着目移動物体領域として移動物体領域毎に実行される。 The following steps S6 to S11 are executed for each moving object area by sequentially setting all the moving object areas being tracked in the input image 40 as the moving object area of interest.
ステップＳ７では、属性情報算出手段５４にて、着目移動物体領域に対する人属性情報及び人以外属性情報（本実施の形態では虫属性情報）を算出するための特徴量（属性要素）をフレーム毎に算出する。 In step S7, the attribute information calculation means 54 calculates feature amounts (attribute elements) for calculating human attribute information and non-human attribute information (insect attribute information in the present embodiment) for the target moving object region for each frame. calculate.
ステップＳ８では、属性情報算出手段５４にて、ステップＳ７で算出された特徴量を用いて、人属性情報及び虫属性情報をフレーム毎に算出する。属性情報算出手段５４は、算出された人属性情報及び虫属性情報を記憶部４に記憶させるとともに、代表属性情報算出手段５６に出力する。
In step S8, the attribute
ステップＳ９では、領域関連付手段５５にて、位置算出手段５２で算出された移動物体領域の重心位置を用いて移動物体領域を関連付けしてグループ化する。領域関連付手段５５は、移動物体領域のグループ分けの結果情報を記憶部４に記憶する。領域関連付手段５５による処理の詳細は、図９のフローチャートを参照して後述する。
In step S9, the
ステップＳ１０では、代表属性情報算出手段５６にて、移動物体領域のグループ毎にステップＳ７で算出された人属性情報及び虫属性情報の平均値をそれぞれ算出する。 In step S10, the representative attribute information calculation means 56 calculates the average values of the human attribute information and insect attribute information calculated in step S7 for each group of moving object regions.
ステップＳ１１では、対象判定手段５７にて、移動物体領域が人間であるか否かを判定する。具体的には、ステップＳ１０で算出されたグループ毎の人属性情報の平均値の蓄積値と、虫属性情報の平均値の蓄積値を算出すると共に、これらの比率を求める。この比率及び、人属性情報の平均値の蓄積値をそれぞれの閾値と比較し、移動物体領域が人間であるか否かを判定する。その後、対象判定手段５７は、判定結果を異常判定部６に出力する。なお、現時点において、１枚分のフレームから算出した人属性情報及び虫属性値しかない場合でも、それらの比率及び、人属性情報の平均値の蓄積値をそれぞれの閾値と比較し、フレーム毎に人間であるか否かを判定すればよい。
In step S11, the
ステップＳ１２及びステップＳ１３では、異常判定部６は、判定結果に基づいて、入力画像４０から抽出した移動物体領域のうち「人間」と判定された移動物体領域がある場合に「異常あり」と判定して出力部７にその旨の信号を出力し、ステップＳ１４に処理を移行させる。異常判定部６は、判定結果に基づいて、入力画像４０から抽出した移動物体領域のうち「人間」と判定された移動物体領域がない場合に「異常なし」と判定して、ステップＳ１５に処理を移行させる。
In step S12 and step S13, the
ステップＳ１４では、出力部７にて、異常信号を画像監視装置１の外部に出力して、ステップＳ１５に処理を移行させる。
In step S14, the
ステップＳ１５では、背景画像更新部８にて、記憶部４の背景画像４１を更新するか否かを判定した上で背景画像４１の更新を行う。その後、背景画像４１を更新した場合も更新しなかった場合もステップＳ１に処理を戻し、次回のフレームの入力画像４０を取得して画像監視処理を継続する。
In step S15, the background
次に、図９のフローチャートを参照して、本実施形態の領域関連付処理について説明する。 Next, the region association processing according to the present embodiment will be described with reference to the flowchart of FIG.
まず、領域関連付手段５５は、ステップＳ９１にて、移動物体領域が今回のフレームから追跡手段５３で追跡を開始したものか否かを判定する。すなわち、初回出現の移動物体領域か否かを判定する。移動物体領域が初回出現であった場合は、ステップＳ９３に処理を移行させる。また、移動物体領域が初回出現でない場合は、ステップＳ９２に処理を移行させる。
First, in step S91, the
ステップＳ９２では、設定されている基準位置と位置算出手段５２で算出された移動物体領域の重心位置との距離を算出し、当該距離が所定距離Ｒ以上であるか否かを判定する。所定距離Ｒ以上である場合にはステップＳ９３に処理を移行させ、所定距離Ｒ以上でない場合にはステップＳ９５に処理を移行させる。 In step S92, the distance between the set reference position and the center of gravity position of the moving object region calculated by the position calculation means 52 is calculated, and it is determined whether or not the distance is equal to or greater than a predetermined distance R. If it is greater than or equal to the predetermined distance R, the process proceeds to step S93, and if not greater than the predetermined distance R, the process proceeds to step S95.
ステップＳ９３では、当該移動物体領域を新規のグループに割り当てる。そして、ステップＳ９４では、当該移動物体領域について、位置算出手段５２で算出された移動物体領域の重心位置を新たな基準位置として設定する。一方、ステップＳ９５では、当該移動物体領域を設定されている基準位置と重心位置との距離が所定距離Ｒ内となった過去のフレームの移動物体領域と関連付けてそれらと同じグループに割り当てる。すなわち、前回フレームと同じグループに割り当てる。
In step S93, the moving object region is assigned to a new group. In step S94, the center of gravity position of the moving object area calculated by the
ステップＳ９４又はステップＳ９５の処理が終了すると当該移動物体領域についてのグループ判定処理を終了する。 When the process of step S94 or step S95 ends, the group determination process for the moving object region ends.
以上のように、本実施の形態によれば、検出対象物以外の移動物体を検出対象物として誤検出してしまう可能性が高い移動物体領域を複数関連付けてグループ化し、当該グループに含まれる移動物体領域の判定に対する影響が大きくなり過ぎないようすることができる。これによって、監視領域を撮像した画像を順次処理し、監視領域に検出対象が存在するか否かを判定する画像監視装置において、検出対象の検出精度を高めることができる。 As described above, according to the present embodiment, a plurality of moving object regions that are likely to be erroneously detected as moving objects other than the detection target are grouped in association with each other, and movements included in the group are included. It is possible to prevent the influence on the determination of the object region from becoming too large. Thus, the detection accuracy of the detection target can be increased in the image monitoring apparatus that sequentially processes the images obtained by capturing the monitoring area and determines whether or not the detection target exists in the monitoring area.
＜変形例１＞
上記実施の形態では、領域関連付手段５５は、基準位置との距離が所定距離以内であるか否かに基づいて移動物体領域を関連付けてグループに割り当てる処理を行った。しかしながら、本発明の目的は、属性情報を精度良く算出しにくい画像上の位置に移動物体領域が留まる場合に、その間に算出された属性情報が検出対象か否かの判定に多く使われることを防ぐものである。このため、予め、背景画像上に属性情報を精度良く算出することが困難となる可能性のある領域を設定しておき、移動物体領域が当該領域の位置に存在するか否かで関連付けするようにしてもよい。なお、背景画像上に領域を設定するのではなく、入力画像上に属性情報を精度良く算出することが困難となる可能性のある領域を設定するようにしてもよい。
<
In the above embodiment, the
例えば、図３及び図４に示した背景画像４１に含まれる樹木１１の幹の部分は、虫属性情報を算出する際に算出精度を悪くする可能性がある。このため、背景画像４１の樹木１１の領域を予め設定・記憶しておき、移動物体領域が当該領域の位置に存在する時刻ｔ−１、ｔ、ｔ＋１の移動物体領域を関連付けて、関連付けられた移動物体領域については代表属性情報を用いて判定を行ってもよい。この場合、記憶部４に予め設定した樹木１１の領域を記憶させておき、領域関連付手段５５は、樹木１１の領域内の位置を基準位置として設定するようにすればよい。
For example, the trunk portion of the
＜変形例２＞
上記実施の形態及び変形例では、互いに関連付けされた移動物体領域の数によらずに処理を行ったが、これに限定されるものではない。例えば、代表属性情報算出手段５６は、移動物体領域を関連付けたグループ分けの結果情報を参照し、現時点までに作られたグループのすべてに２個以下の移動物体領域しか割り当てられていないか否かを判定する。そして、対象判定手段５７は、すべてのグループに移動物体領域が２個以下しか含まれない場合に、代表属性情報算出手段５６で算出した代表属性情報ではなく、属性情報算出手段５４にてフレーム毎に算出された属性情報を用いて、移動物体領域が検出対象か否かを判定するようにすればよい。
<
In the above-described embodiment and modification, processing is performed regardless of the number of moving object regions associated with each other, but the present invention is not limited to this. For example, the representative attribute
＜変形例３＞
上記実施の形態及び変形例では、対象判定手段５７は、代表属性情報算出手段５６で算出された代表属性情報を用いて検出対象か否かを判定し、異常判定部６は、当該判定結果に基づいて異常の有無を判定した。しかし、このような処理に限定されるものではない。例えば、対象判定手段５７は、代表属性情報算出手段５６で算出した代表属性情報による検出対象の判定と、属性情報算出手段５４にてフレーム毎に算出された属性情報による検出対象の判定と、の両方を行い、異常判定部６は、代表属性情報を用いた検出対象の判定結果とフレーム毎に算出された属性情報のみを用いた検出対象の判定結果の両方において検出対象が存在すると判定された場合に「異常あり」とするようにしてもよい。
<
In the embodiment and the modification described above, the
１ 画像監視装置、２ カメラ、３ 画像入力部、４ 記憶部、５ 画像処理部、６ 異常判定部、７ 出力部、８ 背景画像更新部、９ 人間、１０ クモ、１１ 樹木、１２ 建物、１３ａ，１３ｂ 移動物体領域、４０ 入力画像、４１ 背景画像、５１ 移動物体領域抽出手段、５２ 位置算出手段、５３ 追跡手段、５４ 属性情報算出手段、５５ 領域関連付手段、５６ 代表属性情報算出手段、５７ 対象判定手段。
DESCRIPTION OF
Claims (5)
前記画像から移動物体領域を抽出する移動物体領域抽出手段と、
同一移動物体による移動物体領域を前記画像上にて順次追跡する追跡手段と、
前記移動物体領域に対して検出対象らしさを表す属性情報を算出する属性情報算出手段と、
前記同一移動物体による移動物体領域において、所定の位置関係を有している移動物体領域を関連付けて１つのグループを構成させ、その他の移動物体領域を単独にてグループを構成させる領域関連付手段と、
前記グループ毎に、構成する移動物体領域の属性情報を用いて１つの代表属性情報を算出する代表属性情報算出手段と、
前記代表属性情報を用いて前記検出対象が存在するか否かを判定する対象判定手段と、
を備えることを特徴とする画像監視装置。 An image monitoring apparatus for inputting an image obtained by sequentially imaging a monitoring area and determining whether or not a detection target exists in the image,
Moving object region extraction means for extracting a moving object region from the image;
Tracking means for sequentially tracking a moving object region by the same moving object on the image;
Attribute information calculating means for calculating attribute information representing the likelihood of detection for the moving object region;
In the moving object region by the same moving object, region association means for associating the moving object regions having a predetermined positional relationship to form one group and forming the other moving object regions independently as a group ,
Representative attribute information calculating means for calculating one representative attribute information using the attribute information of the moving object region constituting each group;
Target determination means for determining whether or not the detection target exists using the representative attribute information;
An image monitoring apparatus comprising:
前記領域関連付手段は、前記移動物体領域の属性情報が変動し難い相互位置に所在する関係を前記所定の位置関係としたことを特徴とする画像監視装置。 The image monitoring apparatus according to claim 1,
The image monitoring apparatus according to claim 1, wherein the region association unit uses the predetermined positional relationship as a relationship where the attribute information of the moving object region is located at a mutual position where the moving object region hardly changes.
前記領域関連付手段は、予め画像上に設定された範囲に前記移動物体領域が所在する関係を前記所定の位置関係としたことを特徴とする画像監視装置。 The image monitoring apparatus according to claim 1 or 2,
The image monitoring apparatus according to claim 1, wherein the region association means uses the predetermined positional relationship as a relationship in which the moving object region is located in a range set in advance on the image.
前記領域関連付手段は、前記移動物体領域の追跡開始時点の位置を基準位置に設定し、当該基準位置から所定範囲内に移動物体領域が所在する関係を前記所定の位置関係として関連付け、
前記移動物体領域が前記基準位置から前記所定範囲外になると、その時点における移動物体領域の位置を新たな基準位置として設定することを特徴とする画像監視装置。 The image monitoring apparatus according to claim 1 or 2,
The area associating means sets the position of the tracking start time of the moving object area as a reference position, and associates the relationship where the moving object area is located within a predetermined range from the reference position as the predetermined position relation,
When the moving object area is out of the predetermined range from the reference position, the position of the moving object area at that time is set as a new reference position.
前記対象判定手段は、少なくとも前記代表属性情報の蓄積値又は平均値に基づいて判定することを特徴とする画像監視装置。 The image monitoring device according to any one of claims 1 to 4,
The image monitoring apparatus according to claim 1, wherein the target determination unit determines based on at least an accumulated value or an average value of the representative attribute information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014242546A JP6275022B2 (en) | 2014-11-28 | 2014-11-28 | Image monitoring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014242546A JP6275022B2 (en) | 2014-11-28 | 2014-11-28 | Image monitoring device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016103246A true JP2016103246A (en) | 2016-06-02 |
| JP6275022B2 JP6275022B2 (en) | 2018-02-07 |
Family
ID=56089029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014242546A Active JP6275022B2 (en) | 2014-11-28 | 2014-11-28 | Image monitoring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6275022B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020017172A1 (en) * | 2018-07-17 | 2020-01-23 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2020120362A (en) * | 2019-01-28 | 2020-08-06 | キヤノン株式会社 | Image processing device, image processing method, and program |
| US11410443B2 (en) | 2020-03-13 | 2022-08-09 | Nec Corporation | Labelling training method and system for implementing the same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006338187A (en) * | 2005-05-31 | 2006-12-14 | Secom Co Ltd | Monitoring device |
| JP2012088861A (en) * | 2010-10-18 | 2012-05-10 | Secom Co Ltd | Intrusion object detection device |
-
2014
- 2014-11-28 JP JP2014242546A patent/JP6275022B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006338187A (en) * | 2005-05-31 | 2006-12-14 | Secom Co Ltd | Monitoring device |
| JP2012088861A (en) * | 2010-10-18 | 2012-05-10 | Secom Co Ltd | Intrusion object detection device |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020017172A1 (en) * | 2018-07-17 | 2020-01-23 | ソニー株式会社 | Information processing device, information processing method, and program |
| US11989901B2 (en) | 2018-07-17 | 2024-05-21 | Sony Corporation | Information processing device and information processing method |
| JP2020120362A (en) * | 2019-01-28 | 2020-08-06 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP7191711B2 (en) | 2019-01-28 | 2022-12-19 | キヤノン株式会社 | Image processing device, image processing method, and program |
| US11410443B2 (en) | 2020-03-13 | 2022-08-09 | Nec Corporation | Labelling training method and system for implementing the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6275022B2 (en) | 2018-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10032283B2 (en) | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene | |
| US10692225B2 (en) | System and method for detecting moving object in an image | |
| US10713798B2 (en) | Low-complexity motion detection based on image edges | |
| CN112016414A (en) | Method and device for detecting high-altitude parabolic event and intelligent floor monitoring system | |
| JP2008192131A (en) | System and method for performing feature level segmentation | |
| US8494267B2 (en) | Image processing device, image processing method, and program for normalizing a histogram | |
| JP6654789B2 (en) | Apparatus, program, and method for tracking object considering multiple candidates at change points | |
| KR20160011523A (en) | Device and method surveiling innormal behavior using 3d image information | |
| JP4999794B2 (en) | Still region detection method and apparatus, program and recording medium | |
| CA2989188A1 (en) | Method for ir or thermal image enchancement based on scene information for video analysis | |
| JP2020149642A (en) | Object tracking device and object tracking method | |
| JP2013152669A (en) | Image monitoring device | |
| Sharma | Human detection and tracking using background subtraction in visual surveillance | |
| US20190096066A1 (en) | System and Method for Segmenting Out Multiple Body Parts | |
| JP6275022B2 (en) | Image monitoring device | |
| CN114120171A (en) | Fire smoke detection method, device and equipment based on video frame and storage medium | |
| JP7030451B2 (en) | Image processing equipment | |
| US20180336694A1 (en) | System and Method for Passive Tracking Based on Color Features | |
| KR102299250B1 (en) | Counting device and method using composite image data | |
| JP2014048131A (en) | Image processing device, method, and program | |
| JP5679760B2 (en) | Intruder detection device | |
| JP7074174B2 (en) | Discriminator learning device, discriminator learning method and computer program | |
| JP6585668B2 (en) | Object detection device | |
| JP5222908B2 (en) | Collapse detection system and collapse detection method | |
| JP2014157453A (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180109 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6275022 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |