JP2012088861A - Intrusion object detection device - Google Patents
Intrusion object detection device Download PDFInfo
- Publication number
- JP2012088861A JP2012088861A JP2010233937A JP2010233937A JP2012088861A JP 2012088861 A JP2012088861 A JP 2012088861A JP 2010233937 A JP2010233937 A JP 2010233937A JP 2010233937 A JP2010233937 A JP 2010233937A JP 2012088861 A JP2012088861 A JP 2012088861A
- Authority
- JP
- Japan
- Prior art keywords
- area
- planting
- change
- intruding object
- change area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 88
- 238000012544 monitoring process Methods 0.000 claims abstract description 60
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 description 82
- 230000005484 gravity Effects 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010606 normalization Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、監視領域を撮像した画像から侵入物体を検出する侵入物体検出装置に関する。 The present invention relates to an intruding object detection apparatus that detects an intruding object from an image obtained by imaging a monitoring area.
従来、監視領域を撮影した入力画像を解析して監視領域へ侵入した侵入物体を検出する侵入物体検出装置が広く使用されている。例えば侵入物体として侵入者を検出する場合、このような侵入物体検出装置は、検出対象となる侵入者が存在しない状況において監視領域を撮影した背景画像を保持し、入力画像と背景画像の間で対応する画素毎に輝度値の差を求める。そして侵入物体検出装置は、その差が所定の閾値以上となる画素の集合領域(以下、変化領域と称する)について、大きさ、縦横比、輝度特徴などの特徴量を用いて、人らしさの度合いを表す属性値を求め、その属性値が所定の範囲内であるか否かを判断することにより、侵入者の有無を検出する。 Conventionally, an intruding object detection apparatus that detects an intruding object that has entered a monitoring area by analyzing an input image obtained by capturing the monitoring area has been widely used. For example, when detecting an intruder as an intruding object, such an intruding object detection device holds a background image obtained by photographing a monitoring area in a situation where there is no intruder to be detected, and between the input image and the background image. A difference in luminance value is obtained for each corresponding pixel. Then, the intruding object detection device uses a feature amount such as a size, an aspect ratio, and a luminance feature for a pixel collection region (hereinafter referred to as a change region) whose difference is equal to or greater than a predetermined threshold value. , And the presence / absence of an intruder is detected by determining whether or not the attribute value is within a predetermined range.
しかしながら、侵入物体検出装置を用いて屋外を監視するとき、植栽のように風等によって形状が変化する物体が監視領域に含まれる場合がある。このような場合、植栽が風によって揺れると、上記の属性値が侵入者を検出するための所定範囲内に入ってしまい、侵入物体検出装置が入力画像中の植栽に起因した変化領域を侵入者によるものと誤検出し、遠隔にある警備センタへ侵入者を検出したことを通報する(すなわち、誤報を発する)問題があった。 However, when the outdoor object is monitored using the intruding object detection device, an object whose shape changes due to wind or the like, such as planting, may be included in the monitoring region. In such a case, when the planting is shaken by the wind, the above attribute value falls within a predetermined range for detecting an intruder, and the intruding object detection device displays a change area caused by planting in the input image. There was a problem that it was erroneously detected that it was caused by an intruder and a remote security center was notified that the intruder was detected (that is, a false alarm was issued).
例えば、上記の所定範囲を侵入者と判定しにくいよう狭く設定しておくことにより、このような誤検出を抑制する方法も考えられる。しかしながら、単に上記の所定範囲を侵入者と判定しにくいよう狭く設定するのみでは、侵入者の検出漏れが発生する危険性が高くなってしまうことがある。このため、侵入者の検出に適した範囲を設定することは非常に困難であり、上記の誤検出を適切に抑制することが困難な場合があった。 For example, a method of suppressing such erroneous detection by setting the predetermined range so as to be difficult to determine as an intruder can be considered. However, simply setting the predetermined range so narrow that it is difficult to determine an intruder may increase the risk of intruder detection omission. For this reason, it is very difficult to set a range suitable for detection of an intruder, and it may be difficult to appropriately suppress the erroneous detection.
これに対して、特許文献1には、植栽に起因した誤報を防止するための技術が開示されている。特許文献1に開示された監視用画像処理装置は、植栽の揺れ等によって作り出された領域(テンポラルエッジブロック)を抽出する。そして監視用画像処理装置は、抽出した領域と変化領域が所定量以上重なっている場合、その変化領域は検出対象でないと判定して発報しない。
On the other hand,
しかしながら、特許文献1に記載の技術では、侵入者が植栽の前を移動した場合に、侵入者に起因した変化領域がテンポラルエッジブロックに重なり、その侵入者を検出対象でないと判定する。つまり、侵入者の検出漏れが生じてしまう可能性が高くなるという問題があった。
However, in the technique described in
そこで、本発明の目的は、監視領域内に存在する植栽の前を移動する侵入物体を検出するとともに、植栽の揺れによる誤検出を抑制できる侵入物体検出装置を提供することにある。 Therefore, an object of the present invention is to provide an intruding object detection device that can detect an intruding object that moves in front of planting existing in a monitoring area and that can suppress erroneous detection due to shaking of the planting.
かかる課題を解決するための本発明は、監視領域内に侵入した侵入物体を検出する侵入物体検出装置を提供する。かかる侵入物体検出装置は、監視領域を撮影した監視画像を取得する撮像部と、監視領域に侵入物体が存在しない状況において監視領域を撮影した画像である背景画像と、植栽が撮像されている画像上の領域を示す植栽領域を記憶する記憶部と、監視画像と背景画像の差分によって、輝度値が変化した変化領域を抽出する変化領域抽出手段と、変化領域について、変化領域が植栽領域と重なっている場合に重なっていない場合より侵入物体らしさが低くなる侵入物体らしさの度合いを表す侵入物体属性値を算出し、侵入物体属性値に基づいて変化領域が侵入物体によるものか否かを判定する判定手段と、を有する。 The present invention for solving such a problem provides an intruding object detection device for detecting an intruding object that has entered a monitoring area. In such an intruding object detection device, an imaging unit that acquires a monitoring image obtained by photographing a monitoring area, a background image that is an image obtained by photographing the monitoring area in a situation where no intruding object exists in the monitoring area, and planting are imaged. A storage unit that stores a planting region indicating a region on the image, a change region extraction unit that extracts a change region whose luminance value has changed according to a difference between the monitoring image and the background image, and the change region is planted with respect to the change region Calculate the intruding object attribute value that represents the degree of intruding object likelihood that makes the intruding object less likely than the intruding object when it overlaps the area, and whether or not the change area is due to the intruding object based on the intruding object attribute value Determining means for determining.
また、本発明に係る侵入物体検出装置において、判定手段は、変化領域が植栽領域と重なっていない場合、侵入物体の特徴である第1の特徴量に基づいて侵入物体属性値を算出し、変化領域が植栽領域と重なっている場合、第1の特徴量に加え侵入物体と植栽とで顕著に異なる第1の特徴量以外の特徴である第2の特徴量に基づいて侵入物体属性値を算出することが好ましい。 Further, in the intruding object detection device according to the present invention, when the change area does not overlap with the planting area, the determining means calculates an intruding object attribute value based on the first feature amount that is a characteristic of the intruding object, When the change region overlaps the planting region, the intruding object attribute is based on the second feature amount that is a feature other than the first feature amount that is significantly different between the intruding object and the planting in addition to the first feature amount. It is preferable to calculate the value.
さらに、本発明に係る侵入物体検出装置において、さらに、撮像部により監視画像が取得される度に、最新の監視画像から抽出された最新の変化領域と、直前に取得された監視画像から抽出された直前の変化領域のうち、最新の変化領域に写っている物体と同一の物体が写っている直前の変化領域とを対応付ける追跡処理手段を有し、判定手段は、最新の変化領域が植栽領域と重なっておらず、かつ最新の変化領域に対応付けられた直前又は所定数前までの監視画像での変化領域が植栽領域と重なっていなかった場合、第1の処理により侵入物体属性値を算出し、最新の変化領域が植栽領域と重なっておらず、かつ最新の変化領域に対応付けられた直前又は所定数前までの監視画像での変化領域が植栽領域と重なっていた場合、第1の処理より侵入物体属性値を侵入物体らしくない値とする第2の処理により侵入物体属性値を算出することが好ましい。 Further, in the intruding object detection device according to the present invention, each time a monitoring image is acquired by the imaging unit, the latest change area extracted from the latest monitoring image and the monitoring image acquired immediately before are extracted. A tracking processing means for associating an object in the latest change area with a change area immediately before the same object as the object in the latest change area, and the judging means for planting the latest change area If the change area in the monitoring image immediately before or a predetermined number of times before being associated with the latest change area does not overlap with the planting area, the intruding object attribute value is obtained by the first process. When the latest change area does not overlap with the planting area, and the change area in the monitoring image immediately before or a predetermined number of times corresponding to the latest change area overlaps with the planting area First process It is preferable to calculate the intruding object attribute value by the second process of a value not like intruder intruding objects attribute values.
さらに、本発明に係る侵入物体検出装置において、判定手段は、変化領域に占める植栽領域と重なった領域の割合が大きいほど侵入物体属性値を侵入物体らしくない値とすることが好ましい。 Furthermore, in the intruding object detection device according to the present invention, it is preferable that the determination means sets the intruding object attribute value to a value that is less likely to be an intruding object as the ratio of the area that overlaps the planting area in the change area increases.
本発明に係る侵入物体検出装置は、監視領域内に存在する植栽の前を移動する侵入物体を検出できるとともに、植栽の揺れによる誤検出を抑制できるという効果を奏する。 The intruding object detection device according to the present invention can detect an intruding object that moves in front of planting existing in the monitoring area, and can suppress an erroneous detection due to shaking of the planting.
以下、本発明の一実施形態である侵入物体検出装置について図を参照しつつ説明する。
この侵入物体検出装置は、監視領域を撮影した監視画像から、監視領域内に侵入した侵入物体を検出するものである。特に、この侵入物体検出装置は、監視画像の輝度値が変化した領域について、侵入物体の特徴量を用いて侵入物体らしさの度合いを算出し、算出した侵入物体らしさの度合いに基づいて侵入物体の有無を判定する。そして侵入物体検出装置は、輝度値が変化した領域が植栽の存在する領域と重なる場合、その変化は植栽の揺れによる可能性が高いと判定して、その領域については、植栽の存在する領域と重ならない場合よりも侵入物体と判定しにくくする。これにより侵入物体検出装置は、植栽の前を移動する侵入物体を検出するとともに、植栽の揺れを侵入物体と誤検出することを抑制させる。
Hereinafter, an intruding object detection apparatus according to an embodiment of the present invention will be described with reference to the drawings.
This intruding object detection device detects an intruding object that has entered the monitoring area from a monitoring image obtained by photographing the monitoring area. In particular, the intruding object detection device calculates the degree of likelihood of an intruding object using the feature amount of the intruding object for an area where the luminance value of the monitoring image has changed, and based on the calculated degree of intruding object likelihood, Determine presence or absence. And when the intruding object detection device overlaps the region where the brightness value has changed with the region where the planting exists, the intruding object detection device determines that the change is likely due to the shaking of the planting, This makes it more difficult to determine that the object is an intruding object than when it does not overlap with the area to be operated. As a result, the intruding object detection device detects an intruding object that moves before planting, and suppresses erroneous detection of the shaking of the planting as an intruding object.
なお、侵入物体検出装置が検出する侵入物体は、人、車などどのようなものでもよいが、本実施形態では、侵入物体として人を検出する場合を例に説明する。 Note that the intruding object detected by the intruding object detection device may be anything such as a person or a car, but in this embodiment, a case where a person is detected as an intruding object will be described as an example.
図1は、本発明の一実施形態である侵入物体検出装置100の概略構成を示す図である。図1に示すように、侵入物体検出装置100は、撮像部10と、記憶部20と、画像処理部30と、出力部40を有する。
FIG. 1 is a diagram showing a schematic configuration of an intruding
撮像部10は、CCD素子またはC−MOS素子など、可視光または近赤外光に感度を有する光電変換器で構成された2次元検出器と、その2次元検出器上に監視領域の像を結像する結像光学系と、2次元検出器から出力された電気信号を増幅し、アナログ/デジタル(A/D)変換する電気回路などで構成される。
撮像部10は、一定の時間間隔(例えば1/5秒)ごとに撮影する。そして撮像部10は、監視領域を撮影した監視画像を、例えば、横320画素×縦240画素を持ち、各画素が0〜255の輝度値を有するデジタル画像データとして生成する。そして撮像部10は、生成したデジタル画像データ(以降、入力画像と称する)を画像処理部30へ送信する。
The
The
記憶部20は、フラッシュメモリ(登録商標)などの不揮発性半導体メモリ、揮発性半導体メモリ、磁気ディスク(HDD)、またはCD−ROM、DVD−RAMなどの光ディスクドライブおよびその記録媒体で構成される。そして記憶部20は、監視領域に侵入物体が存在しないときに監視領域を撮影した画像である背景画像と、植栽が撮像されている画像上の領域を示す植栽領域を記憶する。さらに記憶部20は、画像処理部30上で実行されるプログラム、そのプログラムにより使用される各種設定パラメータ、画像処理の結果あるいは途中結果として得られた計算値または画像なども記憶する。そして記憶部20は、画像処理部30からの制御信号にしたがって、上記の計算値または画像などを記憶し、あるいは記憶している各種の情報を画像処理部30へ出力する。
The
画像処理部30は、組み込み型のマイクロプロセッサユニットとその周辺回路を有し、侵入物体検出装置100全体を制御する。また画像処理部30は、撮像部10から受け取った入力画像から、監視領域内に侵入した侵入物体を検出する。そのために、画像処理部30は、変化領域抽出手段31と、追跡処理手段32と、特徴量算出手段33と、重なり判定手段34と、離脱判定手段35と、判定手段36と、背景画像更新手段37と、植栽領域更新手段38を有する。画像処理部30が有するこれらの各部は、例えば、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される。
The
変化領域抽出手段31は、監視領域内を移動する物体(以下、移動物体と称する)が最新の入力画像に写っている可能性のある領域を抽出する。そのために、変化領域抽出手段31は、最新の入力画像と背景画像との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を作成する。そして変化領域抽出手段31は、差分画像の各画素について、その画素値が所定の閾値Th1以上となる画素を変動画素とし、閾値Th1未満となる画素を背景画素とするように2値化した差分2値化画像を作成する。例えば、閾値Th1は、差分画像の各画素値の平均値とすることができる。 The change area extraction unit 31 extracts an area where an object moving in the monitoring area (hereinafter referred to as a moving object) may be reflected in the latest input image. Therefore, the change area extraction unit 31 obtains a luminance difference between corresponding pixels between the latest input image and the background image, and calculates a difference image in which the pixel value of each pixel is represented by the absolute value of the luminance difference. create. The change area extraction unit 31 binarizes the difference image so that each pixel of the difference image has a pixel whose pixel value is equal to or greater than a predetermined threshold Th1 as a variation pixel and a pixel whose pixel value is less than the threshold Th1 as a background pixel. A binarized image is created. For example, the threshold value Th1 can be an average value of the pixel values of the difference image.
さらに変化領域抽出手段31は、作成した差分2値化画像について、公知のラベリング手法などを用いることにより、変動画素同士が一つに連結された領域を一つの変化領域として抽出する(以降、差分2値化画像の変化領域に対応する、入力画像の領域と背景画像の領域も変化領域と称する)。なお、同時に抽出される変化領域の数は一つに限られず、複数の変化領域が抽出されてもよい。またラベリング処理は、変動画素同士が縦、横方向に連結された領域を一つの変化領域として抽出する4近傍連結で行ってもよいし、縦、横、斜め方向に連結された領域を一つの変化領域として抽出する8近傍連結で行ってもよい。 Further, the change area extraction unit 31 extracts, as a change area, a region in which the variable pixels are connected to each other by using a known labeling method or the like for the created difference binary image (hereinafter referred to as a difference area). The area of the input image and the area of the background image corresponding to the change area of the binarized image are also referred to as change areas). Note that the number of change areas extracted simultaneously is not limited to one, and a plurality of change areas may be extracted. In addition, the labeling process may be performed by 4-neighbor concatenation in which a region in which variable pixels are connected in the vertical and horizontal directions is extracted as one change region, or a region in which the vertical, horizontal, and diagonal directions are connected to one region. You may carry out by the 8-neighbor connection extracted as a change area.
また変化領域抽出手段31は、近接する変化領域を統合した場合の矩形幅及び高さが現実の人物の幅及び高さに相当する範囲内である場合、その近接する変化領域を一つの変化領域に統合してもよい。または変化領域抽出手段31は、近接する変化領域間の画像上の横方向と縦方向のそれぞれの距離が一つの物体であると判断できる長さである場合に、その近接する変化領域を一つの変化領域に統合してもよい。 In addition, the change area extraction unit 31 determines that the adjacent change area is one change area when the rectangular width and height when the adjacent change areas are integrated are within a range corresponding to the width and height of the actual person. It may be integrated into. Alternatively, the change area extraction unit 31 determines that the adjacent change areas are one when the distances in the horizontal direction and the vertical direction on the image between the adjacent change areas are determined to be one object. You may integrate into a change area.
変化領域抽出手段31は、抽出した変化領域毎にラベル番号を付し、差分2値化画像と同サイズであり、画素値を対応する変化領域のラベル番号とするラベル画像を作成する。そして変化領域抽出手段31は、作成したラベル画像を記憶部20に格納する。
The change area extraction unit 31 attaches a label number to each extracted change area, and creates a label image that has the same size as the difference binary image and uses the pixel value as the label number of the corresponding change area. Then, the change area extraction unit 31 stores the created label image in the
追跡処理手段32は、撮像部10により連続して取得された複数フレームの入力画像から、それぞれ抽出された変化領域について、公知のトラッキング処理を利用して、同一の移動物体が写っているものとして対応付けられる変化領域を検出する。
追跡処理手段32は、記憶部20に格納されたラベル画像から変化領域についての情報を取得する。そして追跡処理手段32は、最新の入力画像(以降、現フレームと称する)から抽出された変化領域と、その変化領域に写っている移動物体と同一の移動物体が写っている、1つ前の入力画像(以降、前フレームと称する)から抽出された変化領域とを対応付ける。追跡処理手段32は、前フレームの変化領域と対応付けられた現フレームの変化領域を、その対応付けられた前フレームの変化領域、並びにその前フレームの変化領域が対応付けられていた過去のフレームの変化領域と対応付けて記憶部20に記憶する。
The
The
前フレームの変化領域と対応付けることができなかった変化領域は、新規の移動物体が写っているものとされ、新たに追跡処理の対象となる。また現フレームの変化領域と対応付けることができなかった過去のフレームの変化領域は、以降の追跡処理の対象から除外される。 The change area that could not be associated with the change area of the previous frame is assumed to be a new moving object, and is newly subject to tracking processing. In addition, the change area of the past frame that could not be associated with the change area of the current frame is excluded from the target of the subsequent tracking process.
例えば追跡処理手段32は、追跡処理の対象となる、同一の移動物体が写っている変化領域毎に、前フレームの変化領域と、その変化領域に対応する前々フレームの変化領域の重心位置の差を計算することにより、移動物体の画像上の進行方向及び移動速度を決定する。そして追跡処理手段32は、その進行方向及び移動速度から現フレームでその移動物体が写っている位置を推定し、推定した位置が現フレームの着目する変化領域の重心位置に最も近い変化領域をその着目変化領域に写っている移動物体と同一の移動物体が写っている変化領域とする。あるいは追跡処理手段32は、追跡処理の対象となる、同一の移動物体が写っている変化領域毎に、前フレームまでの変化領域の大きさの平均値を算出し、算出した平均値が現フレームの着目変化領域の大きさに最も近い変化領域をその着目変化領域に写っている移動物体と同一の移動物体が写っている変化領域としてもよい。あるいは追跡処理手段32は、追跡処理の対象となる、同一の移動物体が写っている変化領域毎に、前フレームの変化領域と、現フレームの着目変化領域との相関を求め、最も相関が高い変化領域をその着目変化領域に写っている移動物体と同一の移動物体が写っている変化領域としてもよい。
For example, for each change area in which the same moving object is captured, the
特徴量算出手段33は、記憶部20に格納されたラベル画像と各変化領域の対応付けに関する情報を取得し、変化領域毎に、その変化領域における侵入物体の特徴を表す特徴量を算出する。そして特徴量算出手段33は、算出した特徴量を記憶部20に格納する。
The feature amount calculation means 33 acquires information relating to the association between the label image stored in the
図2は、入力画像と背景画像と変化領域と植栽領域の関係の一例を表す図である。図2において、画像200は入力画像を示す。入力画像200には、植栽201、202、203と、人204、205が撮像されている。また画像210は背景画像を示す。背景画像210には、それぞれ植栽201、202、203と同じ植栽であり、過去に撮像された植栽211、212、213が写っている。
また画像220は、入力画像200と背景画像210から抽出された変化領域を示す。画像220では、人204、205の移動による変化領域224、225が抽出されるとともに、植栽202、203の揺れによる変化領域222、223も抽出されている。
また画像230は、記憶部20に記憶された植栽領域を表す。画像230では、植栽201、202、203に対応する植栽領域として、それぞれ植栽領域231、232、233が示されている。
FIG. 2 is a diagram illustrating an example of a relationship among an input image, a background image, a change area, and a planting area. In FIG. 2, an
An
The
画像220に示すように、監視画像を解析して侵入物体を検出する侵入物体検出装置は、検出対象である人だけでなく風等によって揺れた植栽も変化領域として抽出する場合がある。画像220、230において、植栽203の揺れによる変化領域223は、植栽領域233と重なっている。そのため、植栽領域と重なる変化領域を検出対象外とする従来技術であっても、植栽203について侵入者と誤検出することを防止できる。しかし、その場合、植栽201の前を移動する人204による変化領域224は、植栽領域231と重なっているため、人204について検出できないということになる。また植栽202の揺れによる変化領域222は、植栽領域232と重なっていないため、植栽領域と重なる変化領域を検出対象外としても、植栽202について侵入者と誤検出する場合がある。
そこで、本実施形態の特徴量算出手段33は、変化領域抽出手段31によって抽出された各変化領域について人によるものと植栽によるものを区別するために、侵入物体の特徴量を算出する。
As shown in an
Therefore, the feature
特徴量算出手段33は、侵入物体の特徴量として、大きさT1、縦横比T2、エッジ変化率T3、移動量T4を算出する。特徴量T1〜T4は、変化領域が侵入物体らしいか否かを判定するための特徴量である。
さらに特徴量算出手段33は、侵入物体の特徴量として、移動直進度T5、形状安定度T6を算出する。特徴量T5〜T6は、侵入物体と植栽とを区別するための特徴量である。
さらに特徴量算出手段33は、侵入物体の特徴量として、植栽領域の重なり率T7、植栽領域の重なり回数T8を算出する。特徴量T7〜T8は、変化領域と植栽領域の位置関係に基づく特徴量である。
The feature amount calculating means 33 calculates the size T1, the aspect ratio T2, the edge change rate T3, and the movement amount T4 as the feature amounts of the intruding object. The feature amounts T1 to T4 are feature amounts for determining whether or not the change area seems to be an intruding object.
Further, the feature amount calculating means 33 calculates the straightness of movement T5 and the shape stability T6 as the feature amounts of the intruding object. The feature amounts T5 to T6 are feature amounts for distinguishing an intruding object from planting.
Further, the feature amount calculation means 33 calculates the planting region overlap rate T7 and the planting region overlap count T8 as the feature amount of the intruding object. The feature amounts T7 to T8 are feature amounts based on the positional relationship between the change region and the planting region.
大きさT1は、移動物体の大きさである。一般に、画像上では、撮像部10に近い位置に存在する(画像上では下方に写る)移動物体は大きく写り、撮像部10から遠い位置に存在する(画像上では上方に写る)移動物体は小さく写る。そこで、侵入物体検出装置100は、例えば、予め撮像部10からの所定距離毎に移動物体を撮像し、撮像された移動物体の画像上の画素数と実際の大きさの関係をその移動物体の画像上の下端位置(水平ライン位置)毎に求めておく。そして特徴量算出手段33は、変化領域に含まれる画素数を算出し、算出した画素数を変化領域の下端位置(水平ライン位置)に応じて実際の大きさに変換した値を大きさT1とする。
The size T1 is the size of the moving object. In general, on the image, a moving object that is present at a position close to the imaging unit 10 (photographed downward on the image) appears large, and a moving object that is located at a position far from the imaging unit 10 (photographed upward on the image) is small. It is reflected. Therefore, for example, the intruding
縦横比T2は、移動物体の縦横比である。特徴量算出手段33は、変化領域の外接矩形の幅と高さの比率により移動物体の縦横比を算出する。縦横比T2は、移動物体の形状的特徴を表すものである。
The aspect ratio T2 is the aspect ratio of the moving object. The feature
エッジ変化率T3は、入力画像の変化領域において背景画像と比較したエッジの変化率であり、変化領域内の変動が侵入物体によるものか、または光または影によるものかを判定するための指標となる。変化領域内の変動が光または影によるものである場合、その変化領域内のテクスチャは変化しないため、エッジの分布はおおよそ変化しない。一方、変化領域内の変動が侵入物体によるものである場合、その変化領域において背景画像には監視領域の背景のテクスチャが表され、入力画像には侵入物体のテクスチャが表されるため、エッジの分布が大きく変化する。そこで、特徴量算出手段33は、入力画像と背景画像に対して、sobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そして特徴量算出手段33は、近傍画素間演算の結果得られた差分値の絶対値であるエッジ強度が所定の閾値よりも大きい画素をエッジ画素とする。なお、この閾値は、例えば、近傍画素間演算を実行した画像の各画素について得られた差分絶対値の平均値とすることができる。そして特徴量算出手段33は、例えば次式により、エッジ変化率T3を算出する。
T3=(入力画像と背景画像の変化領域における対応する画素のうちエッジ画素が変化した数)/(変化領域内の全画素数) (1)
つまり、式(1)の分子は、背景画像ではエッジ画素でなく、入力画像の対応する画素ではエッジ画素である画素数と、背景画像ではエッジ画素であり、入力画像の対応する画素ではエッジ画素でない画素数の和である。これにより特徴量算出手段33は、侵入物体の移動によって背景画像に存在しなかったエッジが入力画像に出現した場合だけでなく、背景画像に存在していたエッジが入力画像で消滅した場合もエッジ変化率T3を大きくすることができる。
The edge change rate T3 is the change rate of the edge compared to the background image in the change area of the input image, and is an index for determining whether the change in the change area is due to an intruding object, or due to light or shadow. Become. If the variation in the change region is due to light or shadow, the texture in the change region does not change, so the edge distribution does not change roughly. On the other hand, if the variation in the change area is due to an intruding object, the background image in the change area represents the background texture of the monitoring area, and the input image represents the texture of the intruding object. Distribution changes greatly. Therefore, the feature
T3 = (number of edge pixels among corresponding pixels in the change area of the input image and the background image) / (total number of pixels in the change area) (1)
That is, the numerator of equation (1) is not an edge pixel in the background image, but the number of pixels that are edge pixels in the corresponding pixel of the input image, and an edge pixel in the corresponding pixel of the input image. It is the sum of the number of pixels that are not. As a result, the feature
移動量T4は、同一の移動物体が写っている変化領域が最初に出現した場所から移動した距離である。変化領域が侵入物体によるものである場合、監視領域に侵入した侵入物体は目的に向かって移動する可能性が高い。一方、変化領域が光または影等によるものである場合、その変化領域は光や影が、その場でゆらゆらと揺れることによって発生しているため、長距離にわたって移動するように変化が現れる可能性は低い。そこで、特徴量算出手段33は、同一の移動物体が写っている変化領域のうち最初に出現した変化領域の重心位置と現フレームの変化領域の重心位置の間の距離により移動量を求め、侵入物体を判定するための特徴量として用いる。 The movement amount T4 is the distance moved from the place where the change area in which the same moving object appears is first appearing. When the change area is caused by an intruding object, the intruding object that has entered the monitoring area is likely to move toward the purpose. On the other hand, if the change area is caused by light or shadow, the change area is generated by light and shadow swaying on the spot, so the change may appear to move over a long distance. Is low. Therefore, the feature amount calculation means 33 obtains the movement amount from the distance between the center of gravity of the change region that first appears among the change regions in which the same moving object is reflected and the center of gravity of the change region of the current frame, and enters the intrusion. Used as a feature value for determining an object.
図3(a)〜(d)に、変化領域の動きと植栽領域の関係を説明するための図を示す。
図3(a)において、画像300は、図2に示した変化領域224の動きと植栽領域231との関係を表している。変化領域301は入力画像200の2フレーム前に抽出された人204による変化領域であり、変化領域302は入力画像200の1フレーム前に抽出された人204による変化領域である。
図3(b)において、画像310は、図2に示した変化領域222の動きと植栽領域232との関係を表している。変化領域311は入力画像200の2フレーム前に抽出された植栽202による変化領域であり、変化領域312は入力画像200の1フレーム前に抽出された植栽202による変化領域である。
図3(c)において、画像320は、図2に示した変化領域223の動きと植栽領域233との関係を表している。変化領域321は入力画像200の2フレーム前に抽出された植栽203による変化領域であり、変化領域322は入力画像200の1フレーム前に抽出された植栽203による変化領域である。
図3(d)において、画像330は、図2に示した変化領域225の動きを表している。変化領域331は入力画像200の2フレーム前に抽出された人205による変化領域であり、変化領域332は入力画像200の1フレーム前に抽出された人205による変化領域である。
The figure for demonstrating the relationship between the motion of a change area | region and a planting area | region to Fig.3 (a)-(d) is shown.
In FIG. 3A, an
In FIG. 3B, an
In FIG. 3C, an
In FIG. 3D, an
図3(a)、(d)に示すように、変化領域が人によるものである場合、監視領域に侵入した人は目的に向かって直線的に移動する可能性が高く、変化領域の移動方向(矢印の方向)は変化しない傾向にある。一方、図3(b)、(c)に示すように、変化領域が植栽によるものである場合、その変化領域は植栽の揺れ等により発生しており、移動方向は大きく変化する傾向にある。そこで、特徴量算出手段33は、侵入物体と植栽とを区別する特徴量として、変化領域が直線的に移動しているか否かを判定するための指標である移動直進度T5を算出する。 As shown in FIGS. 3A and 3D, when the change area is caused by a person, the person who has entered the monitoring area is likely to move linearly toward the purpose, and the moving direction of the change area (The direction of the arrow) tends not to change. On the other hand, as shown in FIGS. 3B and 3C, when the change area is due to planting, the change area is generated by shaking of the planting and the moving direction tends to change greatly. is there. Therefore, the feature amount calculating means 33 calculates a straight traveling degree T5 that is an index for determining whether or not the change area is moving linearly as a feature amount that distinguishes an intruding object from planting.
特徴量算出手段33は、例えば同一の移動物体が写っている、最近3フレームの変化領域の情報を用いて、次式により、移動直進度T5を算出し、侵入物体と植栽とを区別するための特徴量として用いる。
T5=(X1×X2+Y1×Y2)/(D1×D2) (2)
ただし、D1は、現フレームの変化領域の重心位置(Xt,Yt)(ただし、Xt、Ytは、それぞれ画像データ中の画素の水平座標、垂直座標を表す。以下同じ)と前フレームの変化領域の重心位置(Xt-1,Yt-1)の間の距離であり、D2は、前フレームの変化領域の重心位置(Xt-1,Yt-1)と前々フレームの変化領域の重心位置(Xt-2,Yt-2)の間の距離である。またX1は、前フレームの変化領域の重心位置から現フレームの変化領域の重心位置へのベクトルの水平成分であり、X2は、前々フレームの変化領域の重心位置から前フレームの変化領域の重心位置へのベクトルの水平成分であり、Y1は、前フレームの変化領域の重心位置から現フレームの変化領域の重心位置へのベクトルの垂直成分であり、Y2は、前々フレームの変化領域の重心位置から前フレームの変化領域の重心位置へのベクトルの垂直成分であり、それぞれ次式で表される。
X1=Xt−Xt-1 (3)
X2=Xt-1−Xt-2 (4)
Y1=Yt−Yt-1 (5)
Y2=Yt-1−Yt-2 (6)
つまり、式(2)の分子は、前々フレームの変化領域の重心位置から前フレームの変化領域の重心位置へのベクトルと前フレームの変化領域の重心位置から現フレームの変化領域の重心位置へのベクトルの内積を表しており、移動直進度T5は、2つのベクトルの方向が同じ(0°)場合1となり、離れるほど小さくなり、逆(180°)の場合0となる。すなわち移動直進度T5は、対応する各変化領域の重心位置の移動方向の同一度合いを表している。
For example, the feature
T5 = (X1 x X2 + Y1 x Y2) / (D1 x D2) (2)
However, D1 is the position of the center of gravity of the change region of the current frame (X t, Y t) (provided that, X t, Y t is the horizontal coordinate of the pixels in each of the image data represents a vertical coordinate. Hereinafter the same) as before This is the distance between the center of gravity position (X t-1 , Y t-1 ) of the change area of the frame, and D2 is the position of the center of gravity (X t-1 , Y t-1 ) of the change area of the previous frame. This is the distance between the barycentric positions (X t-2 , Y t-2 ) of the change area of the frame. X1 is the horizontal component of the vector from the centroid position of the change area of the previous frame to the centroid position of the change area of the current frame, and X2 is the centroid position of the change area of the previous frame from the centroid position of the change area of the previous frame. The horizontal component of the vector to the position, Y1 is the vertical component of the vector from the centroid position of the change area of the previous frame to the centroid position of the change area of the current frame, and Y2 is the centroid of the change area of the previous frame This is a vertical component of the vector from the position to the center of gravity position of the change area of the previous frame, and is expressed by the following equations.
X1 = X t -X t-1 (3)
X2 = X t-1 -X t-2 (4)
Y1 = Y t −Y t-1 (5)
Y2 = Y t-1 -Y t-2 (6)
That is, the numerator of equation (2) is a vector from the center of gravity of the change area of the previous frame to the center of gravity of the change area of the previous frame and the center of gravity of the change area of the previous frame to the center of gravity of the change area of the current frame. The travel straightness T5 is 1 when the directions of the two vectors are the same (0 °), becomes smaller as they move away, and becomes 0 when the directions are opposite (180 °). That is, the straight travel degree T5 represents the same degree of movement direction of the center of gravity position of each corresponding change area.
なお、移動物体が植栽である場合でも、3フレームの間、その移動物体が写っている変化領域が同じ方向に移動し、移動直進度T5が高くなることもあり得る。そこで、特徴量算出手段33は、所定期間内に取得された複数のフレームに対して式(2)によって算出された値の平均値を移動直進度T5としてもよい。その場合、所定期間は、侵入物体検出装置100が設置される環境や人を検出する目的などに応じて適宜最適化すればよい。
Even when the moving object is planted, the change area in which the moving object is captured moves in the same direction for three frames, and the straight movement degree T5 may increase. Therefore, the feature
また、図3(b)、(c)に示すように、変化領域が植栽によるものである場合、その変化領域は植栽が揺れて入力画像に写る枝または葉の形状が変化することによって発生しているため、図3(a)、(d)に示される人による変化領域と比較して、形状の変化が大きくなる傾向にある。そこで、特徴量算出手段33は、侵入物体と植栽とを区別する特徴量として、変化領域の形状の安定度合いを表す指標である形状安定度T6を算出する。 In addition, as shown in FIGS. 3B and 3C, when the change region is due to planting, the change region is changed by the shape of the branches or leaves reflected in the input image due to the planting shaking. Due to the occurrence, the change in shape tends to be larger than the change region by the person shown in FIGS. 3 (a) and 3 (d). Therefore, the feature amount calculation means 33 calculates a shape stability T6, which is an index representing the degree of stability of the shape of the change area, as a feature amount that distinguishes an intruding object from planting.
特徴量算出手段33は、例えば同一の移動物体が写っている、最近3フレームの変化領域の情報を用いて、次式により、形状安定度T6を算出し、侵入物体と植栽とを区別するための特徴量として用いる。
T6=(現フレームの変化領域の矩形幅の変化率)×(現フレームの変化領域の矩形高さの変化率) +(前フレームの変化領域の矩形幅の変化率)×(前フレームの変化領域の矩形高さの変化率) (7)
ただし、現フレームの変化領域の矩形幅の変化率は、現フレームの変化領域の矩形幅と前フレームの変化領域の矩形幅のうち大きい方の値に対する小さい方の値の比率である。同様に現フレームの変化領域の矩形高さの変化率は、現フレームの変化領域の矩形高さと前フレームの変化領域の矩形高さのうち大きい方の値に対する小さい方の値の比率である。同様に前フレームの変化領域の矩形幅の変化率は、前フレームの変化領域の矩形幅と前々フレームの変化領域の矩形幅のうち大きい方の値に対する小さい方の値の比率である。同様に前フレームの変化領域の矩形高さの変化率は、前フレームの変化領域の矩形高さと前々フレームの変化領域の矩形高さのうち大きい方の値に対する小さい方の値の比率である。
つまり、形状安定度T6は、変化領域の矩形の形状の変化が大きいほど小さい値となり、変化領域の矩形の形状の変化が小さいほど大きい値となる。
The feature amount calculation means 33 calculates the shape stability T6 by the following formula using information on the change area of the latest three frames in which the same moving object is shown, for example, and distinguishes the intruding object from planting It is used as a feature amount.
T6 = (Rectangle width change rate of the current frame change area) × (Rectangle height change ratio of the current frame change area) + (Rectangle width change ratio of the previous frame change) × (Previous frame change) (Rectangle height change rate) (7)
However, the change rate of the rectangular width of the change area of the current frame is the ratio of the smaller value to the larger value of the rectangular width of the change area of the current frame and the rectangle width of the change area of the previous frame. Similarly, the change rate of the rectangular height of the change area of the current frame is the ratio of the smaller value to the larger value of the rectangular height of the change area of the current frame and the rectangular height of the change area of the previous frame. Similarly, the change rate of the rectangular width of the change area of the previous frame is the ratio of the smaller value to the larger value of the rectangular width of the change area of the previous frame and the rectangle width of the change area of the previous frame. Similarly, the change rate of the rectangular height of the change area of the previous frame is the ratio of the smaller value to the larger value of the rectangular height of the change area of the previous frame and the rectangular height of the change area of the previous frame. .
That is, the shape stability T6 becomes smaller as the change in the rectangular shape of the change region is larger, and becomes larger as the change in the rectangular shape of the change region is smaller.
なお、移動物体が植栽である場合でも、3フレームの間、その移動物体が写っている変化領域の矩形の形状が変化せず、形状安定度T6が高くなることもあり得る。そこで、特徴量算出手段33は、所定期間内に取得された複数のフレームに対して式(7)によって算出された値の平均値を形状安定度T6としてもよい。その場合、所定期間は、侵入物体検出装置100が設置される環境や人を検出する目的などに応じて適宜最適化すればよい。
Even when the moving object is planted, the shape of the rectangle of the change area in which the moving object is captured does not change for three frames, and the shape stability T6 may increase. Therefore, the feature
植栽領域の重なり率T7は、変化領域と、記憶部20に記憶されている、植栽が撮像されている画像上の領域を示す植栽領域との重なり度合いを表す。植栽領域と重なる位置に発生した変化領域は植栽によるものである可能性が高い。そこで、特徴量算出手段33は、植栽領域を用いて、例えば次式により植栽領域の重なり率T7を算出する。
T7=(変化領域のうち植栽領域と重なる画素数)/(変化領域内の全画素数) (8)
つまり、植栽領域の重なり率T7は、変化領域に占める植栽領域と重なった領域の割合が大きいほど大きい値となり、その割合が小さいほど小さい値となる。
The overlapping rate T7 of the planting region represents the degree of overlap between the change region and the planting region that is stored in the
T7 = (number of pixels overlapping the planting area in the change area) / (total number of pixels in the change area) (8)
That is, the overlapping ratio T7 of the planting area becomes a larger value as the ratio of the area overlapping the planting area in the change area is larger, and becomes a smaller value as the ratio is smaller.
植栽領域の重なり回数T8は、前フレームにおいて変化領域が植栽領域に重なった状態が連続していた回数を表す。植栽の揺れによる誤検出を抑制するためには、植栽が撮像されている領域だけでなく、その植栽が揺れる可能性のある全ての領域をカバーするように植栽領域を大きく設定することが望ましい。しかし、植栽領域を大きく設定すると、それだけ侵入者と判定しにくくする領域が大きくなるため、一般に植栽の揺れが観測される可能性の高い領域、つまり植栽が撮像されている画像上の領域だけが植栽領域として設定される。そのため植栽が風等の影響で大きく揺れた場合、または成長して大きくなった場合等に植栽領域を超えてその植栽の揺れによる変化領域が抽出されることがある。したがって同一の移動物体が写っている変化領域が現フレームで植栽領域と重なっていなくても、前フレームでは植栽領域と重なっていた場合、その移動物体は植栽の一部である可能性が高い。
そこで、特徴量算出手段33は、同一の移動物体が写っているものとして対応付けられた変化領域毎にカウンタを割り当て、その同一の移動物体が写っている、現フレームの変化領域が植栽領域と重なっているときカウンタをインクリメントし、現フレームの変化領域が植栽領域と重なっていないときカウンタを0に初期化する。そして特徴量算出手段33は、更新する前のカウンタの値、すなわち前フレームにおいて変化領域が植栽領域に重なった状態が連続していた回数を植栽領域の重なり回数T8として保持する。
The planting area overlap count T8 represents the number of times that the change area overlaps the planting area in the previous frame. In order to suppress false detection due to shaking of the planting, set the planting area large so that it covers not only the area where the planting is imaged but also all the areas where the planting may shake It is desirable. However, if the planting area is set to be large, the area that is difficult to determine as an intruder becomes large, so in general, the area where planting fluctuation is likely to be observed, that is, on the image where the planting is imaged. Only the area is set as the planting area. Therefore, when the planting is greatly shaken by the influence of the wind or the like, or when the plant grows and becomes large, a change region due to the shaking of the planting may be extracted beyond the planting region. Therefore, even if the change area that shows the same moving object does not overlap the planting area in the current frame, if the overlapping area overlaps the planting area in the previous frame, the moving object may be part of the planting. Is expensive.
Therefore, the feature
なお、特徴量算出手段33は、変化領域が少しでも植栽領域と重なっている場合にカウンタをインクリメントすればよい。本実施形態では、特徴量算出手段33は、変化領域と植栽領域が重なる画素数が1画素以上の場合、あるいは変化領域における植栽領域との重なり率が0%より大きい場合、カウンタをインクリメントする。
Note that the feature
重なり判定手段34は、変化領域毎に、特徴量算出手段33が算出した植栽領域の重なり率T7を用いて、植栽領域と重なっているか否かを判定する。本実施形態では、重なり判定手段34は、植栽領域の重なり率T7が所定の閾値以上の場合、その変化領域と植栽領域は重なっていると判定する。なお、変化領域が少しでも植栽領域と重なっている場合にその変化領域と植栽領域は重なっていると判定されることが好ましい。したがって所定の閾値は、例えば0.01が好ましい。そして重なり判定手段34は、変化領域と植栽領域とが重なっているか否かを判定した判定結果を離脱判定手段35及び判定手段36に通知する。
The
離脱判定手段35は、重なり判定手段34によって植栽領域と重なっていないと判定された変化領域について、特徴量算出手段33が算出した植栽領域の重なり回数T8を用いて、植栽領域から離脱したものか否かを判定する。本実施形態では、離脱判定手段35は、その変化領域についての植栽領域の重なり回数T8が1以上である場合、その変化領域は植栽領域から離脱したものと判定し、植栽領域の重なり回数T8が0である場合、その変化領域は植栽領域から離脱したものでないと判定する。
つまり、例えば、離脱判定手段35は、変化領域が前フレームにおいて植栽領域に重なっていた場合、その変化領域は植栽領域から離脱したものと判定し、変化領域が前フレームにおいて植栽領域に重なっていなかった場合、その変化領域は植栽領域から離脱したものでないと判定する。
あるいは、離脱判定手段35は、変化領域が所定数前までの監視画像において植栽領域に重なっていた場合に、その変化領域は植栽領域から離脱したものと判定し、変化領域が所定数前までの監視画像において植栽領域に重なっていなかった場合に、その変化領域は植栽領域から離脱したものでないと判定するようにしてもよい。その場合、特徴量算出手段33は、変化領域が植栽領域と重なっていないとき、植栽領域の重なり回数T8を算出するためのカウンタを0に初期化するのではなく、カウンタが0以上の値をとる範囲でデクリメントすればよい。これにより離脱判定手段35は、長時間にわたって植栽領域から離脱している変化領域であっても、離脱前に長時間植栽領域と重なっていた場合には植栽による可能性が高いと判定して侵入物体と検出し難くすることができる。
あるいは、離脱判定手段35は、変化領域が過去に一度でも植栽領域に重なっていた場合に、その変化領域は植栽領域から離脱したものと判定し、変化領域が過去に一度も植栽領域に重なっていなかった場合に、その変化領域は植栽領域から離脱したものでないと判定するようにしてもよい。その場合、特徴量算出手段33は、変化領域が植栽領域と重なっていなくても、植栽領域の重なり回数T8を算出するためのカウンタを0に初期化したり、デクリメントしたりせず、変更しないようにすればよい。これにより離脱判定手段35は、長時間にわたって植栽領域から離脱している変化領域であっても、過去に一度でも植栽領域と重なっていた場合には植栽による可能性が高いと判定して侵入物体と検出し難くすることができる。
そして離脱判定手段35は、変化領域が植栽領域から離脱したものか否かを判定した判定結果を判定手段36に通知する。
The leaving determination means 35 leaves the planting area using the overlapping number T8 of the planting area calculated by the feature amount calculating means 33 for the change area determined not to overlap the planting area by the
That is, for example, when the change area overlaps the planting area in the previous frame, the leaving
Alternatively, when the change area overlaps the planting area in the monitoring image up to a predetermined number before, the
Alternatively, when the change area has overlapped with the planting area even once in the past, the leaving
And the leaving | separation determination means 35 notifies the determination means 36 of the determination result which determined whether the change area | region was what left | separated from the planting area | region.
判定手段36は、記憶部20に格納された特徴量に基づいて、変化領域が侵入物体によるものであるか否かを判定する手段である。
図3(d)に示したような、植栽領域と重なっていない変化領域225は、侵入物体によるものである可能性が高い。一方、図3(c)に示したような、植栽領域と重なっている変化領域223は、植栽によるものである可能性が高い。しかし、図3(a)に示したように、植栽領域と重なっている変化領域でもその変化領域は植栽の前を移動する人によるものである場合もある。また、図3(b)に示したように、植栽領域と重なっていない変化領域でもその直前のフレームで植栽領域と重なっていた場合には植栽によるものである可能性が高い。
そこで、判定手段36は、重なり判定手段34によって植栽領域に重なっていないと判定され、かつ離脱判定手段35によって植栽領域から離脱したものでないと判定された変化領域について、その変化領域は植栽と関係ない可能性が高いと判断し、通常判定処理によって侵入物体の有無を判定する。一方、判定手段36は、重なり判定手段34によって植栽領域に重なっていると判定された変化領域、または離脱判定手段35によって植栽領域から離脱したものであると判定された変化領域について、その変化領域は侵入物体によるものである可能性もあるが、植栽によるものである可能性が高いと判断する。この場合、通常判定処理よりも変化領域が侵入物体によるものと判定し難くする特別判定処理によって侵入物体の有無を判定する。
The
The
Therefore, the
以下に通常判定処理について説明する。
判定手段36は、通常判定処理では、変化領域が人によるものか否かを判定するための特徴量である、侵入物体の大きさT1、縦横比T2、エッジ変化率T3、移動量T4を用いてその変化領域の侵入物体らしさの度合いを表す侵入物体属性値を算出する。そして判定手段36は、算出した侵入物体属性値が所定の閾値Th3以上であるか否かを判定する。そして判定手段36は、侵入物体属性値が閾値Th3以上である場合、その変化領域を侵入物体によるものと判定し、閾値Th3未満である場合、その変化領域を侵入物体によるものでないと判定する。閾値Th3は、侵入物体検出装置100が設置される環境や人を検出する目的などに応じて適宜最適化される。
The normal determination process will be described below.
In the normal determination process, the
侵入物体属性値は、例えば侵入物体の大きさT1、縦横比T2、エッジ変化率T3及び移動量T4をそれぞれ正規化した値の乗算によって算出される。
図4(a)〜(d)に、侵入物体の大きさT1、縦横比T2、エッジ変化率T3及び移動量T4をそれぞれ正規化する関数F1、F2、F3及びF4の一例を示す。
The intruding object attribute value is calculated, for example, by multiplication of values obtained by normalizing the intruding object size T1, aspect ratio T2, edge change rate T3, and movement amount T4.
FIGS. 4A to 4D show examples of functions F1, F2, F3, and F4 for normalizing the size T1, aspect ratio T2, edge change rate T3, and movement amount T4 of the intruding object, respectively.
図4(a)において、グラフ401は関数F1の入力値と出力値の関係を表し、横軸は侵入物体の大きさT1を、縦軸は関数F1の出力値を表す。この例では、関数F1の出力値は、0≦T1<aのとき0から1まで線形に増加し、a≦T1のとき1となる。閾値aは、人間の身長及び体格に基づいて定められるものであり、人と、猫、ねずみ、虫などの小動物とを区別できるように実験または経験的に予め定められる。
In FIG. 4A, a
図4(b)において、グラフ402は関数F2の入力値と出力値の関係を表し、横軸は縦横比T2を、縦軸は関数F2の出力値を表す。この例では、関数F2の出力値は、0≦T2<b1のとき0から1まで線形に増加し、b1≦T2<b2のとき1となり、b2≦T2<b3のとき1から0まで線形に減少し、b3≦T2のとき0となる。閾値b1〜b3は、閾値aと同様に、人間の身長及び体格に基づいて定められるものであり、人と、猫、ねずみ、虫などの小動物とを区別できるように実験または経験的に予め定められる。
In FIG. 4B, a
図4(c)において、グラフ403は関数F3の入力値と出力値の関係を表し、横軸はエッジ変化率T3を、縦軸は関数F3の出力値を表す。この例では、関数F3の出力値は、0≦T3<cのとき0から1まで線形に増加し、c≦T3のとき1となる。閾値cは、侵入物体による変動と、光または影による変動とを区別できるように実験または経験的に予め定められる。
In FIG. 4C, a
図4(d)において、グラフ404は関数F4の入力値と出力値の関係を表し、横軸は移動量T4を、縦軸は関数F4の出力値を表す。この例では、関数F4の出力値は、0≦T1<dのとき0から1まで線形に増加し、d≦T4のとき1となる。閾値dは、侵入物体の移動量と、光や影による移動量とを区別できるように実験または経験的に予め定められる。
In FIG. 4D, a
図4(a)〜(d)に示すように、関数F1、F2、F3及びF4は、変化領域が人らしいほど、出力値が1に近くなり、変化領域が人らしくないほど、出力値が0に近くなる関数である。このとき、侵入物体属性値は、関数F1、F2、F3及びF4を用いて、例えば次式により算出される。
(侵入物体属性値)=F1×F2×F3×F4 (9)
すなわち、侵入物体属性値は、変化領域が人らしいほど1に近くなり、変化領域が人らしくないほど0に近くなる。
As shown in FIGS. 4A to 4D, the output values of the functions F1, F2, F3, and F4 are such that the output value becomes closer to 1 as the change region is more human, and the output value becomes smaller as the change region is less human. This function is close to 0. At this time, the intruding object attribute value is calculated by, for example, the following equation using the functions F1, F2, F3, and F4.
(Intruding object attribute value) = F1 x F2 x F3 x F4 (9)
That is, the intruding object attribute value becomes closer to 1 as the change area is more human, and closer to 0 as the change area is less human.
また侵入物体属性値は、F1、F2、F3、F4の平均値や加重和によって算出するようにしてもよい。F1、F2、F3、F4の平均値が用いられる場合、侵入物体属性値は、次式により算出される。
(侵入物体属性値)=(F1+F2+F3+F4)/4 (10)
またF1、F2、F3、F4の加重和が用いられる場合、侵入物体属性値は、次式により算出される。
(侵入物体属性値)=(F1×α1+F2×α2+F3×α3+F4×α4) (11)
ただし、α1〜α4は、F1〜F4のいずれを重視するかによって決定される重み係数であり、その合計(Σαi(i=1〜4))は1である。例えば、F1〜F4の重みを等しくする場合、各重み係数は全て同一の値に定められ、F1〜F4のうちの一部の特徴量を用いない場合、対応する重み係数は0に定められる。各重み係数の具体的な値をどのように設定するかは、侵入物体検出装置100が設置される環境や人を検出する目的などに応じて適宜最適化される。
The intruding object attribute value may be calculated by an average value or a weighted sum of F1, F2, F3, and F4. When the average value of F1, F2, F3, and F4 is used, the intruding object attribute value is calculated by the following equation.
(Intruding object attribute value) = (F1 + F2 + F3 + F4) / 4 (10)
When the weighted sum of F1, F2, F3, and F4 is used, the intruding object attribute value is calculated by the following equation.
(Intruding object attribute value) = (F1 × α1 + F2 × α2 + F3 × α3 + F4 × α4) (11)
However, α1 to α4 are weighting factors determined depending on which one of F1 to F4 is important, and the sum (Σαi (i = 1 to 4)) is 1. For example, when equalizing the weights of F1 to F4, all the weighting coefficients are set to the same value, and when some of the feature quantities of F1 to F4 are not used, the corresponding weighting coefficient is set to 0. How to set the specific value of each weighting factor is appropriately optimized according to the environment in which the intruding
以下に、植栽領域に重なっている変化領域、または植栽領域から離脱したものである変化領域について適用される特別判定処理について説明する。
判定手段36は、特別判定処理では、変化領域が人らしいか否かを判定するための特徴量である、侵入物体の大きさT1、縦横比T2、エッジ変化率T3、移動量T4に加えて、人と植栽とを区別するための特徴量である、移動直進度T5、形状安定度T6を用いて侵入物体属性値を算出する。そして判定手段36は、算出した侵入物体属性値が閾値Th3以上であるか否かを判定する。そして判定手段36は、侵入物体属性値が閾値Th3以上である場合、その変化領域を侵入物体によるものと判定し、閾値Th3未満である場合、その変化領域を侵入物体によるものでないと判定する。
Below, the special determination process applied about the change area | region which overlaps with the planting area | region, or the change area | region which has left | separated from the planting area | region is demonstrated.
In the special determination process, the determination means 36 is a feature amount for determining whether or not the change area is human, in addition to the intruding object size T1, aspect ratio T2, edge change rate T3, and movement amount T4. The intruding object attribute value is calculated using the straightness of movement T5 and the shape stability T6, which are feature quantities for distinguishing between a person and planting. Then, the
侵入物体属性値は、例えば侵入物体の大きさT1、縦横比T2、エッジ変化率T3、移動量T4、移動直進度T5及び形状安定度T6をそれぞれ正規化した値の乗算によって算出される。
図5(a)〜(f)に、侵入物体の大きさT1、縦横比T2、エッジ変化率T3、移動量T4、移動直進度T5及び形状安定度T6をそれぞれ正規化する関数F1'、F2'、F3'、F4'、F5及びF6の一例を示す。
The intruding object attribute value is calculated by, for example, multiplying values obtained by normalizing the intruding object size T1, aspect ratio T2, edge change rate T3, movement amount T4, movement straightness T5, and shape stability T6.
FIGS. 5A to 5F show functions F1 ′ and F2 for normalizing the size T1, the aspect ratio T2, the edge change rate T3, the movement amount T4, the straight movement degree T5, and the shape stability T6, respectively, of the intruding object. Examples of ', F3', F4 ', F5 and F6 are shown.
図5(a)において、グラフ501は関数F1'の入力値と出力値の関係を表し、横軸は侵入物体の大きさT1を、縦軸は関数F1'の出力値を表す。この例では、関数F1'の出力値は、0≦T1<a'のとき0から1まで線形に増加し、a'≦T1のとき1となる。ただし、図4(a)に示したaに対して、a<a'という関係が成立し、入力値T1が同一である場合、関数F1'の出力値は、関数F1の出力値以下となる。すなわち関数F1'を用いて正規化する方が関数F1を用いて正規化するより、侵入物体らしい大きさであることを許容する範囲が狭くなっており、侵入物体と判定され難くなる。
In FIG. 5A, a
図5(b)において、グラフ502は関数F2'の入力値と出力値の関係を表し、横軸は縦横比T2を、縦軸は関数F2'の出力値を表す。この例では、関数F2'の出力値は、0≦T2<b4のとき0となり、b4≦T2<b1'のとき0から1まで線形に増加し、b1'≦T2<b2'のとき1となり、b2'≦T2<b3'のとき1から0まで線形に減少し、b3'≦T2のとき0となる。ただし、図4(b)に示したb1、b2、b3に対して、0<b4、b1<b1'、b2>b2'、b3>b3'という関係が成立し、入力値T2が同一である場合、関数F2'の出力値は、関数F2の出力値以下となる。すなわち関数F2'を用いて正規化する方が関数F2を用いて正規化するより、侵入物体らしい縦横比であることを許容する範囲が狭くなっており、侵入物体と判定され難くなる。
In FIG. 5B, a
図5(c)において、グラフ503は関数F3'の入力値と出力値の関係を表し、横軸はエッジ変化率T3を、縦軸は関数F3'の出力値を表す。この例では、関数F3'の出力値は、0≦T3<c'のとき0から1まで線形に増加し、c'≦T3のとき1となる。ただし、図4(c)に示したcに対して、c<c'という関係が成立し、入力値T3が同一である場合、関数F3'の出力値は、関数F3の出力値以下となる。すなわち関数F3'を用いて正規化する方が関数F3を用いて正規化するより、侵入物体らしいエッジ比率であることを許容する範囲が狭くなっており、侵入物体と判定され難くなる。
In FIG. 5C, a
図5(d)において、グラフ504は関数F4'の入力値と出力値の関係を表し、横軸は移動量T4を、縦軸は関数F4'の出力値を表す。この例では、関数F4'の出力値は、0≦T1<d'のとき0から1まで線形に増加し、d'≦T4のとき1となる。ただし、図4(d)に示したdに対して、d<d'という関係が成立し、入力値T4が同一である場合、関数F4'の出力値は、関数F4の出力値以下となる。すなわち関数F4'を用いて正規化する方が関数F4を用いて正規化するより、侵入物体らしい移動量であることを許容する範囲が狭くなっており、侵入物体と判定され難くなる。
In FIG. 5D, a
図5(e)において、グラフ505は関数F5の入力値と出力値の関係を表し、横軸は移動直進度T5を、縦軸は関数F5の出力値を表す。この例では、関数F5の出力値は、0≦T5<eのとき0から1まで線形に増加し、e≦T5のとき1となる。つまり、移動直進度T5が小さい、すなわち変化領域の移動が直線的でないほど、その変化領域は植栽によるものである可能性が高いため、関数F5の出力値を小さくしている。なお、閾値eは、侵入物体による移動と、植栽の揺れによる移動とを区別できるように実験または経験的に予め定められる。
In FIG. 5E, a
図5(f)において、グラフ506は関数F6の入力値と出力値の関係を表し、横軸は形状安定度T6を、縦軸は関数F6の出力値を表す。この例では、関数F6の出力値は、0≦T6<fのとき0から1まで線形に増加し、f≦T6のとき1となる。つまり、形状安定度T6が小さい、すなわち変化領域の矩形の形状の変化が大きいほど、その変化領域は植栽によるものである可能性が高いため、関数F6の出力値を小さくしている。なお、閾値fは、人による矩形の形状の変化と、植栽による矩形の形状の変化とを区別できるように実験または経験的に予め定められる。
In FIG. 5F, a
図5(a)〜(d)に示すように、関数F1'、F2'、F3'及びF4'は、変化領域が人らしいほど、出力値が1に近くなり、変化領域が人らしくないほど、出力値が0に近くなる関数である。また図5(e)〜(f)に示すように、関数F5及びF6は、変化領域が植栽らしいほど人らしくないとして出力値が0に近くなり、変化領域が植栽らしくないほど人らしいとして出力値が1に近くなる関数である。このとき、侵入物体属性値は、関数F1'、F2'、F3'、F4'、F5及びF6を用いて、例えば次式により算出される。
(侵入物体属性値)=F1'×F2'×F3'×F4'×F5×F6 (12)
すなわち、侵入物体属性値は、変化領域が人らしいほど1に近くなり、変化領域が人らしくないほど0に近くなる。また上述した通り、関数F5、F6の出力値は0以上であり1以下の値となるため、関数F5及びF6を乗算した場合の侵入物体属性値は、関数F5及びF6を乗算しない場合の侵入物体属性値以下の値となる。従って、特徴量T1〜T4が同一である場合、式(12)により算出される侵入物体属性値は、通常判定処理において式(9)により算出される侵入物体属性値以下の値となる。これにより、判定手段36は、特別判定処理において通常判定処理より侵入物体を判定し難くすることができ、植栽領域に重なっている変化領域、または植栽領域から離脱したものである変化領域について、植栽の前を移動する侵入物体を検出するとともに、植栽の揺れによる誤検出を抑制できる。
As shown in FIGS. 5A to 5D, the functions F1 ′, F2 ′, F3 ′, and F4 ′ have an output value closer to 1 as the change area is more human, and the change area is not as human. This is a function whose output value is close to 0. Further, as shown in FIGS. 5E to 5F, the functions F5 and F6 are so human that the change area is not likely to be planted, and the output value is close to 0, and the change area is not likely to be planted. Is a function whose output value is close to 1. At this time, the intruding object attribute value is calculated by, for example, the following equation using the functions F1 ′, F2 ′, F3 ′, F4 ′, F5, and F6.
(Intruding object attribute value) = F1 'x F2' x F3 'x F4' x F5 x F6 (12)
That is, the intruding object attribute value becomes closer to 1 as the change area is more human, and closer to 0 as the change area is less human. As described above, since the output values of the functions F5 and F6 are 0 or more and 1 or less, the intruding object attribute value when the functions F5 and F6 are multiplied is the intrusion when the functions F5 and F6 are not multiplied. The value is less than or equal to the object attribute value. Therefore, when the feature amounts T1 to T4 are the same, the intruding object attribute value calculated by Expression (12) is a value equal to or smaller than the intruding object attribute value calculated by Expression (9) in the normal determination process. Thereby, the determination means 36 can make it difficult to determine an intruding object in the special determination process than the normal determination process, and the change area that overlaps the planting area or the change area that is separated from the planting area. In addition to detecting an intruding object that moves in front of planting, it is possible to suppress false detection due to shaking of planting.
なお、図5(a)〜(f)に示した閾値a'、b1'、b2'、b3'、b4、c'、d'、e、f(以降、特別判定閾値と称する)を、植栽領域の重なり率T7が大きいほど、それぞれ関数F1'、F2'、F3'、F4'、F5及びF6の出力値が小さくなるように、すなわちその変化領域が人によるものであると判定され難くなるように調整してもよい。そのためには、例えば、特別判定閾値a'、c'、d'、e、fは、植栽領域の重なり率T7が大きいほど、大きくなるようにし、特別判定閾値b1'、b2'、b3'、b4は、植栽領域の重なり率T7が大きいほど、b1'とb2'の間の幅とb4とb3'の幅が小さくなるようにする。その場合、例えば、植栽領域の重なり率T7が50%未満の場合の各特別判定閾値をa1'、b11'、b21'、b31'、b41、c1'、d1'、e1、f1とし、T7が50%以上かつ75%未満の場合の各特別判定閾値をa2'、b12'、b22'、b32'、b42、c2'、d2'、e2、f2とし、T7が75%以上の場合の各特別判定閾値をa3'、b13'、b23'、b33'、b43、c3'、d3'、e3、f3として、それぞれ次式の条件を満たすような値を予め定めておく。
a<a1'<a2'<a3' (13)
b1<b11'<b12'<b13' (14)
b2<b21'<b22'<b23' (15)
b3>b31'>b32'>b33' (16)
b4>b41>b42>b43 (17)
c<c1'<c2'<c3' (18)
d<d1'<d2'<d3' (19)
e1<e2<e3 (20)
f1<f2<f3 (21)
これにより、判定手段36は、変化領域と植栽領域の重なった領域の割合が大きいほど侵入物体らしい特徴量であることを許容する範囲を狭くする。従って判定手段36は、植栽と人の判別精度を向上でき、植栽の揺れによる誤検出を抑制できるとともに、植栽の前を移動する侵入者を検出することができる。
The threshold values a ′, b1 ′, b2 ′, b3 ′, b4, c ′, d ′, e, f (hereinafter referred to as special determination threshold values) shown in FIGS. The larger the overlapping rate T7 of the planting area, the smaller the output values of the functions F1 ′, F2 ′, F3 ′, F4 ′, F5 and F6, that is, it is difficult to determine that the changing region is due to humans. You may adjust so that it may become. For this purpose, for example, the special determination threshold values a ′, c ′, d ′, e, and f are increased as the overlapping ratio T7 of the planting area is increased, and the special determination threshold values b1 ′, b2 ′, and b3 ′ are increased. B4 is set so that the width between b1 ′ and b2 ′ and the width between b4 and b3 ′ become smaller as the overlapping ratio T7 of the planting area is larger. In that case, for example, the special judgment threshold when the overlapping ratio T7 of the planting area is less than 50% is a 1 ', b1 1 ', b2 1 ', b3 1 ', b4 1 , c 1 ', d 1 ' , E 1 , f 1 and T7 is 50% or more and less than 75%, and the special judgment threshold values are a 2 ′, b1 2 ′, b2 2 ′, b3 2 ′, b4 2 , c 2 ′, d 2 ', E 2 , f 2 and T7 is 75% or more, the special judgment thresholds are a 3 ', b1 3 ', b2 3 ', b3 3 ', b4 3 , c 3 ', d 3 ', e As 3 and f 3 , values that satisfy the conditions of the following equations are determined in advance.
a <a 1 '<a 2 '<a 3 '(13)
b1 <b1 1 '<b1 2 '<b1 3 '(14)
b2 <b2 1 '<b2 2 '<b2 3 '(15)
b3> b3 1 '> b3 2 '> b3 3 '(16)
b4> b4 1 > b4 2 > b4 3 (17)
c <c 1 '<c 2 '<c 3 '(18)
d <d 1 '<d 2 '<d 3 '(19)
e 1 <e 2 <e 3 (20)
f 1 <f 2 <f 3 (21)
Thereby, the determination means 36 narrows the range which accept | permits that it is the feature-value like an intruding object, so that the ratio of the area | region where the change area | region and the planting area overlapped is large. Therefore, the determination means 36 can improve the discrimination accuracy between planting and people, can suppress erroneous detection due to shaking of the planting, and can detect an intruder that moves before planting.
なお、判定手段36は、重なり判定手段34によって植栽領域が重なっていると判定された変化領域については、現フレームにおける植栽領域の重なり率T7を用いて各特別判定閾値を調整してもよい。
一方、判定手段36は、重なり判定手段34によって植栽領域と重なっていないと判定され、かつ離脱判定手段35によって植栽領域から離脱したものと判定された変化領域については、最後に植栽領域と重なっていたときの植栽領域の重なり率T7を用いて各特別判定閾値を調整してもよい。しかしながら、変化領域が植栽領域から離脱する直前の植栽領域の重なり率T7が極端に低いこともあり得るため、判定手段36は、所定期間内に算出された植栽領域の重なり率T7の平均値を用いて各特別判定閾値を調整するようにしてもよい。
In addition, the determination means 36 adjusts each special determination threshold value using the overlapping ratio T7 of the planting area in the current frame for the change area determined by the overlap determination means 34 to overlap the planting area. Good.
On the other hand, the
または、判定手段36は、重なり判定手段34によって植栽領域と重なっていないと判定され、かつ離脱判定手段35によって植栽領域から離脱したものと判定された変化領域について、離脱判定手段35によって算出された植栽領域の重なり回数T8を用いて各特別判定閾値を調整してもよい。 その場合、例えば、植栽領域の重なり回数T8が5回未満の場合の各特別判定閾値をa1'、b11'、b21'、b31'、b41、c1'、d1'、e1、f1とし、T8が5回以上10回未満の場合の各特別判定閾値をa2'、b12'、b22'、b32'、b42、c2'、d2'、e2、f2とし、T8が10回以上の場合の各特別判定閾値をa3'、b13'、b23'、b33'、b43、c3'、d3'、e3、f3とする。
これにより、判定手段36は、同一の移動物体が写っている変化領域が植栽領域と重なっていた期間が長いほど、その変化領域は植栽によるものである可能性が高いと判断して侵入物体らしい特徴量であることを許容する範囲を狭くする。従って判定手段36は、植栽と人の判別精度を向上でき、植栽の揺れによる誤検出を抑制できるとともに、植栽の前を移動する侵入者を検出することができる。
Alternatively, the
As a result, the determination means 36 determines that the change area where the same moving object is reflected overlaps the planting area, and that the change area is more likely to be due to the planting. Narrow the range that allows object-like features. Therefore, the determination means 36 can improve the discrimination accuracy between planting and people, can suppress erroneous detection due to shaking of the planting, and can detect an intruder that moves before planting.
また判定手段36は、特別判定処理では、移動直進度T5、形状安定度T6を用いずに、侵入物体の大きさT1、縦横比T2、エッジ変化率T3、移動量T4のみを用いて侵入物体属性値を算出するようにしてもよい。その場合、判定手段36は、特別判定処理では、侵入物体属性値を関数F1'、F2'、F3'、F4'のみを用いて、例えば次式により算出する。
(侵入物体属性値)=F1'×F2'×F3'×F4' (22)
特徴量T1〜T4が同一である場合、式(22)により算出される侵入物体属性値は、式(12)により算出される場合と同様に、通常判定処理において式(9)により算出される侵入物体属性値以下の値となる。これにより、判定手段36は、特別判定処理において通常判定処理より侵入物体を判定し難くすることができ、植栽領域に重なっている変化領域、または植栽領域から離脱したものである変化領域について、植栽の前を移動する侵入物体を検出するとともに、植栽の揺れによる誤検出を抑制できる。さらに判定手段36は、これらの変化領域について、関数F1〜F4の特別判定閾値の変更によって侵入物体の判定し難さを容易に調整できる。
Further, in the special determination process, the determination means 36 uses only the size T1, the aspect ratio T2, the edge change rate T3, and the movement amount T4 of the intruding object without using the straight movement degree T5 and the shape stability T6. An attribute value may be calculated. In that case, in the special determination process, the
(Intruding object attribute value) = F1 'x F2' x F3 'x F4' (22)
When the feature amounts T1 to T4 are the same, the intruding object attribute value calculated by the equation (22) is calculated by the equation (9) in the normal determination process as in the case of the calculation by the equation (12). The value is less than or equal to the intruding object attribute value. Thereby, the determination means 36 can make it difficult to determine an intruding object in the special determination process than the normal determination process, and the change area that overlaps the planting area or the change area that is separated from the planting area. In addition to detecting an intruding object that moves in front of planting, it is possible to suppress false detection due to shaking of planting. Further, the determination means 36 can easily adjust the difficulty of determining an intruding object by changing the special determination threshold values of the functions F1 to F4 for these change areas.
あるいは判定手段36は、特別判定処理では、侵入物体の大きさT1、縦横比T2、エッジ変化率T3、移動量T4を正規化する関数として、通常判定処理と同じ関数F1〜F4を用いるようにしてもよい。その場合、判定手段36は、特別判定処理では、侵入物体属性値を関数F1、F2、F3、F4、F5、F6を用いて、例えば次式により算出すればよい。
(侵入物体属性値)=F1×F2×F3×F4×F5×F6 (23)
特徴量T1〜T4が同一である場合、式(23)により算出される侵入物体属性値は、式(12)により算出される場合と同様に、通常判定処理において式(9)により算出される侵入物体属性値以下の値となる。これにより、判定手段36は、特別判定処理において通常判定処理より侵入物体を判定し難くすることができ、植栽領域に重なっている変化領域、または植栽領域から離脱したものである変化領域について、植栽の前を移動する侵入物体を検出するとともに、植栽の揺れによる誤検出を抑制できる。さらに判定手段36は、これらの変化領域について、侵入物体と植栽とを区別するための特徴に基づいて人と植栽を判別するので、人と植栽の判別精度を向上でき、植栽の揺れによる誤検出を抑制できるとともに、植栽前を移動する侵入者を検出することができる。
Alternatively, in the special determination process, the
(Intruding object attribute value) = F1 x F2 x F3 x F4 x F5 x F6 (23)
When the feature amounts T1 to T4 are the same, the intruding object attribute value calculated by the equation (23) is calculated by the equation (9) in the normal determination process as in the case of the calculation by the equation (12). The value is less than or equal to the intruding object attribute value. Thereby, the determination means 36 can make it difficult to determine an intruding object in the special determination process than the normal determination process, and the change area that overlaps the planting area or the change area that is separated from the planting area. In addition to detecting an intruding object that moves in front of planting, it is possible to suppress false detection due to shaking of planting. Furthermore, since the determination means 36 discriminate | determines a person and planting based on the characteristic for distinguishing an intruding object and planting about these change areas, it can improve the discrimination | determination precision of a person and planting, and planting While being able to suppress false detection due to shaking, it is possible to detect intruders that move before planting.
あるいは判定手段36は、通常判定処理と特別判定処理において全く同じ関数を用いて侵入物体属性値を算出し、侵入物体属性値と比較する閾値のみを変更するようにしてもよい。その場合、特別判定処理で用いる、侵入物体属性値と比較する閾値を通常判定処理で用いる閾値Th3より大きくすればよい。これにより、判定手段36は、特別判定処理において通常判定処理より侵入物体を判定し難くすることができ、植栽領域に重なっている変化領域、または植栽領域から離脱したものである変化領域について、植栽の揺れによる誤検出を抑制できる。
Alternatively, the
また変化領域が植栽領域から離脱したものである場合、現在も植栽領域と重なっている場合より、その変化領域は人によるものである可能性が高いと判断することもできる。そこで、判定手段36は、植栽領域から離脱したものであると判定された変化領域を、植栽領域に重なっていると判定された変化領域より、人によるものであると判定しやすくしてもよい。例えば判定手段36は、植栽領域から離脱したものであると判定された変化領域では、植栽領域に重なっていると判定された変化領域より、関数F1'、F2'、F3'、F4'、F5及びF6の出力値が大きくなるように、すなわち侵入物体属性値が大きくなるように調整してもよい。あるいは判定手段36は、植栽領域から離脱したものであると判定された変化領域については、関数F1'、F2'、F3'、F4'のみを用いた式(22)により侵入物体属性値を算出し、植栽領域に重なっていると判定された変化領域については、関数F1'、F2'、F3'、F4'、F5及びF6を用いた式(12)により侵入物体属性値を算出してもよい。あるいは判定手段36は、植栽領域から離脱したものであると判定された変化領域については、関数F1、F2、F3、F4、F5、F6を用いた式(23)により侵入物体属性値を算出し、植栽領域に重なっていると判定された変化領域については、関数F1'、F2'、F3'、F4'、F5及びF6を用いた式(12)により侵入物体属性値を算出してもよい。
これらにより、判定手段36は、変化領域が植栽領域から離脱したものである場合、過去に植栽領域と重なっていなかった場合より、その変化領域が人によるものであると判定し難くするとともに、現在も植栽領域と重なっている場合より、その変化領域が人によるものであると判定しやすくすることができる。従って判定手段36は、植栽と人の判別精度を向上でき、植栽の揺れによる誤検出を抑制できるとともに、植栽前を移動する侵入者を検出することができる。
Moreover, when a change area | region has left | separated from the planting area | region, it can also be judged that the change area | region is highly likely to be a person from the case where it overlaps with a planting area | region now. Therefore, the determination means 36 makes it easier to determine that the change area determined to be separated from the planting area is due to a person than the change area determined to overlap the planting area. Also good. For example, the determination means 36 has functions F1 ′, F2 ′, F3 ′, and F4 ′ in the change region determined to be separated from the planting region than the change region determined to overlap the planting region. , F5 and F6 may be adjusted so that the output values become large, that is, the intruding object attribute value becomes large. Alternatively, the determination means 36 determines the intruding object attribute value by the expression (22) using only the functions F1 ′, F2 ′, F3 ′, and F4 ′ for the change region determined to be separated from the planting region. For the change area that is calculated and determined to overlap the planting area, the intruding object attribute value is calculated by the formula (12) using the functions F1 ′, F2 ′, F3 ′, F4 ′, F5, and F6. May be. Alternatively, the determination means 36 calculates the intruding object attribute value by the formula (23) using the functions F1, F2, F3, F4, F5, and F6 for the change area determined to be separated from the planting area. However, for the change area determined to overlap the planting area, the intruding object attribute value is calculated by the equation (12) using the functions F1 ′, F2 ′, F3 ′, F4 ′, F5 and F6. Also good.
Accordingly, the
また侵入物体属性値は、通常判定処理同様、F1'、F2'、F3'、F4'、F5、F6の平均値や加重和によって算出するようにしてもよい。F1'、F2'、F3'、F4'、F5、F6の平均値が用いられる場合、侵入物体属性値は、次式により算出される。
(侵入物体属性値)=(F1'+F2'+F3'+F4'+F5+F6)/6 (24)
またF1'、F2'、F3'、F4'、F5、F6の加重和が用いられる場合、侵入物体属性値は、次式により算出される。
(侵入物体属性値)=(F1'×β1+F2'×β2+F3'×β3+F4'×β4+F5×β5+F6×β6) (25)
ただし、β1〜β6は、F1'〜F4'、F5〜F6のいずれを重視するかによって決定される重み係数であり、その合計(Σβi(i=1〜6))は1である。例えば、F1'〜F4'、F5〜F6の重みを等しくする場合、各重み係数は全て同一の値に定められ、F1'〜F4'、F5〜F6のうちの一部の特徴量を用いない場合、対応する重み係数は0に定められる。各重み係数の具体的な値をどのように設定するかは、侵入物体検出装置100が設置される環境や人を検出する目的などに応じて適宜最適化される。
The intruding object attribute value may be calculated by an average value or a weighted sum of F1 ′, F2 ′, F3 ′, F4 ′, F5, and F6, as in the normal determination process. When the average value of F1 ′, F2 ′, F3 ′, F4 ′, F5, and F6 is used, the intruding object attribute value is calculated by the following equation.
(Intruding object attribute value) = (F1 '+ F2' + F3 '+ F4' + F5 + F6) / 6 (24)
When the weighted sum of F1 ′, F2 ′, F3 ′, F4 ′, F5, and F6 is used, the intruding object attribute value is calculated by the following equation.
(Intruding object attribute value) = (F1 'x β1 + F2' x β2 + F3 'x β3 + F4' x β4 + F5 x β5 + F6 x β6) (25)
However, β1 to β6 are weighting factors determined depending on which of F1 ′ to F4 ′ and F5 to F6 is important, and the sum (Σβi (i = 1 to 6)) is 1. For example, when equalizing the weights of F1 ′ to F4 ′ and F5 to F6, all the weighting factors are set to the same value, and some of the feature amounts of F1 ′ to F4 ′ and F5 to F6 are not used. The corresponding weighting factor is set to zero. How to set the specific value of each weighting factor is appropriately optimized according to the environment in which the intruding
判定手段36は、通常判定処理または特別判定処理のいずれかにおいて算出した侵入物体属性値が所定の閾値以上であるか否かを判定する。そして判定手段36は、侵入物体属性値が所定の閾値以上である場合、その変化領域は侵入物体によるものと判定し、監視領域内で侵入物体が検出されたことを示す異常検出信号を出力部40に送信する。なお、この閾値は、変化領域が侵入物体によるものであることを示す値に設定される。例えばこの閾値は、実験により求められた、少しでも侵入物体の可能性があると判断できる侵入物体属性値に設定される。
The
また判定手段36は、侵入物体によるものと判定された変化領域が存在しない場合、入力画像内に侵入物体が存在しないと判定して、背景画像更新手段37に記憶部20に記憶されている背景画像を更新させるための背景画像更新要求を送信する。あるいは判定手段36は、変化領域そのものが存在しない場合に背景画像更新手段37に背景画像更新要求を送信して背景画像を更新させるようにしてもよい。
Further, when there is no change area determined to be due to the intruding object, the determining
背景画像更新手段37は、判定手段36から背景画像更新要求を受け取ると、記憶部20に記憶されている背景画像を入力画像で置換することにより更新する。このように、背景画像を常に監視領域の最新の状態を表すものにしておくことで、画像処理部30は、天候の変化、太陽の日周変動などに起因する侵入物体の誤検出を軽減できる。
Upon receiving the background image update request from the
なお、背景画像更新手段37は、上記の背景画像の更新処理を、判定手段36により侵入物体がないと判定されたときではなく、一定周期(例えば、10分間隔)ごとに行うようにしてもよい。その場合、例えば、監視領域に対する日照変動により入力画像の平均輝度値が所定値以上変化する時間を実験により求め、実験により求めた時間のうち最短の時間を更新処理を行う周期とすればよい。
The background
あるいは背景画像更新手段37は、上記の背景画像の更新処理を、照明変動があったときに行うようにしてもよい。その場合、背景画像更新手段37は、例えば、定期的に入力画像の平均輝度を算出し、その平均輝度が所定の閾値以上に変化したとき、背景画像の更新処理を行えばよい。なお、この閾値は、例えば実際に照明変動を発生させたときの入力画像の平均輝度値を測定することにより、適切な値を決定できる。
Alternatively, the background
あるいは背景画像更新手段37は、上記の背景画像の更新処理を、移動平均を用いて行うようにしてもよい。その場合、例えば、背景画像更新手段37は、直近の所定数の入力画像の対応する画素の輝度値の平均値または加重平均値を画素値とするように背景画像を生成すればよい。
Alternatively, the background
植栽領域更新手段38は、記憶部20に記憶されている植栽領域を更新する手段である。植栽領域の抽出方法は、例えば、特開2007−249270に開示されている。具体的には、植栽領域更新手段38は、入力画像に対して、sobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行してエッジ画素を求める。そして植栽領域更新手段38は、一定時間内に取得した入力画像について、画素毎に、エッジ画素の有無が変動した回数を計数し、計数した回数が所定回数以上である画素位置をエッジ変動位置とする。そして植栽領域更新手段38は、現フレームの変化領域において、エッジ画素の位置がエッジ変動位置と一致する割合が所定値以上となる場合、すなわちエッジ画素の多くが頻繁にエッジ変動を繰り返している場合、その変化領域を植栽領域とする。
The planting
あるいは植栽領域は、侵入物体検出装置100の運用者等から指定されるようにしてもよい。その場合、侵入物体検出装置100に運用者からの操作の指示を受け取って画像処理部30に渡す、キーボードやマウス、タッチパネルなどの入力部(図示せず)を備えておき、植栽領域更新手段38は、その入力部を介して運用者から指定された領域を植栽領域とすればよい。なお、植栽領域の指定方法として、植栽が撮像されている領域と撮像されていない領域とが区別された画像データを運用者に作成させるようにしてもよいし、画像データ中の植栽が撮像されている領域に対応する画素の座標を運用者に入力させるようにしてもよい。
Alternatively, the planting area may be specified by an operator of the intruding
なお、植栽領域更新手段38は、植栽領域の更新処理を、入力画像を取得する毎に行うようにしてもよいし、一定周期(例えば、10分間隔)ごとに行うようにしてもよい。あるいは植栽領域更新手段38は、植栽領域の更新処理を、照明変動があったときに行うようにしてもよい。あるいは植栽領域更新手段38は、侵入物体と判断されなかった変化領域が存在する場合、その変化領域は植栽の変化により発生した可能性が高い、すなわち植栽領域に変化があった可能性が高いと判定して植栽領域の更新処理を行うようにしてもよい。
The planting
出力部40は、構内LANまたは公衆回線網などの通信ネットワークに接続する通信インターフェース及びその制御回路を有する。そして出力部40は、判定手段36から異常検出信号を受け取ると、侵入物体検出装置100と通信ネットワークを介して接続された警備装置または監視センタ装置へ警報を出力する。
なお、侵入物体検出装置100から警報を受け取った警備装置または監視センタ装置は、音声や画像により、監視領域内で侵入物体が検出された旨を監視者に通知する。
The
The security device or the monitoring center device that has received the warning from the intruding
次に、図6に示したフローチャートを参照しつつ、侵入物体検出装置100の侵入物体検出動作を説明する。なお、以下に説明する侵入物体検出動作は、画像処理部30によって制御され、撮像部10による画像取得間隔で繰り返し実行される。
Next, the intruding object detection operation of the intruding
まず、撮像部10により監視領域を撮像した入力画像が生成され、画像処理部30に送信される(ステップS1)。
画像処理部30が入力画像を受け取ると、画像処理部30の変化領域抽出手段31は、受け取った入力画像と記憶部20に記憶されている背景画像から変化領域を抽出する(ステップS2)。そして変化領域抽出手段31は、抽出した変化領域毎にラベル番号を付し、画素値を対応する変化領域のラベル番号とするラベル画像を作成する(ステップS3)。
変化領域抽出手段31が変化領域を抽出してラベル画像を作成すると、追跡処理手段32は、現フレームの変化領域に写っている移動物体と同一の移動物体が写っている、前フレームの変化領域とを対応付ける(ステップS4)。
First, an input image obtained by imaging the monitoring area is generated by the
When the
When the change area extraction unit 31 extracts the change area and creates a label image, the
追跡処理手段32が現フレームの変化領域と前フレームの変化領域とを対応付けると、特徴量算出手段33は、変化領域毎に、その変化領域における侵入物体の特徴量T1〜T8を算出する(ステップS5)。
特徴量算出手段33が侵入物体の特徴量T1〜T8を算出すると、重なり判定手段34は、特徴量算出手段33によって算出された植栽領域の重なり率T7を用いて、変化領域が植栽領域と重なっているか否かを判定する(ステップS6)。
重なり判定手段34によって変化領域が植栽領域と重なっていないと判定されると、離脱判定手段35は、特徴量算出手段33によって算出された植栽領域の重なり回数T8を用いて、変化領域が植栽領域から離脱したものか否かを判定する(ステップS7)。
When the
When the feature
When it is determined by the
離脱判定手段35によって変化領域が植栽領域から離脱したものでないと判定されると、判定手段36は、変化領域が侵入物体によるものか否かを通常判定処理によって判定する(ステップS8)。そして判定手段36は、変化領域が侵入物体によるものと判定すると、異常検出信号を出力部40に送信する。
一方、重なり判定手段34によって変化領域が植栽領域と重なっていると判定された場合、または離脱判定手段35によって変化領域が植栽領域から離脱したものと判定された場合、判定手段36は、変化領域が侵入物体によるものか否かを特別判定処理によって判定する(ステップS9)。そして判定手段36は、変化領域が侵入物体によるものと判定すると、異常検出信号を出力部40に送信する。
If it determines with the change | decrease area | region not having left | separated from the planting area | region by the detachment | determination determination means 35, the determination means 36 will determine by a normal determination process whether a change area | region is an intruding object (step S8). When the
On the other hand, when it is determined by the overlap determination means 34 that the change area overlaps the planting area, or when the
判定手段36は、変化領域が侵入物体によるものか否かを通常判定処理または特別判定処理によって判定すると、全ての変化領域について侵入物体の判定処理を実施したか否かを判定する(ステップS10)。侵入物体の判定処理を実施していない変化領域がある場合、判定手段36は制御をステップS5へ戻し、ステップS5〜S8の処理を繰り返す。
When the
一方、全ての変化領域について侵入物体の判定処理を実施すると、判定手段36は、侵入物体と判断された変化領域が存在したか否かを判定し、侵入物体と判断された変化領域が存在しない場合、背景画像更新手段37に背景画像を更新させるための背景画像更新要求を送信する。背景画像更新手段37は、判定手段36から背景画像更新要求を受け取ると、背景画像を更新する(ステップS11)。
背景画像更新手段37が背景画像を更新すると、植栽領域更新手段38は、植栽領域の更新処理を実施する(ステップS12)。
植栽領域更新手段38が植栽領域の更新処理を実施すると、出力部40が、判定手段36から異常検出信号を受け取ったか否かを判定する。そして出力部40は、判定手段36から異常検出信号を受け取っている場合、警備装置または監視センタ装置へ警報を出力する。(ステップS13)。
On the other hand, when the determination process of the intruding object is performed for all the change areas, the
When the background
When the planting
なお、上記の各ステップにおける処理の詳細については、侵入物体検出装置100の各部の説明において詳しく説明したので、ここではその説明を省略する。
Note that the details of the processing in each of the above steps have been described in detail in the description of each part of the intruding
以上説明してきたように、本発明に係る侵入物体検出装置は、変化領域毎に、侵入物体の特徴量に基づいて侵入物体らしさの度合いを表す侵入物体属性値を算出し、その変化領域が植栽領域と重なっている場合、その変化領域を侵入物体として検出し難くしている。これにより侵入物体検出装置は、植栽の揺れによって生じた変化領域を侵入物体として誤検出することを抑制でき、さらに侵入者が植栽の前を移動したことによって生じた変化領域であれば侵入物体として検出することができる。
また本発明に係る侵入物体検出装置は、変化領域が植栽領域と重なっているか否かに基づいて侵入物体属性値の算出基準を調整するため、侵入物体の特徴のみに基づいて侵入物体属性値を算出するより高い精度で侵入物体らしさを求めることができる。
As described above, the intruding object detection device according to the present invention calculates an intruding object attribute value representing the degree of intruding object based on the feature amount of the intruding object for each changing region, and the changing region is planted. When overlapping with the planting area, it is difficult to detect the changed area as an intruding object. As a result, the intruding object detection device can suppress erroneous detection of the change area caused by the shaking of the planting as an intruding object, and further intrudes if it is a change area caused by the intruder moving before planting. It can be detected as an object.
Further, the intruding object detection device according to the present invention adjusts the calculation criterion of the intruding object attribute value based on whether or not the change area overlaps the planting area, and therefore the intruding object attribute value based only on the characteristics of the intruding object. It is possible to determine the likelihood of an intruding object with higher accuracy than calculating.
さらに本発明に係る侵入物体検出装置は、変化領域が植栽領域と重なっている場合、侵入物体の特徴量T1〜T4に加えて、侵入物体と植栽とを区別するための特徴量である移動直進度T5、形状安定度T6に基づいて侵入物体属性値を算出する。そのため、侵入物体検出装置は、植栽の前を移動する侵入者に対して高い精度で侵入物体らしさを求めることができるので、植栽の前を移動する侵入物体を検出するとともに、侵入者の誤判定を抑制できる。
さらに本発明に係る侵入物体検出装置は、変化領域が植栽領域と重なっていない場合でも、その変化領域が過去のフレームで植栽領域と重なっていた場合、その変化領域が植栽領域と重なっている場合と同一の方法で侵入物体の有無を判定する。そのため、侵入物体検出装置は、植栽領域から離脱した物体を判別してその物体は植栽である可能性が高いと判断でき、植栽の揺れを侵入物体として誤検出することを抑制できる。
Furthermore, the intruding object detection device according to the present invention is a feature amount for distinguishing an intruding object from planting in addition to the intruding object feature amounts T1 to T4 when the change region overlaps the planting region. The intruding object attribute value is calculated based on the straight travel degree T5 and the shape stability T6. Therefore, the intruding object detection device can determine the likelihood of an intruding object with high accuracy for an intruder moving before planting. Misjudgments can be suppressed.
Furthermore, in the intruding object detection device according to the present invention, even when the change area does not overlap with the planting area, if the change area overlaps with the planting area in the past frame, the change area overlaps with the planting area. The presence or absence of an intruding object is determined by the same method. Therefore, the intruding object detection device can determine an object that has left the planting region, determine that the object is likely to be planted, and can suppress erroneous detection of planting shake as an intruding object.
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various modifications in accordance with the embodiment to be implemented within the scope of the present invention.
10 撮像部
20 記憶部
30 画像処理部
31 変化領域抽出手段
32 追跡処理手段
33 特徴量算出手段
34 重なり判定手段
35 離脱判定手段
36 判定手段
37 背景画像更新手段
38 植栽領域更新手段
40 出力部
100 侵入物体検出装置
DESCRIPTION OF
Claims (4)
前記監視領域を撮影した監視画像を取得する撮像部と、
前記監視領域に前記侵入物体が存在しない状況において前記監視領域を撮影した画像である背景画像と、植栽が撮像されている画像上の領域を示す植栽領域を記憶する記憶部と、
前記監視画像と前記背景画像の差分によって、輝度値が変化した変化領域を抽出する変化領域抽出手段と、
前記変化領域について、該変化領域が前記植栽領域と重なっている場合に重なっていない場合より侵入物体らしさが低くなる侵入物体らしさの度合いを表す侵入物体属性値を算出し、前記侵入物体属性値に基づいて前記変化領域が侵入物体によるものか否かを判定する判定手段と、
を有することを特徴とする侵入物体検出装置。 An intruding object detection device for detecting an intruding object that has entered a monitoring area,
An imaging unit that acquires a monitoring image obtained by imaging the monitoring region;
A storage unit that stores a background image that is an image obtained by capturing the monitoring area in a situation where the intruding object does not exist in the monitoring area, and a planting area that indicates an area on an image in which planting is captured,
A change area extraction means for extracting a change area in which a luminance value has changed according to a difference between the monitoring image and the background image;
For the change area, calculate an intrusion object attribute value indicating the degree of intrusion object likelihood that the intrusion object likelihood is lower than when the change area overlaps the planting area, and the intrusion object attribute value Determining means for determining whether the change area is caused by an intruding object based on
An intruding object detection device comprising:
前記判定手段は、前記最新の変化領域が前記植栽領域と重なっておらず、かつ該最新の変化領域に対応付けられた前記直前又は所定数前までの監視画像での変化領域が前記植栽領域と重なっていなかった場合、第1の処理により前記侵入物体属性値を算出し、該最新の変化領域が前記植栽領域と重なっておらず、かつ該最新の変化領域に対応付けられた前記直前又は所定数前までの監視画像での変化領域が前記植栽領域と重なっていた場合、前記第1の処理より前記侵入物体属性値を侵入物体らしくない値とする第2の処理により前記侵入物体属性値を算出する、請求項1または2に記載の侵入物体検出装置。 Further, each time the monitoring image is acquired by the imaging unit, the latest change region extracted from the latest monitoring image and the latest change region extracted from the monitoring image acquired immediately before are acquired from the latest change region. Tracking processing means for associating the object reflected in the change area with the immediately preceding change area in which the same object is reflected,
The determination unit is configured so that the latest change area does not overlap the planting area, and the change area in the monitoring image immediately before or a predetermined number of times associated with the latest change area is the planting. If the area does not overlap, the intruding object attribute value is calculated by a first process, the latest change area does not overlap the planting area, and the latest change area is associated with the latest change area If the change area in the monitoring image immediately before or a predetermined number before is overlapped with the planting area, the intrusion is performed by the second process in which the intruding object attribute value is not a value that is not an intruding object than the first process. The intruding object detection device according to claim 1, wherein the object attribute value is calculated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010233937A JP5679760B2 (en) | 2010-10-18 | 2010-10-18 | Intruder detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010233937A JP5679760B2 (en) | 2010-10-18 | 2010-10-18 | Intruder detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012088861A true JP2012088861A (en) | 2012-05-10 |
JP5679760B2 JP5679760B2 (en) | 2015-03-04 |
Family
ID=46260431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010233937A Active JP5679760B2 (en) | 2010-10-18 | 2010-10-18 | Intruder detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5679760B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016103246A (en) * | 2014-11-28 | 2016-06-02 | セコム株式会社 | Image monitoring device |
WO2020044448A1 (en) * | 2018-08-29 | 2020-03-05 | 日本電気株式会社 | Object recognition device, object recognition method, and program storage medium |
CN113591623A (en) * | 2021-07-16 | 2021-11-02 | 青岛新奥胶南燃气工程有限公司 | Intelligent perimeter detection method and equipment |
JP2022044978A (en) * | 2020-09-08 | 2022-03-18 | 株式会社神戸製鋼所 | Apparatus and method for measuring width of tap slag stream |
WO2022064687A1 (en) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | Image-processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004222200A (en) * | 2003-01-17 | 2004-08-05 | Hitachi Kokusai Electric Inc | Method and device for detecting intruding object |
JP2007318674A (en) * | 2006-05-29 | 2007-12-06 | Matsushita Electric Works Ltd | Monitoring camera apparatus |
JP2010067206A (en) * | 2008-09-12 | 2010-03-25 | Secom Co Ltd | Image sensor |
-
2010
- 2010-10-18 JP JP2010233937A patent/JP5679760B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004222200A (en) * | 2003-01-17 | 2004-08-05 | Hitachi Kokusai Electric Inc | Method and device for detecting intruding object |
JP2007318674A (en) * | 2006-05-29 | 2007-12-06 | Matsushita Electric Works Ltd | Monitoring camera apparatus |
JP2010067206A (en) * | 2008-09-12 | 2010-03-25 | Secom Co Ltd | Image sensor |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016103246A (en) * | 2014-11-28 | 2016-06-02 | セコム株式会社 | Image monitoring device |
WO2020044448A1 (en) * | 2018-08-29 | 2020-03-05 | 日本電気株式会社 | Object recognition device, object recognition method, and program storage medium |
JPWO2020044448A1 (en) * | 2018-08-29 | 2021-08-10 | 日本電気株式会社 | Object identification device, object identification method and computer program |
JP7147854B2 (en) | 2018-08-29 | 2022-10-05 | 日本電気株式会社 | OBJECT IDENTIFICATION DEVICE, OBJECT IDENTIFICATION METHOD AND COMPUTER PROGRAM |
JP2022044978A (en) * | 2020-09-08 | 2022-03-18 | 株式会社神戸製鋼所 | Apparatus and method for measuring width of tap slag stream |
JP7361003B2 (en) | 2020-09-08 | 2023-10-13 | 株式会社神戸製鋼所 | Tap slag flow width measurement device and tap slag flow width measurement method |
WO2022064687A1 (en) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | Image-processing method |
JP7487786B2 (en) | 2020-09-28 | 2024-05-21 | 日本電気株式会社 | Image Processing Method |
CN113591623A (en) * | 2021-07-16 | 2021-11-02 | 青岛新奥胶南燃气工程有限公司 | Intelligent perimeter detection method and equipment |
Also Published As
Publication number | Publication date |
---|---|
JP5679760B2 (en) | 2015-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101788269B1 (en) | Method and apparatus for sensing innormal situation | |
US9646211B2 (en) | System and method for crowd counting and tracking | |
US10540552B2 (en) | Device and method surveilling abnormal behavior using 3D image information | |
EP2801078B1 (en) | Context aware moving object detection | |
CN105141885B (en) | Carry out the method and device of video monitoring | |
JP5603403B2 (en) | Object counting method, object counting apparatus, and object counting program | |
WO2014092552A2 (en) | Method for non-static foreground feature extraction and classification | |
JP5679760B2 (en) | Intruder detection device | |
KR101750094B1 (en) | Method for classification of group behavior by real-time video monitoring | |
KR20160035121A (en) | Method and Apparatus for Counting Entity by Using Location Information Extracted from Depth Image | |
KR101454644B1 (en) | Loitering Detection Using a Pedestrian Tracker | |
CN101930540A (en) | Video-based multi-feature fusion flame detecting device and method | |
JP5761954B2 (en) | Image sensor | |
Hernández et al. | People counting with re-identification using depth cameras | |
JP6275022B2 (en) | Image monitoring device | |
JP5805511B2 (en) | Image monitoring device | |
JP2012103901A (en) | Intrusion object detection device | |
JP6124739B2 (en) | Image sensor | |
Zaihidee et al. | Comparison of human segmentation using thermal and color image in outdoor environment | |
KR102161344B1 (en) | Stream reasoning surveilance system and Stream reasoning surveilance method using the same | |
KR102161343B1 (en) | Stream reasoning surveilance system and missing child alarming method using the same | |
KR102161342B1 (en) | Stream reasoning getting out of group surveilance system | |
JP2006155167A (en) | Image recognition device | |
WO2010123342A2 (en) | Method to generate an analytical path deviation model | |
Kim et al. | ISS: intelligent surveillance system using autonomous multiple cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140603 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5679760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |