JP3081396B2 - Image processing device - Google Patents
Image processing deviceInfo
- Publication number
- JP3081396B2 JP3081396B2 JP04351520A JP35152092A JP3081396B2 JP 3081396 B2 JP3081396 B2 JP 3081396B2 JP 04351520 A JP04351520 A JP 04351520A JP 35152092 A JP35152092 A JP 35152092A JP 3081396 B2 JP3081396 B2 JP 3081396B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- axis projection
- image
- model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【0001】[0001]
【産業上の利用分野】本発明は、画像処理装置に関する
もので、より具体的には画像監視装置等の撮像した画像
データ中に所定の物体があるか否かの判断を行うための
特徴量抽出等の改良に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus, and more specifically, to a feature quantity for determining whether or not a predetermined object exists in image data taken by an image monitoring apparatus or the like. It relates to improvements such as extraction.
【0002】[0002]
【従来の技術】変電所等のある敷地内に侵入者が入り込
んで来たのを検出する場合、ITV等の監視カメラにて
監視領域の画像を撮像し、その撮像した画像データ中に
侵入者の存在の有無を判定する必要があるが、それを自
動的に行うには、係る画像データに対し所定の画像処理
(特徴量抽出)を行い、監視領域の異常を検出する画像
監視装置を用いることがある。2. Description of the Related Art When detecting that an intruder has entered a site such as a substation, an image of a monitoring area is captured by a monitoring camera such as an ITV and the intruder is included in the captured image data. It is necessary to determine the presence or absence of the image. To automatically perform the determination, use an image monitoring device that performs predetermined image processing (feature extraction) on the image data and detects an abnormality in the monitoring area. Sometimes.
【0003】そして、係る監視装置は、例えば一定時間
毎に画像を取り込み、連続する数枚の監視画像の差分を
とるか、予め背景等の参照画像を記憶しておき、一定時
間毎に取り込んだ監視画像とこの参照画像との画像差分
を行うことにより、画像データのうち変化している領域
を求める。ところでかかる変化領域があると、監視領域
内に検出対象である侵入者が入り込んできたと予想でき
るが、ノイズであったり、或いは犬・猫等の小動物等の
検出対象でない場合もある。[0003] Such a monitoring apparatus takes in images, for example, at regular time intervals, calculates the difference between several continuous monitoring images, or stores a reference image such as a background in advance, and takes in the images at regular time intervals. By performing an image difference between the monitoring image and the reference image, a changing area in the image data is obtained. By the way, if such a change area exists, it can be expected that an intruder to be detected has entered the monitoring area. However, there are cases where noise is detected or the detection is not performed on small animals such as dogs and cats.
【0004】そこで、かかる変化領域の画像データをX
軸,Y軸方向に射影し、その射影パターンの山の大きい
共通部分を求め、その共通部分の塊の大きさや、縦横比
を求め、それが所定の範囲内にある場合にその塊は人間
であると判断し、監視領域内に侵入者(異常)があった
ことを検出する。Therefore, the image data of such a change area is represented by X
The projection is performed in the directions of the axis and the Y-axis, a common part having a large peak of the projection pattern is obtained, and the size and aspect ratio of the common part are obtained. It is determined that there is an intruder (abnormal) in the monitoring area.
【0005】[0005]
【発明が解決しようとする課題】しかし、上記した特徴
量として、射影パターンから得られる塊の大きさや縦横
比を抽出することにより、異常の検出を行う従来のもの
では、例えば複数の侵入者が重なって移動している場合
には、塊の大きさや、縦横比が大きくなってしまい、検
出できなくなってしまう。However, in the conventional method for detecting anomalies by extracting the size and aspect ratio of a lump obtained from a projected pattern as the above-mentioned feature amount, for example, a plurality of intruders are detected. If they move while overlapping, the size of the chunks and the aspect ratio become large, and detection becomes impossible.
【0006】本発明は、上記した背景に鑑みてなされた
もので、その目的とするところは、たとえ複数の侵入物
が重なって侵入して来た場合であっても、所定の特徴量
抽出を行い、確実に検出・判定できるようにした画像処
理装置を提供するものである。The present invention has been made in view of the above background, and an object of the present invention is to extract a predetermined feature amount even when a plurality of intruders come in overlappingly. It is intended to provide an image processing apparatus capable of performing detection and determination with certainty.
【0007】[0007]
【課題を解決するための手段】上記した目的を達成する
ため、本発明では、撮像装置にて撮像した画像データ中
に、所定の検出対象物があるか否かを検出する画像処理
装置において、撮像された画像データから不要部分を排
除して、所定の判定対象データを抽出する手段と、その
判定対象データを受けX軸射影パターンを生成する手段
と、その判定対象データを受けY軸射影パターンを生成
する手段と、X軸射影パターンから判定対象データを構
成する物体の個数等の所定の特徴量を抽出する手段と、
その特徴量を抽出する手段にて得られた特徴量からその
X軸射影パターンを構成する物体が検出対象物であると
した時のY軸射影比較パターンを生成する手段と、その
生成されたY軸射影比較パターンと、前記Y軸射影パタ
ーンとを比較し、両パターンの一致度から前記判定対象
データが前記検出対象物であるか否かを判断する判定手
段とを備えた。According to the present invention, there is provided an image processing apparatus for detecting whether or not a predetermined detection target exists in image data captured by an imaging apparatus. Means for removing unnecessary portions from the captured image data to extract predetermined judgment target data; means for receiving the judgment target data to generate an X-axis projection pattern; and receiving the judgment target data and receiving a Y-axis projection pattern. Means for generating a predetermined feature amount such as the number of objects constituting the data to be determined from the X-axis projection pattern;
A means for generating a Y-axis projection comparison pattern when the object constituting the X-axis projection pattern is a detection target from the feature quantity obtained by the means for extracting the feature quantity; A determination unit is provided for comparing the axis projection comparison pattern with the Y-axis projection pattern, and determining whether the determination target data is the detection target based on the degree of coincidence between the two patterns.
【0008】[0008]
【作用】判定しようとする対象データのX軸射影パター
ンを生成し、そのパターンのピーク数等から係るパター
ンを構成している物体の個数を判別する。そして、複数
存在する場合には、Y軸射影比較パターンを生成する手
段にて、X軸射影パターンが検出対象物であると想定し
て得られるべきY軸射影のパターンを各物体毎に生成し
それらを合成することによりY軸射影比較パターンを生
成する。なお、パターンを構成する物体が1つの場合に
は、合成する必要がないため、そのX軸射影パターン
が、検出対象物と想定してY軸射影比較パターンを生成
する。An X-axis projection pattern of the target data to be determined is generated, and the number of objects constituting the pattern is determined from the number of peaks of the pattern. When there are a plurality of Y-axis projection comparison patterns, a Y-axis projection pattern to be obtained assuming that the X-axis projection pattern is a detection target is generated for each object by means for generating a Y-axis projection comparison pattern. By combining them, a Y-axis projection comparison pattern is generated. When there is only one object constituting the pattern, there is no need to combine them, so that the X-axis projection pattern is assumed to be the detection target, and the Y-axis projection comparison pattern is generated.
【0009】次いで、上記のようにして生成したY軸射
影比較パターンと、実際に撮像した画像データから得ら
れたY軸射影パターンとを比較する。そして、比較パタ
ーンは検出対象物であると想定して生成したため、判定
対象データが検出対象物である場合に両パターンの形状
は一致或いは類似し、検出対象物と違う場合には、両パ
ターンの形状は相違する。よって、両パターンの一致度
を判定し、一致する場合には判定対象物を検出対象物と
判定する。Next, the Y-axis projection comparison pattern generated as described above is compared with the Y-axis projection pattern obtained from the actually captured image data. Then, since the comparison pattern is generated assuming that it is the detection target, when the determination target data is the detection target, the shapes of both patterns are the same or similar, and when the determination target data is different from the detection target, the two patterns are compared. The shapes are different. Therefore, the degree of coincidence between the two patterns is determined, and if they match, the determination target is determined as the detection target.
【0010】[0010]
【実施例】以下、本発明に係る画像処理装置の好適な実
施例について添付図面を参照にして詳述する。図1は、
本発明の一実施例の画像監視装置のブロック構成図を示
している。同図に示すように、ITVカメラ1により撮
像された画像データが、A/D変換器2を介してデジタ
ル化された後、第1のノイズ処理部3に送られ、所定の
処理により孤立点等のノイズが除去される。なお、本例
では、ITVカメラ1のズーム(倍率)は固定し、その
撮像する監視領域も固定(カメラの向きを一定)として
いる。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of an image processing apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. FIG.
1 shows a block diagram of an image monitoring apparatus according to an embodiment of the present invention. As shown in FIG. 1, after image data captured by the ITV camera 1 is digitized via an A / D converter 2, the image data is sent to a first noise processing unit 3 and is subjected to predetermined processing to obtain an isolated point. Noise is removed. In this example, the zoom (magnification) of the ITV camera 1 is fixed, and the monitoring area for capturing the image is also fixed (the direction of the camera is fixed).
【0011】そして、この第1のノイズ処理部3の出力
が差分処理部4におくられ、そこにおいて予め撮像し格
納された背景画像の参照データと比較し差分処理され
る。すなわち、例えば撮像されたn像番目の画像データ
が図2(A)に示すようになっているとすると、図2
(B)に示す参照データと比較され、差分処理部4から
は、同図(C)に示すように参照データと相違する変化
した領域である判定対象物(侵入者候補)Mが抽出さ
れ、出力される。なお、この差分処理部4における処理
の方式は、これに限ることなく、連続して撮像されるフ
レーム同士の差分をとるなどの他、判定対象物を抽出で
きるものであれば任意方式のものを使用できる。The output of the first noise processing unit 3 is sent to a difference processing unit 4, where the output is compared with reference data of a background image previously captured and stored and subjected to difference processing. That is, for example, assuming that the image data of the captured n-th image is as shown in FIG.
Compared with the reference data shown in (B), a determination target (intruder candidate) M which is a changed area different from the reference data is extracted from the difference processing unit 4 as shown in FIG. Is output. Note that the processing method in the difference processing unit 4 is not limited to this, and may be any method as long as it can extract a determination target object, such as obtaining a difference between frames that are continuously captured. Can be used.
【0012】さらにこの差分処理部4の出力が2値化部
5に送られ、画像データを所定の閾値で2値化し、得ら
れた2値化データを第2のノイズ処理部6にてノイズの
除去処理を行った後、本発明に係る判定処理部7に送
り、ここにおいて、差分処理部4で抽出された判定対象
物Mが検出対象の侵入者であるか否かの判断が行われ
る。Further, the output of the difference processing unit 4 is sent to a binarization unit 5, where the image data is binarized with a predetermined threshold value, and the obtained binarized data is subjected to noise by a second noise processing unit 6. Is sent to the determination processing unit 7 according to the present invention, where it is determined whether the determination target M extracted by the difference processing unit 4 is an intruder to be detected. .
【0013】ここで、この判定処理部7は、図3に示す
ように、その入力側にY軸射影パターン生成部11並び
にX軸射影パターン生成部12が並列に配置され、入力
された2値化データがそれぞれ両生成部11,12に入
力されて、各軸に対する射影パターンが生成され、その
パターンがそれぞれ接続されたY軸射影メモリ部13並
びにX軸射影メモリ部14に格納される。As shown in FIG. 3, the determination processing unit 7 has a Y-axis projection pattern generation unit 11 and an X-axis projection pattern generation unit 12 arranged in parallel on its input side. The converted data is input to both the generating units 11 and 12, and a projection pattern for each axis is generated, and the pattern is stored in the connected Y-axis projection memory unit 13 and X-axis projection memory unit 14, respectively.
【0014】さらに、X軸射影パターン生成部12で
は、パターン生成とともに、各ピーク値の頭(画像中最
上方位置)の位置(y座標)を抽出するようになってい
る。すなわちパターン生成の為に2値画像を順に走査し
ているが、水平方向の各々の走査ごとに2値化データ
(「1」,「0」)の値が変わること(本例では「1」
になったこと(以下、「データ変化」と呼ぶ))を検出
しその時のX,Y座標を記憶する。このデータ変化が、
所定の数以上の連続する走査で生じ、かつそのX座標値
が所定の範囲以内である場合には、その付近に物体があ
ると判断して、最初のデータ変化が生じた走査でのY座
標をピークとすることにより求められる。そして係る座
標データ(y)も上記X軸射影メモリ部14に格納して
おく。Further, the X-axis projected pattern generation unit 12 extracts the position (y coordinate) of the head (uppermost position in the image) of each peak value while generating the pattern. That is, the binary image is sequentially scanned for pattern generation, but the value of the binary data (“1”, “0”) changes for each horizontal scan (“1” in this example).
(Hereinafter referred to as "data change"), and the X and Y coordinates at that time are stored. This data change
If it occurs in a predetermined number or more of continuous scans and its X coordinate value is within a predetermined range, it is determined that there is an object in the vicinity, and the Y coordinate in the scan where the first data change occurred Is determined as a peak. The coordinate data (y) is also stored in the X-axis projection memory unit 14.
【0015】そして、X軸射影メモリ部14には、X軸
射影特徴量抽出部15が接続されており、メモリ部14
に格納されたX軸の射影パターンから、判定対象物Mを
構成する物体の個数(人数)や、存在位置並びに複数存
在している場合にはその複数の物体の重なりの程度、さ
らに物体の移動方向等を検出するための所定の特徴量を
抽出するようになっている。さらに、X軸射影メモリ部
14に格納されたy座標も同時に読み込むようになって
いる。そして、具体的な処理は、以下の通りである。The X-axis projection memory unit 14 is connected to an X-axis projection feature amount extraction unit 15.
From the X-axis projection pattern stored in the storage area, the number (number of persons) of the objects constituting the determination target object M, the location of the objects, the degree of overlap of the plurality of objects when there are a plurality of objects, and the movement of the objects. A predetermined feature amount for detecting a direction or the like is extracted. Further, the y-coordinate stored in the X-axis projection memory unit 14 is read at the same time. The specific processing is as follows.
【0016】まず、X軸の射影パターンの山のピーク箇
所を検出する。そして、そのピーク箇所のX座標データ
(x)がX方向での存在位置として抽出する。また、上
記ピークの数から物体の個数を算出する。そして、係る
ピークが複数ある場合に、そのピーク間の距離から物体
の重なり具合dが検出される。すなわち、2値化画像が
図4(A)のようであるとすると、そのX軸の射影パタ
ーンのピークは、1つであるため画像中に存在する物体
は1個であるとわかる。また、同図(B)に示すよう
に、ピークが2つあると物体の存在個数は2個であると
わかる。そして、この図(B)のように複数の物体が存
在する場合、その両ピークの差d(d=x2−x1)を
重なり度として算出するようになっている。First, the peak position of the peak of the X-axis projection pattern is detected. Then, the X coordinate data (x) of the peak location is extracted as the existing position in the X direction. The number of objects is calculated from the number of peaks. Then, when there are a plurality of such peaks, the degree of overlap d of the objects is detected from the distance between the peaks. That is, assuming that the binarized image is as shown in FIG. 4A, there is only one peak of the X-axis projection pattern, and thus it can be seen that there is only one object in the image. Also, as shown in FIG. 3B, it can be understood that the number of objects is two when there are two peaks. When a plurality of objects exist as shown in FIG. 7B, the difference d (d = x2−x1) between the two peaks is calculated as the degree of overlap.
【0017】さらに、物体の移動方向は、現在処理中の
フレームのX軸の射影パターンと、その1つ前のフレー
ム(ともにX軸射影メモリ部14に格納されている)の
それとを比較することにより、求められる。すなわち、
例えばt1時刻並びにt2時刻における画像データ並び
にX軸射影がそれぞれ図5(A),(B)に示すように
なっているとすると、横方向移動量は、そのピークのX
座標の変動量(絶対値)(Δxn =xn2−xn1)により
求めることができ、その値が所定の閾値th (X)を越
えている場合には横方向に移動していると判断できる。Further, the moving direction of the object is to compare the X-axis projection pattern of the frame currently being processed with that of the immediately preceding frame (both stored in the X-axis projection memory unit 14). Is required. That is,
For example, assuming that the image data and the X-axis projection at the time t1 and the time t2 are as shown in FIGS.
It can be obtained from the coordinate variation (absolute value) (Δxn = xn2−xn1). If the value exceeds a predetermined threshold value th (X), it can be determined that the object is moving in the horizontal direction.
【0018】また、同様に縦方向移動量は、ピーク値h
の変動量(絶対値)(Δhn =hn2−hn1)により求
め、その値が所定の閾値th (Y)を越えている場合に
は縦方向に移動していると判断できる。そして、縦・横
両方向ともに移動が検出された場合には、斜め方向に移
動していると判断する。さらに、移動方向は、各変動量
の正負により判断できる。Similarly, the vertical movement amount is the peak value h.
Is obtained from the fluctuation amount (absolute value) (.DELTA.hn = hn2-hn1), and if the value exceeds a predetermined threshold value th (Y), it can be determined that the object is moving in the vertical direction. If the movement is detected in both the vertical and horizontal directions, it is determined that the movement is in an oblique direction. Further, the moving direction can be determined by the sign of each variation.
【0019】なお、上記した図5(A),(B)の例で
は、物体M1に関してはX座標の変動量Δx1 (=x12
−x11)が大きいため横方向に移動していると判断でき
る。物体M2に関してはピーク値の変動量Δh2 (=h
22−h21)が大きいため縦方向に移動していると判断で
きる。なお、本例でこのように移動方向を検出・特定す
るのは、かかる移動方向により基準となる(画像中に撮
像される)物体の縦横比が異なるため、より正確に判別
するためである。In the examples of FIGS. 5A and 5B, the X-coordinate variation Δx 1 (= x 12
Since −x11) is large, it can be determined that the object is moving in the horizontal direction. For the object M2, the peak value variation Δh2 (= h
Since 22-h21) is large, it can be determined that it is moving in the vertical direction. In this example, the reason why the moving direction is detected and specified in this manner is to determine the moving direction more accurately because the aspect ratio of a reference (imaged in an image) is different depending on the moving direction.
【0020】そして、このようにして抽出した各特徴量
を次段のY軸射影比較パターン生成部16に送り、ここ
において、Y軸射影パターンデータメモリ部17に格納
されたモデルデータを用いて検出されたX軸射影パター
ンが人間であるとした場合に得られるべきY軸射影比較
パターンを生成する。そして、具体的には、以下の手順
により行われる。Then, each feature value extracted in this way is sent to the next stage Y-axis projection comparison pattern generation unit 16, where it is detected using the model data stored in the Y-axis projection pattern data memory unit 17. A Y-axis projection comparison pattern to be obtained when the obtained X-axis projection pattern is a human is generated. Then, specifically, the following procedure is performed.
【0021】すなわち、まずY軸射影パターンデータメ
モリ部17に、上記移動方向に対応して、縦方向移動
時、横方向移動時並びに斜め方向移動時の3つのモデル
パターンを格納しておく。なお、格納する各モデルパタ
ーンの大きさは、実際の人間の身長が標準(例えば17
0cm程度)とし、それが画像の中心に存在したとした
時の高さとしている。但しこれは、係る大きさにするこ
とによりその後に行う拡大縮小処理を行う際の変動率を
できるだけ小さくし、高速処理を行うためであり、モデ
ルパターンの形状(大きさ)は、任意にしてよい。That is, first, in the Y-axis projection pattern data memory unit 17, three model patterns corresponding to the above-described movement direction, that is, the vertical movement, the horizontal movement, and the oblique movement are stored. The size of each model pattern to be stored is such that the actual human height is standard (for example, 17
0 cm), which is the height when it is assumed to be at the center of the image. However, this is to make the size as small as possible so that the fluctuation rate at the time of performing the enlarging / reducing process thereafter is as small as possible and to perform high-speed processing. The shape (size) of the model pattern may be arbitrary. .
【0022】そして、図6に示すようにY軸射影比較パ
ターン生成部16を構成するパターン選択部16aに
て、与えられた移動方向の特徴量データから該当するモ
デルパターンP0 を決定し、Y軸射影パターンデータメ
モリ部17から所定のモデルパターンを読み出す。次い
で、拡大・縮小部16bにて、モデルパターンを適宜拡
大縮小し、修正後のパターンの大きさ(高さ)が特徴量
の中から与えられた大きさ情報h(ピーク値)と等しく
なるように設定される。Then, as shown in FIG. 6, a corresponding model pattern P0 is determined from the feature amount data in the given moving direction by a pattern selector 16a constituting the Y-axis projection comparison pattern generator 16, and the Y-axis A predetermined model pattern is read from the projection pattern data memory unit 17. Next, the model pattern is appropriately enlarged or reduced by the enlargement / reduction unit 16b so that the size (height) of the corrected pattern becomes equal to the size information h (peak value) given from the feature amount. Is set to
【0023】そして、このようにしてすべての物体に対
しての修正パターンPn を生成したなら、Y軸射影合成
部16cにより、位置情報(重なり度d,Y軸座標
(y))にしたがって各修正パターンを実際に合成し、
その時のY軸射影パターンを生成する。そして、このよ
うにして生成されたパターンが、Y軸射影比較パターン
Py となり、これがY軸射影パターン比較部18に送ら
れる。When the correction patterns Pn for all the objects are generated in this way, the Y-axis projection synthesizing unit 16c performs each correction according to the position information (overlapping degree d, Y-axis coordinate (y)). Actually synthesize the pattern,
A Y-axis projection pattern at that time is generated. The pattern generated in this manner becomes a Y-axis projection comparison pattern Py, which is sent to the Y-axis projection pattern comparison unit 18.
【0024】このY軸射影パターン比較部18には、上
記Y軸射影メモリ部13に格納された実際に撮像した画
像データから生成されたY軸射影パターンも入力され、
そこにおいてそれら両パターンを比較する。そして、実
際には、両パターンの差をとる。そして、その処理結果
を判定部19に送り、所定の基準値と比較し、基準以内
であれば係る物体が人間と判定できる。The Y-axis projection pattern comparison unit 18 also receives a Y-axis projection pattern generated from actually picked-up image data stored in the Y-axis projection memory unit 13.
Then, those two patterns are compared. In practice, the difference between the two patterns is calculated. Then, the processing result is sent to the determination unit 19, and is compared with a predetermined reference value.
【0025】すなわち、Y軸射影比較パターンは、物体
が人間であるとして、X軸射影パターンのデータに基づ
いて作成したので、係る物体が人間であれば、実際のパ
ターンと比較パターンは近似するため、共通部分が多く
その差をとるとほとんど相殺されてなくなる(図7参
照)が、犬・猫等のように人間とその形状が異なるもの
も場合には、Y軸射影パターンは大きく相違するため、
相殺されずにほとんどのパターン部位が残るからである
(図8,図9参照)。そして、上記した本発明の要部と
なる各軸の射影パターンの生成から、判定までの処理手
順は、図10に示すようなフローチャートに示すように
なっている。That is, since the Y-axis projection comparison pattern is created based on the data of the X-axis projection pattern on the assumption that the object is a human, if the object is a human, the actual pattern and the comparison pattern are similar. However, if there are many common parts and the difference is taken, the difference is hardly offset (see FIG. 7). However, in the case of a person such as a dog or a cat whose shape is different from that of a human, the Y-axis projection pattern is greatly different. ,
This is because most of the pattern portions remain without being offset (see FIGS. 8 and 9). The processing procedure from the generation of the projection pattern of each axis, which is a main part of the present invention, to the determination is as shown in a flowchart in FIG.
【0026】なお、この比較部18並びに判定部19の
処理では、上記したように差分を取り、所定の基準値と
の大小を検出するのではなく、画像同士の一致の度合い
を比較するようにしても良い。In the processing of the comparing unit 18 and the judging unit 19, the difference is obtained as described above, and the degree of coincidence between images is compared with each other, instead of detecting the magnitude of the difference with a predetermined reference value. May be.
【0027】なお、本発明は、上記した実施例に限るこ
とはなく、用意されているモデルパターンのすべてある
いは一部と総当たりにして判定したり、モデルパターン
を1種類にしても良く、係る場合には移動方向が関係な
くなるので、移動方向を特定するための特徴量抽出は不
要となる。また、人間もその年齢や性別に応じてたとえ
高さが同じでも形状(縦横比)が変わるため、それらに
応じてさらに複数のモデルパターンを用意し、判定結果
をフィードバックし該当しないとの判断がなされたなら
他のモデルパターンに基づいて再度判定処理を行うよう
にしても良い。It should be noted that the present invention is not limited to the above-described embodiment, and that all or some of the prepared model patterns may be determined in a round robin manner, or one type of model pattern may be used. In this case, since the moving direction is not relevant, it is not necessary to extract the feature amount for specifying the moving direction. Humans also change shape (aspect ratio) according to their age and gender, even if the height is the same. Therefore, a plurality of model patterns are prepared in accordance with those, and the judgment result is fed back to determine that the model is not applicable. If so, the determination process may be performed again based on another model pattern.
【0028】また、上記した実施例では、ITVカメラ
は、倍率並びに撮影方向を固定し、常に同一の監視領域
に対して処理を行うようにしたが、本発明はこれに限る
ことはなく、監視領域を変動するものにも適用できる。
すなわち、例えばズーム機能を付加した場合には、その
倍率に応じてモデルパターンの倍率も変動することによ
り簡単に対応することができる。In the above-described embodiment, the ITV camera fixes the magnification and the photographing direction and always processes the same monitoring area. However, the present invention is not limited to this. The present invention can also be applied to a device having a variable area.
That is, for example, when a zoom function is added, it is possible to easily cope with the case where the magnification of the model pattern also changes according to the magnification.
【0029】さらに、Y軸方向の存在位置座標yの検出
する手法としては、上記したごとくX軸射影パターン生
成部12にて行うのに限ることなく、例えば、他の特徴
量と同様に特徴量抽出部15にて、X軸射影パターンの
ピークの高さhn から求めるようにしても良い。すなわ
ち、上記したごとく本例におけるITVカメラ1は、あ
る監視領域に対し、ズーム等したりすることなく常時固
定して撮像しているため、対象物がITVカメラ1に近
いほど大きくなる。つまり、図11に示すように、物体
MからITVカメラ1までの距離をLとし、ITVカメ
ラ1の設置高さをPとし、カメラの俯角をφ、カメラの
垂直画角をθH 、物体(人間)の実際の高さ(身長)を
A、レンズの焦点距離をf、カメラに実装されたCCD
の垂直サイズをCCDv とすると、画像中の高さhは、
次式で現せる。Further, the method of detecting the existence position coordinate y in the Y-axis direction is not limited to the method performed by the X-axis projected pattern generation unit 12 as described above. The extraction unit 15 may determine the peak height hn of the X-axis projection pattern. That is, as described above, the ITV camera 1 in the present example always captures an image of a certain monitoring area in a fixed manner without zooming or the like. Therefore, the larger the target is, the larger the ITV camera 1 is. That is, as shown in FIG. 11, the distance from the object M to the ITV camera 1 is L, the installation height of the ITV camera 1 is P, the depression angle of the camera is φ, the vertical angle of view of the camera is θH, and the object (human A) is the actual height (height), f is the focal length of the lens, and CCD is mounted on the camera.
Assuming that the vertical size of is CCDv, the height h in the image is
It can be expressed by the following equation.
【0030】[0030]
【数1】 h=Ht ・(f/(L・cos θ+P・sin θ))・(480/CCDv ) 但し、 Ht =L・(A/((P−A)sin θ+L・cos θ)) すなわち、物体の高さAが等しければ、カメラまでの距
離Lが大きいほど画像中の高さhは大きくなる。そし
て、上記画像中の高さhは、X軸の射影パターンの各ピ
ーク値hn とほぼ一致する。従って、画像の中央に存在
する場合の上記hを予め算出(h0 )して記憶保持して
おけば、算出した各ピーク値hn を基準値h0 と比較す
ることにより、Y軸座標上の位置(y)の存在位置を求
めることができる。ここで、射影パターンに平滑化の処
理を加えても良く、この場合には、ノイズ等により近傍
に複数のピークが生じる場合の影響を防ぐことができ
る。H = Ht ・ (f / (L ・ cos θ + P ・ sin θ)) ・ (480 / CCDv) where Ht = L ・ (A / ((P−A) sin θ + Lscos θ)) If the heights A of the objects are equal, the height h in the image increases as the distance L to the camera increases. The height h in the image substantially matches each peak value hn of the X-axis projection pattern. Therefore, if the above h in the case where it exists at the center of the image is previously calculated (h0) and stored and held, the calculated peak value hn is compared with the reference value h0 to obtain the position on the Y axis coordinate ( The location of y) can be determined. Here, a smoothing process may be added to the projection pattern, and in this case, it is possible to prevent the influence of a case where a plurality of peaks are generated nearby due to noise or the like.
【0031】なお、上記した実施例並びに変形例では、
いずれも検出対象物が侵入者(人間)の場合について説
明したが、本発明はこれに限ることはなく、モデルパタ
ーンを適宜変更することにより所望の物体の検出に用い
ることができる。In the above-described embodiment and modified examples,
In each case, the case where the detection target is an intruder (human) is described, but the present invention is not limited to this, and can be used for detection of a desired object by appropriately changing the model pattern.
【0032】[0032]
【発明の効果】以上のように本発明に係る画像処理装置
では、X軸射影パターンに基づいて物体の存在位置(重
なり状況など)を検出し、その情報に基づいて各物体毎
に生成したパターンを合成して比較対象となるY軸射影
比較パターンを生成するようにしたため、たとえ複数の
侵入物が重なって侵入して来た場合であっても、所定の
特徴量抽出を行い、確実に検出・判定することができ
る。As described above, the image processing apparatus according to the present invention detects the position of an object (overlapping state, etc.) based on the X-axis projection pattern, and generates a pattern generated for each object based on the information. Are combined to generate a Y-axis projection comparison pattern to be compared, so that even if multiple intruders come in and overlap, a predetermined feature amount is extracted and detected reliably.・ Can be determined.
【図1】本発明に係る画像監視装置の恋的な一実施例を
示すブロック構成図である。FIG. 1 is a block diagram showing an image monitoring apparatus according to an embodiment of the present invention;
【図2】差分処理部の作用を説明する図である。FIG. 2 is a diagram illustrating an operation of a difference processing unit.
【図3】本発明の要部となる判定処理部を示すブロック
構成図である。FIG. 3 is a block diagram showing a determination processing unit which is a main part of the present invention.
【図4】判定処理部の作用を説明する図である。FIG. 4 is a diagram illustrating an operation of a determination processing unit.
【図5】判定処理部の作用を説明する図である。FIG. 5 is a diagram illustrating the operation of a determination processing unit.
【図6】判定処理部の中のY軸射影比較パターン生成部
の作用を説明する図である。FIG. 6 is a diagram illustrating an operation of a Y-axis projection comparison pattern generation unit in a determination processing unit.
【図7】Y軸射影パターン比較部並びに判定部の作用を
説明する図である。FIG. 7 is a diagram illustrating the operation of a Y-axis projected pattern comparison unit and a determination unit.
【図8】Y軸射影パターン比較部並びに判定部の作用を
説明する図である。FIG. 8 is a diagram illustrating the operation of a Y-axis projected pattern comparison unit and a determination unit.
【図9】Y軸射影パターン比較部並びに判定部の作用を
説明する図である。FIG. 9 is a diagram illustrating the operation of a Y-axis projected pattern comparison unit and a determination unit.
【図10】判定処理部の作用を示すフローチャート図で
ある。FIG. 10 is a flowchart illustrating the operation of a determination processing unit.
【図11】実際の侵入者の位置と画像データとの関係を
説明する図である。FIG. 11 is a diagram illustrating a relationship between an actual intruder position and image data.
1 ITV(撮像装置) 4 差分処理部(所定の判定対象データを抽出する手
段) 7 判定処理部 11 Y軸射影パターン生成部 12 X軸射影パターン生成部 15 X軸射影特徴量抽出部 16 Y軸射影比較パターン生成部 17 Y軸射影パターンデータメモリ部 18 Y軸射影パターン比較部 19 判定部Reference Signs List 1 ITV (imaging device) 4 Difference processing unit (means for extracting predetermined determination target data) 7 Determination processing unit 11 Y-axis projection pattern generation unit 12 X-axis projection pattern generation unit 15 X-axis projection feature amount extraction unit 16 Y-axis Projection comparison pattern generation unit 17 Y-axis projection pattern data memory unit 18 Y-axis projection pattern comparison unit 19 Judgment unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 平松 憲一 神奈川県川崎市幸区柳町70番地 株式会 社東芝 柳町工場内 (72)発明者 大波多 元 神奈川県川崎市幸区柳町70番地 株式会 社東芝 柳町工場内 (56)参考文献 特開 平3−289286(JP,A) 特開 平4−311187(JP,A) 特開 昭62−147889(JP,A) 特開 平5−14889(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 G06T 1/00 H04N 7/18 ──────────────────────────────────────────────────の Continuing on the front page (72) Inventor Kenichi Hiramatsu 70, Yanagimachi, Saiwai-ku, Kawasaki-shi, Kanagawa Pref. Toshiba Yanagimachi Plant (56) References JP-A-3-289286 (JP, A) JP-A-4-311187 (JP, A) JP-A-62-147889 (JP, A) JP-A-5-14889 (JP, A) , A) (58) Fields investigated (Int. Cl. 7 , DB name) G06T 7/00 G06T 1/00 H04N 7/18
Claims (4)
所定の検出対象物があるか否かを検出する画像処理装置
において、 撮像された画像データから不要部分を排除して、所定の
判定対象データを抽出する手段と、 その判定対象データを受けX軸射影パターンを生成する
手段と、 その判定対象データを受けY軸射影パターンを生成する
手段と、 X軸射影パターンから判定対象データを構成する物体の
個数等の所定の特徴量を抽出する手段と、 その特徴量を抽出する手段にて得られた特徴量からその
X軸射影パターンを構成する物体が検出対象物であると
した時のY軸射影比較パターンを生成する手段と、 その生成されたY軸射影比較パターンと、前記Y軸射影
パターンとを比較し、両パターンの一致度から前記判定
対象データが前記検出対象物であるか否かを判断する判
定手段とを備えた画像処理装置。An image data captured by an image capturing apparatus includes:
An image processing apparatus for detecting whether or not there is a predetermined object to be detected; a means for removing unnecessary portions from captured image data and extracting predetermined data to be determined; Means for generating a projection pattern, means for receiving the determination target data and generating a Y-axis projection pattern, means for extracting a predetermined feature amount such as the number of objects constituting the determination target data from the X-axis projection pattern, Means for generating a Y-axis projection comparison pattern when the object constituting the X-axis projection pattern is a detection target from the feature quantity obtained by the means for extracting the feature quantity; and the generated Y An image including an axis projection comparison pattern and the Y-axis projection pattern, and a determination unit configured to determine whether the determination target data is the detection target based on the degree of coincidence between the two patterns. Management apparatus.
も前記X軸射影パターンのピークの数と、前記ピークが
複数存在する場合にはそのピーク間の距離と、各ピーク
の高さと、各ピークに対応する物体の存在位置を抽出す
るものである請求項1に記載の画像処理装置。2. The method according to claim 1, wherein the means for extracting the feature quantity includes at least a number of peaks of the X-axis projection pattern, a distance between the peaks when a plurality of peaks exist, a height of each peak, The image processing apparatus according to claim 1, wherein the image processing apparatus extracts an existing position of the object corresponding to (a).
段が、前記検出対象物の標準形状として予め格納された
モデルパターンを拡大または縮小し、前記特徴量を抽出
する手段にて抽出された前記ピークの高さに略一致させ
た修正モデルパターンを作成し、 前記ピークが複数ある場合には、各ピークに基づいて前
記修正モデルパターンを作成するとともに、前記ピーク
間の距離と前記物体の存在位置からそれら複数の修正モ
デルパターンを合成し、 前記修正モデルパターン或いは合成したパターンに対し
Y軸射影を行うことにより、前記Y軸射影比較パターン
を生成するものである請求項2に記載の画像処理装置。3. The method according to claim 1, wherein the means for generating the Y-axis projection comparison pattern enlarges or reduces a model pattern stored in advance as a standard shape of the detection target, and extracts the feature amount. Creating a corrected model pattern substantially coincident with the height of the peak, and, when there are a plurality of peaks, creating the corrected model pattern based on each peak; the distance between the peaks and the position of the object; 3. The image processing apparatus according to claim 2, wherein the Y-axis projection comparison pattern is generated by synthesizing the plurality of correction model patterns from the first model and performing Y-axis projection on the corrected model pattern or the synthesized pattern. .
出した特徴量から、所定のモデルパターンを選択し、そ
の選択したモデルパターンに基づいてY軸射影比較パタ
ーンを生成するようにした請求項1〜3のいずれか1項
に記載の画像処理装置。4. A plurality of model patterns are prepared, a predetermined model pattern is selected from the extracted feature amounts, and a Y-axis projection comparison pattern is generated based on the selected model pattern. The image processing apparatus according to any one of claims 1 to 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04351520A JP3081396B2 (en) | 1992-12-09 | 1992-12-09 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04351520A JP3081396B2 (en) | 1992-12-09 | 1992-12-09 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06176153A JPH06176153A (en) | 1994-06-24 |
JP3081396B2 true JP3081396B2 (en) | 2000-08-28 |
Family
ID=18417845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04351520A Expired - Fee Related JP3081396B2 (en) | 1992-12-09 | 1992-12-09 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3081396B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210068858A (en) | 2019-12-02 | 2021-06-10 | 대한민국(농촌진흥청장) | Winding pipe of greenhouse |
KR20210070441A (en) | 2019-12-04 | 2021-06-15 | 대한민국(농촌진흥청장) | Green house to prevent condensation on the winding pipe |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002092751A (en) * | 2000-09-18 | 2002-03-29 | Matsushita Electric Ind Co Ltd | Monitoring system |
JP4720529B2 (en) | 2005-03-10 | 2011-07-13 | 富士ゼロックス株式会社 | Image processing apparatus, image forming apparatus, image processing method, and program |
US9104909B2 (en) | 2010-12-15 | 2015-08-11 | Canon Kabushiki Kaisha | Image processing apparatus and method of processing image |
JP5713655B2 (en) * | 2010-12-15 | 2015-05-07 | キヤノン株式会社 | Video processing apparatus, video processing method, and program |
JP5921294B2 (en) * | 2012-04-04 | 2016-05-24 | 三菱電機株式会社 | Obstacle detection system |
JP5930808B2 (en) * | 2012-04-04 | 2016-06-08 | キヤノン株式会社 | Image processing apparatus, image processing apparatus control method, and program |
JP7311299B2 (en) * | 2019-04-10 | 2023-07-19 | 株式会社国際電気通信基礎技術研究所 | Human recognition system and human recognition program |
-
1992
- 1992-12-09 JP JP04351520A patent/JP3081396B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210068858A (en) | 2019-12-02 | 2021-06-10 | 대한민국(농촌진흥청장) | Winding pipe of greenhouse |
KR20210070441A (en) | 2019-12-04 | 2021-06-15 | 대한민국(농촌진흥청장) | Green house to prevent condensation on the winding pipe |
Also Published As
Publication number | Publication date |
---|---|
JPH06176153A (en) | 1994-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3279479B2 (en) | Video monitoring method and device | |
US9760804B2 (en) | Marker generating and marker detecting system, method and program | |
JPWO2016157327A1 (en) | Video surveillance system and video surveillance method | |
CN103391424B (en) | The method of the object in the image that analysis monitoring video camera is caught and object analysis device | |
JP2975629B2 (en) | Image recognition device | |
JP3081396B2 (en) | Image processing device | |
JP2000331158A (en) | Facial image processor | |
JP5101429B2 (en) | Image monitoring device | |
JP2011210054A (en) | Object detection device and learning device for the same | |
JP2013218432A (en) | Image processing device, image processing method, program for image processing, and recording medium | |
JP5264457B2 (en) | Object detection device | |
JPH07220026A (en) | Method and device for picture processing | |
JP2006041939A (en) | Monitor device and monitor program | |
US20110090340A1 (en) | Image processing apparatus and image processing method | |
JP3707769B2 (en) | Object tracking system | |
US20200043175A1 (en) | Image processing device, image processing method, and recording medium storing program | |
JP6847690B2 (en) | Bed identification device | |
JP2004042737A (en) | Crossing monitoring device and crossing monitoring method | |
JP7136328B2 (en) | CAMERA ADJUSTMENT DEVICE, CAMERA POSITION ADJUSTMENT METHOD AND PROGRAM | |
EP2528019A1 (en) | Apparatus and method for detecting objects in moving images | |
JP2005078482A (en) | Method of detecting traveling direction of object | |
JP7414077B2 (en) | Image processing method | |
CN115830304A (en) | Object detection system | |
JP3162414B2 (en) | Ruled line recognition method and table processing method | |
JPH07210784A (en) | Monitor device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000613 |
|
LAPS | Cancellation because of no payment of annual fees |