JP3423624B2 - Image monitoring device - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、監視カメラなどの
撮像装置により取り込まれる一連の画像データにおい
て、撮像視野内の侵入物体や移動物体を検出し、それら
の物体を含む一連の画像データを記録する画像監視装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention detects an intruding object or a moving object within an imaging field of view in a series of image data captured by an imaging device such as a surveillance camera, and records a series of image data including these objects. Image monitoring device.

【０００２】[0002]

【従来の技術】工業プラントや空港、港湾などの重要施
設において、侵入禁止区域への物体の侵入や、設備、機
器の異常を検知するため、監視員による巡視点検作業が
セキュリティ上不可欠となっており、これらの監視作業
の自動化が要望されている。侵入物体の検知方法とし
て、赤外ビームと赤外センサを用いてビームが遮断され
る事象を検出する方法が一般的に用いられるが、局所的
な情報しか検知することができず、屋外等を広範囲に監
視する場合には適していない。このため監視カメラを設
置し、そのモニタ映像を監視員が目視で常時監視する形
態がとられる事が多い。しかし、監視員の負担が大きく
見逃しが避けられないため、画像処理により監視画像か
ら移動物体や状態変化を自動的に検出する方法が提案さ
れている。2. Description of the Related Art In important facilities such as industrial plants, airports, and harbors, inspecting work by an observer is indispensable for security in order to detect an intrusion of an object into a prohibited area and an abnormality of equipment or equipment. Therefore, automation of these monitoring operations is desired. As a method of detecting an intruding object, a method of detecting an event in which the beam is blocked by using an infrared beam and an infrared sensor is generally used, but only local information can be detected, and it is possible to detect an outdoor object. Not suitable for wide area surveillance. For this reason, it is often the case that a surveillance camera is installed and the surveillance image is constantly monitored visually by the surveillance staff. However, since the burden on the observer is large and cannot be overlooked, a method of automatically detecting a moving object or a state change from the monitor image by image processing has been proposed.

【０００３】従来、監視画像のような動画像に対する事
象検出方法として、例えば、川端他、”移動物体像の抽
出技術”,情報処理学会論文誌,vol28,no.4,pp.395,Apr.
1987に記載されているように、第１にフレーム間差分を
用いる方法、第２にフレーム間の対応点を検出する方
法、第３に背景画像との差分を用いる方法がある。第１
のフレーム間差分法は、連続して入力される画像の対応
画素間の差分値を用いるもので、背景領域の差分値は微
小であるのに対し、移動物体領域では一般的に比較的大
きい差分値が得られるため、この情報から移動物体の検
出が可能となる。第２のフレーム間の対応付けによる方
法は、画像の特徴点、例えば輪郭点などをフレーム間で
対応をとり、各輪郭点の移動量が大きい群を移動物体と
して検出するものである。第３の背景画像との差分法
は、撮像視野の背景となる画像を予め記憶しておき、入
力画像と画素毎に比較し、差分値の大きい領域を物体像
として検出可能である。Conventionally, as an event detection method for a moving image such as a surveillance image, for example, Kawabata et al., "Movable Object Image Extraction Technology", Journal of Information Processing Society of Japan, vol28, no.4, pp.395, Apr.
As described in 1987, there are firstly a method of using a difference between frames, secondly, of detecting a corresponding point between frames, and thirdly of using a difference from a background image. First
The inter-frame difference method of uses a difference value between corresponding pixels of continuously input images. The difference value in the background area is small, whereas the difference value in the moving object area is generally relatively large. Since the value is obtained, the moving object can be detected from this information. The second method of associating between frames is to associate feature points of an image, such as contour points, between frames, and detect a group in which the amount of movement of each contour point is large as a moving object. In the difference method with the third background image, an image serving as the background of the imaging field of view is stored in advance and compared with the input image for each pixel, and a region having a large difference value can be detected as an object image.

【０００４】[0004]

【発明が解決しようとする課題】しかしながら、上記従
来の方法において、第１のフレーム間差分法は、フレー
ム間で物体進行方向の前部と後部で断片的に差分値の大
きい部分が検出されるが、移動物体全体を正確に抽出す
ることは困難である。第２のフレーム間の対応付けによ
る方法は、画像を小領域に分割し、各小領域毎に次フレ
ームのどの位置に対応するかの相関演算を行うため、計
算コストが膨大となるという課題があり、また物体が変
形を伴う場合、フレーム間の対応点の検出は困難とな
る。第３の背景画像との差分法は、移動速度に依存せず
物体の全体像を抽出できる長所があるが、屋外のように
照度に経時変化がある場合、予め記憶しておいた背景画
像との差分画像は、物体以外の領域でも差分値が増大
し、物体抽出精度が低下するため、環境の経時変化に応
じて背景画像を更新する必要がある。一般的に背景画像
の更新は、特開昭６２−１１４０６４号公報記載のよう
に、下記式に示す指数平滑法が用いられる。However, in the above-mentioned conventional method, in the first interframe difference method, a portion having a large difference value is detected between the frames in a front portion and a rear portion in the object traveling direction in a fragmentary manner. However, it is difficult to accurately extract the entire moving object. The method based on the correspondence between the second frames divides the image into small regions and performs a correlation calculation of which position in the next frame corresponds to each small region, which causes a problem of enormous calculation cost. If the object is deformed, it is difficult to detect corresponding points between frames. The difference method with the third background image has an advantage that the entire image of the object can be extracted without depending on the moving speed, but when the illuminance changes with time like outdoors, the background image stored in advance is different from that stored in advance. In the difference image of, the difference value increases even in the area other than the object, and the object extraction accuracy decreases. Therefore, it is necessary to update the background image according to the temporal change of the environment. Generally, the background image is updated by the exponential smoothing method represented by the following formula, as described in JP-A-62-114064.

【０００５】時刻ｔの入力画像Ａ（ｔ）、背景画像をＢ
（ｔ）とすると、 Ｂ（ｔ）＝α・Ａ（ｔ）＋（１−α）・Ｂ（ｔ−１） ここでαは、０＜α＜１の定数である。すなわち入力画
像を積分して背景を更新し、照度条件に追従させるもの
である。理想的な背景画像の条件は、緩やかな輝度変化
に追従し、かつ視野内に物体が侵入し、停止し続ける場
合のようにステップ関数的な輝度変化には直ちに追従で
きる事が望ましい。しかし、上記式の方法の場合、αの
値が大きいと入力画像の輝度変化によく追従するが、侵
入物体周辺の背景が物体の輝度の影響を受けるため、次
フレームの差分処理において物体と背景の境界が不鮮明
になり、物体抽出精度が低下する。また逆にαの値が小
さいと入力画像の変化に鈍感なものとなり、ステップ関
数的な背景の輝度変化に対する応答性が低下する。最適
なαの値は物体の移動速度やコントラストに依存するた
め、上記背景画像の条件を常に満足することは困難であ
る。The input image A (t) at time t and the background image B
Assuming that (t), B (t) = α · A (t) + (1−α) · B (t−1), where α is a constant 0 <α <1. That is, the input image is integrated to update the background, and the illuminance condition is followed. It is desirable that the ideal background image condition be capable of following a gradual change in brightness and immediately following a step-function change in brightness such as when an object enters the field of view and continues to stop. However, in the case of the method of the above equation, when the value of α is large, it follows the brightness change of the input image well, but since the background around the intruding object is affected by the brightness of the object, the object and the background in the difference processing of the next frame. Of the object becomes unclear, and the accuracy of object extraction decreases. On the other hand, if the value of α is small, the change in the input image becomes insensitive, and the responsiveness to the step-like background brightness change decreases. Since the optimum value of α depends on the moving speed and the contrast of the object, it is difficult to always satisfy the condition of the background image.

【０００６】本発明は、上記従来技術の課題を解決する
もので、照度条件に依らず移動物体全体を正確に検出
し、対象物体を含む一連の画像データを記録することの
できる信頼性の高い画像監視装置を提供することを目的
とする。The present invention solves the above-mentioned problems of the prior art and is highly reliable in that it can accurately detect the entire moving object regardless of the illuminance condition and record a series of image data including the target object. An object is to provide an image monitoring device.

【０００７】[0007]

【課題を解決するための手段】上記課題を解決するため
に本発明は、撮像された画像データを記憶する入力画像
記憶手段と、監視区域の背景画像を記憶する基準画像記
憶手段と、入力画像と基準画像の差分画像を出力する差
分演算手段と、１フレーム前の物***置を比較し移動物
体を検出すると同時に、移動物体を除く領域の画素を入
力画像の値で更新する移動物体検出手段と、入力画像の
記録タイミングおよび記録された画像データの再生タイ
ミングを制御する記録再生制御手段と、画像データを記
録する記録手段と、記録要求および再生要求を受け前記
記録手段の記録形式に変換し書き込みおよび読み出しを
制御するインタフェース制御手段と、画像データを表示
し移動物体の検出結果を通報する表示手段とを設けたも
のである。これにより、照度条件に依らず移動物体全体
を正確に検出する事ができ、対象物体を含む監視区域の
一連の画像データを記録することができ、簡易でかつ信
頼性の高い画像監視装置を実現できる。In order to solve the above-mentioned problems, the present invention provides an input image storage means for storing imaged image data, a reference image storage means for storing a background image of a surveillance area, and an input image. And a difference calculation means for outputting a difference image between the reference image and a moving object detection means for comparing the object position of one frame before and detecting the moving object, and at the same time updating the pixels in the area excluding the moving object with the value of the input image. A recording / reproducing control means for controlling a recording timing of an input image and a reproducing timing of recorded image data; a recording means for recording image data; a recording request and a reproduction request; Also, interface control means for controlling reading and reading and display means for displaying image data and notifying a detection result of a moving object are provided. As a result, the entire moving object can be detected accurately regardless of the illuminance condition, and a series of image data of the monitoring area including the target object can be recorded, realizing a simple and reliable image monitoring device. it can.

【０００８】[0008]

【発明の実施の形態】本発明の請求項１記載の発明は、
監視区域を撮像し画像データを入力する撮像手段と、入
力画像データを記憶する入力画像記憶手段と、背景画像
を記憶する基準画像記憶手段と、入力画像と基準画像の
差分画像を出力する差分演算手段と、前記差分画像につ
いて１フレーム前の物***置との比較により移動物体を
検出し、同時に移動物体を除く領域の画素を入力画像の
値で更新する移動物体検出手段と、入力画像を表示し移
動物体の検出結果を通報する表示手段とを具備する画像
監視装置とを具備する画像監視装置としたものであり、
移動物体を検出すると同時に、移動物体以外の領域に関
して入力画像で基準の背景画像を毎フレーム更新し、基
準背景画像との差分により移動物体の全体像を正確に検
出できるという作用を有する。BEST MODE FOR CARRYING OUT THE INVENTION The invention according to claim 1 of the present invention is
Image pickup means for picking up the surveillance area and inputting image data, input image storage means for storing the input image data, reference image storage means for storing the background image, and difference calculation for outputting the difference image between the input image and the reference image Means and moving object detection means for detecting a moving object by comparing the position of the object one frame before with respect to the difference image, and at the same time updating pixels in a region excluding the moving object with the value of the input image, and displaying the input image. An image monitoring device including an image monitoring device including a display unit that reports a detection result of a moving object,
At the same time that the moving object is detected, the reference background image is updated every frame in the input image for the area other than the moving object, and the entire image of the moving object can be accurately detected by the difference from the reference background image.

【０００９】本発明の請求項２記載の発明は、監視区域
の画像データを入力する撮像手段と、入力画像データを
記憶する入力画像記憶手段と、背景画像を記憶する基準
画像記憶手段と、入力画像と基準画像の差分画像を出力
する差分演算手段と、前記差分画像について１フレーム
前の物***置との比較により移動物体を検出し、同時に
移動物体を除く領域の画素を入力画像の値で更新する移
動物体検出手段と、画像の記録と再生のタイミングを制
御する記録再生制御手段と、入力される画像データをフ
レーム毎に記録する記録手段と、記録再生要求受け記録
手段の記録形式に変換し書き込みおよび読み出しを制御
するインタフェース制御手段と、記録再生中の画像デー
タを表示し移動物体の検出結果を通報する表示手段とを
具備する画像監視装置としたものであり、移動物体を検
出したとき移動物体を含む一連のフレームを切り出して
記録し、監視区域に移動物体が存在する一連のフレーム
を再生し視認するもので、記録領域を削減し効率的な監
視作業が行えるという作用を有する。According to a second aspect of the present invention, the image pickup means for inputting the image data of the surveillance area, the input image storage means for storing the input image data, the reference image storage means for storing the background image, and the input A moving object is detected by comparing a difference calculation unit that outputs a difference image between the image and the reference image with the object position of the difference image one frame before, and at the same time, the pixels in the area excluding the moving object are updated with the values of the input image. The moving object detection means, the recording / reproduction control means for controlling the timing of recording and reproducing the image, the recording means for recording the input image data for each frame, and the recording format for the recording / reproduction request receiving / recording means. Image monitoring including interface control means for controlling writing and reading, and display means for displaying image data during recording and reproduction and notifying the detection result of a moving object When a moving object is detected, a series of frames including the moving object are cut out and recorded, and a series of frames in which the moving object exists in the surveillance area are reproduced and visually confirmed, reducing the recording area. It has an effect that efficient monitoring work can be performed.

【００１０】本発明の請求項３記載の発明は、移動物体
検出手段として、差分画像の２値化手段２値化手段と、
差分画像を記憶する差分画像記憶手段と、差分画像中の
物体領域を分離識別し、各物体の１フレーム前の位置と
比較し、移動物体か静止物体かを判定する動き判定手段
と、静止物体の領域を記憶する静止物体領域記憶手段
と、基準画像において移動物体を除く領域の画像データ
を更新する基準画像更新手段とを具備する画像監視装置
としたものであり、監視区域に侵入して停止した物体領
域と移動物体領域とを識別できるという作用を有する。According to a third aspect of the present invention, as a moving object detecting means, a differential image binarizing means and a binarizing means,
A differential image storage unit that stores a differential image, a motion determination unit that separates and identifies an object region in the differential image, compares it with the position of one frame before each object, and determines whether it is a moving object or a stationary object, and a stationary object. The image monitoring apparatus is provided with a stationary object area storage unit for storing the area, and a reference image updating unit for updating the image data of the area excluding the moving object in the reference image. This has the effect of distinguishing between the moved object area and the moving object area.

【００１１】本発明の請求項４記載の発明は、動き判定
処理が、現フレームの差分画像中の物体に対し前フレー
ムにおける物体と対応付けを行い、前フレームと同一の
物体には同一のラベルを与え、ラベルの与えられなかっ
た物体に対しては、新たにラベルを与え、全ラベル領域
の特徴量を算出し、前フレームと現フレームの物体の特
徴量の差から移動物体を検出し、所定のフレーム数連続
して静止している物体領域を記憶するもので、物体毎の
運動状態を検出できるという作用を有する。In the invention according to claim 4 of the present invention, the motion determination processing associates the object in the difference image of the current frame with the object in the previous frame, and the same label is attached to the same object as the previous frame. , A label is newly given to the object to which no label is given, the feature amount of the entire label area is calculated, and the moving object is detected from the difference between the feature amounts of the objects of the previous frame and the current frame, It stores an object region that is stationary for a predetermined number of frames in a row, and has the effect of detecting the motion state of each object.

【００１２】本発明の請求項５記載の発明は、動き判定
処理において、前フレームにおける各物体の重心位置に
対し、現フレーム上の各物体内との包含関係を検出し、
前フレームと現フレームの同一物体の対応付けを行うも
ので、簡易な処理で正確に物体の対応付けができるとい
う作用を有する。According to a fifth aspect of the present invention, in the motion determining process, the inclusion relation between the barycentric position of each object in the previous frame and each object in the current frame is detected,
Since the same objects in the previous frame and the current frame are associated with each other, there is an effect that the objects can be associated accurately with a simple process.

【００１３】本発明の請求項６記載の発明は、動き判定
処理において、静止領域の重心が移動したとき該記憶領
域をクリアするもので、静止物体が移動するとただちに
移動物体として検出でき、見逃しのない信頼性の高い監
視を行えるという作用を有する。According to a sixth aspect of the present invention, in the motion determination process, the storage area is cleared when the center of gravity of the stationary area moves, and when the stationary object moves, it can be immediately detected as a moving object, which is overlooked. It has the effect of enabling highly reliable monitoring.

【００１４】本発明の請求項７記載の発明は、動き判定
処理において、所定の面積に満たない領域は移動物体と
して通報しないようにするもので、監視区域における移
動物体の過検出を抑制できるという作用を有する。According to the seventh aspect of the present invention, in the motion determination process, an area less than a predetermined area is not notified as a moving object, and it is possible to suppress overdetection of the moving object in the monitoring area. Have an effect.

【００１５】本発明の請求項８記載の発明は、動き判定
処理において、各物体の特徴量として、重心、面積、外
接矩形を検出し、入力画像に外接矩形を重畳して表示す
るもので、監視対象の物体の運動状態を正確に検出し、
効率的に監視作業者に通報できるという作用を有する。According to an eighth aspect of the present invention, the center of gravity, the area, and the circumscribed rectangle are detected as the feature amount of each object in the motion determination process, and the circumscribed rectangle is superimposed on the input image and displayed. Accurately detect the motion state of the monitored object,
It has the effect of being able to efficiently notify the monitoring operator.

【００１６】以下、本発明の実施の形態について、図１
から図９を用いて説明する。 （実施の形態１）図１は、本発明の実施の形態１の画像
監視装置のブロック構成図を示す。図１において、１０
は画像データを入力する撮像手段、１１は前記画像デー
タを記憶する入力画像記憶手段、１２は基準となる背景
画像を記憶する基準画像記憶手段、１３は入力画像と背
景画像の差分画像を出力する差分演算手段、１４は前記
差分画像において１フレーム前の物***置との比較によ
り移動物体を検出する移動物体検出手段、１５は入力画
像を表示し移動物体の検出結果を通報する表示手段であ
る。FIG. 1 shows an embodiment of the present invention.
9 to 9 will be described. (Embodiment 1) FIG. 1 is a block diagram of an image monitoring apparatus according to Embodiment 1 of the present invention. In FIG. 1, 10
Is an image pickup means for inputting image data, 11 is an input image storage means for storing the image data, 12 is a reference image storage means for storing a background image serving as a reference, and 13 is a difference image between the input image and the background image. Difference calculating means, 14 is a moving object detecting means for detecting a moving object by comparing with the object position one frame before in the difference image, and 15 is a displaying means for displaying the input image and notifying the detection result of the moving object.

【００１７】以上のように構成された画像監視装置につ
いて、その動作を以下に具体的に説明する。撮像手段１
０により監視区域の濃淡画像を撮像し、入力画像記憶手
段１１に格納する。本発明の実施の形態１ではＣＣＤセ
ンサによるモノクロカメラを用い、６４０×４８０画素
の画像を入力する。入力画像記憶手段１１は、複数フレ
ームのバッファで構成し、リング状に記憶領域を使用し
連続するフレームを格納する。基準画像記憶手段１２
は、対象となる物体が存在しない１フレームの背景画像
を予め撮像し格納しておく。差分演算手段１３は、前記
入力画像と基準となる背景画像の差分の絶対値を演算
し、移動物体検出手段１４に転送する。移動物体検出手
段１４は、前フレームの差分画像における物***置を比
較し移動物体を検出するとともに、移動物体を除く領域
の画素を入力画像の値で置換し、背景画像を毎フレーム
更新する。表示手段１５は、入力画像に対し検出された
移動物体にマーカを重畳し表示する。The operation of the image monitoring apparatus configured as described above will be specifically described below. Imaging means 1
A grayscale image of the surveillance area is picked up by 0 and stored in the input image storage means 11. In the first embodiment of the present invention, a monochrome camera with a CCD sensor is used to input an image of 640 × 480 pixels. The input image storage means 11 is composed of a buffer of a plurality of frames and uses a storage area in a ring shape to store consecutive frames. Reference image storage means 12
, A one-frame background image in which the target object does not exist is captured and stored in advance. The difference calculation means 13 calculates the absolute value of the difference between the input image and the reference background image, and transfers it to the moving object detection means 14. The moving object detecting means 14 detects the moving object by comparing the object positions in the difference image of the previous frame, replaces the pixels in the area excluding the moving object with the value of the input image, and updates the background image every frame. The display unit 15 superimposes and displays a marker on the moving object detected in the input image.

【００１８】以下に移動物体検出手段１４について図２
を用いて更に詳細に説明する。図２において、２０は多
値画像を閾値処理し２値画像に変換する２値化手段、２
１は差分画像を記憶する差分画像記憶手段、２２は差分
画像中の個々の物体領域について移動物体か静止物体か
を判定する動き判定手段、２３は静止物体の領域を記憶
する静止物体領域記憶手段、２４は基準画像において移
動物体を除く領域の各画素の値を更新する基準画像更新
手段、２０１は差分検出手段１３からの差分画像デー
タ、２０２は入力画像記憶手段１１から読み出される多
値画像データ、２０３は差分画像記憶手段２１から読み
出される２値画像データ、２０５は新たに更新された基
準画像データ、２０６は移動物体の検出データである。The moving object detecting means 14 will be described below with reference to FIG.
Will be described in more detail. In FIG. 2, reference numeral 20 denotes a binarizing unit for performing threshold processing on a multi-valued image to convert it into a binary image, and 2.
Reference numeral 1 is a difference image storage means for storing a difference image, 22 is a motion determination means for determining whether each object area in the difference image is a moving object or a stationary object, and 23 is a still object area storage means for storing the area of the stationary object. Reference numeral 24 is a reference image updating means for updating the value of each pixel in the area excluding the moving object in the reference image, 201 is difference image data from the difference detecting means 13, and 202 is multi-valued image data read from the input image storage means 11. , 203 is binary image data read from the difference image storage means 21, 205 is newly updated reference image data, and 206 is moving object detection data.

【００１９】以上のように構成された移動物体検出手段
について、その動作を具体的に説明する。２値化手段２
０は、差分演算手段１３からの差分データを２値画像に
変換する。本発明の実施の形態１では、差分演算手段１
３からの多値画像データにおいて、注目位置の８近傍の
平均値を計算し、注目画素が平均値以上の値の場合該当
位置の２値化データは１、そうでない場合は該当位置の
２値化データは０としたもので、差分画像のコントラス
トの不均一な場合でも良好に２値化できる。The operation of the moving object detecting means configured as described above will be specifically described. Binarization means 2
0 converts the difference data from the difference calculation means 13 into a binary image. In the first embodiment of the present invention, the difference calculation means 1
In the multi-valued image data from 3, the average value of 8 neighborhoods of the target position is calculated, and if the target pixel is a value equal to or more than the average value, the binarized data of the corresponding position is 1, otherwise, the binary value of the corresponding position. The binarized data is set to 0, and can be favorably binarized even when the contrast of the difference image is not uniform.

【００２０】次に動き判定手段２２について図３から図
７を用いて説明する。図３および図４は動き判定手段２
２における移動物体の検出および静止物体領域の画像を
生成する手順を示すフロー図、図５はフレーム間におけ
る同一物体の検出を示す動作説明図、図６はラベリング
に用いる走査窓、図７は各ラベル領域の物体の状態、お
よび物体の形状特徴量を登録する物体登録テーブルを示
す。Next, the motion determining means 22 will be described with reference to FIGS. 3 to 7. 3 and 4 show the motion judging means 2
2 is a flow chart showing a procedure for detecting a moving object and generating an image of a stationary object region, FIG. 5 is an operation explanatory view showing detection of the same object between frames, FIG. 6 is a scanning window used for labeling, and FIG. 7 shows an object registration table for registering the state of an object in the label area and the shape feature amount of the object.

【００２１】まず図３のフロー図を参照しながらフレー
ム間で同一物体を検出し、各物体にラベルを与える手順
について説明する。 （手順１）ステップ３０１から３０５は、２つのフレー
ム間において物体を対応付ける手順である。ステップ３
０１において図７に示す物体登録テーブルを参照し、有
効フラグに基づき監視視野内に存在する物体を検索し、
各物体のラベルと重心位置を読み込み、ステップ３０２
において各ラベル毎に重心位置が現フ レーム中の物体
領域内にあるかどうかの判定を行う。図５に示すように
前フレームの物体領域の重心位置が現フレームの物体領
域内にあるときステップ３０３へ進み、現フレーム上に
おいて前フレームの重心位置に該当ラベルを与える。ス
テップ３０２の判定で現フレームの物体領域内に含まれ
ない場合はステップ３０４へ進み、図７に示す物体登録
テーブルの有効フラグをオフにする。以上の処理をテー
ブル上の前ラベルに関して実施し手順２へ進む。First, a procedure for detecting the same object between frames and giving a label to each object will be described with reference to the flowchart of FIG. (Procedure 1) Steps 301 to 305 are procedures for associating an object between two frames. Step 3
In 01, the object registration table shown in FIG. 7 is referred to, an object existing in the monitoring field of view is searched based on the valid flag,
Read the label and the position of the center of gravity of each object, and step 302
At, it is determined for each label whether the barycentric position is within the object area in the current frame. As shown in FIG. 5, when the barycentric position of the object area of the previous frame is within the object area of the current frame, the process proceeds to step 303, and a corresponding label is given to the barycentric position of the previous frame on the current frame. When it is determined in step 302 that the object is not included in the object area of the current frame, the process proceeds to step 304, and the valid flag of the object registration table shown in FIG. 7 is turned off. The above processing is executed for the previous label on the table and the process proceeds to step 2.

【００２２】（手順２）ステップ３０６から３１０は、
手順１において物体に与えたラベルをラスタ走査の正方
向に伝搬させる手順である。ステップ３０６において注
目位置を画像の左上端に設定し、以降１画素ずつ正方向
に走査していく。ステップ３０７は注目位置にラベルを
与えるかどうかを判定するステップであり、図６(a) に
示す走査窓により、既走査領域（Ｐ２〜Ｐ５の位置）に
有効ラベルが存在する場合ステップ３０８へ進み、注目
位置にそのラベルのと同一の値を与える。ステップ３０
７の判定で既走査領域に有効ラベルが存在しない場合
は、ステップ３０８をスキップしステップ３０９へ進
み、注目位置を１画素進める。以上の処理を１フレーム
の画像の走査を終了するまで繰り返し、手順３へ進む。(Procedure 2) Steps 306 to 310 are
This is a procedure for propagating the label given to the object in the procedure 1 in the positive direction of raster scanning. In step 306, the target position is set at the upper left corner of the image, and thereafter, the pixel is scanned in the forward direction pixel by pixel. Step 307 is a step of determining whether or not to give a label to the target position, and if there is an effective label in the already-scanned area (positions P2 to P5) by the scanning window shown in FIG. 6A, proceed to step 308. , Give the same value to the position of interest as that of the label. Step 30
If the effective label does not exist in the already-scanned area in the determination of step 7, step 308 is skipped, and the process proceeds to step 309 to advance the target position by one pixel. The above processing is repeated until the scanning of one frame of image is completed, and the procedure proceeds to step 3.

【００２３】（手順３）ステップ３１１から３１５は、
手順２の処理結果に対しラベルを逆走査方向に伝搬させ
る手順である。すなわちステップ３１１において注目位
置を画像の右下端に設定し、以降１画素ずつ逆方向に走
査していく。ステップ３１２は注目位置にラベルを与え
るかどうかを判定するステップであり、図６（ｂ）に示
す走査窓により、既走査領域（ｐ１およびｐ６〜ｐ８の
位置）に有効ラベルが存在する場合ステップ３１３へ進
み、注目位置にそのラベルのと同一の値を与える。ステ
ップ３１２の判定で既走査領域に有効ラベルが存在しな
い場合は、ステップ３１３をスキップしステップ３１４
へ進み、注目位置を１画素進める。以上の処理を１フレ
ームの画像の逆方向走査を終了するまで繰り返し、手順
４へ進む。(Procedure 3) Steps 311 to 315 are
This is a procedure for propagating the label in the reverse scanning direction with respect to the processing result of procedure 2. That is, in step 311, the attention position is set to the lower right corner of the image, and thereafter, the pixel is scanned in the reverse direction pixel by pixel. Step 312 is a step of determining whether or not to give a label to the position of interest. If an effective label exists in the already-scanned area (positions p1 and p6 to p8) by the scanning window shown in FIG. 6B, step 313. Proceed to and give the same value as the label to the position of interest. If the valid label does not exist in the already-scanned area as determined in step 312, step 313 is skipped and step 314 is executed.
Go to and advance the position of interest by one pixel. The above processing is repeated until the backward scanning of the image of one frame is completed, and the procedure proceeds to step 4.

【００２４】次に図４のフロー図を参照しながら各物体
について、移動物体の特徴量を算出し、移動物体か静止
物体かを判定する手順について説明する。 （手順４）ステップ４０１において、手順１〜３のにお
いてラベルが与えられなかった物体を検出し、新規のラ
ベルを与える。ステップ４０１のラベリング処理は、同
様に図６に示す窓走査で実現でき、公知の技術であるの
で説明は省略する。次にステップ４０２において、対象
物体の特徴量として面積、重心、および外接矩形を求め
る。すなわち同一ラベルの画素をカウントして面積を求
め、重心は同一ラベルの画素のＸ座標およびＹ座標の平
均値とする。外接矩形は同一ラベルの画素のＸ座標およ
びＹ座標を監視し、Ｘ座標の最小値Xminと最大値Xmax、
およびＹ座標の最小値Yminと最大値Ymaxを更新し、図５
に示すように対象物体に外接する矩形領域を検出する。Next, with reference to the flow chart of FIG. 4, the procedure for calculating the feature amount of a moving object for each object and determining whether it is a moving object or a stationary object will be described. (Procedure 4) In step 401, an object to which a label is not given in steps 1 to 3 is detected and a new label is given. Similarly, the labeling process of step 401 can be realized by the window scanning shown in FIG. 6 and is a known technique, so the description thereof will be omitted. Next, in step 402, the area, the center of gravity, and the circumscribed rectangle are obtained as the feature amount of the target object. That is, the pixels with the same label are counted to obtain the area, and the center of gravity is the average value of the X and Y coordinates of the pixels with the same label. The circumscribed rectangle monitors the X coordinate and Y coordinate of the pixel of the same label, and the minimum value Xmin and the maximum value Xmax of the X coordinate,
And the minimum value Ymin and maximum value Ymax of the Y coordinate are updated, and FIG.
A rectangular area circumscribing the target object is detected as shown in FIG.

【００２５】（手順５）ステップ４０３から４１３は手
順４で求めた各ラベルの物体の特徴量と、図７に示す物
体登録テーブルに登録されている特徴量を比較し、各ラ
ベルの物体が移動物体か静止物体かを判定する手順であ
る。ステップ４０３の判定で対象ラベルの重心位置と図
７のテーブルに登録されている重心位置の差分、すなわ
ち移動距離ｄが移動判定の閾値Ｄ以上のときステップ４
０８へ進み、対象物体の連続静止フレーム数のカウント
値を０とする。移動距離ｄが閾値Ｄ未満のときステップ
４０４へ進み、対象物体の連続静止フレーム数を１イン
クリメントし、ステップ４０５へ進む。ステップ４０５
の判定において静止カウント数が所定の閾値を越える場
合は、そのラベルの物体は静止物体と見なし、ステップ
４０６へ進み登録テーブル上の移動フラグをオフにす
る。静止物体と判定されたラベル領域について、ステッ
プ４０７において静止物体領域記憶手段２３の該当領域
にそのラベル値を書き込む。ステップ４０５の判定にお
いて連続静止フレーム数が閾値以下の場合はステップ４
１１へ進み、テーブル上の移動フラグをオンにする。ス
テップ４０３で移動物体と判定された場合、ステップ４
０８で静止フレーム数をリセットした後ステップ４０９
へ進み、対象物体が前のフレームで静止していたかどう
かを判定し、静止していた場合はステップ４１０へ進
み、静止物体領域記憶手段２３の該当ラベル領域のデー
タを０にクリアする。ステップ４１１は対象物体が移動
物体であるため、テーブル上の移動フラグをオンにする
ステップであり、続いてステップ４１２においてテーブ
ル上の対象物体の特徴量を更新する。以上の手続きをテ
ーブルに登録された全物体ついて実施する。(Procedure 5) Steps 403 to 413 compare the feature amount of the object of each label obtained in the procedure 4 with the feature amount registered in the object registration table shown in FIG. 7, and move the object of each label. This is a procedure for determining whether an object or a stationary object. When the difference between the barycentric position of the target label and the barycentric position registered in the table of FIG. 7, that is, the movement distance d is equal to or larger than the threshold D for movement determination in the determination in step 403, step 4
08, the count value of the number of continuous still frames of the target object is set to 0. When the moving distance d is less than the threshold value D, the process proceeds to step 404, the number of continuous still frames of the target object is incremented by 1, and the process proceeds to step 405. Step 405
If the still count number exceeds the predetermined threshold value in the judgment of No. 2, the object of that label is regarded as a stationary object, and the process proceeds to step 406, and the movement flag on the registration table is turned off. For the label area determined to be a stationary object, the label value is written in the corresponding area of the stationary object area storage unit 23 in step 407. If the number of continuous still frames is less than or equal to the threshold value in the determination in step 405, step 4
Proceeding to 11, the movement flag on the table is turned on. If it is determined to be a moving object in step 403, step 4
Step 409 after resetting the number of still frames in 08
Then, it is determined whether or not the target object is still in the previous frame, and if it is still, the process proceeds to step 410 and the data of the corresponding label area of the still object area storage means 23 is cleared to 0. In step 411, since the target object is a moving object, the movement flag on the table is turned on, and subsequently, in step 412, the feature amount of the target object on the table is updated. The above procedure is performed for all the objects registered in the table.

【００２６】以上の手順１から手順５の手続きにより、
移動物体と静止物体の識別がなされ、また新たに監視視
野に侵入した物体をテーブルに登録される。なお本発明
の実施の形態１では、図４のステップ４０２において差
分画像中の全ての孤立領域を対象として特徴量を算出
し、前記（手順５）に示す移動物体の判定を実施した
が、特徴量の演算結果面積の微小な領域は消去すること
により、対象物体をある程度の大きさ以上のものに限定
してもよい。また前記（手順１）のステップ３０４にお
いて前フレームに存在した重心位置が現フレームの物体
に含まれない場合、静止していた物体が移動または変形
したことを示すため、表示手段１５を介して警告を発す
ることにより、監視作業員の注意を促すことが可能であ
る。同様に（手順４）のステップ４０１において新たな
侵入物体を検出したとき警告を発することにより、同様
に監視作業員の注意を促すことも可能である。By the above procedure 1 to 5,
A moving object and a stationary object are discriminated from each other, and an object newly entering the surveillance field of view is registered in the table. In Embodiment 1 of the present invention, the feature amount is calculated for all isolated regions in the difference image in step 402 of FIG. 4, and the moving object determination shown in (Procedure 5) is performed. The target object may be limited to a certain size or more by erasing the minute area of the calculation result area of the amount. Further, if the position of the center of gravity existing in the previous frame is not included in the object of the current frame in step 304 of the above (Procedure 1), it indicates that the stationary object has moved or deformed, and a warning is issued via the display means 15. Is issued, it is possible to call the attention of the monitoring worker. Similarly, by issuing a warning when a new intruding object is detected in step 401 of (Procedure 4), it is possible to similarly call the attention of the monitoring worker.

【００２７】次に基準画像更新手段２４について図８を
用いて説明する。図８は基準画像更新手段２４の更新手
順を示すフロー図である。まずステップ８１で入力画像
データ２０２に対し、差分画像記憶手段２１からのデー
タ２０３、および静止物体領域記憶手段２３からのデー
タ２０４の入力画像データにおいて同じ走査位置のデー
タを読む。ステップ８２の判定で差分画像データ２０３
がオフのとき、およびステップ８４の判定で該当位置が
静止物体領域であるとき、ステップ８３へ進み、入力画
像データ２０２の値を用いて基準画像記憶手段１２の値
を更新する。Next, the reference image updating means 24 will be described with reference to FIG. FIG. 8 is a flowchart showing the updating procedure of the reference image updating means 24. First, in step 81, with respect to the input image data 202, the data at the same scanning position is read in the input image data of the data 203 from the difference image storage means 21 and the data 204 from the stationary object area storage means 23. Difference image is determined in step 82 Zode over data 203
When is off, and when it is determined in step 84 the corresponding position is a stationary object region, the process proceeds to step 83, it updates the value of the reference image storage means 12 by using the value of the input image data 202.

【００２８】以下図９を用いて入力画像、基準画像、差
分画像、静止物体領域の動作関係について説明する。図
９は監視区域に複数の物体が存在するときの模式図であ
る。図９(a0)〜(f0)は監視区域の基準背景画像の模式
図、同図(b1)〜(f1)は入力画像の模式図、同図(b2)〜(f
2)は基準背景画像と入力画像の差分画像の模式図、同図
(b3)〜(f3)は監視区域に侵入し静止した物体領域の模式
図である。(b1)に示すように車両９１と人物９２が監視
区域に侵入した場合、差分画像(b2)に対応する物体領域
が出現する。続いて(c1)は車両９１が停止した形態を示
すもので、停止してから一定フレーム数経過すると(d3)
に示すように静止物体領域として検出される。続いて(d
1)は停止した車両９１の手前を人物９２が通過する形態
を示しており、静止物体領域が基準背景画像に上書き更
新された結果、差分画像(d2)には人物９２のみが検出さ
れる。続いて(e1)は静止していた車両９１が再び移動を
する形態を示すもので、差分画像(e2)は更新された背景
との差分が現れるため実際の移動物体の領域を検出する
ことはできないが、次フレームでは(f3)に示すように静
止物体領域はクリアされるため、直ちに移動物体のみを
検出することができる。以上のように監視区域内で物体
が静止と移動を反復しても、入力画像データを用いて、
直ちに基準背景画像を更新することにより正確な背景差
分画像を得ることができる。The operation relationship between the input image, the reference image, the difference image, and the stationary object area will be described below with reference to FIG. FIG. 9 is a schematic diagram when a plurality of objects exist in the surveillance area. 9 (a0) to (f0) are schematic diagrams of reference background images of the monitoring area, (b1) to (f1) are schematic diagrams of input images, and (b2) to (f) of FIG.
2) is a schematic diagram of the difference image between the reference background image and the input image,
(b3) to (f3) are schematic diagrams of an object region that has entered the surveillance area and is stationary. As shown in (b1), when the vehicle 91 and the person 92 enter the surveillance area, an object area corresponding to the difference image (b2) appears. Subsequently, (c1) shows a state in which the vehicle 91 has stopped, and when a certain number of frames have elapsed since the vehicle stopped (d3)
It is detected as a stationary object area as shown in. Then (d
1) shows a form in which the person 92 passes in front of the stopped vehicle 91. As a result of the static object area being overwritten and updated on the reference background image, only the person 92 is detected in the difference image (d2). Subsequently, (e1) shows a mode in which the stationary vehicle 91 moves again, and the difference image (e2) shows a difference from the updated background, so that the area of the actual moving object cannot be detected. Although not possible, in the next frame, the still object area is cleared as shown in (f3), so that only the moving object can be immediately detected. Even if the object repeats stationary and moving in the surveillance area as described above, using the input image data,
An accurate background difference image can be obtained by immediately updating the reference background image.

【００２９】表示手段１５は、移動物体検出手段１４か
らの物体登録テーブルを参照し、移動フラグがオンの物
体の位置座標Xmin、Xmax、Ymin、Ymaxを用いて、入力画
像に外接矩形を重畳し表示することにより、監視区域に
侵入する物体を自動的に検出し監視作業員に通報するこ
とができる。The display means 15 refers to the object registration table from the moving object detection means 14 and superimposes a circumscribed rectangle on the input image using the position coordinates Xmin, Xmax, Ymin, Ymax of the object whose movement flag is ON. By displaying, it is possible to automatically detect an object that enters the surveillance area and notify the surveillance worker.

【００３０】（実施の形態２）図１０は、本発明の実施
の形態２の画像監視装置のブロック構成図を示す。図１
において、１００は画像データを入力する撮像手段、１
０１は前記画像データを記憶する入力画像記憶手段、１
０２は基準となる背景画像を記憶する基準画像記憶手
段、１０３は入力画像と背景画像の差分画像を出力する
差分演算手段、１０４は前記差分画像において１フレー
ム前の物***置との比較により移動物体を検出する移動
物体検出手段、１０５は入力画像または再生画像を表示
する表示手段、１０６は入力画像の記録および記録され
た画像の再生を制御する記録再生制御手段、１０８は入
力される画像データをフレーム毎に記録する記録手段、
記録要求および再生要求を受け、１０７は記録形式にデ
ータを変換し書き込みおよび読み出しを制御するインタ
フェース制御手段である。(Second Embodiment) FIG. 10 shows a block diagram of an image monitoring apparatus according to the second embodiment of the present invention. Figure 1
In FIG. 1, 100 is an image pickup means for inputting image data, and 1
01 is an input image storage means for storing the image data, and 1
Reference numeral 02 is a reference image storage unit that stores a reference background image, 103 is a difference calculation unit that outputs a difference image between the input image and the background image, and 104 is a moving object by comparing the object position of one frame before in the difference image. A moving object detection means for detecting the input image, a display means for displaying the input image or the reproduced image, a recording / reproduction control means for controlling the recording of the input image and a reproduction of the recorded image, and a reference numeral 108 for the input image data. Recording means for recording every frame,
In response to the recording request and the reproducing request, 107 is an interface control means for converting data into a recording format and controlling writing and reading.

【００３１】以上のように構成された画像監視装置にお
いて、撮像手段１００、入力画像記憶手段１０１、基準
画像記憶手段１０２、差分演算手段１０３、移動物体検
出手段１０４、表示手段１０５は、本発明の実施の形態
１と同等であり説明は省略する。以下では記録再生制御
手段１０６について、その動作を説明する。移動物体検
出手段１０４において入力画像データ中に移動物体を検
出すると、インタフェース制御手段１０７に対し記録要
求を発行し、入力画像データをフレーム単位でＨＤＤ等
のブロックアクセスデバイスで構成される記録手段１０
８に記録する。したがって、移動物体が含まれるフレー
ムのみ記録されることになり、再生時に視認の必要のな
い画像を監視する必要がなく、効率的に監視作業を行え
る。In the image monitoring apparatus configured as described above, the image pickup means 100, the input image storage means 101, the reference image storage means 102, the difference calculation means 103, the moving object detection means 104, and the display means 105 of the present invention. Since this is the same as the first embodiment, the description thereof will be omitted. The operation of the recording / reproduction control means 106 will be described below. When the moving object detection unit 104 detects a moving object in the input image data, it issues a recording request to the interface control unit 107 and records the input image data in units of frames by a block access device such as an HDD.
Record at 8. Therefore, only the frame including the moving object is recorded, and it is not necessary to monitor an image that is not required to be visually recognized during reproduction, and the monitoring work can be efficiently performed.

【００３２】以上のように、本発明の実施の形態１およ
び２によれば、第１に、入力画像と背景画像の差分を演
算し、差分画像から対象物体を検出し、１フレーム前の
物***置との比較により移動物体を検出し、同時に移動
物体を除く領域の画素を入力画像で更新することによ
り、毎フレーム正確な背景画像が得られ移動物体全体を
正確に検出できるという効果が得られる。As described above, according to the first and second embodiments of the present invention, firstly, the difference between the input image and the background image is calculated, the target object is detected from the difference image, and the object one frame before is detected. By detecting the moving object by comparing with the position and updating the pixels of the area excluding the moving object with the input image at the same time, an accurate background image can be obtained for each frame, and the entire moving object can be accurately detected. .

【００３３】第２に、入力画像と背景画像の差分を演算
し、差分画像から対象物体を検出し、１フレーム前の物
***置との比較により移動物体を検出し、同時に移動物
体を除く領域の画素を入力画像で更新することにより、
毎フレーム正確な背景画像が得られ移動物体全体を正確
に検出でき、同時に移動物体を検出するとそのフレーム
を含む一連の画像データを記録することにより、記録領
域を削減できるというという効果が得られる。Secondly, the difference between the input image and the background image is calculated, the target object is detected from the difference image, the moving object is detected by comparison with the object position one frame before, and at the same time the area excluding the moving object is detected. By updating the pixels with the input image,
An accurate background image can be obtained for each frame, the entire moving object can be accurately detected, and when a moving object is detected at the same time, a series of image data including the frame is recorded, so that the recording area can be reduced.

【００３４】第３に、移動物体検出手段が、差分画像中
の物体領域を分離識別し、各物体の１フレーム前の物体
と対応付け、各物体毎に移動物体か静止物体かを判定す
ることにより、移動物体のみを正確に検出できるという
効果が得られる。Thirdly, the moving object detecting means separates and identifies the object area in the difference image, associates it with the object one frame before each object, and judges for each object whether it is a moving object or a stationary object. As a result, the effect that only a moving object can be accurately detected is obtained.

【００３５】第４に、動き判定処理において、全ラベル
領域の特徴量を算出し、前フレームと現フレームの物体
の特徴量の差から移動物体を検出し、所定のフレーム数
連続して静止する領域は背景画像を更新することによ
り、停止した物体の前を移動する移動物体を記憶するも
ので、物体毎の運動状態を検出できるという効果が得ら
れる。Fourthly, in the motion determination process, the feature amount of all the label areas is calculated, the moving object is detected from the difference between the feature amounts of the objects of the previous frame and the current frame, and the moving object is continuously stopped for a predetermined number of frames. The area stores a moving object that moves in front of the stopped object by updating the background image, and the effect that the motion state of each object can be detected is obtained.

【００３６】第５に、動き判定処理において、前フレー
ムにおける各物体の重心位置に対し、現フレーム上の各
物体内との包含関係を検出し、前フレームと現フレーム
の同一物体の対応付けを行うことにより、簡易な処理で
正確な物体の対応付けができるという効果が得られる。Fifth, in the motion determination processing, the inclusion relation between each object on the current frame and the center of gravity of each object on the previous frame is detected, and the same object on the previous frame and the current frame are associated with each other. By doing so, it is possible to obtain an effect that accurate objects can be associated with each other by simple processing.

【００３７】第６に、動き判定処理において、静止物体
領域が移動したとき該静止物体の記憶領域をクリアする
ことにより、静止していた物体が移動すると直ちに移動
物体として検出でき、見逃しのない信頼性の高い監視を
行えるという効果を有する。Sixth, in the motion determination process, when the stationary object area moves, the storage area of the stationary object is cleared, so that the stationary object can be immediately detected as a moving object, and the reliability cannot be overlooked. This has the effect of enabling highly reliable monitoring.

【００３８】第７に、動き判定処理において、所定の面
積に満たない領域は移動物体として通報しないことによ
り、移動物体の過検出を抑制できるという効果が得られ
る。Seventhly, in the motion determination process, the region less than the predetermined area is not reported as a moving object, so that it is possible to suppress the excessive detection of the moving object.

【００３９】第８に、動き判定処理において、各物体の
特徴量として、重心、面積、外接矩形を検出し、入力画
像に外接矩形を重畳して表示することにより、対象物体
の移動状態を正確に検出でき、効率的に監視作業者に通
報できるという効果が得られる。Eighth, in the motion determination process, the center of gravity, the area, and the circumscribed rectangle are detected as the feature amount of each object, and the circumscribed rectangle is superimposed and displayed on the input image, so that the moving state of the target object is accurately determined. Therefore, it is possible to effectively detect and notify the monitoring worker.

【００４０】[0040]

【発明の効果】以上のように、本発明は、入力画像と背
景画像との差分をとり、差分画像に対しラベリングし、
各ラベル領域毎に重心位置を求め、前フレームの重心と
比較し、所定値以上の距離を有する場合移動物体と判定
し、所定のフレーム数を越えて停止している物体は静止
物体とし、その静止領域は背景画像として更新すること
により、監視区域に物体が進入し静止した場合でも、他
の移動物体の位置および全体像を正確に検出することが
でき、また静止物体が移動しても、背景が即更新され、
物体の全体像を直ちに検出することができるので、信頼
性の高い画像監視装置が実現できる。As described above, the present invention takes the difference between the input image and the background image and labels the difference image,
Obtain the barycentric position for each label area, compare it with the barycenter of the previous frame, determine that it is a moving object if it has a distance of a predetermined value or more, and the object stopped over a predetermined number of frames is a stationary object, By updating the stationary area as a background image, the position and overall image of other moving objects can be accurately detected even when an object enters the surveillance area and becomes stationary, and even when the stationary object moves, The background is updated immediately,
Since the entire image of the object can be detected immediately, a highly reliable image monitoring device can be realized.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施の形態１における画像監視装置の
ブロック結線図FIG. 1 is a block connection diagram of an image monitoring device according to a first embodiment of the present invention.

【図２】同実施の形態１の画像監視装置における移動物
体検出手段のブロック結線図FIG. 2 is a block connection diagram of a moving object detecting means in the image monitoring apparatus according to the first embodiment.

【図３】同実施の形態１の画像監視装置におけるラベリ
ング処理手順を示すフロー図FIG. 3 is a flowchart showing a labeling processing procedure in the image monitoring apparatus according to the first embodiment.

【図４】同実施の形態１の画像監視装置における動き判
定手段の処理手順を示すフロー図FIG. 4 is a flowchart showing a processing procedure of a motion determining unit in the image monitoring apparatus according to the first embodiment.

【図５】同実施の形態１の画像監視装置におけるラベリ
ング処理の概念図FIG. 5 is a conceptual diagram of labeling processing in the image monitoring apparatus according to the first embodiment.

【図６】同実施の形態１の画像監視装置におけるラベリ
ング処理の走査窓を示す模式図FIG. 6 is a schematic diagram showing a scanning window of labeling processing in the image monitoring apparatus according to the first embodiment.

【図７】同実施の形態１の画像監視装置における監視視
野内の物体を登録するテーブル構造を示す模式図FIG. 7 is a schematic diagram showing a table structure for registering an object within a monitoring field of view in the image monitoring apparatus according to the first embodiment.

【図８】同実施の形態１の画像監視装置における基準画
像更新手段の処理手順を示すフロー図FIG. 8 is a flowchart showing a processing procedure of reference image updating means in the image monitoring apparatus according to the first embodiment.

【図９】同実施の形態１の画像監視装置における動作の
具体例を示す模式図FIG. 9 is a schematic diagram showing a specific example of the operation of the image monitoring apparatus according to the first embodiment.

【図１０】同実施の形態２の画像監視装置のブロック結
線図FIG. 10 is a block connection diagram of the image monitoring apparatus according to the second embodiment.

【符号の説明】[Explanation of symbols]

１０ 撮像手段 １１ 入力画像記憶手段 １２ 差分画像記憶手段 １３ 差分演算手段 １４ 移動物体検出手段 １５ 表示手段 ２０ ２値化手段 ２１ 差分画像記憶手段 ２２ 動き判定手段 ２３ 静止物体領域記憶手段 ２４ 基準画像更新手段 ５１ 第ｎフレーム ５２ ラベルＬの物体 ５３ 前フレームの重心位置 １００ 撮像手段 １０１ 入力画像記憶手段 １０２ 差分画像記憶手段 １０３ 差分演算手段 １０４ 移動物体検出手段 １０５ 表示手段 １０６ 記録再生制御手段 １０７ インタフェース制御手段 １０８ 記録手段 ２０１ 差分画像データ ２０２ 入力画像データ ２０３ 差分画像の２値データ ２０４ 静止物体領域の２値データ ２０５ 背景更新データ ２０６ 物体登録データ 10 Imaging means 11 input image storage means 12 Difference image storage means 13 Difference calculation means 14 Moving object detection means 15 Display means 20 Binarization means 21 Difference Image Storage Means 22 Motion determination means 23 stationary object area storage means 24 Reference image updating means 51 nth frame 52 object with label L 53 Center of gravity of previous frame 100 imaging means 101 input image storage means 102 differential image storage means 103 Difference calculation means 104 Moving object detecting means 105 display means 106 recording / reproducing control means 107 interface control means 108 recording means 201 Difference image data 202 Input image data 203 Binary data of difference image 204 Binary data of stationary object area 205 background update data 206 Object registration data

Claims (8)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 監視区域を撮像し量子化された画像デー
タを入力する撮像手段と、前記画像データを記憶する入
力画像記憶手段と、監視区域の背景画像を記憶する基準
画像記憶手段と、入力画像と基準画像の差分画像を出力
する差分演算手段と、前記差分画像について１フレーム
前の物***置との比較により移動物体を検出し、同時に
移動物体を除く領域の画素を入力画像の値で更新する移
動物体検出手段と、入力画像を表示し移動物体の検出結
果を通報する表示手段とを具備する画像監視装置。1. An image pickup means for picking up an image of a surveillance area and inputting quantized image data, an input image storage means for storing the image data, a reference image storage means for storing a background image of the surveillance area, and an input. A moving object is detected by comparing a difference calculation unit that outputs a difference image between the image and the reference image with the object position of the difference image one frame before, and at the same time, the pixels in the area excluding the moving object are updated with the values of the input image. An image monitoring apparatus comprising: a moving object detection unit that displays the input image and a display unit that displays an input image and reports the detection result of the moving object. 【請求項２】 監視区域を撮像し量子化された画像デー
タを入力する撮像手段と、前記画像データを記憶する入
力画像記憶手段と、監視区域の背景画像を記憶する基準
画像記憶手段と、入力画像と基準画像の差分画像を出力
する差分演算手段と、前記差分画像について１フレーム
前の物***置との比較により移動物体を検出し、同時に
移動物体を除く領域の画素を入力画像の値で更新する移
動物体検出手段と、入力画像の記録タイミングと記録さ
れた画像データの再生タイミングを制御する記録再生制
御手段と、入力される画像データをフレーム毎に記録す
る記録手段と、前記記録再生制御手段からの記録要求お
よび再生要求を受け、前記記録手段の記録形式に変換し
書き込みおよび読み出しを制御するインタフェース制御
手段と、前記記録再生制御手段からの画像データを表示
し移動物体の検出結果を通報する表示手段とを具備する
画像監視装置。2. An image pickup means for picking up an image of a surveillance area and inputting quantized image data, an input image storage means for storing the image data, a reference image storage means for storing a background image of the surveillance area, and an input. A moving object is detected by comparing a difference calculation unit that outputs a difference image between the image and the reference image with the object position of the difference image one frame before, and at the same time, the pixels in the area excluding the moving object are updated with the values of the input image. Moving object detection means, recording / reproduction control means for controlling the recording timing of the input image and reproduction timing of the recorded image data, recording means for recording the input image data frame by frame, and the recording / reproduction control means. Receiving a recording request and a reproducing request from the recording means, converting into a recording format of the recording means and controlling writing and reading, and an interface control means. An image monitoring apparatus comprising: a display unit that displays image data from the live control unit and notifies the detection result of a moving object. 【請求項３】 移動物体検出手段は、差分画像記憶手段
からの画信号を閾値処理し２値画像に変換する２値化手
段と、差分画像を記憶する差分画像記憶手段と、差分画
像中の物体領域を分離識別し、個々の物体領域について
１フレーム前の位置と比較し、移動物体か静止物体かを
判定する動き判定手段と、静止物体の領域を記憶する静
止物体領域記憶手段と、基準画像において移動物体を除
く領域の各画素の値を更新する基準画像更新手段とを具
備することを特徴とする請求項１または２記載の画像監
視装置。3. The moving object detecting means includes a binarizing means for thresholding the image signal from the difference image storing means and converting it into a binary image, a difference image storing means for storing the difference image, and a difference image storing means for storing the difference image. A motion determining unit that separates and identifies an object region, compares each object region with the position of one frame before, and determines a moving object or a stationary object; a stationary object region storage unit that stores the region of the stationary object; The image monitoring apparatus according to claim 1, further comprising a reference image updating unit that updates a value of each pixel in an area excluding a moving object in the image. 【請求項４】 動き判定手段は、現フレームの差分画像
中の物体に対し前フレームにおける物体と対応付けるス
テップと、現フレームの差分画像を正方向に走査しラベ
ルを付加するステップと、現フレームの差分画像を逆方
向に走査しラベルを付加するステップと、前記までのス
テップでラベルの与えられなかった物体に対し新規のラ
ベルを与え、全ラベル領域の特徴量を算出するステップ
と、前フレームでの各物体と、対応する現フレームの物
体との特徴量の差から移動物体を検出し、所定のフレー
ム数連続して静止している物体領域を記憶するステップ
による動き判定処理を行う請求項１から３のいずれかに
記載の画像監視装置。4. The motion determining means associates the object in the difference image of the current frame with the object in the previous frame, scans the difference image of the current frame in the forward direction and adds a label, and Scan the difference image in the reverse direction and add a label, give a new label to the object that was not labeled in the previous steps, calculate the feature amount of the entire label area, and in the previous frame A moving object is detected from the difference in the feature amount between each object in FIG. 1 and the corresponding object in the current frame, and the motion determination process is performed by the step of storing a stationary object area continuously for a predetermined number of frames. The image monitoring device according to any one of 1 to 3. 【請求項５】 動き判定処理において、前フレームの差
分画像と現フレームの差分画像間の同一物体の対応付け
は、前フレームにおける各物体の重心位置に対し、現フ
レーム上の各物体内との包含関係を検出することを特徴
とする請求項４記載の画像監視装置。5. In the motion determination process, associating the same object between the difference image of the previous frame and the difference image of the current frame is performed such that the barycentric position of each object in the previous frame corresponds to the inside of each object in the current frame. The image monitoring apparatus according to claim 4, wherein the inclusion relationship is detected. 【請求項６】 動き判定処理において、静止物体が移動
したときただちに該静止物体の記憶領域をクリアするこ
とを特徴とする請求項４記載の画像監視装置。6. The image monitoring apparatus according to claim 4, wherein in the motion determination process, the storage area of the stationary object is cleared immediately when the stationary object moves. 【請求項７】 動き判定処理において、所定の面積に満
たない領域は移動物体として通報しないことを特徴とす
る請求項４記載の画像監視装置。7. The image monitoring apparatus according to claim 4, wherein in the motion determination process, a region less than a predetermined area is not notified as a moving object. 【請求項８】 動き判定処理において、算出する各物体
の特徴量は、重心、面積、外接矩形であり、表示手段は
動き判定手段からの外接矩形を入力画像に重畳して表示
することを特徴とする請求項１から４のいずれかに記載
の画像監視装置。8. A feature quantity of each object to be calculated in the motion determination processing is a center of gravity, an area, and a circumscribed rectangle, and the display means displays the circumscribed rectangle from the motion determiner by superimposing it on the input image. The image monitoring device according to any one of claims 1 to 4.