JP2002074370A - System and method for monitoring based on moving image and computer readable recording medium - Google Patents
System and method for monitoring based on moving image and computer readable recording mediumInfo
- Publication number
- JP2002074370A JP2002074370A JP2000257936A JP2000257936A JP2002074370A JP 2002074370 A JP2002074370 A JP 2002074370A JP 2000257936 A JP2000257936 A JP 2000257936A JP 2000257936 A JP2000257936 A JP 2000257936A JP 2002074370 A JP2002074370 A JP 2002074370A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- moving
- images
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Audible And Visible Signals (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、移動するカメラで
撮影した動画像を用いて監視対象の物体の動きを監視す
る監視システムに関し、例えば、火災や走行車両等の監
視に用いて好適なものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a monitoring system for monitoring the movement of an object to be monitored by using a moving image captured by a moving camera, and is suitable for monitoring, for example, a fire or a running vehicle. It is.
【０００２】[0002]
【従来の技術】従来、落石、侵入物体、走行車両などの
高速運動する移動物体を監視する場合は、接触センサか
らの検出信号やビデオカメラからの動画像を処理するこ
とにより行われている。接触センサによる監視は、セン
サを設置した特定のポイントのみの監視に止まるのに対
し、ビデオカメラからの動画像による監視は撮影エリア
全体を監視できる利点がある。2. Description of the Related Art Conventionally, when monitoring a moving object that moves at a high speed, such as a falling rock, an intruding object, or a traveling vehicle, it is performed by processing a detection signal from a contact sensor or a moving image from a video camera. Monitoring with a contact sensor stops at only a specific point where the sensor is installed, whereas monitoring with a moving image from a video camera has the advantage that the entire shooting area can be monitored.
【０００３】従来の動画像による監視システムにおいて
は、連続する２フレーム画像間の動きベクトル（オプテ
ィカルフロー）を推定し、この動きベクトルを解析する
ことにより、落石や侵入物体、車両等の面積、形状を求
め、これに基づいて異常な動き、即ち、監視対象物体の
有無を検出するようにしている。In a conventional moving image monitoring system, a motion vector (optical flow) between two consecutive frame images is estimated, and the motion vector is analyzed to obtain the area and shape of a falling rock, an intruding object, a vehicle, or the like. , And an abnormal movement, that is, the presence or absence of the monitoring target object is detected based on this.
【０００４】また、監視エリアへの侵入物体や火災等の
異常を検出する監視システムにおいては、一般に監視エ
リア内でカメラを首振り式に移動させながら監視を行う
ようにしている。In a surveillance system for detecting an abnormality such as an intruding object or a fire in the surveillance area, the surveillance is generally performed while the camera is swung in the surveillance area.
【０００５】[0005]
【発明が解決しようとする課題】カメラを固定したまま
監視を行うシステムの場合は、上述のように動きベクト
ルを解析することにより、監視対象物体を自動的に検出
する技術が従来から存在している。しかしながら、カメ
ラを首振り式に移動させながら監視を行うシステムの場
合は、動画像中の背景が常に動いているので、動きベク
トル（オプティカルフロー）に基づいて背景の動きか移
動物体の動きかを識別することが困難である。このた
め、カメラを動かしながら画像中の移動物体を自動的に
検出する技術は未だ確立されていないのが現状である。
従って、従来はカメラの撮影画像を常に目視により監視
するか、あるいはその記録画像から目視により監視する
しか方法がなかった。In the case of a system in which monitoring is performed while a camera is fixed, there has conventionally been a technique for automatically detecting a monitoring target object by analyzing a motion vector as described above. I have. However, in the case of a system that performs monitoring while moving the camera in a swinging manner, the background in the moving image is always moving, and therefore, it is determined whether the movement of the background or the moving object is based on the motion vector (optical flow). Difficult to identify. For this reason, a technology for automatically detecting a moving object in an image while moving a camera has not yet been established.
Therefore, conventionally, there has been no other method than always monitoring the image captured by the camera visually or monitoring the recorded image visually.
【０００６】また、カメラを固定して監視を行うシステ
ムの場合でも、監視対象である移動物体の色が単一色で
ある場合は、背景濃度との差が明確な移動物体の輪郭部
のみに動きベクトルが検出され、移動物体の内側では動
きベクトルが検出できず、空隙が発生するという問題が
あった。Further, even in a system in which monitoring is performed with a camera fixed, if the color of a moving object to be monitored is a single color, the moving object moves only to the outline of the moving object whose difference from the background density is clear. A vector is detected, and a motion vector cannot be detected inside a moving object, which causes a problem that a gap is generated.
【０００７】また、移動物体の挙動によっては反射光量
が変化し、移動物体の輪郭部分でも一部背景との濃度差
がなくなり、動きベクトルが検出されないことがあっ
た。このように自然環境下での監視システムにおいて
は、複雑な背景濃度や日陰、陰影等による反射光量の変
動があり、動きベクトルの非連結の問題が多く発生して
いた。このため、正しい動きベクトルが検出できず、そ
の結果、移動物体の面積が推定できなくなったり、ま
た、１個の移動物体が複数個であると誤検出されてしま
う等の問題があった。In addition, the amount of reflected light changes depending on the behavior of the moving object, and even at the outline of the moving object, the difference in density from the background partially disappears, and a motion vector may not be detected. As described above, in a monitoring system in a natural environment, there is a problem in that the amount of reflected light fluctuates due to complicated background density, shading, shading, and the like, and many motion vectors are not connected. For this reason, a correct motion vector cannot be detected, and as a result, the area of the moving object cannot be estimated, or there is a problem that a plurality of one moving object is erroneously detected.
【０００８】また、動きベクトル（オプティカルフロ
ー）は微分量の扱いであるため、監視画像に含まれるノ
イズ成分に極めて敏感であり、誤検出の原因になってい
た。[0008] Further, since the motion vector (optical flow) is treated as a differential amount, it is extremely sensitive to a noise component contained in the monitoring image, which has caused an erroneous detection.
【０００９】また、インターレース走査する２フレーム
の画像信号を用いて動きベクトルを検出するため、偶数
ラインと奇数ラインの時間差により走査線方向に短冊形
あるいはギザギザ等のズレ変形が生じ、これが空間勾配
に影響を与え、移動物体の推定速度に誤差をもたらす原
因となっていた。In addition, since a motion vector is detected by using two frames of image signals interlaced, a time difference between an even line and an odd line causes a rectangular or jagged shift in the scanning line direction, which causes a spatial gradient. This causes an error in the estimated speed of the moving object.
【００１０】さらに、屋外においては、木々が揺れた
り、天気が変わったり、鳥が飛ぶというような様々な自
然な正常な動きが存在する。これらの正常な動きと移動
物体の異常な動きとを精度良く識別することは、従来の
フレーム間画像の動きベクトル解析では難しい。そのた
め、従来の動画像による監視は屋外監視には不向きであ
った。Furthermore, outdoors, there are various natural normal movements such as shaking trees, changing weather, and flying birds. It is difficult to accurately distinguish between these normal movements and abnormal movements of the moving object by the conventional motion vector analysis of the inter-frame image. Therefore, the conventional monitoring using a moving image is not suitable for outdoor monitoring.
【００１１】従って、本発明の目的は、カメラを動かし
ながら監視を行う監視システムにおいて、監視対象の移
動物体を自動的に精度良く検出できるようにすることを
目的としている。Therefore, an object of the present invention is to enable a monitoring system that performs monitoring while moving a camera to automatically and accurately detect a moving object to be monitored.
【００１２】[0012]
【課題を解決するための手段】上記の目的を達成するた
めに、本発明は、監視エリアを移動撮影するカメラから
得られる動画像を分析することにより監視エリア内で目
的の動きをする物体の有無を判断する監視システムであ
って、前記動画像に含まれる時間的に異なる２つの画像
から、画像内の各画素の動きベクトルを計算するベクト
ル計算手段と、前記動きベクトルに基づいて前記２つの
画像における背景が一致するように２つの画像の位置合
わせを行う位置合わせ手段と、前記位置合わせされた２
つの画像から計算された動きベクトルに基づいて前記目
的の動きをする物体物体の有無を検出する検出手段とを
設けた監視システムを提供する。In order to achieve the above object, the present invention analyzes a moving image obtained from a camera for moving and photographing a surveillance area to detect an object moving in a surveillance area. A monitoring system for determining presence / absence, comprising: a vector calculation unit configured to calculate a motion vector of each pixel in an image from two temporally different images included in the moving image; and the two based on the motion vector. Positioning means for positioning the two images so that the backgrounds in the images coincide with each other;
And a detecting means for detecting the presence or absence of the object moving with the target based on a motion vector calculated from two images.
【００１３】また、本発明は、監視エリアを移動撮影す
るカメラから得られる動画像を分析することにより監視
エリア内で目的の動きをする物体の有無を判断する監視
方法であって、前記動画像に含まれる時間的に異なる２
つの画像から、画像内の各画素の動きベクトルを計算す
るベクトル計算手順と、前記動きベクトルに基づいて前
記２つの画像における背景が一致するように２つの画像
の位置合わせを行う位置合わせ手順と、前記位置合わせ
された２つの画像から計算された動きベクトルに基づい
て前記目的の動きをする物体の形状、面積を推定するこ
とにより前記物体の有無を検出する検出手順とを含む監
視方法を提供する。[0013] The present invention also relates to a surveillance method for judging the presence or absence of an object that moves in the surveillance area by analyzing a moving image obtained from a camera that moves and photographs the surveillance area. Included in time 2
A vector calculation procedure of calculating a motion vector of each pixel in the image from the two images, an alignment procedure of aligning the two images based on the motion vector such that the backgrounds of the two images match, A detection procedure for detecting the presence or absence of the object by estimating the shape and area of the object performing the target movement based on the motion vector calculated from the two aligned images. .
【００１４】また、本発明は、監視エリアを移動撮影す
るカメラから得られる動画像を分析することにより監視
エリア内で目的の動きをする物体の有無を判断するプロ
グラムを記録した記録媒体であって、監視エリアを移動
撮影するカメラから得られる動画像に含まれる時間的に
異なる２つの画像から、画像内の各画素の動きベクトル
を計算するベクトル計算処理と、前記動きベクトルに基
づいて前記２つの画像における背景が一致するように２
つの画像の位置合わせを行う位置合わせ処理と、前記位
置合わせされた２つの画像から計算された動きベクトル
に基づいて前記目的の動きをする物体の有無を検出する
検出処理とをコンピュータに実行させるプログラムを記
録したコンピュータ読み取り可能な記録媒体を提供す
る。Further, the present invention is a recording medium which records a program for judging the presence or absence of an object performing a desired movement in a monitored area by analyzing a moving image obtained from a camera which moves and photographs the monitored area. A vector calculation process of calculating a motion vector of each pixel in an image from two temporally different images included in a moving image obtained from a camera that moves and shoots a monitoring area; and the two vector processes based on the motion vector. 2 so that the background in the image matches
A program for causing a computer to execute an alignment process of aligning two images and a detection process of detecting the presence or absence of the object performing the target movement based on a motion vector calculated from the two aligned images. And a computer-readable recording medium recording the information.
【００１５】[0015]
【作用】従って、本発明によれば、移動撮影するカメラ
から得られる動画像に含まれる時間的に異なる２つの画
像から、画像内の各画素について動きベクトルを計算
し、この動きベクトルに基づいて２つの画像における背
景が一致するように位置合わせを行い、背景が一致した
画像の動きベクトルに基づいて目的とする移動物体の有
無を検出することができる。従って、目的とする移動物
体を自動的に検出する移動カメラを用いた監視システム
を実現することができる。Therefore, according to the present invention, a motion vector is calculated for each pixel in an image from two temporally different images included in a moving image obtained from a camera for moving and photographing, and based on this motion vector. Positioning is performed so that the backgrounds in the two images match, and the presence or absence of the target moving object can be detected based on the motion vector of the images in which the backgrounds match. Therefore, it is possible to realize a monitoring system using a moving camera that automatically detects a target moving object.
【００１６】[0016]
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。以下の説明においては、まず、カ
メラを固定したまま監視を行う場合における前述した諸
問題を解決するための第１、第２の実施の形態を説明
し、次に本発明の目的であるカメラを移動させながら監
視を行う場合を第３の実施の形態として説明する。Embodiments of the present invention will be described below with reference to the drawings. In the following description, first, first and second embodiments for solving the above-described problems in the case where monitoring is performed while the camera is fixed will be described, and then a camera which is an object of the present invention will be described. A case in which monitoring is performed while moving will be described as a third embodiment.
【００１７】（第１の実施の形態）図１は第１の実施の
形態による動画像による監視システムの構成を示すブロ
ック図である。本実施の形態における監視システムは、
山地等における落石の検出を目的とするものとして以下
に説明する。(First Embodiment) FIG. 1 is a block diagram showing the configuration of a moving image monitoring system according to the first embodiment. The monitoring system according to the present embodiment includes:
A description will be given below assuming that the purpose is to detect a falling rock in a mountain area or the like.
【００１８】図１において、監視システムは、崖等の落
石が生じる可能性のある場所（監視エリア）を撮影して
その監視エリアの動画像を出力するビデオカメラ１と、
監視エリアに設置された風向風速計２及び雨量計３と、
ビデオカメラ１からの動画像を画面に表示するディスプ
レイ装置４と、ビデオカメラ１からの動画像データ、風
向風速計２からの風向および風速データ及び雨量計３か
らの雨量データを取り込んで処理することにより監視エ
リア内の物体の動きベクトル（オプティカルフロー）を
求め、監視エリア内の異常な移動物体（つまり、落石）
を検出する動きベクトル処理装置５と、動きベクトル処
理装置５が異常な移動物体を検出すると警報を発信する
警報発信装置６とを備える。In FIG. 1, a surveillance system includes a video camera 1 for photographing a place (surveillance area) where a falling rock such as a cliff may occur and outputting a moving image of the surveillance area;
An anemometer 2 and a rain gauge 3 installed in the monitoring area;
A display device 4 for displaying a moving image from the video camera 1 on a screen; and capturing and processing moving image data from the video camera 1, wind direction and wind speed data from the anemometer 2 and rainfall data from the rain gauge 3. Calculates the motion vector (optical flow) of the object in the monitoring area, and detects an abnormal moving object (that is, falling rock) in the monitoring area.
And an alarm transmission device 6 that issues an alarm when the motion vector processing device 5 detects an abnormal moving object.
【００１９】動きベクトル処理装置５は、典型的にはコ
ンピュータシステムで構成され、監視用プログラムを実
行することで、監視エリア内の物体の動きベクトル（オ
プティカルフロー）を求めて監視エリア内の異常な移動
物体（落石）を検出すると共に、落石を検出する都度、
その旨を示す監視ログファイルを作成して監視ログファ
イルＤＢ（データベース）７に蓄積し、かつ、監視エリ
アの動画像データから異常な移動物体を検出した時点の
フレーム画像を抽出して監視静止画ＤＢ８に蓄積する。The motion vector processing device 5 is typically composed of a computer system, and executes a monitoring program to obtain a motion vector (optical flow) of an object in the monitoring area and obtain an abnormal vector in the monitoring area. Each time a moving object (rock fall) is detected and a rock fall is detected,
A monitoring log file indicating this fact is created and stored in the monitoring log file DB (database) 7, and a frame image at the time when an abnormal moving object is detected is extracted from the moving image data in the monitoring area to monitor the still image. Store in DB8.
【００２０】尚、通常は、ビデオカメラ１、風向風速計
２、雨量計３は落石の生じる場所近くに設置され、他の
装置はそこから離れた場所にある管理事務所等に設置さ
れている。その場合、ビデオカメラ等と管理事務所との
通信は有線又は無線により行われる。また、ビデオカメ
ラ１は固定されているものとする。尚、ビデオカメラ１
からの動画像を記録する動画像記録装置を設けてもよ
い。Normally, the video camera 1, the anemometer 2 and the rain gauge 3 are installed near a place where a rock falls, and the other devices are installed in a management office or the like located away from the place. . In this case, communication between the video camera or the like and the management office is performed by wire or wirelessly. The video camera 1 is assumed to be fixed. In addition, video camera 1
A moving image recording device that records a moving image from the camera may be provided.
【００２１】次に、本実施の形態の特徴である速度場ラ
ベリングと正則化パラメータについて説明する。ここで
は概略的に説明し、詳細は後述する。まず、速度場ラベ
リングについて図２を参照して説明する。図２（ａ）は
入力フレーム画像の一枚を示すもので、図示のように２
つの落石Ａ、Ｂが映っている。落石Ａは単一色、落石Ｂ
は模様があるものとする。この（ａ）のフレーム画像と
これより１フレーム後（又は前）のフレーム画像との２
つの時系列画像が入力されるものとする。Next, the speed field labeling and the regularization parameters, which are features of the present embodiment, will be described. This will be described briefly, and details will be described later. First, speed field labeling will be described with reference to FIG. FIG. 2A shows one input frame image, and as shown in FIG.
Two falling rocks A and B are shown. Rockfall A is a single color, Rockfall B
Shall have a pattern. 2 of the frame image of (a) and the frame image one frame after (or before)
It is assumed that two time-series images are input.
【００２２】同図（ｂ）は２つの入力画像から求めた画
像上の落石の動きを示す動きベクトルを実際の監視エリ
アとなる実平面に写像することにより得られる速度ベク
トルを計算し、この速度ベクトルを座標配列した速度場
ベクトルを示す。図示のように大部分のベクトルは略同
じ方向を向いているが、反射光量の変化やノイズ等によ
り異なる方向を向いているものがある。この速度場ベク
トルにおいて落石の塊をベクトルの方向性に応じて領域
分割したものが、同図（ｃ）の状態である。このように
所定の範囲内で同一と認めうるベクトル方向毎に領域分
割する処理を速度場ラベリングと呼ぶものとする。FIG. 2B shows a velocity vector obtained by mapping a motion vector indicating the movement of a falling rock on an image obtained from two input images onto a real plane serving as an actual monitoring area. 3 shows a velocity field vector in which the vectors are arranged in coordinates. As shown in the figure, most of the vectors are oriented in substantially the same direction, but some vectors are oriented in different directions due to changes in the amount of reflected light and noise. In this velocity field vector, a block of rockfall is divided into regions according to the directionality of the vector, as shown in FIG. The process of dividing an area in each vector direction that can be regarded as the same within a predetermined range is referred to as velocity field labeling.
【００２３】本実施の形態は、上記（ｃ）の速度場ラベ
リング結果に基づいて同図（ｄ）のように落石の塊の動
きの方向を推定することで、落石の形状、面積を推定
し、落石の有無を検出するようにしたものである。In the present embodiment, the shape and area of the rock fall are estimated by estimating the direction of movement of the rock fall mass as shown in FIG. In this case, the presence or absence of a falling rock is detected.
【００２４】次に、正則化パラメータについて説明す
る。図３は、ビデオカメラ１から見た監視エリアの光景
の一例を示す。図３の例では、監視エリア１００内に２
つの山があり、この監視エリア１００は、落石や木々等
の動きの性質が異なる複数の領域にＡ〜Ｅに分けられて
いる。領域Ａは空の領域である。領域ＢとＥは、樹木で
覆われた森林領域である。領域Ｃは、急な斜度を持つ岩
肌の露出した急崖領域である。領域Ｄは、緩やかな斜度
を持つ岩肌の露出した緩崖領域である。Next, the regularization parameter will be described. FIG. 3 shows an example of a scene of the monitoring area viewed from the video camera 1. In the example of FIG.
This monitoring area 100 is divided into A to E into a plurality of areas having different movement characteristics such as falling rocks and trees. The area A is an empty area. Regions B and E are forest regions covered with trees. The area C is an exposed steep cliff area with a rock surface having a steep gradient. The area D is a gentle cliff area where a rock surface having a gentle slope is exposed.
【００２５】これらの領域Ａ〜Ｅでは、その領域内に存
在する物体（岩石、樹木、雲等）の動きの性質（落石の
移動方向、移動方向の分散の度合い、異なる木々や岩石
の動きのばらつき具合等）が領域によって異なる。その
ため、例えばその山地の斜面の傾斜方向や斜度、樹木の
多寡や岩肌の露出割合、風速や風向や降雨雪量等の天候
要素、カメラからその場所までの距離等の環境要素は、
カメラで撮影した動画像上での、監視対象物である落石
の移動方向や移動速度や動きの複雑さ、樹木の揺動や降
雨雪の動きといった外乱となる動きの性質、落石と落石
以外の物体の動きとの相関関係等に影響する。その結
果、監視エリア内の諸物体の動きの連続性、即ち、「動
きベクトルの空間的な滑らかさの度合い」に影響を与え
る。In these areas A to E, the movement characteristics of objects (rocks, trees, clouds, etc.) existing in the areas (moving direction of falling rocks, degree of dispersion of moving directions, movements of different trees and rocks). The degree of variation) differs depending on the region. Therefore, for example, environmental factors such as the inclination direction and slope of the slope of the mountainous area, the amount of trees and the exposure rate of the rock surface, weather elements such as wind speed, wind direction, and the amount of rain and snow, the distance from the camera to the place,
The direction, speed and complexity of the movement of falling rocks, the nature of disturbing movements such as rocking trees and the movement of rainfall and snowfall on moving images captured by the camera, It affects the correlation with the movement of the object. As a result, the continuity of movement of various objects in the monitoring area, that is, “the degree of spatial smoothness of the motion vector” is affected.
【００２６】そのため、本実施の形態においては、動き
ベクトル処理装置５は、監視エリアの動画像に含まれる
時間的に異なる２フレームの画像から、動きベクトルを
計算する際に、動きベクトルの空間的な滑らかさの度合
いを示すパラメータを正則化パラメータとして用いてい
る。そして、監視エリア内外の環境要素に応じて、正則
化パラメータの最適値を設定する。この正則化パラメー
タを用いて動きベクトルを計算することにより、監視エ
リアの環境に応じて精度良く目的の動きをする物体の動
きベクトルを求めることができる。For this reason, in the present embodiment, the motion vector processing device 5 calculates the spatial position of the motion vector when calculating the motion vector from two temporally different images included in the moving image in the monitoring area. A parameter indicating the degree of smoothness is used as a regularization parameter. Then, the optimum value of the regularization parameter is set according to the environmental factors inside and outside the monitoring area. By calculating a motion vector using this regularization parameter, a motion vector of an object performing a target motion can be obtained with high accuracy according to the environment of the monitoring area.
【００２７】その場合、例えば、樹木が多い場所や風の
強い時には、正則化パラメータを大きい値に設定するこ
とで、風によって樹木が一斉に略同じ方向に揺れ動くと
いう外乱の動きが動きベクトルに反映され難くして、監
視目的の落石の動きを樹木の揺れ動きから識別し易くす
ることにより、監視精度を高めることができる。In this case, for example, when there are many trees or when the wind is strong, by setting the regularization parameter to a large value, the motion of the disturbance that the trees sway in the same direction by the wind all at once is reflected in the motion vector. By making it difficult to identify the movement of falling rocks for monitoring purposes from the swaying motion of trees, the monitoring accuracy can be improved.
【００２８】次に、動きベクトル処理装置５が行う処理
について図４のフローチャートを参照して説明する。ま
ず、ビデオカメラ１から入力される画像信号のコントラ
スト制御及び輝度制御を行い、画像内に指定した監視エ
リアの画質評価と制御を逐次実行することにより、入力
画像の画質を一定にする（ステップＳ１、以下、ステッ
プ略）。次に、画質制御された画像信号から２つのフレ
ーム画像を第１画像、第２画像として時系列で入力する
（Ｓ２）。第１画像（又は第２画像）は例えば図２
（ａ）に示すものである。Next, the processing performed by the motion vector processing device 5 will be described with reference to the flowchart of FIG. First, contrast control and brightness control of an image signal input from the video camera 1 are performed, and image quality evaluation and control of a monitoring area designated in the image are sequentially executed to make the image quality of the input image constant (step S1). , Below, step is omitted). Next, two frame images are input in time series as a first image and a second image from the image signals whose image quality has been controlled (S2). The first image (or the second image) is, for example, FIG.
This is shown in FIG.
【００２９】次に、正則化パラメータを用いたオプティ
カルフロー推定処理を行う（Ｓ３、Ｓ４）。このオプテ
ィカルフロー推定処理は、例えば特開平９−２９７８５
１号等で紹介されている公知の正則化手法に、正則化パ
ラメータを用いる改良を加えた方法である。ここで、正
則化手法によるオプティカルフロー推定処理とは、ある
１つのフレームの画像上の各画素の座標点（ｘ，ｙ）と
その動きベクトル、つまりオプティカルフロー（ｕ，
ｖ）との間には、そのフレーム画像内の空間的な明るさ
の勾配を（Ｉｘ，Ｉｙ）、そのフレームと次のフレーム
間の明るさの勾配をＩｔとしたときに、以下の式が成立
することを用いた解析手法である。Next, an optical flow estimation process using the regularization parameters is performed (S3, S4). This optical flow estimating process is described in, for example, Japanese Patent Application Laid-Open No. 9-29785.
This is a method in which a known regularization method introduced in No. 1 and the like is improved using a regularization parameter. Here, the optical flow estimation processing by the regularization method refers to a coordinate point (x, y) of each pixel on an image of a certain frame and its motion vector, that is, an optical flow (u, u).
v), the following equation is obtained when the spatial brightness gradient in the frame image is (Ix, Iy) and the brightness gradient between the frame and the next frame is It. This is an analysis method that uses the following.
【数1】 (Equation 1)
【００３０】しかし、この（１）式だけからは未知数
ｕ，ｖを推定することができず、他の拘束条件が必要と
なる。これについては、例えば、「Determining Optica
l Flow」（Artificial Intelligence 17 185〜203 頁
（1981））に記載された技術を利用する。この技術にお
いては、「画像中の移動物体が剛体である」及び「画像
中の近傍領域でのオプティカルフロー分布は滑らかであ
る」という２つの仮定をそれぞれ評価関数で表し、弛緩
法を用いてこれらの２つの評価関数の和を最小化させる
ことによってオプティカルフローの推定を行う。However, the unknowns u and v cannot be estimated from equation (1) alone, and other constraints are required. For example, see "Determining Optica
l Flow "(Artificial Intelligence 17 pp. 185-203 (1981)). In this technique, two assumptions, “the moving object in the image is a rigid body” and “the optical flow distribution in the neighboring area in the image is smooth” are each expressed by an evaluation function, and these assumptions are made using a relaxation method. The optical flow is estimated by minimizing the sum of the two evaluation functions.
【００３１】具体的には、αを正則化パラメータとし
て、繰り返し演算によって次の（２）式を最小にする
ｕ，ｖを求める。Specifically, using α as a regularization parameter, u and v that minimize the following equation (2) are obtained by repeated calculation.
【数２】 (Equation 2)
【００３２】即ち、（２）式の右辺において、Ｅａは移
動物体の剛体性を反映した評価関数であり、画像中の移
動物体が完全な剛体、つまり、変形せずそれ自体の輝度
も変化しない物に近いほど（１）式が成立し易くなりＥ
ａはゼロに近づく。また、Ｅｂはオプティカルフローの
空間分布の滑さを反映した評価関数であり、オプティカ
ルフローの空間分布が完全に滑らかな、つまり、オプテ
ィカルフローが空間的に変化しない、つまり、画像内の
どの画素も全て同じ方向へ同じ距離だけ移動する状態に
近いほどＥｂはゼロに近づく。That is, on the right side of the equation (2), Ea is an evaluation function reflecting the rigidity of the moving object, and the moving object in the image is a perfect rigid body, that is, it is not deformed and its luminance does not change. Equation (1) is more likely to be satisfied as the object is closer to the object, and E
a approaches zero. Eb is an evaluation function that reflects the smoothness of the spatial distribution of the optical flow, and the spatial distribution of the optical flow is completely smooth, that is, the optical flow does not change spatially. Eb approaches zero as the state moves closer to the same direction in the same direction.
【００３３】要するに、（２）式の右辺は、画像の積分
領域における移動物体の剛体性とオプティカルフローの
空間分布の滑らかさとを統合的に評価した関数であり、
その積分範囲の領域で上記２つの仮定「画像中の移動物
体が剛体である」及び「画像中の近傍領域でのオプティ
カルフロー分布は滑らかである」が良好に成立するほ
ど、（２）式の右辺は小さい値となる。換言すれば、画
像のある点の近傍領域で上記２つの仮定が成立するな
ら、その近傍領域で（２）式の関数を最小にするような
ｕ，ｖがその点における妥当なオプティカルフローと推
定される。In short, the right side of the equation (2) is a function that integrally evaluates the rigidity of the moving object and the smoothness of the spatial distribution of the optical flow in the integration region of the image.
As the above two assumptions “the moving object in the image is a rigid body” and “the optical flow distribution in the neighboring region in the image is smooth” are better established in the region of the integration range, the expression (2) The right side has a small value. In other words, if the above two assumptions are satisfied in the vicinity of a certain point in the image, u, v that minimizes the function of equation (2) in that vicinity are estimated to be appropriate optical flows at that point. Is done.
【００３４】ここで、正則化パラメータαは、（２）式
の右辺における「オプティカルフロー分布の滑らかさ」
の相対的な重みを反映している。つまり、αを大きく設
定するほど、オプティカルフロー分布の滑らかさを重視
していることになる。よって、正期化パラメータαは解
析する画像に応じ、その画像中に存在する各種物体の複
雑さや動きの性質や動きの大きさなどに関連して適切に
設定されるべきである。Here, the regularization parameter α is “the smoothness of the optical flow distribution” on the right side of the equation (2).
Reflects the relative weight of That is, as α is set to be larger, the smoothness of the optical flow distribution is emphasized. Therefore, the term parameter α should be set appropriately in accordance with the image to be analyzed, in relation to the complexity of various objects present in the image, the nature of the motion, the magnitude of the motion, and the like.
【００３５】また、本実施の形態では、前記特開平９−
２９７８５１号でもそうしていたように、前述の（２）
式の評価関数をそのまま用いるのではなく、前述の
（１）式の誤差を考慮するために、座標点（ｘ，ｙ）の
近傍での（１）式の左辺の値の分散σ２を（２）式に導
入して、以下の（３）式の評価関数を最小とするｕ，ｖ
を、弛緩法を用いた反復演算によって求めるようにして
いる。Further, in the present embodiment, the method disclosed in
As mentioned in No. 297851, (2)
Instead of using the evaluation function of the equation as it is, in order to consider the error of the equation (1), the variance σ2 of the value on the left side of the equation (1) near the coordinate point (x, y) is expressed by (2 )), U, v that minimize the evaluation function of the following equation (3)
Is determined by an iterative operation using the relaxation method.
【数３】 (Equation 3)
【００３６】上記の方法でフレーム画像内の全画素座標
（ｘ、ｙ）についての動きベクトルつまりオプティカル
（ｕ，ｖ）を求めた後、次に、それらの動きベクトルを
解析して、それらの動きベクトルの中から、物体の異常
な動き（つまり、落石）と見倣し得るものだけを検出す
る。その方法として、落石の移動方向は特定の方向範囲
（例えば、斜面の最大傾斜方向を中心にした所定の角度
範囲）に限定されることに着目して、その特定の方向範
囲に移動する動きだけを抽出する。After the motion vector for all pixel coordinates (x, y) in the frame image, that is, the optical (u, v) is obtained by the above-described method, the motion vectors are analyzed, and the motion vectors are obtained. From the vectors, only those that can be imitated as abnormal movement of the object (that is, falling rocks) are detected. As a method, paying attention to the fact that the moving direction of the falling rock is limited to a specific direction range (for example, a predetermined angle range centered on the maximum slope direction of the slope), only the movement moving in the specific direction range is considered. Is extracted.
【００３７】この場合、斜面によって最大傾斜方向や落
石の方向が分散する幅が違ってくるので、図３に例示し
た領域Ａ〜Ｅ毎に上記の特定の方向範囲を最適に設定す
ることになる。また、風速や風向によっても落石の移動
方向が分散する幅が変わってくる。例えば、水平方向の
風速が強くなれば、落石の落下方向が最大傾斜方向から
ずれる度合いが大きくなるから、風速や風向に応じて上
記の特定の方向範囲を調節することも行う。このような
方法で、画像内の動きベクトルの中から、風による木々
の左右の揺れなどの正常な動きと、落石という異常な動
きとを峻別することができる。また、風速や風向の外に
例えば降雨量や降雪量等に応じて正則化パラメータを設
定してもよい。In this case, since the maximum inclination direction and the width in which the direction of the falling rock varies depending on the slope, the above-described specific direction range is optimally set for each of the regions A to E illustrated in FIG. . Also, the width in which the moving direction of the falling rock is dispersed changes depending on the wind speed and direction. For example, if the wind speed in the horizontal direction increases, the degree of deviation of the falling direction of the falling rock from the maximum inclination direction increases. Therefore, the above specific direction range is also adjusted according to the wind speed and the wind direction. With such a method, it is possible to distinguish between a normal motion such as the left and right swaying of trees due to the wind and an abnormal motion such as falling rock from the motion vectors in the image. In addition, a regularization parameter may be set according to, for example, a rainfall amount or a snowfall amount in addition to the wind speed and the wind direction.
【００３８】監視時系列画像には、背景を形成するテク
スチャと移動物体のテクスチャとが混在しており、その
中でオプティカルフロー計算をすることになる。従っ
て、演算画素周辺の輝度分散や空間周波数の状態から適
切な正則化パラメータ値が要求される。また、計算コス
トの低減から厳密な計算をせずにリアルタイム処理が望
まれる。また、通常の監視では、移動物体の表面組成情
報が予め特定できない。このため、演算画素周辺の輝度
分布状態を１次微分で把握し、微分値を引数とする正則
化パラメータテーブルから予め設計した最適な正則化パ
ラメータを引用してオプティカルフローの計算を行う。A texture forming a background and a texture of a moving object are mixed in the monitoring time-series image, and an optical flow calculation is performed in the texture. Therefore, an appropriate regularization parameter value is required from the state of the luminance dispersion and the spatial frequency around the operation pixel. In addition, real-time processing without strict calculations is desired in order to reduce calculation costs. Also, with normal monitoring, the surface composition information of the moving object cannot be specified in advance. For this reason, the brightness distribution state around the operation pixel is grasped by the first derivative, and the optical flow is calculated by referring to the optimal regularization parameter designed in advance from the regularization parameter table having the differential value as an argument.
【００３９】正則化パラメータテーブル設計には、様々
な実写映像の実験結果で検証した最適値と、同一速度の
複数の移動物体を仮定したときに自然環境では各移動物
体毎に背景間の空間勾配が異なることによる各移動物体
の推定速度に差が生じる問題を正則化パラメータで疑似
的に補正する機能を持たせる。これによりオプティカル
フロー計算に用いる正則化パラメータとして、画素単位
で実空間の実態である対象物の複雑さに適した値を選択
することができる。また、引数である空間処理の工夫で
周辺の光量変化に強く、孤立点ノイズによる影響を除去
することができる。In the design of the regularization parameter table, the optimal value verified by the experimental results of various real shot images and the spatial gradient between the backgrounds for each moving object in a natural environment when a plurality of moving objects at the same speed are assumed. A function of artificially correcting the problem that the estimated speeds of the moving objects are different due to the difference in As a result, it is possible to select a value suitable for the complexity of the object which is the actual state of the real space in pixel units as the regularization parameter used for the optical flow calculation. In addition, the device is resistant to changes in the amount of light in the surroundings by devising spatial processing as an argument, and can remove the influence of isolated point noise.
【００４０】次に、上記のようにして計算されたオプテ
ィカルフローから抽出された局所的な動きベクトルを相
関法を用いて検証し、信頼度を確保する（Ｓ５）。即
ち、落石や高速車両等を撮影した時系列画像には、移動
物体の移動量が１画素／フレーム以上の動きベクトルが
抽出されるケースがあり、その際、ベクトルの信頼性の
評価として正規化相関で検証する。オプティカルフロー
計算で次のフレームの推定移動位置（画素単位に丸め
る）が判明しているので、テンプレートによる探査動作
をせずに相関計算を行うことができる。テンプレートは
オプティカルフロー演算画素を中心で８又は２４近傍を
範囲とする。相関係数が０．５以上の結果のオプティカ
ルフローを有効とする。Next, the local motion vector extracted from the optical flow calculated as described above is verified by using the correlation method to secure the reliability (S5). That is, a motion vector in which the moving amount of a moving object is 1 pixel / frame or more is extracted from a time-series image of a falling rock, a high-speed vehicle, or the like. In this case, the motion vector is normalized as an evaluation of the reliability of the vector. Verify by correlation. Since the estimated movement position (rounded up in pixel units) of the next frame is known by the optical flow calculation, the correlation calculation can be performed without performing the search operation using the template. The template ranges from 8 or 24 around the optical flow calculation pixel. An optical flow resulting from a correlation coefficient of 0.5 or more is validated.
【００４１】尚、相関係数（Ｒ）は時系列の第１画像、
第２画像のそれぞれのテンプレート濃度分布を、ａij，
ｂij（１≦ｉ≦ｍ、１≦ｊ≦ｎ）としたとき次式で定義
されるNote that the correlation coefficient (R) is the time-series first image,
The template density distribution of each of the second images is represented by a ij ,
When b ij (1 ≦ i ≦ m, 1 ≦ j ≦ n), it is defined by the following equation.
【数４】 (Equation 4)
【００４２】次に、限定角度フィルタにより、３次元空
間運動の中で明らかに監視対象方向とは異なる動きベク
トルを除去する（Ｓ６）。その後、除去されずに残った
動きベクトルをカメラの距離補正により実平面に写像す
る処理を次のように行う（Ｓ７）。この処理により、画
像上の動きベクトルが監視エリアとなる実平面上の動き
ベクトルに換算される。この実平面に写像された動きベ
クトルを速度ベクトルと呼ぶ。Next, a motion vector that is clearly different from the monitoring target direction in the three-dimensional spatial motion is removed by the limited angle filter (S6). Thereafter, a process of mapping the motion vector remaining without being removed onto a real plane by correcting the distance of the camera is performed as follows (S7). By this processing, the motion vector on the image is converted into a motion vector on a real plane serving as a monitoring area. The motion vector mapped on this real plane is called a velocity vector.
【００４３】ここでは、画像上の動きベクトルの実平面
上への写像として、カメラ距離の幾何変換を用いて、オ
プティカルフロー計算結果である画像上の動きベクトル
を実平面上の速度ベクトルに導く。なお、この処理は座
標変換により実現でき、具体的には次の２次射影変換式
で行われる。Here, as a mapping of a motion vector on an image onto a real plane, a geometrical transformation of a camera distance is used to derive a motion vector on the image as a result of optical flow calculation into a velocity vector on the real plane. This processing can be realized by coordinate transformation, and specifically, is performed by the following secondary projection transformation formula.
【数５】 （ｘ，ｙ）は第１、第２画像のメモリ座標の位置、
（Ｘ，Ｙ）は実平面（速度測定面）の位置である。
（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）は変換係数であ
り、未知数は８個となる。(Equation 5) (X, y) is the position of the memory coordinates of the first and second images,
(X, Y) is the position of the real plane (velocity measurement plane).
(A, b, c, d, e, f, g, h) are conversion coefficients, and there are eight unknowns.
【００４４】逆変換は、The inverse transformation is
【数６】 (Equation 6)
【００４５】監視画像に映る測定平面（崖の断面、車両
の走行道等を意味する）に存在する既知の４個所の実寸
法が判明していれば（５）（６）式は解法できる。従っ
て、カメラから移動物体までの距離を求めるアルゴリズ
ムを得ることができる。故にビデオカメラ１におけるＣ
ＣＤ等の撮像素子の受光面積、レンズの焦点距離が判明
していれば、上記の既知の４個所の距離関係から幾何学
計算により目標位置の距離を求めることができる。The equations (5) and (6) can be solved if the actual dimensions of four known locations existing on the measurement plane (meaning the cross section of the cliff, the running path of the vehicle, etc.) appearing in the monitoring image are known. Therefore, an algorithm for obtaining the distance from the camera to the moving object can be obtained. Therefore, C in the video camera 1
If the light receiving area of the image pickup device such as a CD and the focal length of the lens are known, the distance of the target position can be obtained by geometric calculation from the above-mentioned known distance relationship of four places.
【００４６】次に、速度ベクトルを座標配列した推定速
度場をメモリ上に作成し、予め設定した小領域を単位と
して推定速度場メモリ内部を均一に探査する（Ｓ８）。
小領域は例えば１０×１０画素である。探査の際、小領
域内部の画素速度ベクトルの実在数及び速度ベクトルの
平均値を求める。小領域に存在するベクトル個数を予め
定義した有効と判定する割合個数以下なら、その探査位
置の小領域は孤立点ノイズとして除去する。また、画像
信号に特有なノイズ成分を考慮して、探査領域内部で特
定の走査線方向に連続し、他の走査線方向に存在しない
ような孤立列の速度ベクトルも除去する。ここまでの処
理で、例えば図２（ｂ）の速度場ベクトルが得られる。Next, an estimated velocity field in which velocity vectors are arranged in coordinates is created in the memory, and the inside of the estimated velocity field memory is uniformly searched in units of a preset small area (S8).
The small area is, for example, 10 × 10 pixels. In the search, the actual number of pixel velocity vectors inside the small area and the average value of the velocity vectors are obtained. If the number of vectors existing in the small area is equal to or less than a predetermined number of valid determination points, the small area at the search position is removed as isolated point noise. In addition, in consideration of a noise component unique to an image signal, a velocity vector of an isolated row that is continuous in a specific scanning line direction and does not exist in another scanning line direction in the search area is also removed. By the processing so far, for example, the velocity field vector of FIG. 2B is obtained.
【００４７】次に、速度場ラベリング処理を行う（Ｓ
９）。上記Ｓ８による除去処理後の小領域について、後
述により詳しく説明するように１次ラベリング、２次ラ
ベリングを行って、移動物体の推定面積、推定形状を求
め、実態を認識する。ここまでの処理により、例えば図
２（ｃ）の速度場ラベリング処理結果が得られる。Next, velocity field labeling processing is performed (S
9). As described in more detail below, primary labeling and secondary labeling are performed on the small area after the removal processing in step S8 to obtain an estimated area and an estimated shape of the moving object, and the actual state is recognized. By the processing up to this point, for example, a speed field labeling processing result of FIG. 2C is obtained.
【００４８】そして、上記推定面積、推定形状を閾値と
比較する等の方法により、落石の有無を判定する（Ｓ１
０）。ここまでの処理で例えば図２（ｄ）のように、落
石形状認識を行うことができる。そして、落石が有れ
ば、推定速度、推定面積、推定形状、座標推定落石規模
等のログファイルを作成して監視ログファイルＤＢ１３
に蓄積すると共に、落石を検出した時のフレームの静止
画を抽出して監視静止画ＤＢ１５に蓄積する（Ｓ１
１）。また、警報発信装置１７より危険警報を発する
（Ｓ１２）。また、落石が無い場合はＳ１に戻る。Then, the presence or absence of falling rocks is determined by a method such as comparing the estimated area and estimated shape with threshold values (S1).
0). With the processing up to this point, the falling rock shape can be recognized, for example, as shown in FIG. If there is a rockfall, a log file such as an estimated speed, an estimated area, an estimated shape, and an estimated rockfall scale is created, and a monitoring log file DB 13 is created.
And the still image of the frame at the time of detecting the falling rock is extracted and stored in the monitoring still image DB 15 (S1).
1). Further, a danger warning is issued from the warning transmitting device 17 (S12). If there is no falling rock, the process returns to S1.
【００４９】次に、上記Ｓ９の速度場ラベリング処理に
ついて詳細に説明する。本実施の形態による速度場ラベ
リング処理においては、前記速度場ベクトル上の小領域
について、推定速度の平均、方向、座標データの１次ラ
ベリングテーブルを作成する。２次ラベリングでは、探
査小領域の面積と座標から連結性を調べると共に、同一
移動物体であるかの判断基準として、連結小領域の速度
ベクトルの平均値である平均速度ベクトルの相関関係を
調べ、明らかに移動方向性が異なる小領域は非連結とし
ている。Next, the speed field labeling processing in S9 will be described in detail. In the speed field labeling process according to the present embodiment, a primary labeling table of the average, direction, and coordinate data of the estimated speed is created for the small area on the speed field vector. In the secondary labeling, the connectivity is checked from the area and coordinates of the small search area, and as a criterion for judging whether the objects are the same moving object, the correlation between the average velocity vectors, which are the average values of the speed vectors of the connected small areas, is checked. Small areas having obviously different movement directions are not connected.
【００５０】また面積の推定は、ラベリング処理後、各
ラベルの外接面積を確定し、外接面積に対応する第２画
像の輝度分布から２値化処理の閾値を決定し、２値化処
理により背景と移動物体を分離する。次に、移動物体の
外接面積に含まれる全ての速度ベクトルの座標を集計し
てその重心位置を求め、重心位置の２値化データに対応
する０又は１の個数を外接面積内部でカウントする（移
動物体で抽出するオプティカルフローの分布は、物体の
輪郭の周辺（ズレ）に存在するため、オプティカルフロ
ーの強度で対応せずに発生位置の重心座標で物体内部と
判断する）。次に、移動物体の形状認識プロセスにおい
ては、速度場ラベリングにより移動物体の座標を求め、
第２画像の濃度情報を空間画像計測により実態認識す
る。 上述した速度場ラベリング処理を行うことによ
り、前述した速度ベクトルの非連結の問題及び空隙の問
題を解決することができる。The area is estimated by determining the circumscribed area of each label after the labeling processing, determining the threshold value of the binarization processing from the luminance distribution of the second image corresponding to the circumscribed area, and performing background processing by the binarization processing. And the moving object. Next, the coordinates of all velocity vectors included in the circumscribed area of the moving object are totaled to determine the position of the center of gravity, and the number of 0 or 1 corresponding to the binarized data of the position of the center of gravity is counted inside the circumscribed area ( Since the distribution of the optical flow extracted from the moving object exists around the edge of the outline of the object (deviation), it is determined that the object is located inside the object based on the barycentric coordinates of the generated position without using the intensity of the optical flow. Next, in the shape recognition process of the moving object, the coordinates of the moving object are obtained by velocity field labeling,
The actual state of the density information of the second image is recognized by the spatial image measurement. By performing the above-described velocity field labeling processing, it is possible to solve the above-described problem of non-connection of velocity vectors and the problem of air gaps.
【００５１】次に、前述した偶数、奇数ラインの走査方
向のズレにより発生する変形を除去するための方向性優
先フィルタについて説明する。予め速度が判明している
移動物体をカメラ撮影する場合には、当然最適なシャッ
タスピードの設定が可能であるが、本実施の形態の場合
は、移動物体の速度が予め判明していない事象の計測で
あるため、シャッタスピードの選択では解決することは
できない。Next, a description will be given of a directional priority filter for removing the deformation caused by the deviation of the even and odd lines in the scanning direction. When a moving object whose speed is known in advance is photographed by a camera, the optimal shutter speed can be set naturally. However, in the case of the present embodiment, an event where the speed of the moving object is not known in advance is determined. Since it is a measurement, it cannot be solved by selecting the shutter speed.
【００５２】落石や走行車両等の高速運動を撮影した動
画像から抽出するオプティカルフローは、前述したよう
にインターレース走査により、走査周期より速く運動す
る画像要素が存在すると、その画像要素は偶数、奇数ラ
イン毎に光量電気変換の時間差が原因で、一般的に走査
線方向に短冊状のズレ変形が生じ、これが空間勾配に影
響を与え、推定速度に誤差をもたらす。本実施の形態に
よる方向性優先フィルタは上記の問題を解決するもので
ある。As described above, if an image element that moves faster than the scanning cycle is detected by interlace scanning as described above, the optical element extracted from a moving image obtained by capturing a high-speed motion such as a falling rock or a traveling vehicle has an even or odd number of image elements. Due to the time difference of the light amount electrical conversion for each line, generally a strip-shaped displacement deformation occurs in the scanning line direction, which affects the spatial gradient and causes an error in the estimated speed. The direction priority filter according to the present embodiment solves the above problem.
【００５３】この方向性優先フィルタは、移動物体の推
定速度を決定する段階で、速度場ラベリング処理で決定
した移動物体の外接領域内に存在する速度ベクトルの角
度データを集計し、その分散計算から物体の移動方向主
成分をまず決定し、その主成分の所定角度範囲内で選別
した速度ベクトルを有効とし、さらに、その速度ベクト
ルの絶対値である速度データを集計してその分散を求
め、中心値を物体の推定速度として決定するものであ
る。This direction priority filter collects angle data of velocity vectors present in the circumscribed area of the moving object determined by the velocity field labeling process at the stage of determining the estimated speed of the moving object, First, the principal component of the moving direction of the object is determined, the velocity vector selected within a predetermined angle range of the principal component is made effective, and velocity data, which is the absolute value of the velocity vector, is aggregated to obtain the variance. The value is determined as the estimated speed of the object.
【００５４】前記の問題解決の段階で移動物体の形状の
サイズによっては速度ベクトルの発生数が少なく、方向
性優先フィルタ処理が困難になる。本実施の形態におけ
る動きベクトル処理装置５に汎用コンピュータ（パソコ
ン等）を用いる場合は、汎用コンピュータによるリアル
タイム処理を実現するため、オプティカルフロー算出の
計算コストを削減する目的で、演算画素数を間引きする
場合がある。方向性優先フィルタ処理が困難な状態で
は、オプティカルフロー算出のための演算画素数の間隔
数及び位置（奇偶数）を制御し、前記速度場ラベリング
処理で決定した移動物体の外接領域内のみより速度ベク
トルを再抽出する。移動物体周辺には速度ベクトルの母
集団を大きく確保させる制御を行う。監視画像空間全体
のピラミッド処理でなく、小領域に関する再計算のため
リアルタイム性を維持することができる。At the stage of solving the above problem, the number of generated velocity vectors is small depending on the size of the shape of the moving object, and it becomes difficult to perform the direction priority filter processing. When a general-purpose computer (such as a personal computer) is used for the motion vector processing device 5 in the present embodiment, the number of calculation pixels is thinned out in order to reduce the calculation cost of optical flow calculation in order to realize real-time processing by the general-purpose computer. There are cases. In the state where the direction priority filter processing is difficult, the interval number and the position (odd / even number) of the number of calculation pixels for optical flow calculation are controlled, and the speed is determined only within the circumscribed area of the moving object determined in the speed field labeling processing. Re-extract the vector. Control is performed to ensure a large population of velocity vectors around the moving object. The real-time property can be maintained for recalculation of a small area instead of pyramid processing of the entire monitoring image space.
【００５５】図５は上述した速度場ラベリング処理を動
きベクトル処理装置５が実行するためのフローチャート
を示す。まず、前記探査小領域の平均速度ベクトルの絶
対値である速度スカラ値が所定の最低速度値以下ならラ
ベリング対象の探査小領域から除外する（Ｓ９１）。次
に、ステップＳ９１で除外されなかった探査小領域のう
ちＮ個目（初期値はＮ＝１）の探査小領域に実在する速
度ベクトルの集計数ｎからＮ＜Ｋｎ（Ｋｎ：孤立点ノイ
ズと判定する割合）により有効な速度ベクトルの有無を
判定する（Ｓ９２）。有効な速度ベクトルが有れば探査
小領域における平均速度ベクトルの角度θｉ（ｉは整
数）で分類される１次ラベリングテーブルに登録する
（Ｓ９３）。その場合、各θｉに対して上限値θａ、下
限値θｂの限定角度を設定し、各探査小領域の平均速度
ベクトルがこの範囲内であれば同一のラベリングとす
る。上記登録後又は有効な速度ベクトルがＮ番目の探査
小領域に存在し無い場合は、Ｓ９１で除外されなかった
すべての探査小領域の掃引が終了したかを判定し、終了
していなければ次の探査小領域の１次ラベリングのため
にＳ９２に戻る（Ｓ９４）。FIG. 5 is a flowchart for the motion vector processing device 5 to execute the speed field labeling process described above. First, if the speed scalar value, which is the absolute value of the average speed vector of the search small area, is equal to or less than a predetermined minimum speed value, it is excluded from the search small area to be labeled (S91). Next, from the total number n of the velocity vectors actually existing in the Nth (the initial value is N = 1) search small area among the search small areas not excluded in step S91, N <Kn (Kn: isolated point noise and The presence or absence of a valid velocity vector is determined based on the (determination ratio) (S92). If there is a valid velocity vector, the velocity vector is registered in the primary labeling table classified by the angle θi (i is an integer) of the average velocity vector in the search small area (S93). In this case, a limited angle of an upper limit value θa and a lower limit value θb is set for each θi, and the same labeling is performed if the average velocity vector of each exploration small area is within this range. After the above-mentioned registration or when the valid velocity vector does not exist in the Nth search small area, it is determined whether or not the sweep of all the search small areas not excluded in S91 has been completed. The process returns to S92 for the primary labeling of the search small area (S94).
【００５６】掃引が終了していれば、２次ラベリングを
行う（Ｓ９５）。即ち、１次ラベリングテーブルでθ値
が等しいかを接近する探査小領域間の空間接合を調べ、
接合すれば、同一ラベリング番号を付与し、空間接合が
なければ、連番のラベル番号を付与する。次に、各ラベ
ル番号の左右端部における速度ベクトルの発生点をチェ
ーン符号化し、発生配列状況を判定し、発生点が走査線
毎に短冊状であると判定されたら、領域の右端部を補正
する（Ｓ９６）。次に、ラベル番号が重複しているなら
各平均速度ベクトルをさらに平均し、該当ラベル番号の
推定速度とする（Ｓ９７）。そして、ラベル番号毎に外
接面積を求め、移動物体の推定形状及び実態を認識する
（Ｓ９８）。If the sweep has been completed, the secondary labeling is performed (S95). That is, in the primary labeling table, the spatial junction between the exploration sub-regions that approach whether the θ values are equal is checked,
If they are joined, the same labeling number is given, and if there is no spatial joining, consecutive label numbers are given. Next, the generation points of the velocity vectors at the left and right ends of each label number are chain-coded, and the generation arrangement state is determined. If the generation points are determined to be strip-shaped for each scanning line, the right end of the area is corrected. (S96). Next, if the label numbers overlap, each average speed vector is further averaged to obtain an estimated speed of the corresponding label number (S97). Then, a circumscribed area is obtained for each label number, and the estimated shape and actual state of the moving object are recognized (S98).
【００５７】（第２の実施の形態）以上説明した第１の
実施の形態は落石を検出する場合であるが、次に、第２
の実施の形態として走行車両を検出する場合の処理につ
いて図６のフローチャートを参照して説明する。図６に
おいては、Ｓ９までの処理は図４と共通である。Ｓ９の
速度場ラベリング処理の結果に基き、前述した落石の有
無を検出する場合と同様にして移動物体（走行車両）の
有無を検出する（Ｓ１３）。移動物体が無ければＳ１に
戻り、移動物体が有れば各ラベリング領域について移動
方向毎に分類する（Ｓ１４）。次に、分類結果から同一
方向のラベルの外接四辺形から走行車両の外形寸法を推
定する（Ｓ１５）。(Second Embodiment) The first embodiment described above is for detecting a falling rock.
A process for detecting a traveling vehicle will be described with reference to a flowchart of FIG. In FIG. 6, the processing up to S9 is the same as in FIG. Based on the result of the speed field labeling processing in S9, the presence or absence of a moving object (traveling vehicle) is detected in the same manner as in the case of detecting the presence or absence of rock fall as described above (S13). If there is no moving object, the process returns to S1, and if there is a moving object, each labeling area is classified for each moving direction (S14). Next, the external dimensions of the traveling vehicle are estimated from the circumscribed quadrangles of the labels in the same direction from the classification result (S15).
【００５８】外形寸法を推定された車両の推定速度、推
定方向を分類し（Ｓ１６）、推定速度が設定値Ａ以下の
場合は、渋滞が検出されたものとする（Ｓ１７）。推定
速度が設定値Ｂ以下の場合は通行車両を計測する（Ｓ１
８）。また、推定移動方向が設定角度幅外であれば、進
入禁止車両が検出されたものとする（Ｓ１９）。The estimated speed and estimated direction of the vehicle whose outer dimensions have been estimated are classified (S16). If the estimated speed is equal to or less than the set value A, it is assumed that a traffic jam has been detected (S17). When the estimated speed is equal to or less than the set value B, the number of passing vehicles is measured (S1).
8). If the estimated moving direction is out of the set angle width, it is assumed that the entry-prohibited vehicle has been detected (S19).
【００５９】（第３の実施の形態）以上説明した第１、
第２の実施の形態はカメラを固定した監視システムの場
合であるが、この第１、第２の実施の形態は、次に説明
する第３の実施の形態におけるカメラを移動させながら
監視を行う監視システムにも適用することができる。(Third Embodiment) The first,
The second embodiment is a case of a monitoring system in which a camera is fixed. In the first and second embodiments, monitoring is performed while moving a camera in a third embodiment described below. It can also be applied to monitoring systems.
【００６０】次に第３の実施の形態について説明する。
図７は本実施の形態を原理的に示すもので、移動するカ
メラによりビル火災を検出する場合を示している。図７
の説明においては、監視対象の移動物体１０を火災によ
る炎とする。図７において、まず（ａ）のように第１画
像、第２画像を入力し、それらの所定位置に演算領域Ｓ
ｔ 及び演算領域Ｓｔ＋１ を定め、各演算領域を用いて
オプティカルフローを計算する。計算されたオプティカ
ルフローから動きベクトルの分布を調べ、この分布から
移動する背景と移動物体１０とを識別する。次に（ｂ）
のように、第２画像の演算領域Ｓｔ＋１ を移動させて
背景が第１画像の演算領域Ｓｔの背景と一致するように
位置合わせを行う。次に（ｃ）のように位置合わせした
各演算領域のオプティカルフローを計算し、これを解析
して（ｄ）のように、背景の変動部分として火災による
炎である移動物体１０を検出する。Next, a third embodiment will be described.
FIG. 7 shows this embodiment in principle, and shows a case where a building fire is detected by a moving camera. FIG.
In the description, the moving object 10 to be monitored is a flame caused by a fire. In FIG. 7, first, a first image and a second image are input as shown in FIG.
t and a calculation area St + 1 are determined, and an optical flow is calculated using each calculation area. The distribution of the motion vector is checked from the calculated optical flow, and the moving background and the moving object 10 are identified from the distribution. Then (b)
The position is adjusted so that the background matches the background of the calculation region St of the first image by moving the calculation region St + 1 of the second image as shown in FIG. Next, the optical flow of each calculation region aligned as shown in (c) is calculated, and this is analyzed to detect the moving object 10 which is a flame due to a fire as a fluctuating portion of the background as shown in (d).
【００６１】図８は監視対象の移動物体２０が走行する
車両である場合の位置合わせを説明するための図であ
る。図９は動きベクトル処理装置５が実行する処理を示
すフローチャートである。図９において、Ｓ２３〜Ｓ２
６が本実施の形態の特徴部分である。まず、前述した図
４のＳ１、Ｓ２と同様にして入力画像の画質を制御した
後、第１画像、第２画像の時系列画像を入力する（Ｓ２
１、Ｓ２２）。第１、第２画像には、図８のように、移
動物体２０とビル等の背景とが映っている。尚、本実施
の形態においては、図１のビデオカメラ１は雲台に取り
付けられ、所定の角度範囲で首振り移動しているものと
する。FIG. 8 is a diagram for explaining positioning when the moving object 20 to be monitored is a running vehicle. FIG. 9 is a flowchart showing the processing executed by the motion vector processing device 5. In FIG. 9, S23 to S2
6 is a characteristic portion of the present embodiment. First, after controlling the image quality of the input image in the same manner as S1 and S2 in FIG. 4 described above, a time-series image of the first image and the second image is input (S2
1, S22). As shown in FIG. 8, the first and second images show the moving object 20 and the background of a building or the like. In this embodiment, it is assumed that the video camera 1 shown in FIG. 1 is attached to a camera platform and is swung in a predetermined angle range.
【００６２】図８においては、時刻ｔにおける第１画像
と時刻ｔ＋１における第２画像とが示されているが、こ
れはビデオカメラ１が右斜め下方向に移動した場合の画
像を示す。FIG. 8 shows the first image at time t and the second image at time t + 1, which are images when the video camera 1 moves diagonally downward and to the right.
【００６３】第１画像及び第２画像の同じ所定位置に演
算領域Ｓｔ 及び演算領域Ｓｔ＋１を設定する。尚、各
演算領域のＸ方向長さは画素数にしてＰｎ個、Ｙ方向長
さは画素数にしてＰｍ個とする。２つの演算領域の画像
内容は、カメラが動いているので背景及び移動物体２０
の位置がずれている。図示の場合は、背景が水平方向に
Δｄｘだけずれ、垂直方向にΔｄｙ＝｜ｈ１−ｈ２｜だ
けずれている。従って、移動物体（移動車両）２０を検
出するには、移動する背景とその移動背景の中でさらに
移動する移動物体２０とを区別して検出する必要があ
る。A calculation area St and a calculation area St + 1 are set at the same predetermined position in the first image and the second image. Note that the length in the X direction of each operation area is Pn in terms of the number of pixels, and the length in the Y direction is Pm in terms of the number of pixels. The image contents of the two calculation areas are the background and the moving object 20 because the camera is moving.
Is misaligned. In the illustrated case, the background is shifted by Δdx in the horizontal direction and by Δdy = | h1-h2 | in the vertical direction. Therefore, in order to detect the moving object (moving vehicle) 20, it is necessary to distinguish and detect the moving background and the moving object 20 that moves further in the moving background.
【００６４】そのために、まず各演算領域ＳｔとＳｔ＋
１からオプティカルフローを計算し（Ｓ２３）、画像の
流れを推定した（Ｓ２４）後、演算領域の位置合わせを
行い（Ｓ２５）、その位置合わせした画像のオプティカ
ルフローに基づいて目的とする移動物体２０を推定する
（Ｓ２６）。そして、移動物体の有無を調べ（Ｓ２
７）、移動物体があれば移動物体情報をデータベースに
保存し（Ｓ２８）と共に、危険警報を通知する（Ｓ２
９）。次に、監視が終了していれば、又はＳ２７で移動
物体が無い場合はＳ２１に戻る。For this purpose, first, each operation area St and St +
The optical flow is calculated from 1 (S23), the flow of the image is estimated (S24), and then the calculation region is aligned (S25), and the target moving object 20 is determined based on the optical flow of the aligned image. Is estimated (S26). Then, the presence or absence of a moving object is checked (S2
7) If there is a moving object, the moving object information is stored in a database (S28), and a danger warning is notified (S2).
9). Next, if monitoring has been completed, or if there is no moving object in S27, the process returns to S21.
【００６５】次に、上記Ｓ２３〜Ｓ２６の処理を詳細に
説明する。 まず、演算領域Ｓｔ とＳｔ＋１ で前述した勾配法に
よるオプティカルフロー計算を行う。この場合、最初は
例えば演算画素間隔Ｐ＝４で間引いた各画素について計
算を開始する。 次に、算出されたオプティカルフローについて閾値を
超えた動きベクトルを集計し、その動きベクトルの分布
に基づいて背景と移動物体２０とを識別する。Next, the processing of S23 to S26 will be described in detail. First, an optical flow calculation is performed on the operation areas St and St + 1 by the gradient method described above. In this case, first, the calculation is started for each pixel thinned out at the calculation pixel interval P = 4, for example. Next, for the calculated optical flows, the motion vectors exceeding the threshold are totaled, and the background and the moving object 20 are identified based on the distribution of the motion vectors.
【００６６】上記識別方法について説明する。図１０は
閾値を超えた動きベクトルを集計して得られる動きベク
トルの分布Ｋ１、Ｋ２の例を示す。これらの速度分布が
背景の移動による分布か移動物体２０による速度分布か
を識別するために、瞬時ベクトルの数量により判定す
る。即ち、 ・画角の広い遠方の一般的な監視風景画像においては、
移動する背景の輪郭付近で発生する瞬時ベクトル数は移
動物体により発生する瞬時ベクトル数より圧倒的に多
い。 ・移動する背景は遠近風景のため、そこから発生する瞬
時動きベクトルは広い範囲に存在する。 上記のことから、速度分布Ｋ１は移動物体２０により発
生したものであり、速度分布Ｋ２は移動背景により発生
したものであることが判る。The identification method will be described. FIG. 10 shows examples of motion vector distributions K1 and K2 obtained by summing up motion vectors exceeding the threshold value. In order to identify whether these velocity distributions are distributions due to movement of the background or velocity distributions due to the moving object 20, judgment is made by the number of instantaneous vectors. In general, in a general surveillance landscape image with a wide angle of view,
The number of instantaneous vectors generated near the contour of the moving background is overwhelmingly greater than the number of instantaneous vectors generated by the moving object. -Since the moving background is a perspective view, the instantaneous motion vector generated from the background exists in a wide range. From the above, it can be seen that the velocity distribution K1 is generated by the moving object 20, and the velocity distribution K2 is generated by the moving background.
【００６７】次に、上記移動背景により発生した速度
分布Ｋ２の速度ベクトル平均である単純ベクトル平均を
求め、それを仮重心ベクトルＶｚ とする。この仮重心
ベクトルＶｚ は、図８におけるずれ量Δｄｘ、Δｄｙ
に応じた座標位置にあり、その符号はΔｄｘ、Δｄｙと
もＸ方向及びＹ方向に対して（−）となっている。Next, a simple vector average, which is an average of the velocity vectors of the velocity distribution K2 generated by the moving background, is obtained, and is set as a temporary center-of-gravity vector Vz. This temporary center-of-gravity vector Vz is represented by the shift amounts Δdx, Δdy in FIG.
, And the sign of each of Δdx and Δdy is (−) in the X direction and the Y direction.
【００６８】図１１は上記のことをさらに説明するため
の図であり、遠方を監視する移動カメラから入力される
第１、第２画像から計算したオプティカルフローの分布
図である。図１１に示されるように、求めた各動きベク
トルの絶対値であるスカラ値を横軸として頻度を求める
と、背景の移動部分により発生する分布と移動物体によ
り発生する分布とでは発生頻度に大きな差があることが
判る。FIG. 11 is a diagram for further explaining the above, and is a distribution diagram of optical flows calculated from the first and second images input from a moving camera monitoring a distant place. As shown in FIG. 11, when the frequency is calculated using the scalar value, which is the absolute value of each motion vector, as the horizontal axis, the occurrence frequency is large in the distribution generated by the moving part of the background and the distribution generated by the moving object. You can see the difference.
【００６９】次に、仮重心ベクトルＶｚ のＸ方向及
びＹ方向の符号に基づいて、第２画像の演算領域Ｓｔ＋
ｓ を移動させて演算領域Ｓｔ との位置合わせを行う。
移動は前記演算画素間隔Ｐ＝４毎に移動させる。 上記〜をその都度オプティカルフロー計算をしな
がらＸ方向、Ｙ方向それぞれについて繰り返し行うこと
により、２つの演算領域の一致点を求める。Next, based on the sign of the temporary center-of-gravity vector Vz in the X and Y directions, the operation area St +
s is moved to perform positioning with the calculation area St.
The movement is performed at every calculation pixel interval P = 4. By repeating the above steps in each of the X direction and the Y direction while performing the optical flow calculation each time, a coincidence point between the two calculation regions is obtained.
【００７０】２つの演算領域の一致点を求めるために、
仮重心ベクトルＶｚ の符号のみに着目して演算領域Ｓ
ｔに対し演算領域Ｓｔ＋１ を移動させる。移動途中で
仮重心ベクトルＶｚ の符号が変化したら（図１０では
−から＋に変化したら）、その変化の直前の位置が各演
算領域の背景の一致点である。何故ならば、２つの画像
の一致点では、背景の差で発生する推定動きベクトルは
存在せず、仮重心ベクトルＶｚ を決定することはでき
ないからである。In order to find a coincidence point between the two operation areas,
Focusing on only the sign of the temporary center of gravity vector Vz, the operation area S
The operation area St + 1 is moved with respect to t. If the sign of the temporary center-of-gravity vector Vz changes during the movement (changes from-to + in FIG. 10), the position immediately before the change is the coincidence point of the background of each calculation area. This is because there is no estimated motion vector generated due to the difference between the backgrounds at the coincidence point of the two images, and the provisional center-of-gravity vector Vz cannot be determined.
【００７１】即ち、この位置合わせは、演算領域Ｓｔ＋
１ の移動量を適正量よりオーバさせ、それを符号の変
化点で判定するようにしたことを特徴としている。背景
が一致した点の推定速度の頻度は急激に低下する。例え
ば、 符号（−）→符号（−）→推定速度の頻度低下→符号
（＋） 上記推定速度の頻度低下点は仮重心ベクトルＶｚ を計
算する前に判断可能であり、無条件に演算領域を移動さ
せることができる。図１２は上記の処理後における速
度分布を示すものである。That is, this positioning is performed in the calculation area St +
1 is characterized in that the amount of movement is exceeded by an appropriate amount, and that the amount of movement is determined based on a change point of the sign. The frequency of the estimated speed at the point where the background coincides sharply decreases. For example, sign (−) → sign (−) → frequency reduction of estimated speed → sign (+) The frequency reduction point of the estimated speed can be determined before calculating the temporary center-of-gravity vector Vz, and the calculation area is unconditionally determined. Can be moved. FIG. 12 shows the velocity distribution after the above processing.
【００７２】上記位置合わせ処理において、２つの画
像の背景を画素単位で一致させるために、で決定した
演算領域Ｓｔ＋１ の領域座標（ｘｓ＋Ｐｎ，ｙｓ＋Ｐ
ｍ）を初期値として、演算画素間隔Ｐを例えば４→３→
２→１と順次変化させ、上記〜をピラミッド的に処
理し、即ち、始めは粗く段々細かく処理することによ
り、位置合わせ処理の時間を低減することができる。In the above-described positioning process, the area coordinates (xs + Pn, ys + P) of the calculation area St + 1 determined in order to match the background of the two images on a pixel-by-pixel basis.
m) as an initial value, the calculation pixel interval P is set to, for example, 4 → 3 →
By sequentially changing from 2 to 1 and processing the above to a pyramid, that is, by processing coarser and finer at first, the time of the alignment processing can be reduced.
【００７３】次に、上記背景位置が一致した２つの演
算領域間で勾配法オプティカルフロー計算を行うことに
より、図７（ｄ）のように背景の変動部分を認識して移
動物体２０を検出することができる。なお、この処理は
第１の実施の形態で説明した処理と同様の処理となる。Next, the moving object 20 is detected by recognizing a changing portion of the background as shown in FIG. 7 (d) by performing a gradient method optical flow calculation between the two calculation regions having the same background position. be able to. This processing is similar to the processing described in the first embodiment.
【００７４】以上説明した第３の実施の形態を、前述し
た第１、第２の実施の形態におけるビデオカメラ１を移
動カメラとして落石や火災、移動車両を検出する場合に
適用することにより、それぞれの実施の形態の効果を得
ることができる。The third embodiment described above is applied to the case where the video camera 1 according to the first and second embodiments described above is used as a moving camera to detect a falling rock, a fire, or a moving vehicle. The effect of the embodiment can be obtained.
【００７５】次に、本発明の実施の形態によるコンピュ
ータ読み取り可能な記録媒体について説明する。図１の
動きベクトル処理装置５のコンピュータシステムにおけ
るＣＰＵが実行するための監視用プログラムを格納する
記録媒体は、コンピュータ読み取り可能な記録媒体を構
成する。この記録媒体には、各フローチャートで説明し
た処理をＣＰＵが実行するためのプログラムが格納され
る。Next, a computer-readable recording medium according to an embodiment of the present invention will be described. The recording medium storing the monitoring program to be executed by the CPU in the computer system of the motion vector processing device 5 in FIG. 1 constitutes a computer-readable recording medium. The recording medium stores a program for causing the CPU to execute the processing described in each flowchart.
【００７６】この記録媒体としては、光磁気ディスク、
光ディスク、半導体メモリ、磁気記録媒体等を用いるこ
とができ、これらをＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、フ
ロッピー（登録商標）ディスク、メモリカード等に構成
して用いてよい。As the recording medium, a magneto-optical disk,
An optical disk, a semiconductor memory, a magnetic recording medium, or the like can be used, and these may be configured and used in a ROM, a RAM, a CD-ROM, a floppy (registered trademark) disk, a memory card, or the like.
【００７７】またこの記録媒体は、インターネット等の
ネットワークや電話回線等の通信回線を介してプログラ
ムが送信された場合のサーバやクライアントとなるコン
ピュータシステム内部のＲＡＭ等の揮発性メモリのよう
に、一定時間プログラムを保持するものも含まれる。The recording medium is a fixed medium such as a volatile memory such as an internal RAM of a computer system serving as a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. The one that holds the time program is also included.
【００７８】また上記プログラムは、このプログラムを
記憶装置等に格納したコンピュータシステムから伝送媒
体を介して、あるいは伝送媒体中の伝送波により他のコ
ンピュータシステムに伝送されるものであってもよい。
上記伝送媒体とは、インターネット等のネットワーク
（通信網）や電話回線等の通信回線（通信線）のように
情報を伝送する機能を有する媒体をいうものとする。The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
The transmission medium refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
【００７９】また、上記プログラムは、前述した機能の
一部を実現するためであってもよい。さらに、前述した
機能をコンピュータシステムに既に記録されているプロ
グラムとの組み合わせで実現できるもの、いわゆる差分
ファイル（差分プログラム）であってもよい。Further, the above program may be for realizing a part of the functions described above. Furthermore, what can realize the above-described function in combination with a program already recorded in the computer system, that is, a so-called difference file (difference program) may be used.
【００８０】従って、この記録媒体を図１のシステム又
は装置とは異なるシステム又は装置において用い、その
システム又は装置のコンピュータがこの記録媒体に格納
されたプログラムを実行することによっても、各実施の
形態で説明した機能及び効果と同等の機能及び効果を得
ることができ、本発明の目的を達成することができる。Therefore, each of the embodiments can also be implemented by using this recording medium in a system or apparatus different from the system or apparatus in FIG. 1 and causing a computer of the system or apparatus to execute a program stored in the recording medium. Functions and effects equivalent to the functions and effects described above can be obtained, and the object of the present invention can be achieved.
【００８１】以上、本発明の各実施の形態を説明した
が、これは本発明を説明するための例示に過ぎない。従
って、本発明は上記実施の形態以外の様々な実施の態様
にも適用することができる。即ち、カメラを移動させな
がら屋外の落石や走行車両、火災の検出を行うだけでな
く、カメラを移動させながら不審者の侵入検出や、屋内
の物体監視等の様々な監視システムに適用することがで
きる。また、本発明の実施の形態では、図４のステップ
Ｓ７により画像上の各画素の動きベクトルを監視エリア
となる実平面上での動きを示す速度ベクトルに写像して
いる。これにより、監視対象となる物体の実際の形状等
を推定できるようになるとともに、監視対象となる物体
の設定を実際の大きさを基準にできるため監視対象とな
る物体の設定が容易になるが、これに限定されるもので
はない。たとえば、画面上の画素を大きさの基準とした
物体の監視を行うならば図４のステップＳ７は省略可能
である。なお、この場合、動きベクトルと速度ベクトル
は同義となる。The embodiments of the present invention have been described above, but these are merely examples for explaining the present invention. Therefore, the present invention can be applied to various embodiments other than the above embodiment. That is, the present invention can be applied not only to detection of falling rocks, traveling vehicles, and fires while moving the camera, but also to various monitoring systems such as detection of intrusion of a suspicious person while moving the camera, and monitoring of indoor objects. it can. Further, in the embodiment of the present invention, the motion vector of each pixel on the image is mapped to the velocity vector indicating the motion on the real plane serving as the monitoring area in step S7 of FIG. This makes it possible to estimate the actual shape and the like of the object to be monitored and to set the object to be monitored easily because the setting of the object to be monitored can be based on the actual size. However, the present invention is not limited to this. For example, if an object is monitored based on the size of a pixel on the screen, step S7 in FIG. 4 can be omitted. In this case, the motion vector and the velocity vector have the same meaning.
【００８２】[0082]
【発明の効果】以上説明したように本発明によれば、第
１、第２の画像の位置合わせを行うことにより、カメラ
を移動させながら監視対象の移動物体を自動的に検出す
る監視システムを実現することができる。As described above, according to the present invention, a monitoring system for automatically detecting a moving object to be monitored while moving a camera by aligning the first and second images is provided. Can be realized.
【００８３】また、速度場ラベリングを行うことによ
り、移動物体が単一色であったり、反射光量が変化した
りしても監視対象物体を精度良く検出することができる
と共に、ノイズに強い検出を行うことができる。Further, by performing the velocity field labeling, it is possible to accurately detect the monitoring target object even if the moving object is a single color or the amount of reflected light changes, and to perform a detection resistant to noise. be able to.
【００８４】また、方向性優先フィルタを用いることに
より、動画像における特に高速な移動物体のインターレ
ース走査によるズレ変形を除去することができる。さら
に、正則化パラメータ等の動きベクトルの空間的な滑ら
かさを示すパラメータを導入することにより、監視環境
の条件等に応じてより精度の高い検出を実現することが
できる。Further, by using the direction priority filter, it is possible to remove a displacement deformation due to interlace scanning of a particularly high-speed moving object in a moving image. Furthermore, by introducing a parameter indicating a spatial smoothness of a motion vector such as a regularization parameter, more accurate detection can be realized according to conditions of a monitoring environment and the like.
【図１】 本発明の第１、第２、第３の実施の形態によ
る監視システムの構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a monitoring system according to first, second, and third embodiments of the present invention.
【図２】 落石を検出する場合における速度場ラベリン
グ処理を概略的に説明するための構成図である。FIG. 2 is a configuration diagram for schematically explaining a speed field labeling process in the case of detecting a falling rock.
【図３】 ビデオカメラから見た監視エリアの光景の一
例を示す構成図である。FIG. 3 is a configuration diagram illustrating an example of a scene of a monitoring area viewed from a video camera.
【図４】 落石を検出する場合における動きベクトル処
理装置が実行する処理を示すフローチャートである。FIG. 4 is a flowchart illustrating a process executed by the motion vector processing device when a falling rock is detected.
【図５】 速度場ラベリング処理を示すフローチャート
である。FIG. 5 is a flowchart showing a speed field labeling process.
【図６】 本発明の第２の実施の形態による走行車両を
検出する場合における動きベクトル処理装置が行う速度
場ラベリング処理以降の処理を示すフローチャートであ
る。FIG. 6 is a flowchart illustrating a process after a speed field labeling process performed by the motion vector processing device when detecting a traveling vehicle according to the second embodiment of the present invention.
【図７】 本発明の第３の実施の形態による火災による
炎を検出する場合の動作を原理的に示す構成図である。FIG. 7 is a configuration diagram showing in principle the operation when detecting a flame due to a fire according to the third embodiment of the present invention.
【図８】 位置合わせを説明するための構成図である。FIG. 8 is a configuration diagram for explaining alignment.
【図９】 第３の実施の形態の動きベクトル処理装置が
実行する処理を示すフローチャートである。FIG. 9 is a flowchart illustrating processing executed by the motion vector processing device according to the third embodiment.
【図１０】 動きベクトルの分布を示す特性図である。FIG. 10 is a characteristic diagram showing a distribution of a motion vector.
【図１１】 動きベクトルの分布から移動物体を識別す
ることを示す特性図である。FIG. 11 is a characteristic diagram showing that a moving object is identified from a distribution of motion vectors.
【図１２】 位置合わせ処理後のベクトル分布を示す特
性図である。FIG. 12 is a characteristic diagram showing a vector distribution after the alignment processing.
１ ビデオカメラ ２ 風向風速計 ３ 雨量計 ４ ディスプレイ装置 ５ 動きベクトル処理装置 ６ 警報発信装置 ７ 監視ログファイルＤＢ ８ 監視静止画ＤＢ １０ 監視対象の移動物体（火災による炎） ２０ 監視対象の移動物体（走行車両） １００ 監視エリア DESCRIPTION OF SYMBOLS 1 Video camera 2 Anemometer 3 Rain gauge 4 Display device 5 Motion vector processing device 6 Alarm transmission device 7 Monitoring log file DB 8 Monitoring still image DB 10 Monitoring target moving object (flame due to fire) 20 Monitoring target moving object ( Vehicle) 100 monitoring area
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 憲市郎 東京都千代田区神田神保町三丁目13番８号 株式会社シー・イー・デー・システム内 Ｆターム(参考） 5C054 CA04 CC03 EA01 FC13 HA18 5C083 AA01 BB23 BB24 DD07 EE05 EE10 HH35 HH40 JJ44 5L096 BA02 CA04 FA02 FA33 FA34 FA59 FA60 FA67 GA34 GA55 HA04 ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Kenichiro Nakamura 3-13-8 Kanda Jimbocho, Chiyoda-ku, Tokyo F-Term Co., Ltd. F-term (reference) 5C054 CA04 CC03 EA01 FC13 HA18 5C083 AA01 BB23 BB24 DD07 EE05 EE10 HH35 HH40 JJ44 5L096 BA02 CA04 FA02 FA33 FA34 FA59 FA60 FA67 GA34 GA55 HA04
Claims (8)
られる動画像を分析することにより監視エリア内で目的
の動きをする物体の有無を判断する監視システムにおい
て、 前記動画像に含まれる時間的に異なる２つの画像から、
画像内の各画素の動きベクトルを計算するベクトル計算
手段と、 前記動きベクトルに基づいて前記２つの画像における背
景が一致するように２つの画像の位置合わせを行う位置
合わせ手段と、 前記位置合わせされた２つの画像から計算された動きベ
クトルに基づいて前記目的の動きをする物体の有無を検
出する検出手段とを設けたことを特徴とする動画像によ
る監視システム。1. A monitoring system for determining the presence or absence of an object that moves in a target area by analyzing a moving image obtained from a camera that moves and shoots the target area. From two different images,
Vector calculation means for calculating a motion vector of each pixel in the image; positioning means for positioning the two images based on the motion vector so that the backgrounds of the two images match; A monitoring means for detecting the presence or absence of the object performing the desired movement based on a motion vector calculated from the two images.
記背景による動きベクトルの分布を求めると共に、この
分布における前記２つの画像の背景のずれに応じた重心
位置を求め、２つの画像のうちの一方の画像を移動させ
た後前記重心位置を求めることを繰り返し、求めた重心
位置の符号変化により前記背景の一致を判断することを
特徴とする請求項１記載の動画像による監視システム。2. The positioning unit obtains a distribution of the motion vector due to the background from the motion vector calculated by the vector calculation unit, and calculates a barycentric position corresponding to a shift of the background between the two images in the distribution. 2. The method according to claim 1, wherein the determination of the center of gravity is repeated after moving one of the two images, and the coincidence of the background is determined based on a change in the sign of the determined center of gravity. Surveillance system using moving images.
トルを求めると共に、前記速度場ベクトルをベクトルの
方向性に応じて領域分割する速度場ラベリング処理を行
うラベリング手段と、 前記速度場ラベリング処理結果に基づいて前記目的の動
きをする物体の形状、面積を推定することにより前記物
体の有無を検出する手段とを備えることを特徴とする請
求項１または請求項２に記載の動画像による監視システ
ム。3. The method according to claim 1, wherein the detecting unit calculates a velocity field vector by coordinately arranging the calculated motion vectors, and performs a velocity field labeling process of dividing the velocity field vector into regions according to the directionality of the vector. And means for detecting the presence or absence of the object by estimating the shape and area of the object performing the target movement based on the result of the velocity field labeling processing. 3. The monitoring system based on the moving image according to 2.
域内に存在する動きベクトルの角度データを集計し、該
分散計算から物体の移動方向主成分を決定し、該主成分
の所定角度範囲内で選別した動きベクトルを有効とし、
該選択された動きベクトルを集計して分散を求め、分散
における中心値を物体の推定速度とする方向性優先フィ
ルタ手段をさらに備えることを特徴とする請求項３に記
載の監視システム。4. The monitoring system collects angle data of motion vectors existing in a circumscribed region of the object determined in the velocity field labeling process, determines a principal component in a moving direction of the object from the variance calculation, Validate the motion vectors selected within a predetermined angle range of the main component,
The monitoring system according to claim 3, further comprising a direction priority filter unit that obtains a variance by totalizing the selected motion vectors, and uses a center value in the variance as an estimated speed of the object.
ータを用いて動きベクトルを計算することを特徴とする
請求項１から請求項４のいずれかに記載の動画像による
監視システム。5. The motion vector calculation unit according to claim 1, wherein the motion vector calculation unit calculates the motion vector using a parameter indicating a degree of planar smoothness of the motion vector. Surveillance system with moving images.
定するパラメータ設定手段をさらに備えることを特徴と
する請求項５記載の動画像による監視システム。6. The monitoring system according to claim 5, wherein the monitoring system further comprises parameter setting means for setting the parameters according to environmental factors of the monitoring area.
られる動画像を分析することにより監視エリア内で目的
の動きをする物体の有無を判断する監視方法において、 前記動画像に含まれる時間的に異なる２つの画像から、
画像内の各画素の動きベクトルを計算するベクトル計算
手順と、 前記動きベクトルに基づいて前記２つの画像における背
景が一致するように２つの画像の位置合わせを行う位置
合わせ手順と、 前記位置合わせされた２つの画像から計算された動きベ
クトルに基づいて前記目的の動きをする物体の有無を検
出する検出手順とを含むことを特徴とする動画像による
監視方法。7. A surveillance method for judging the presence or absence of an object moving in a target area in a surveillance area by analyzing a moving image obtained from a camera for moving and photographing the surveillance area. From two different images,
A vector calculation procedure for calculating a motion vector of each pixel in the image; a registration procedure for aligning the two images based on the motion vector so that the backgrounds in the two images match; A detection procedure for detecting the presence or absence of the object performing the desired movement based on the motion vector calculated from the two images.
られる動画像を分析することにより監視エリア内で目的
の動きをする物体の有無を判断するプログラムを記録し
た記録媒体であって、 監視エリアを移動撮影するカメラから得られる動画像に
含まれる時間的に異なる２つの画像から、画像内の各画
素の動きベクトルを計算するベクトル計算処理と、 前記動きベクトルに基づいて前記２つの画像における背
景が一致するように２つの画像の位置合わせを行う位置
合わせ処理と、 前記位置合わせされた２つの画像から計算された動きベ
クトルに基づいて前記目的の動きをする物体の有無を検
出する検出処理とをコンピュータに実行させるプログラ
ムを記録したコンピュータ読み取り可能な記録媒体。8. A recording medium storing a program for determining the presence or absence of an object performing a desired movement in a monitored area by analyzing a moving image obtained from a camera that moves and shoots the monitored area. A vector calculation process of calculating a motion vector of each pixel in the image from two temporally different images included in a moving image obtained from a camera that captures a moving image; and a background in the two images based on the motion vector. A positioning process of positioning the two images so that they coincide with each other; and a detection process of detecting the presence or absence of the target moving object based on the motion vector calculated from the two aligned images. A computer-readable recording medium that records a program to be executed by a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000257936A JP2002074370A (en) | 2000-08-28 | 2000-08-28 | System and method for monitoring based on moving image and computer readable recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000257936A JP2002074370A (en) | 2000-08-28 | 2000-08-28 | System and method for monitoring based on moving image and computer readable recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002074370A true JP2002074370A (en) | 2002-03-15 |
Family
ID=18746318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000257936A Withdrawn JP2002074370A (en) | 2000-08-28 | 2000-08-28 | System and method for monitoring based on moving image and computer readable recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002074370A (en) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004102380A (en) * | 2002-09-05 | 2004-04-02 | Meidensha Corp | Congestion degree investigation device |
| JP2005013626A (en) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | Awakefullness detector |
| JP2007188294A (en) * | 2006-01-13 | 2007-07-26 | Central Res Inst Of Electric Power Ind | Method for detecting moving object candidate by image processing, moving object detection method for detecting moving object from moving object candidate, moving object detection apparatus, and moving object detection program |
| KR100858140B1 (en) * | 2007-02-20 | 2008-09-10 | (주)에이치엠씨 | Method and system for detecting a fire by image processing |
| KR101068674B1 (en) | 2010-10-11 | 2011-09-29 | 한국과학기술원 | Method, system and recording medium for incorrect seed removal and foreground object segmentation |
| JP2015095897A (en) * | 2013-11-13 | 2015-05-18 | 三菱電機株式会社 | Method for processing video acquired from scene |
| WO2015122161A1 (en) * | 2014-02-14 | 2015-08-20 | 日本電気株式会社 | Video analysis system |
| JP2015527760A (en) * | 2012-05-21 | 2015-09-17 | ビパール， エルエルシー | System and method for managing spatiotemporal uncertainty |
| CN105956618A (en) * | 2016-04-27 | 2016-09-21 | 云南昆钢集团电子信息工程有限公司 | Converter steelmaking blowing state recognition system and method based on image dynamic and static characteristics |
| US9690988B2 (en) | 2012-08-31 | 2017-06-27 | Fujitsu Limited | Image processing apparatus and image processing method for blink detection in an image |
| US9710968B2 (en) | 2012-12-26 | 2017-07-18 | Help Lightning, Inc. | System and method for role-switching in multi-reality environments |
| US9886552B2 (en) | 2011-08-12 | 2018-02-06 | Help Lighting, Inc. | System and method for image registration of multiple video streams |
| US9940750B2 (en) | 2013-06-27 | 2018-04-10 | Help Lighting, Inc. | System and method for role negotiation in multi-reality environments |
| JP2019203288A (en) * | 2018-05-22 | 2019-11-28 | 大成建設株式会社 | Falling stone detection device and falling stone detection system |
| KR20200015001A (en) * | 2018-08-02 | 2020-02-12 | 경북대학교 산학협력단 | Apparatus and method for image processing |
| JP2020148552A (en) * | 2019-03-12 | 2020-09-17 | 基礎地盤コンサルタンツ株式会社 | Method for evaluating ground variation |
| CN113759197A (en) * | 2021-09-09 | 2021-12-07 | 国网上海市电力公司 | Power transformer state monitoring device and method |
-
2000
- 2000-08-28 JP JP2000257936A patent/JP2002074370A/en not_active Withdrawn
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004102380A (en) * | 2002-09-05 | 2004-04-02 | Meidensha Corp | Congestion degree investigation device |
| JP2005013626A (en) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | Awakefullness detector |
| JP2007188294A (en) * | 2006-01-13 | 2007-07-26 | Central Res Inst Of Electric Power Ind | Method for detecting moving object candidate by image processing, moving object detection method for detecting moving object from moving object candidate, moving object detection apparatus, and moving object detection program |
| KR100858140B1 (en) * | 2007-02-20 | 2008-09-10 | (주)에이치엠씨 | Method and system for detecting a fire by image processing |
| KR101068674B1 (en) | 2010-10-11 | 2011-09-29 | 한국과학기술원 | Method, system and recording medium for incorrect seed removal and foreground object segmentation |
| US9886552B2 (en) | 2011-08-12 | 2018-02-06 | Help Lighting, Inc. | System and method for image registration of multiple video streams |
| US10622111B2 (en) | 2011-08-12 | 2020-04-14 | Help Lightning, Inc. | System and method for image registration of multiple video streams |
| US10181361B2 (en) | 2011-08-12 | 2019-01-15 | Help Lightning, Inc. | System and method for image registration of multiple video streams |
| US9959629B2 (en) | 2012-05-21 | 2018-05-01 | Help Lighting, Inc. | System and method for managing spatiotemporal uncertainty |
| JP2015527760A (en) * | 2012-05-21 | 2015-09-17 | ビパール， エルエルシー | System and method for managing spatiotemporal uncertainty |
| US9690988B2 (en) | 2012-08-31 | 2017-06-27 | Fujitsu Limited | Image processing apparatus and image processing method for blink detection in an image |
| US9710968B2 (en) | 2012-12-26 | 2017-07-18 | Help Lightning, Inc. | System and method for role-switching in multi-reality environments |
| US10482673B2 (en) | 2013-06-27 | 2019-11-19 | Help Lightning, Inc. | System and method for role negotiation in multi-reality environments |
| US9940750B2 (en) | 2013-06-27 | 2018-04-10 | Help Lighting, Inc. | System and method for role negotiation in multi-reality environments |
| JP2015095897A (en) * | 2013-11-13 | 2015-05-18 | 三菱電機株式会社 | Method for processing video acquired from scene |
| WO2015122161A1 (en) * | 2014-02-14 | 2015-08-20 | 日本電気株式会社 | Video analysis system |
| JPWO2015122161A1 (en) * | 2014-02-14 | 2017-03-30 | 日本電気株式会社 | Video analysis system |
| US10636129B2 (en) | 2014-02-14 | 2020-04-28 | Nec Corporation | Wind motion threshold image analysis system |
| US10706515B2 (en) | 2014-02-14 | 2020-07-07 | Nec Corporation | Shadow removal video analysis system |
| US11398018B2 (en) | 2014-02-14 | 2022-07-26 | Nec Corporation | Video shadow and motion removal system |
| CN105956618B (en) * | 2016-04-27 | 2021-12-03 | 云南昆钢集团电子信息工程有限公司 | Converter steelmaking blowing state identification system and method based on image dynamic and static characteristics |
| CN105956618A (en) * | 2016-04-27 | 2016-09-21 | 云南昆钢集团电子信息工程有限公司 | Converter steelmaking blowing state recognition system and method based on image dynamic and static characteristics |
| JP2019203288A (en) * | 2018-05-22 | 2019-11-28 | 大成建設株式会社 | Falling stone detection device and falling stone detection system |
| JP7122157B2 (en) | 2018-05-22 | 2022-08-19 | 大成建設株式会社 | Rockfall detector and rockfall detection system |
| KR20200015001A (en) * | 2018-08-02 | 2020-02-12 | 경북대학교 산학협력단 | Apparatus and method for image processing |
| KR102106468B1 (en) * | 2018-08-02 | 2020-05-12 | 경북대학교 산학협력단 | Apparatus and method for image processing |
| JP2020148552A (en) * | 2019-03-12 | 2020-09-17 | 基礎地盤コンサルタンツ株式会社 | Method for evaluating ground variation |
| JP7246046B2 (en) | 2019-03-12 | 2023-03-27 | 基礎地盤コンサルタンツ株式会社 | Ground deformation evaluation method |
| CN113759197A (en) * | 2021-09-09 | 2021-12-07 | 国网上海市电力公司 | Power transformer state monitoring device and method |
| CN113759197B (en) * | 2021-09-09 | 2024-04-30 | 国网上海市电力公司 | Power transformer state monitoring device and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
| JP2002074370A (en) | System and method for monitoring based on moving image and computer readable recording medium | |
| CN110794405B (en) | Target detection method and system based on camera and radar fusion | |
| US7397929B2 (en) | Method and apparatus for monitoring a passageway using 3D images | |
| RU2484531C2 (en) | Apparatus for processing video information of security alarm system | |
| US20140028842A1 (en) | Calibration device and method for use in a surveillance system for event detection | |
| US9047515B2 (en) | Method and system for wildfire detection using a visible range camera | |
| US20130038694A1 (en) | Method for moving object detection using an image sensor and structured light | |
| CN112102409B (en) | Target detection method, device, equipment and storage medium | |
| US20060274917A1 (en) | Image processing techniques for a video based traffic monitoring system and methods therefor | |
| CN113671480A (en) | Radar and video fusion traffic target tracking method, system, equipment and terminal | |
| KR100879623B1 (en) | Automated wide area surveillance system using ptz camera and method therefor | |
| CN101167086A (en) | Human detection and tracking for security applications | |
| KR102253989B1 (en) | object tracking method for CCTV video by use of Deep Learning object detector | |
| JP7272024B2 (en) | Object tracking device, monitoring system and object tracking method | |
| JPH10512694A (en) | Method and apparatus for detecting movement of an object in a continuous image | |
| CA2451660A1 (en) | Method for monitoring a moving object and system regarding same | |
| JPH07250319A (en) | Supervisory equipment around vehicle | |
| CN115184917B (en) | Regional target tracking method integrating millimeter wave radar and camera | |
| KR102579542B1 (en) | Crowd density-based hazardous area automated alert system | |
| JP2002074369A (en) | System and method for monitoring based on moving image and computer readable recording medium | |
| KR101840042B1 (en) | Multi-Imaginary Fence Line Setting Method and Trespassing Sensing System | |
| EP0977437A2 (en) | Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object | |
| JP3953710B2 (en) | Video surveillance system | |
| JP7271373B2 (en) | VIDEO PROCESSING DEVICE, VIDEO PROCESSING SYSTEM AND VIDEO PROCESSING METHOD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071106 |