JP2002027449A - Method and apparatus for identifying moving object - Google Patents
Method and apparatus for identifying moving objectInfo
- Publication number
- JP2002027449A JP2002027449A JP2000208410A JP2000208410A JP2002027449A JP 2002027449 A JP2002027449 A JP 2002027449A JP 2000208410 A JP2000208410 A JP 2000208410A JP 2000208410 A JP2000208410 A JP 2000208410A JP 2002027449 A JP2002027449 A JP 2002027449A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- moving
- motion
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、カメラにより撮像
された映像を処理することで、動きのある物体を識別す
る移動物体識別方法およびその装置に関する。屋外の監
視システムなどで、車両や人物やバイクなど不特定多数
の移動物体がある場合に、例えば車両に限定して識別、
追跡する機能が要求される侵入監視システム等に応用で
きる。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving object identification method and apparatus for processing an image captured by a camera to identify a moving object. When there is an unspecified number of moving objects such as vehicles, people, and motorcycles in outdoor monitoring systems, for example, identification is limited to vehicles,
It can be applied to an intrusion monitoring system or the like that requires a tracking function.
【０００２】[0002]
【従来の技術】物体を検知する方法、とくにカメラによ
り撮像された画像を処理することで、移動する物体を検
知する方法として、背景差分法や動き差分法などにより
変化領域の抽出や輪郭処理、その後ラベリング処理によ
り変化領域を特定し、それらの特徴量を基に移動物体の
判定を行う方法が知られている。2. Description of the Related Art As a method of detecting an object, in particular, a method of detecting a moving object by processing an image captured by a camera, extraction of a changing region, contour processing, and the like by a background difference method, a motion difference method, and the like. Then, a method is known in which a change area is specified by a labeling process, and a moving object is determined based on those feature amounts.
【０００３】[0003]
【発明が解決しようとする課題】これらの物体識別方法
は、背景差分法や動き差分法などによると、主に第１段
階で、移動物体を抽出する処理と、第２段階で、抽出さ
れた領域から得られた情報から物体の識別・判定処理を
行う２段階の処理により行われている。According to the background difference method and the motion difference method, these object identification methods mainly include a process of extracting a moving object in a first stage and a process of extracting a moving object in a second stage. This is performed by a two-stage process of performing an object identification / determination process based on information obtained from a region.
【０００４】移動物体の抽出処理においては、画像の２
値化や多値化により移動する物体の形状の抽出が行われ
ているが、屋外での時々刻々と変化する照度変化等の自
然環境に対応するためには、２値化や多値化するときの
閾値レベルの設定等の判定パラメータを最適化する必要
がある。しかし、つねに判定パラメータの最適値が得ら
れるとは限らない。また識別処理においては、サイズ判
定や、運動解析等が画面上の座標により行われる場合、
カメラの向きや画角が随時変化すると、その判定条件が
異なるためカメラ条件に応じたパラメータを用意しなく
てはならない等の面倒な問題があった。In the process of extracting a moving object, two
Although the shape of a moving object is extracted by binarization or multi-leveling, binarization or multi-leveling is performed in order to cope with a natural environment such as an illuminance change that changes every moment outdoors. It is necessary to optimize the determination parameters such as the setting of the threshold level at the time. However, the optimum value of the determination parameter is not always obtained. In the identification process, when size determination, motion analysis, and the like are performed using coordinates on the screen,
If the direction and angle of view of the camera change from time to time, the determination conditions are different, so that there is a troublesome problem that parameters corresponding to the camera conditions must be prepared.
【０００５】[0005]
【課題を解決するための手段】上記課題を解決するため
請求項１の発明では、カメラで撮像された画像を処理す
ることにより移動物体を識別する移動物体識別方法にお
いて、画像信号を記憶する画像メモリを設け、画像フレ
ーム間での画像の動きのベクトル量（動きベクトル）を
計測して動きのある移動領域を検出し、該検出した移動
領域のカメラ画像上の座標を実空間座標に変換し、該実
空間座標に変換された物体の大きさ、縦横比または移動
速度の少なくとも一つを予め複数の物体の特徴を登録し
たテーブルと照合し、該当する移動物体の種類を識別す
ることを特徴とする。請求項２の発明では、画像信号を
記憶する画像メモリを設け、画像フレーム間での画像の
動きベクトルを計測して動きのある移動領域を検出する
に際し、同じ動きベクトルをもつ離散した領域を統合し
て移動物体の種類を識別することを特徴とする。請求項
３の発明では、画像信号を記憶する画像メモリを設け、
画像フレーム間での画像の動きベクトルを計測して動き
のある移動領域を検出するに際し、画像全体の複数箇所
について動きベクトルを検出し、画像全体の並進的な動
き量を検出することにより撮像された画像の背景の動き
量を検出し、該移動領域の動き量から該背景の動き量を
差し引いて移動物体を分離し、移動物体の種類を識別す
ることを特徴とする。請求項４の発明では、カメラで撮
像された画像を処理することにより移動物体を識別する
移動物体識別装置において、第１のフレーム画像の内容
を記憶する第１の画像メモリと、第２のフレーム画像の
内容を記憶する第２の画像メモリと、該第１および第２
の画像メモリの内容を読み出してその動きベクトルを計
算する相関演算部と、該相関演算部の結果から動きのあ
る移動領域を検出する動き領域検出部と、検出した該領
域のカメラ画像上の座標を実空間座標に変換する実空間
スケール変換部と、該移動領域の位置の履歴を記憶する
動き領域履歴記憶部と、実空間における物体の大きさ、
縦横比、移動速度に対応した複数の物体の特徴を予め登
録しておく物体特徴テーブルと、該実空間スケール変換
部により変換された物体の大きさ、縦横比または移動速
度の少なくとも一つを該物体特徴テーブルの内容と照合
して移動物体を識別する移動物体識別処理部とを含むこ
とを特徴とする。請求項５の発明では、同じ動きベクト
ルをもつ離散した領域を統合する離散領域統合部を含む
ことを特徴とする。According to a first aspect of the present invention, there is provided a moving object identifying method for identifying a moving object by processing an image picked up by a camera. A memory is provided to measure a motion vector amount (motion vector) of an image motion between image frames, to detect a moving area having motion, and to convert coordinates of the detected moving area on the camera image into real space coordinates. Comparing at least one of the size, aspect ratio, or moving speed of the object converted into the real space coordinates with a table in which characteristics of a plurality of objects are registered in advance, and identifying a type of the corresponding moving object. And According to the second aspect of the present invention, an image memory for storing an image signal is provided, and when detecting a moving region having motion by measuring a motion vector of an image between image frames, discrete regions having the same motion vector are integrated. To identify the type of the moving object. In the invention according to claim 3, an image memory for storing an image signal is provided,
When detecting a moving area having motion by measuring a motion vector of an image between image frames, the motion vector is detected at a plurality of locations in the entire image, and the image is captured by detecting a translational motion amount of the entire image. The moving amount of the background of the moving image is detected, the moving amount of the background is subtracted from the moving amount of the moving area, the moving object is separated, and the type of the moving object is identified. According to a fourth aspect of the present invention, in the moving object identification device for identifying a moving object by processing an image captured by a camera, a first image memory for storing contents of a first frame image; A second image memory for storing the contents of the image, the first and second image memories;
A correlation operation unit for reading the contents of the image memory and calculating a motion vector thereof, a motion region detection unit for detecting a moving region having motion from the result of the correlation operation unit, and coordinates of the detected region on the camera image A real space scale conversion unit that converts the real space coordinates, a motion region history storage unit that stores the history of the position of the moving region, the size of the object in the real space,
Aspect ratio, an object feature table in which features of a plurality of objects corresponding to the moving speed are registered in advance, and at least one of the size, the aspect ratio, or the moving speed of the object converted by the real space scale converting unit is stored in the object feature table. A moving object identification processing unit for identifying a moving object by collating with the contents of the object feature table. The invention according to claim 5 is characterized in that it includes a discrete region integration unit that integrates discrete regions having the same motion vector.
【０００６】本発明の移動物体識別方法およびその装置
は、以上のように、移動物体を動きベクトルによって該
当領域を切り出して物体を判定するので、屋外の照度変
化のあるような環境下でも、またカメラの動きやレンズ
ズームに影響されることなく安定して移動物体の種類を
識別することができる。[0006] As described above, the moving object identification method and apparatus according to the present invention cut out a corresponding area of a moving object by using a motion vector to determine the object. The type of the moving object can be identified stably without being affected by the movement of the camera or the lens zoom.
【０００７】[0007]
【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。図１は本発明の実施例による移動物体識別
装置のブロック図、図２は本発明の実施例による移動物
体識別方法のフローチャート図、図３はブロック位置の
補正を説明する図、図４は撮影画面上の位置と実空間内
の位置との関係を説明する図、図５は実空間内における
物体の高さを説明する図、図６は物体特徴テーブルの内
容例を示す図、図７は動きブロックが分割された例を説
明する図、図８は画像全体の並進的な動き量を検出する
方法のフローチャート図、図９は相関演算を説明する図
である。Embodiments of the present invention will be described below. FIG. 1 is a block diagram of a moving object identification device according to an embodiment of the present invention, FIG. 2 is a flowchart of a moving object identification method according to an embodiment of the present invention, FIG. 3 is a diagram illustrating correction of a block position, and FIG. FIG. 5 is a diagram for explaining the relationship between the position on the screen and the position in the real space, FIG. 5 is a diagram for explaining the height of the object in the real space, FIG. 6 is a diagram showing an example of the contents of the object feature table, and FIG. FIG. 8 is a diagram illustrating an example in which a motion block is divided, FIG. 8 is a flowchart illustrating a method of detecting a translational motion amount of the entire image, and FIG. 9 is a diagram illustrating a correlation operation.
【０００８】本発明の実施例による移動物体識別装置は
図１に示すように、カメラ部２のカメラ２１からの映像
信号を画像メモリ１０と画像メモリ１１に逐次入力す
る。デマルチプレクサ１２はカメラ２１により撮影され
た映像信号をフレーム単位に画像メモリ１０と画像メモ
リ１１に振り分けてゆく。相関演算部１３は、画像メモ
リ１０と画像メモリ１１を処理対象として、移動物体識
別処理部１８により指示された画像領域に対して相関演
算処理を実施する。動き領域検出部１４は相関演算部１
３での相関演算結果から動きのある局所領域を検出す
る。実空間スケール変換部１５は動きのある領域のカメ
ラ画像上の座標をカメラ旋回台２２からのチルト角やカ
メラのズーム量をもとに実空間座標に変換する。なお同
じ動きベクトルをもつ離散した領域が有る場合は、必要
により離散領域統合部１６で検証し一つの物体と見なし
て、これを実空間座標に変換する。移動物体識別処理部
１８は動き領域の時系列な位置を記憶している動き領域
履歴記憶部１７からの情報により移動物体の移動速度を
計算する。そして、移動物体識別処理部１８は、実空間
スケール変換部１５で実空間座標に変換された物体の大
きさ、縦横比、移動速度の何れか、またはそれらの組み
合わせにより、予め物体特徴テーブル１９に記憶されて
いる物体の特徴を参照して対象としている移動物体が何
であるかその種類を特定する。なお、デマルチプレクサ
１２から相関演算部１３に延びている情報線はデマルチ
プレクサ１２が画像信号を画像メモリ１０または画像メ
モリ１１の何れに入力したかを相関演算部１３に知らせ
るものである。As shown in FIG. 1, the moving object identification apparatus according to the embodiment of the present invention sequentially inputs a video signal from a camera 21 of a camera unit 2 to an image memory 10 and an image memory 11. The demultiplexer 12 distributes the video signal photographed by the camera 21 to the image memory 10 and the image memory 11 in frame units. The correlation calculation unit 13 performs a correlation calculation process on the image area specified by the moving object identification processing unit 18 with the image memory 10 and the image memory 11 as processing targets. The motion area detection unit 14 is a correlation operation unit 1
A moving local area is detected from the result of the correlation operation in step S3. The real space scale conversion unit 15 converts the coordinates of the moving area on the camera image into the real space coordinates based on the tilt angle from the camera swivel 22 and the zoom amount of the camera. If there is a discrete area having the same motion vector, the discrete area integrating unit 16 verifies the area as necessary, regards it as one object, and converts it into real space coordinates. The moving object identification processing unit 18 calculates the moving speed of the moving object based on information from the moving area history storage unit 17 that stores the time-series positions of the moving area. Then, the moving object identification processing unit 18 stores in advance the object feature table 19 according to any one of the size, the aspect ratio, and the moving speed of the object converted into the real space coordinates by the real space scale converting unit 15 or a combination thereof. The type of the target moving object is specified by referring to the stored feature of the object. The information line extending from the demultiplexer 12 to the correlation operation unit 13 notifies the correlation operation unit 13 whether the demultiplexer 12 has input the image signal to the image memory 10 or the image memory 11.
【０００９】本発明は、相関演算を用いた動きベクトル
計測法により、移動物体の識別を行うものであるが、動
きベクトル計測法では、画像の輝度・色情報に左右され
ることなく移動ベクトルが得られるため、屋外のような
照度変化がある環境でも安定して移動物体の識別結果を
得ることができる。According to the present invention, a moving object is identified by a motion vector measuring method using a correlation operation. In the motion vector measuring method, a moving vector is not affected by luminance / color information of an image. Therefore, the identification result of the moving object can be stably obtained even in an environment where the illuminance changes, such as outdoors.
【００１０】動きベクトル計測法は、図９に示すよう
に、ある時刻における画像フレームｆ上の局所画像（参
照領域Ｒ）と次の時刻における画像フレーム（ｆ＋１）
上の同じ大きさの局所画像（候補領域Ｃ）との相関演算
を探索領域Ｓの範囲で行うものである。候補領域Ｃの位
置から開始して例えば上方、左方にｐピクセル、下方、
右方にｑピクセル分の探索範囲で、候補領域Ｃの位置を
次々に変えて相関が最大となる候補領域Ｃの位置から参
照領域Ｒに含まれる物体の動きを示す動きベクトルを求
めるものである。In the motion vector measuring method, as shown in FIG. 9, a local image (reference region R) on an image frame f at a certain time and an image frame (f + 1) at the next time are used.
The correlation calculation with the above local image (candidate area C) having the same size is performed in the range of the search area S. Starting from the position of the candidate area C, for example, p pixels upward, leftward, downward,
In the search range for q pixels to the right, the position of the candidate region C is successively changed, and a motion vector indicating the motion of the object included in the reference region R is obtained from the position of the candidate region C where the correlation is maximum. .
【００１１】ここで、参照領域Ｒを取り出す画像を参照
画像と呼び、候補領域Ｃを取り出す画像を探索画像と呼
ぶ。Here, an image from which the reference region R is extracted is called a reference image, and an image from which the candidate region C is extracted is called a search image.
【００１２】局所相関演算は、具体的には以下の式で示
される。The local correlation operation is specifically represented by the following equation.
【００１３】Ｄ(h,v) ＝ΣX=1 m ΣY=1 n ｜Ｉf (x,y)
−Ｉf+1(h+x,v+y)｜ 但し、−p ≦h, v≦q これは、２つの局所画像の差の絶対値和を計算する演算
であり、和が小さい程相関値が大きい。すなわち探査領
域上の画像が参照領域上の画像と類似しているとみなせ
る。ここでＤは相関値、h,v はそれぞれ水平方向、垂直
方向の座標を表す。以下本発明の実施例による移動物体
識別方法について、図２のフローチャート図により説明
する。[0013] D (h, v) = Σ X = 1 m Σ Y = 1 n | I f (x, y)
−I f + 1 (h + x, v + y) | where −p ≦ h, v ≦ q This is an operation for calculating the sum of absolute values of the difference between two local images. Large value. That is, it can be considered that the image on the search area is similar to the image on the reference area. Here, D represents a correlation value, and h and v represent horizontal and vertical coordinates, respectively. Hereinafter, a moving object identification method according to an embodiment of the present invention will be described with reference to the flowchart of FIG.
【００１４】ステップ１で、撮像された画像を複数の矩
形ブロックに分割する。矩形ブロックはｍ×ｎ個の処理
単位（以下エレメントと呼ぶ。）から構成され、それぞ
れのブロック毎に、参照画像と候補画像間で相関演算を
行い、相関演算部から２次元に展開された相関演算配列
と最小相関値を受け取り、動きの有無を調べる。In step 1, the captured image is divided into a plurality of rectangular blocks. The rectangular block is composed of m × n processing units (hereinafter, referred to as elements), performs a correlation operation between the reference image and the candidate image for each block, and develops a two-dimensional correlation from the correlation operation unit. The operation array and the minimum correlation value are received, and the presence or absence of motion is checked.
【００１５】ステップ２で、それぞれのエレメントの動
きベクトルについて調べ、移動物体を含む領域を切り出
す。人間等の軟物体は、エレメント毎に動きベクトルを
検出するが、それらは全てが一致することはなく、例え
ば手と足の動きはそれぞれ別の動きをする。しかし、１
つの固体としての動きが絶えず発生しているので、動き
ありエレメントの集合は１つの物体とみなすことができ
る。また、図３のようにブロック内に移動物体の一部の
みが存在する場合、ブロック内の動きエレメントの重心
がブロックの中心になるように補正する。動きありエレ
メントの集合がブロックに入るまで、または動きエレメ
ントの重心がブロック中心になるまで処理を繰り返す。
ここで、移動物体の動きベクトルをどうみるかという問
題があるが、移動物体の動きとしては、一方向に安定し
ているため、動きエレメントの加重平均を移動物体の動
きベクトルとして採用する。この時、矩形ブロック内で
動きエレメントを囲む外接四角形を物体の外接四角形と
みなし、この外接四角形から物体を認識する。In step 2, the motion vector of each element is examined, and a region including the moving object is cut out. A soft object such as a human detects a motion vector for each element, but they do not all match. For example, the motion of a hand and the motion of a foot are different from each other. However, 1
A set of moving elements can be considered as one object because the movement as two solids is constantly occurring. Further, when only a part of the moving object exists in the block as shown in FIG. 3, the correction is performed so that the center of gravity of the moving element in the block becomes the center of the block. The process is repeated until a set of moving elements enters the block or the center of gravity of the moving element is at the center of the block.
Here, there is a problem of how to look at the motion vector of the moving object. However, since the motion of the moving object is stable in one direction, a weighted average of the motion elements is adopted as the motion vector of the moving object. At this time, the circumscribed rectangle surrounding the motion element in the rectangular block is regarded as the circumscribed rectangle of the object, and the object is recognized from the circumscribed rectangle.
【００１６】ステップ３では、ステップ２で切り出した
領域の頂点座標から、物体の実空間における実際の大き
さを算出する。図４を使用して撮影画面上の原点と任意
の位置の関係について説明する。In step 3, the actual size of the object in the real space is calculated from the vertex coordinates of the region cut out in step 2. The relationship between the origin on the shooting screen and an arbitrary position will be described with reference to FIG.
【００１７】ここで、図４（Ａ）に示す撮影画面上の原
点Ｐ０(H0,VO) と任意の位置Ｐ(h,v) の関係は、図４
（Ｂ）に示すように、以下のようになる。Here, the relationship between the origin P0 (H0, VO) and the arbitrary position P (h, v) on the photographing screen shown in FIG.
As shown in FIG.
【００１８】Ｐ０とＰの距離をhh,vv とすると hh＝Ｈ０−h (pix) vv＝Ｖ０−v (pix) となる。また、レンズのズーム比をzoom, レンズのズー
ム無しの時の焦点距離をｆ０（mm) 、ズーム時の焦点距
離をｆ(mm)とすると、 ｆ＝ｆ０×zoom (mm) となる。If the distance between P0 and P is hh, vv, hh = H0-h (pix) vv = V0-v (pix). If the zoom ratio of the lens is zoom, the focal length of the lens without zoom is f0 (mm), and the focal length of the zoom is f (mm), f = f0 × zoom (mm).
【００１９】撮像面は、水平方向６４０(pix) 、垂直方
向４８０(pix) であり、撮像素子の水平方向サイズをＨ
ＳＺ(mm)、垂直方向サイズをＶＳＺ(mm)とすると、水平
方向では、 ６４０(pix) ＝ＨＳＺ(mm) となる。The imaging plane has a horizontal direction of 640 (pix) and a vertical direction of 480 (pix).
Assuming that SZ (mm) and the vertical size are VSZ (mm), 640 (pix) = HSZ (mm) in the horizontal direction.
【００２０】焦点距離ｆ(mm)を単位変換し、ＦＦ(pix)
とすると、 ＦＦ＝Ｆ０・zoom・〔６４０／ＨＳＺ〕 (pix) である。この時、 α＝tan -1[vv/ＦＦ〕 (rad) となり、旋回台からのカメラのチルト角度をφ(rad) と
すると、 v'＝Ｈ・sin(α) ／sin(φ) ・sin(α＋φ) (mm) h'＝hh・Ｈ・cos(α) ／ＦＦ・sin(α＋φ) (mm) となる。よって、撮影画像面の中心からの距離は、実際
の距離ではv'、h'で表すことができる。The unit of the focal length f (mm) is converted to FF (pix).
Then, FF = F0.zoom. [640 / HSZ] (pix). At this time, α = tan -1 [vv / FF] (rad), and assuming that the tilt angle of the camera from the turntable is φ (rad), v ′ = H · sin (α) / sin (φ) · sin (α + φ) (mm) h ′ = hh · H · cos (α) / FF · sin (α + φ) (mm) Therefore, the distance from the center of the captured image plane can be represented by v ′ and h ′ in an actual distance.
【００２１】なおカメラの高さＨ(mm)、撮像素子のサイ
ズＨＳＺ×ＶＳＺ、焦点距離ｆ０は既知の値である。よ
って、移動物体を含む外形領域を切り出した瞬間の撮像
面上の位置Ｐ( h,v)とカメラのチルト角φ(rad) 、ズー
ム比zoomから実空間における物体の大きさを求めること
ができる。また、実際の移動物体の高さh は、図５に示
すように、ブロックの高さ方向を実際の実空間スケール
に変換した値d から、 h ＝d ・tan(φ) (mm) で求めることができる。The height H (mm) of the camera, the size of the image sensor HSZ × VSZ, and the focal length f0 are known values. Therefore, the size of the object in the real space can be obtained from the position P (h, v) on the imaging plane, the tilt angle φ (rad) of the camera, and the zoom ratio zoom at the moment when the outer region including the moving object is cut out. . Further, as shown in FIG. 5, the actual height h of the moving object is obtained from a value d obtained by converting the height direction of the block into an actual real space scale as h = d · tan (φ) (mm). be able to.
【００２２】ステップ４では、実空間スケールに変換さ
れた物体の大きさ、縦横比、および動き領域の時系列な
位置を記憶している動き領域履歴記憶部からの情報によ
り移動物体の移動速度を計算し、図６に例示するよう
な、物体特徴テーブルと照合して、移動物体が何に該当
するのかを識別する。In step 4, the moving speed of the moving object is determined based on information from the moving region history storage unit which stores the size, aspect ratio, and time-series position of the moving region converted into the real space scale. The moving object is calculated and checked against an object feature table as illustrated in FIG. 6 to identify what the moving object corresponds to.
【００２３】なお、以上の説明では、矩形ブロック内に
移動物体があり、物体を構成するエレメントが互いに接
近している場合を想定しているが、移動物体を検知した
瞬間、何らかの遮蔽物により遮られ、図７（Ａ）に示す
ように移動物体の中央部で動きベクトルが得られない場
合がある。このように移動物体の中央部で動きベクトル
が発生しない場合、離散した２箇所で別々の移動物体と
して認識してしまう。この場合本来は一つの移動物体で
あるので、動きを検知した瞬間は同じ動きベクトルをも
つと言う特徴があることから図７（Ｂ）に示すように、
周辺のエレメントの動きベクトル量を調べ、同一動きベ
クトル量のエレメントを離散領域統合部で統合すること
で、前述の問題に対処することができる。In the above description, it is assumed that there is a moving object in the rectangular block and the elements constituting the object are close to each other. As a result, a motion vector may not be obtained at the center of the moving object as shown in FIG. If no motion vector is generated at the center of the moving object as described above, two discrete locations are recognized as separate moving objects. In this case, since it is originally one moving object, there is a feature that the moment when a motion is detected has the same motion vector, and therefore, as shown in FIG.
The problem described above can be dealt with by checking the motion vector amounts of the peripheral elements and integrating the elements having the same motion vector amount by the discrete area integration unit.
【００２４】なお、屋外に設置したカメラなどで風の影
響を受けカメラが揺れた場合でも、背景の運動を計測す
ることで、図８のフローチャート図に示すように、画面
内の異なる所定の複数箇所を特定して、動きベクトルを
計測することにより画面全体の並進的な動き量を知るこ
とができ、この背景の動き量を差し引くことにより移動
物体の切り出し、識別を行うことが可能である。また、
カメラを移動しても、物体特徴テーブルを実空間のスケ
ールで設定しているので、柔軟な対応が可能である。Even when the camera shakes under the influence of wind by a camera installed outdoors or the like, by measuring the background motion, as shown in the flowchart of FIG. By specifying a location and measuring a motion vector, the translational motion amount of the entire screen can be known. By subtracting the background motion amount, a moving object can be cut out and identified. Also,
Even if the camera is moved, the object feature table is set on the scale of the real space, so that a flexible response is possible.
【００２５】本発明の実施例では、動き判定をフレーム
ｆの画像と、フレーム（ｆ＋１）の画像を処理すること
で、ブロック内のエレメントの動きを検出しているが、
フレームｆの画像とフレーム（ｆ＋ｎ）（ｎは自然数）
の画像とを処理することでもよい。In the embodiment of the present invention, the motion of the element in the block is detected by processing the image of the frame f and the image of the frame (f + 1).
Image of frame f and frame (f + n) (n is a natural number)
May be processed.
【００２６】[0026]
【発明の効果】以上説明したように、本発明は、移動物
体を動きベクトルによって該当領域を切り出し、実際の
スケールに変換して物体を判定するので、屋外の照度変
化のあるような環境でも、またカメラの動きやレンズズ
ームに影響されることなく安定して移動物体の種類を識
別することができる。As described above, according to the present invention, a moving object is cut out from a corresponding area by a motion vector and converted into an actual scale to determine the object. Further, the type of the moving object can be stably identified without being affected by the movement of the camera or the lens zoom.
【図１】 本発明の実施例による移動物体識別装置のブ
ロック図である。FIG. 1 is a block diagram of a moving object identification device according to an embodiment of the present invention.
【図２】 本発明の実施例による移動物体識別方法のフ
ローチャート図である。FIG. 2 is a flowchart illustrating a moving object identification method according to an embodiment of the present invention.
【図３】 ブロック位置の補正を説明する図である。FIG. 3 is a diagram illustrating correction of a block position.
【図４】 撮影画面上の位置と実空間内の位置との関係
を説明する図である。FIG. 4 is a diagram illustrating a relationship between a position on a shooting screen and a position in a real space.
【図５】 実空間内における物体の高さを説明する図で
ある。FIG. 5 is a diagram illustrating the height of an object in a real space.
【図６】 物体特徴テーブルの内容例を示す図である。FIG. 6 is a diagram showing an example of the contents of an object feature table.
【図７】 動きブロックが分割された例を説明する図で
ある。FIG. 7 is a diagram illustrating an example in which a motion block is divided.
【図８】 画像全体の並進的な動き量を検出する方法の
フローチャート図である。FIG. 8 is a flowchart of a method for detecting a translational motion amount of the entire image.
【図９】 相関演算を説明する図である。FIG. 9 is a diagram illustrating a correlation operation.
１ 移動物体識別装置 ２ カメラ部 １０ 第１の画像メモリ １１ 第２の画像メモリ １２ デマルチプレクサ １３ 相関演算部 １４ 動き領域検出部 １５ 実空間スケール変換部 １６ 離散領域統合部 １７ 動き領域履歴記憶部 １８ 移動物体識別処理部 １９ 物体特徴テーブル ２１ カメラ ２２ 旋回台 REFERENCE SIGNS LIST 1 moving object identification device 2 camera unit 10 first image memory 11 second image memory 12 demultiplexer 13 correlation operation unit 14 motion area detection unit 15 real space scale conversion unit 16 discrete area integration unit 17 motion area history storage unit 18 Moving object identification processing unit 19 Object feature table 21 Camera 22 Turntable
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C054 AA01 CA04 CC02 CH01 EA01 EA05 EF06 FC00 FC12 FC13 FD03 GA04 GB00 GB11 GB14 HA18 5L096 BA02 CA02 FA34 FA70 GA53 HA04 LA05 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C054 AA01 CA04 CC02 CH01 EA01 EA05 EF06 FC00 FC12 FC13 FD03 GA04 GB00 GB11 GB14 HA18 5L096 BA02 CA02 FA34 FA70 GA53 HA04 LA05
Claims (5)
により移動物体を識別する移動物体識別方法において、
画像信号を記憶する画像メモリを設け、画像フレーム間
での画像の動きのベクトル量（動きベクトル）を計測し
て動きのある移動領域を検出し、検出した該移動領域の
カメラ画像上の座標を実空間座標に変換し、該実空間座
標に変換された物体の大きさ、縦横比または移動速度の
少なくとも一つを予め複数の物体の特徴を登録したテー
ブルと照合し、該当する移動物体の種類を識別すること
を特徴とする移動物体識別方法。1. A moving object identification method for identifying a moving object by processing an image captured by a camera,
An image memory for storing an image signal is provided, a vector amount (motion vector) of an image motion between image frames is measured to detect a moving area having motion, and coordinates of the detected moving area on the camera image are calculated. Converted to real space coordinates, and compared at least one of the size, aspect ratio or moving speed of the object converted to the real space coordinates with a table in which characteristics of a plurality of objects are registered in advance, and the type of the corresponding moving object A moving object identification method characterized by identifying a moving object.
画像フレーム間での画像の動きベクトルを計測して動き
のある移動領域を検出するに際し、同じ動きベクトルを
もつ離散した領域を統合して移動物体の種類を識別する
ことを特徴とする請求項１記載の移動物体識別方法。2. An image memory for storing an image signal,
2. The method according to claim 1, wherein when detecting a moving area having a motion by measuring a motion vector of an image between image frames, a type of a moving object is identified by integrating discrete areas having the same motion vector. The moving object identification method described in the above.
画像フレーム間での画像の動きベクトルを計測して動き
のある移動領域を検出するに際し、画像全体の複数箇所
について動きベクトルを検出し、画像全体の並進的な動
き量を検出することにより撮像された画像の背景の動き
量を検出し、該移動領域の動き量から該背景の動き量を
差し引いて移動物体を分離し、該移動物体の種類を識別
することを特徴とする請求項１または２記載の移動物体
識別方法。3. An image memory for storing an image signal,
When detecting a moving area having motion by measuring a motion vector of an image between image frames, the motion vector is detected at a plurality of locations in the entire image, and the image is captured by detecting a translational motion amount of the entire image. 3. The method according to claim 1, further comprising: detecting a motion amount of a background of the moved image, subtracting the motion amount of the background from the motion amount of the moving area, separating the moving object, and identifying a type of the moving object. The moving object identification method described in the above.
により移動物体を識別する移動物体識別装置において、
第１のフレーム画像の内容を記憶する第１の画像メモリ
と、第２のフレーム画像の内容を記憶する第２の画像メ
モリと、該第１および第２の画像メモリの内容を読み出
してその動きベクトルを計算する相関演算部と、該相関
演算部の結果から動きのある移動領域を検出する動き領
域検出部と、検出した該領域のカメラ画像上の座標を実
空間座標に変換する実空間スケール変換部と、該移動領
域の位置の履歴を記憶する動き領域履歴記憶部と、実空
間における物体の大きさ、縦横比、移動速度に対応した
複数の物体の特徴を予め登録しておく物体特徴テーブル
と、該実空間スケール変換部により変換された物体の大
きさ、縦横比または移動速度の少なくとも一つを該物体
特徴テーブルの内容と照合して移動物体を識別する移動
物体識別処理部とを含むことを特徴とする移動物体識別
装置。4. A moving object identification device for identifying a moving object by processing an image picked up by a camera,
A first image memory for storing the contents of the first frame image, a second image memory for storing the contents of the second frame image, and reading and writing the contents of the first and second image memories A correlation calculation unit for calculating a vector, a movement region detection unit for detecting a moving region with movement from the result of the correlation calculation unit, and a real space scale for converting coordinates of the detected region on the camera image into real space coordinates A conversion section, a movement area history storage section for storing a history of the position of the movement area, and an object feature in which features of a plurality of objects corresponding to the size, aspect ratio, and movement speed of the object in the real space are registered in advance. A moving object identification processing unit for identifying a moving object by comparing at least one of the size, aspect ratio, or moving speed of the object converted by the real space scale conversion unit with the contents of the object feature table; Moving object identification device which comprises.
統合する離散領域統合部を含むことを特徴とする請求項
４記載の移動物体識別装置。5. The moving object identification apparatus according to claim 4, further comprising a discrete area integration unit that integrates discrete areas having the same motion vector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000208410A JP2002027449A (en) | 2000-07-10 | 2000-07-10 | Method and apparatus for identifying moving object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000208410A JP2002027449A (en) | 2000-07-10 | 2000-07-10 | Method and apparatus for identifying moving object |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002027449A true JP2002027449A (en) | 2002-01-25 |
Family
ID=18704997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000208410A Pending JP2002027449A (en) | 2000-07-10 | 2000-07-10 | Method and apparatus for identifying moving object |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002027449A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007148647A (en) * | 2005-11-25 | 2007-06-14 | Sumitomo Electric Ind Ltd | Two-wheel vehicle detecting device, signal control system, two-wheel vehicle detecting system, two-wheel vehicle detecting method, and computer program |
| WO2007129591A1 (en) | 2006-05-09 | 2007-11-15 | Pioneer Corporation | Shielding-object video-image identifying device and method |
| JP2008033819A (en) * | 2006-07-31 | 2008-02-14 | Omron Corp | Object recognition device, monitoring system, object recognition method, object recognition program, and recording medium recording the program |
| JP2008293446A (en) * | 2007-05-28 | 2008-12-04 | Chubu Electric Power Co Inc | Apparatus and program for identifying moving object |
| JP2009043136A (en) * | 2007-08-10 | 2009-02-26 | Optex Co Ltd | Human body sensing device |
| US20090279738A1 (en) * | 2008-05-08 | 2009-11-12 | Denso Corporation | Apparatus for image recognition |
| US8436897B2 (en) | 2008-07-08 | 2013-05-07 | Panasonic Corporation | Article estimating apparatus and article position estimating apparatus, article estimating method as well as article estimating program |
| JP2018006992A (en) * | 2016-06-30 | 2018-01-11 | 株式会社ニコン | Imaging device and electronic component |
| CN112733599A (en) * | 2020-12-04 | 2021-04-30 | 小米科技(武汉)有限公司 | Document image processing method and device, storage medium and terminal equipment |
| DE102023104484B3 (en) | 2023-02-23 | 2024-03-28 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | METHOD, COMPUTER PROGRAM PRODUCT AND DATA PROCESSING SYSTEM FOR DETERMINING A POSITION OF AN OBJECT IN SPACE |
-
2000
- 2000-07-10 JP JP2000208410A patent/JP2002027449A/en active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007148647A (en) * | 2005-11-25 | 2007-06-14 | Sumitomo Electric Ind Ltd | Two-wheel vehicle detecting device, signal control system, two-wheel vehicle detecting system, two-wheel vehicle detecting method, and computer program |
| US8311269B2 (en) | 2006-05-09 | 2012-11-13 | Pioneer Corporation | Blocker image identification apparatus and method |
| WO2007129591A1 (en) | 2006-05-09 | 2007-11-15 | Pioneer Corporation | Shielding-object video-image identifying device and method |
| JP2008033819A (en) * | 2006-07-31 | 2008-02-14 | Omron Corp | Object recognition device, monitoring system, object recognition method, object recognition program, and recording medium recording the program |
| JP2008293446A (en) * | 2007-05-28 | 2008-12-04 | Chubu Electric Power Co Inc | Apparatus and program for identifying moving object |
| JP2009043136A (en) * | 2007-08-10 | 2009-02-26 | Optex Co Ltd | Human body sensing device |
| US20090279738A1 (en) * | 2008-05-08 | 2009-11-12 | Denso Corporation | Apparatus for image recognition |
| JP2009271758A (en) * | 2008-05-08 | 2009-11-19 | Denso Corp | Image-recognizing device |
| JP4623135B2 (en) * | 2008-05-08 | 2011-02-02 | 株式会社デンソー | Image recognition device |
| US8238606B2 (en) | 2008-05-08 | 2012-08-07 | Denso Corporation | Apparatus for image recognition |
| US8436897B2 (en) | 2008-07-08 | 2013-05-07 | Panasonic Corporation | Article estimating apparatus and article position estimating apparatus, article estimating method as well as article estimating program |
| JP2018006992A (en) * | 2016-06-30 | 2018-01-11 | 株式会社ニコン | Imaging device and electronic component |
| CN112733599A (en) * | 2020-12-04 | 2021-04-30 | 小米科技(武汉)有限公司 | Document image processing method and device, storage medium and terminal equipment |
| DE102023104484B3 (en) | 2023-02-23 | 2024-03-28 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | METHOD, COMPUTER PROGRAM PRODUCT AND DATA PROCESSING SYSTEM FOR DETERMINING A POSITION OF AN OBJECT IN SPACE |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3024227B1 (en) | Image processing apparatus and image processing method | |
| EP2549738B1 (en) | Method and camera for determining an image adjustment parameter | |
| KR101337060B1 (en) | Imaging processing device and imaging processing method | |
| US8538075B2 (en) | Classifying pixels for target tracking, apparatus and method | |
| JP6036824B2 (en) | Angle of view variation detection device, angle of view variation detection method, and field angle variation detection program | |
| US8792681B2 (en) | Imaging system and imaging method | |
| KR101677315B1 (en) | Image processing apparatus, method, and computer program storage device | |
| JP7272024B2 (en) | Object tracking device, monitoring system and object tracking method | |
| US10721431B2 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
| US10762372B2 (en) | Image processing apparatus and control method therefor | |
| JP4764172B2 (en) | Method for detecting moving object candidate by image processing, moving object detecting method for detecting moving object from moving object candidate, moving object detecting apparatus, and moving object detecting program | |
| JP6924064B2 (en) | Image processing device and its control method, and image pickup device | |
| US8923552B2 (en) | Object detection apparatus and object detection method | |
| JP2002027449A (en) | Method and apparatus for identifying moving object | |
| JPH0844874A (en) | Image change detector | |
| CN111401239A (en) | Video analysis method, device, system, equipment and storage medium | |
| JP7030451B2 (en) | Image processing equipment | |
| JP4594197B2 (en) | Automatic tracking device | |
| JPH0779429A (en) | Picture monitor equipment | |
| JP4198536B2 (en) | Object photographing apparatus, object photographing method and object photographing program | |
| JP2006270137A (en) | Imaging apparatus | |
| JP3544820B2 (en) | Moving target detection device and detection method | |
| KR101997799B1 (en) | System for providing image associated with region of interest | |
| JP2001175959A (en) | Method and device for detecting invasion object | |
| JP2003179930A (en) | Method and apparatus for extracting dynamic object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060207 |