JPH08255250A - Moving vector extracting method - Google Patents

Moving vector extracting method

Info

Publication number
JPH08255250A
JPH08255250A JP7059356A JP5935695A JPH08255250A JP H08255250 A JPH08255250 A JP H08255250A JP 7059356 A JP7059356 A JP 7059356A JP 5935695 A JP5935695 A JP 5935695A JP H08255250 A JPH08255250 A JP H08255250A
Authority
JP
Japan
Prior art keywords
pixel
movement vector
signal
predetermined
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7059356A
Other languages
Japanese (ja)
Other versions
JP3235393B2 (en
Inventor
Sukeyuki Usami
祐之 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP05935695A priority Critical patent/JP3235393B2/en
Publication of JPH08255250A publication Critical patent/JPH08255250A/en
Application granted granted Critical
Publication of JP3235393B2 publication Critical patent/JP3235393B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: To accurately extract a moving vector by performing a sampling for the image signal of each prescribed area of plural frame image signals by a prescribed period. CONSTITUTION: An A/D converter 14 performs samplings for the frame image signals of the previous time and this time from a camera 12 based on the signals from a timing controller 28 and a sampling clock setting circuit 30, the image signals are converted into digital image signals and the signals are stored in image memories 18 20 via a multiplexer 16. A matching arithmetic unit 22 performs the process that the signals within an image memory 18 are divided into plural blocks, the picture element with each block is defined as a first picture element, each picture element within a prescribed range where the picture element which is the signal within an image memory 20 and at the location corresponding to the location of the first picture element is defined as a reference is defined as a second picture element, the correlation of each first picture element and the second picture element is determined and a moving vector is determined based on the combination of the first picture element and the second picture element with the highest correlation, two times for long distance and short distance. At the time, the prescribed ranges are made the sizes for long distance and short distance.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、移動ベクトル抽出方法
に係り、より詳しくは、異なる時刻において所定方向を
撮影して得られた複数の画像信号から移動ベクトルを抽
出する移動ベクトル抽出方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving vector extracting method, and more particularly to a moving vector extracting method for extracting a moving vector from a plurality of image signals obtained by photographing a predetermined direction at different times.

【0002】[0002]

【従来の技術】従来より、移動ベクトル抽出方法におい
ては、例えば、次のような動画像の動き情報検出方式が
提案されている(特開平5−49023)。
2. Description of the Related Art Conventionally, as a moving vector extracting method, for example, the following moving image motion information detecting method has been proposed (Japanese Patent Laid-Open No. 5-49023).

【0003】すなわち、異なる時間において車両後方を
複数回〔例えば、2回(時刻t=t 1 、t2 )〕撮影し
て、2つのフレーム画像信号を記憶する。その際、得ら
れたフレーム画像信号について水平方向及び垂直方向に
3画素毎に2画素間引く間引き処理を施して第1段階の
処理を行う。この第1段階の処理は、時刻t1 において
得られたフレーム画像信号を、複数個の画素からなる複
数のブロックに分割し、該ブロック内の各々の画素を第
1の画素G1(図19参照)とし、時刻t2 において得
られたフレーム画像信号のうち第1の画素G1を基準と
した位置に対応する位置の画素G21を基準とした所定
範囲内(第1のサーチエリア内)SE1の各々の画素を
第2の画素G2としたときの第1の画素G1と第2の画
素G2とのマッチング度(相関)を計算する。
In other words, at different times,
Multiple times [for example, twice (time t = t 1, T2)]
The two frame image signals are stored. At that time, got
Frame image signal in the horizontal and vertical directions
The thinning process of thinning out two pixels is performed every three pixels
Perform processing. This first stage processing is performed at time t1At
The obtained frame image signal is converted into a composite image composed of multiple pixels.
Number of blocks, and each pixel in the block is divided into
1 pixel G1 (see FIG. 19) at time t2Profitable at
The first pixel G1 of the acquired frame image signals is used as a reference
The pixel G21 at the position corresponding to the predetermined position as a reference
Select each pixel of SE1 within the range (in the first search area)
The first pixel G1 and the second image when the second pixel G2 is used.
The degree of matching (correlation) with the element G2 is calculated.

【0004】例えば、第1の画素G1と第2の画素G2
との輝度値の差分の2乗和、該差分の絶対値の和、又は
該差分の絶対値が一定のしきい値を越えたものの個数を
求める。そして、求めたマッチング度の高い第1の画素
G1と第2の画素G2との組み合わせに基づいて、各々
のブロックに撮影された像が移動した軌跡を示す移動ベ
クトル(以下、移動ベクトルという。)を推定する。す
なわち、例えば、第1の画素G1と第2の画素G20と
の組み合わせのマッチング度が他の組み合わせのマッチ
ング度より高いとすると、移動ベクトルは、第1の画素
G1を始点、第2の画素G20を終点としたベクトルを
移動ベクトルとして推定する。
For example, the first pixel G1 and the second pixel G2
Then, the sum of squares of the difference between the brightness values of and, the sum of the absolute values of the differences, or the number of the absolute values of the differences exceeding a certain threshold value are obtained. Then, based on the obtained combination of the first pixel G1 and the second pixel G2 having a high degree of matching, a movement vector (hereinafter, referred to as a movement vector) indicating a locus along which the image captured in each block has moved. To estimate. That is, for example, if the matching degree of the combination of the first pixel G1 and the second pixel G20 is higher than the matching degree of the other combination, the movement vector starts from the first pixel G1 and ends with the second pixel G20. The vector whose end point is is estimated as the movement vector.

【0005】第2の段階は、2つのフレーム画像信号に
ついては間引き処理を施さず、第1の画素G1と移動ベ
クトルとして推定された第2の画素G20の付近に存在
する所定範囲内(第2のサーチエリア内)SE2の複数
個の画素の各々とのマッチング度を検出して、マッチン
グ度の最も高い画素の組み合わせ、例えば、第1の画素
G1と第2の画素G201とに基づいて、第1の画素G
1を始点、第2の画素G201を終点としたベクトルを
移動ベクトルとしている。なお、図19では、間引き処
理を施さないフレーム画像信号の各画素を画素G0で表
している。
In the second stage, the thinning processing is not performed on the two frame image signals, but within the predetermined range (the second pixel G1) existing near the first pixel G1 and the second pixel G20 estimated as the movement vector. (In the search area), the degree of matching with each of a plurality of pixels of SE2 is detected, and the combination of the pixels with the highest degree of matching, for example, the first pixel G1 and the second pixel G201 1 pixel G
A vector having 1 as the start point and the second pixel G201 as the end point is set as the movement vector. Note that in FIG. 19, each pixel of the frame image signal that is not subjected to the thinning-out process is represented by a pixel G0.

【0006】[0006]

【発明が解決しようとする課題】しかしながら、前述し
た動画像の動き情報検出方式では、時刻t1 と時刻t2
(=t1 +Δt)において撮影して得られた画像から移
動ベクトルを求める場合、Δt間に車両後方から自車両
に接近する他車両の移動する範囲は、他車両が遠距離に
存在する場合と近距離に存在する場合とでは、図20の
ように異なる。
However, in the above-described motion information detection method for moving images, the time t 1 and the time t 2
When the movement vector is obtained from the image obtained by photographing at (= t 1 + Δt), the range of movement of the other vehicle approaching the own vehicle from the rear of the vehicle during Δt is the same as when the other vehicle exists at a long distance. The case of being present at a short distance is different as shown in FIG.

【0007】従って、第1の段階で、遠距離に存在する
他車両の移動ベクトルを精度よく求めるために第1のサ
ーチエリアSE1を小さくとると(図20(a)参
照)、近距離に存在する他車両の移動ベクトルB1は、
第1のサーチエリアSE1より大きいことから、近距離
に存在する他車両の移動ベクトルを求めることができな
い。
Therefore, in the first step, if the first search area SE1 is made small in order to accurately obtain the movement vector of another vehicle existing at a long distance (see FIG. 20 (a)), it exists at a short distance. The movement vector B1 of the other vehicle
Since it is larger than the first search area SE1, it is not possible to obtain the movement vector of another vehicle existing at a short distance.

【0008】この一方、近距離に存在する他車両の移動
ベクトルを精度よく求めるために第1のサーチエリアS
E1を大きくとると(図20(b)参照)、遠距離に存
在する他車両の移動ベクトルB2は第1のサーチエリア
SE1よりはるかに小さいことから、遠距離に存在する
他車両の移動ベクトルB2や近距離に存在する他車両の
移動ベクトルB1も求めることができるものの、第1の
サーチエリアが大きくなってしまい、移動ベクトルを求
める算出時間に長時間必要となってしまう。
On the other hand, in order to accurately obtain the movement vector of another vehicle existing at a short distance, the first search area S
When E1 is set to be large (see FIG. 20 (b)), since the movement vector B2 of the other vehicle existing at a long distance is much smaller than the first search area SE1, the movement vector B2 of the other vehicle existing at a long distance. Although the movement vector B1 of another vehicle existing at a short distance can also be obtained, the first search area becomes large, which requires a long time for calculating the movement vector.

【0009】本発明は、上記事実に鑑み成されたもの
で、精度よく移動ベクトルを抽出することの可能な移動
ベクトル抽出方法を提案することを目的とする。
The present invention has been made in view of the above facts, and it is an object of the present invention to propose a movement vector extraction method capable of accurately extracting a movement vector.

【0010】[0010]

【課題を解決するための手段】上記目的達成のため請求
項1記載の発明は、所定時間間隔で所定方向を複数回撮
影して得られた複数のフレーム画像信号のうち予め定め
られた複数のフレーム画像信号各々の所定領域の画像信
号の各々を所定周期でサンプリングすることにより複数
個の画素の集合に変換し、前記変換された集合のうち基
準となる基準集合を複数個の画素からなる複数のブロッ
クに分割し、分割された各々のブロック内の各々の画素
を第1の画素とし前記基準集合以外の他の集合であって
前記第1の画素位置に対応する位置の画素を基準とした
所定範囲内の各々の画素を第2の画素として前記第1の
画素の各々と前記第2の画素との相関を求め、求めた相
関のうち最も相関が高い前記第1の画素と前記第2の画
素との組み合わせに基づいて前記各々のブロックに撮影
された像が移動した軌跡を示す移動ベクトルを求める工
程を複数回行う移動ベクトル抽出方法であって、前記移
動ベクトルを求める工程毎に前記所定範囲を、各々大き
さが異なるようにすると共に前記撮影位置を基準とする
距離が短くなるに従って大きくなるように予め決められ
た複数の領域のいずれか1つとしている。
To achieve the above object, the invention according to claim 1 is characterized in that a plurality of predetermined frame image signals among a plurality of frame image signals obtained by photographing a predetermined direction a plurality of times at predetermined time intervals. Each frame image signal is converted into a set of a plurality of pixels by sampling each of the image signals in a predetermined region at a predetermined period, and a reference set serving as a reference of the converted set is composed of a plurality of pixels. And each pixel in each divided block is set as a first pixel, and a pixel at a position corresponding to the first pixel position in a set other than the reference set is set as a reference. The correlation between each of the first pixels and the second pixel is obtained by setting each pixel within the predetermined range as the second pixel, and the first pixel and the second pixel having the highest correlation among the obtained correlations. Combination with pixels A movement vector extraction method in which a step of obtaining a movement vector indicating a trajectory of an image taken in each of the blocks based on the movement vector extraction method is performed a plurality of times. Is set to be different from each other and is set to be one of a plurality of areas which are predetermined so that the distance becomes larger as the distance from the photographing position becomes shorter.

【0011】請求項2記載の発明は、請求項1記載の発
明において、前記移動ベクトルを求める工程毎に、前記
所定範囲内の画素数を一定にしかつ前記所定周期を各々
長さが異なるようにすると共に前記撮影位置を基準とす
る距離が短くなるに従って長くなるように予め決められ
た複数の周期のいずれか1つとすることにより、前記移
動ベクトルを求める工程毎に前記所定範囲を、各々大き
さが異なりかつ前記撮影位置を基準とする距離が短くな
るに従って大きくなるように予め決められた複数の領域
のいずれか1つとしている。
According to a second aspect of the present invention, in the first aspect of the invention, the number of pixels in the predetermined range is made constant and the predetermined period has a different length for each step of obtaining the movement vector. In addition, the predetermined range is set for each step of obtaining the movement vector by setting one of a plurality of predetermined cycles so that the distance becomes longer as the distance based on the shooting position becomes shorter. Are different from each other and become larger as the distance based on the photographing position becomes shorter, any one of a plurality of areas determined in advance.

【0012】請求項3記載の発明は、請求項1記載の発
明において、前記移動ベクトルを求める工程毎に、前記
所定範囲内の画素数を各々異なるようにすると共に前記
撮影位置を基準とする距離が短くなるに従って多くなる
ように予め決められた複数の画素数のいずれか1つにし
かつ前記所定周期を各々同一の周期とすることにより、
前記移動ベクトルを求める工程毎に前記所定範囲を、各
々大きさが異なりかつ前記撮影位置を基準とする距離が
短くなるに従って大きくなるように予め決められた複数
の領域のいずれか1つとしている。
According to a third aspect of the present invention, in the first aspect of the present invention, the number of pixels in the predetermined range is made different for each step of obtaining the movement vector, and the distance based on the photographing position is set. By making one of a plurality of predetermined pixel numbers so that the number becomes larger as becomes shorter and the predetermined period is the same period,
For each step of obtaining the movement vector, the predetermined range is set to one of a plurality of areas that are different in size and increase in proportion as the distance from the photographing position becomes shorter.

【0013】請求項4記載の発明は、請求項1ないし請
求項3のいずれか1項に記載の発明において、前記移動
ベクトルを求める工程毎に前記サンプリングされる前記
所定領域の画像信号の各々を、前記撮影位置を基準とす
る距離が短くなるに従って長くなるように予め決められ
た複数の周期のうち最も短い周期でサンプリングして記
憶された画像信号としている。
According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, each of the sampled image signals in the predetermined area is sampled in each step of obtaining the movement vector. The image signal is sampled and stored in the shortest cycle among a plurality of predetermined cycles so that the distance becomes longer as the distance from the photographing position becomes shorter.

【0014】請求項5記載の発明は、請求項1ないし請
求項4のいずれか1項に記載の発明において、前記移動
ベクトルを求める工程毎に前記サンプリングされる前記
所定領域の画像信号の各々を、大きさが前記撮影位置を
基準とする距離が短くなるに従って大きくなりかつ位置
が前記撮影位置を基準とする距離に基づいて予め決めら
れた領域の画像信号としている。
According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects, each of the sampled image signals in the predetermined area is sampled for each step of obtaining the movement vector. The image signal is of an area whose size increases as the distance with respect to the photographing position becomes shorter and whose position is predetermined based on the distance with respect to the photographing position.

【0015】[0015]

【作用】請求項1記載の発明では、以下の工程を複数回
行う。すなわち、所定時間間隔で所定方向を複数回撮影
して得られた複数のフレーム画像信号のうち予め定めら
れた複数のフレーム画像信号各々の所定領域の画像信号
の各々を所定周期でサンプリングすることにより複数個
の画素の集合に変換する。
In the invention described in claim 1, the following steps are performed a plurality of times. That is, by sampling each of the image signals in a predetermined area of each of a plurality of predetermined frame image signals among a plurality of frame image signals obtained by photographing a predetermined direction a plurality of times at predetermined time intervals, Convert to a set of multiple pixels.

【0016】ここで、請求項4記載の発明では、移動ベ
クトルを求める工程毎にサンプリングされる所定領域の
画像信号の各々を、撮影位置を基準とする距離が短くな
るに従って長くなるように予め決められた複数の周期の
うち最も短い周期でサンプリングして記憶された画像信
号としている。
According to the fourth aspect of the present invention, each of the image signals in the predetermined area sampled in each step of obtaining the movement vector is predetermined so as to become longer as the distance from the photographing position becomes shorter. The image signal is sampled and stored in the shortest cycle of the plurality of cycles.

【0017】また、請求項5記載の発明は、移動ベクト
ルを求める工程毎にサンプリングされる所定領域の画像
信号の各々を、大きさが撮影位置を基準とする距離が短
くなるに従って大きくなりかつ位置が撮影位置を基準と
する距離に基づいて予め決められた領域の画像信号とし
ている。
According to a fifth aspect of the present invention, each of the image signals of the predetermined region sampled in each step of obtaining the movement vector becomes larger and the position becomes larger as the distance from the photographing position becomes shorter. Is an image signal of a predetermined area based on the distance with respect to the photographing position.

【0018】次に、変換された集合のうち基準となる基
準集合を複数個の画素からなる複数のブロックに分割す
る。
Next, of the converted set, the reference set serving as a reference is divided into a plurality of blocks each including a plurality of pixels.

【0019】次に、分割された各々のブロック内の各々
の画素を第1の画素とし基準集合以外の他の集合であっ
て第1の画素位置に対応する位置の画素を基準とした所
定範囲内の各々の画素を第2の画素として第1の画素の
各々と第2の画素との相関を求める。
Next, each pixel in each of the divided blocks is set as a first pixel, and a predetermined range based on a pixel at a position corresponding to the first pixel position is a set other than the reference set. Each of the pixels is used as a second pixel, and the correlation between each of the first pixels and the second pixel is obtained.

【0020】そして、求めた相関のうち最も相関が高い
第1の画素と第2の画素との組み合わせに基づいて各々
のブロックに撮影された像が移動した軌跡を示す移動ベ
クトルを求める。
Then, based on the combination of the first pixel and the second pixel having the highest correlation among the obtained correlations, the movement vector indicating the locus of movement of the image photographed in each block is obtained.

【0021】ここで、本発明は、このように移動ベクト
ルを求める工程毎に所定範囲を、各々大きさが異なるよ
うにすると共に撮影位置を基準とする距離が短くなるに
従って大きくなるように予め決められた複数の領域のい
ずれか1つとしている。
According to the present invention, the predetermined range is determined in advance for each step of obtaining the movement vector in such a manner as to have different sizes and to increase as the distance from the photographing position becomes shorter. One of the plurality of regions is set.

【0022】このように、移動ベクトルを求める工程毎
に所定範囲を、各々大きさが異なるようにすると共に撮
影位置を基準とする距離が短くなるに従って大きくなる
ように予め決められた複数の領域のいずれか1つとする
ため、請求項2記載の発明、移動ベクトルを求める工程
毎に、所定範囲内の画素数を一定にしかつ所定周期を各
々長さが異なるようにすると共に撮影位置を基準とする
距離が短くなるに従って長くなるように予め決められた
複数の周期のいずれか1つとしている。
As described above, the predetermined range is made different for each step of obtaining the movement vector, and the predetermined range is made larger as the distance with respect to the photographing position becomes shorter. According to the invention of claim 2, the number of pixels in a predetermined range is made constant and the predetermined period is made to have different lengths, and the photographing position is used as a reference. Any one of a plurality of predetermined periods is set so that the distance becomes longer as the distance becomes shorter.

【0023】また、請求項3記載の発明は、移動ベクト
ルを求める工程毎に、所定範囲内の画素数を各々異なる
ようにすると共に撮影位置を基準とする距離が短くなる
に従って多くなるように予め決められた複数の画素数の
いずれか1つにしかつ所定周期を各々同一の周期として
いる。
According to the third aspect of the present invention, the number of pixels within a predetermined range is made different for each step of obtaining the movement vector, and the number is increased in advance as the distance based on the photographing position becomes shorter. Any one of the determined plurality of pixels is used, and the predetermined periods are the same period.

【0024】このように本発明は、移動ベクトルを求め
る工程毎に所定範囲を、各々大きさが異なるようにする
と共に撮影位置を基準とする距離が短くなるに従って大
きくなるように予め決められた複数の領域のいずれか1
つとしている。
As described above, according to the present invention, the predetermined range is made different for each step of obtaining the movement vector, and the predetermined range is made larger as the distance from the photographing position becomes shorter. One of the areas
I am sorry.

【0025】このため、前述した所定範囲は、撮影位置
を基準とする距離が長い所に移動体が存在するとした場
合や該距離が短い所に移動体が存在するとした場合の移
動体の移動ベクトルの長さに応じた大きさとなる。
For this reason, the above-mentioned predetermined range is the movement vector of the moving body when the moving body exists at a place where the distance is long with respect to the photographing position or when the moving body exists at a place where the distance is short. The size will be according to the length of.

【0026】すなわち、前述した所定時間内に、例え
ば、撮影位置に対して同一の速度で移動体が移動するこ
とによる移動ベクトルは、撮影位置を基準とする距離が
長い所に移動体が存在する場合には短く、この一方、撮
影位置を基準とする距離が短い所に移動体が存在する場
合には長くなる。
That is, for example, the movement vector caused by the movement of the moving body at the same speed with respect to the photographing position within the above-described predetermined time has a long distance with respect to the photographing position. In this case, it is short, and on the other hand, it is long when the moving body exists at a place where the distance based on the shooting position is short.

【0027】このように所定範囲が撮影位置を基準とす
る距離に応じてある程度定まる移動ベクトルの長さに応
じた大きさとなることから、撮影位置を基準とする距離
に応じた所の移動体の移動ベクトルを精度よく抽出する
ことができる。
In this way, the predetermined range has a size corresponding to the length of the movement vector which is determined to some extent according to the distance with respect to the photographing position, so that the moving body at a position according to the distance with respect to the photographing position is used. The movement vector can be accurately extracted.

【0028】[0028]

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。本実施例は、移動ベクトル抽出装置を車両
周辺監視装置に適用したものである。
Embodiments of the present invention will now be described in detail with reference to the drawings. In this embodiment, the movement vector extraction device is applied to a vehicle surroundings monitoring device.

【0029】この車両周辺監視装置は、図1に示すよう
に、CCDカメラ12を備えている。このCCDカメラ
12は、例えば、車両のドアミラーの下部に取り付けら
れており、車両の後側方を撮影して、車両の後側方のフ
レーム画像信号を得るようになっている。
As shown in FIG. 1, this vehicle periphery monitoring device is equipped with a CCD camera 12. The CCD camera 12 is attached to, for example, a lower portion of a vehicle door mirror, and is configured to capture an image of the rear side of the vehicle and obtain a frame image signal of the rear side of the vehicle.

【0030】CCDカメラ12には、アナログ/ディジ
タル(A/D)変換機(以下、A/D変換機という。)
14及びタイミング制御装置28が接続されている。タ
イミング制御装置28には、サンプリングクロック設定
回路30が接続され、サンプリングクロック設定回路3
0は、A/D変換機14に接続されてている。サンプリ
ングクロック設定回路30は、タイミング制御装置28
からのタイミング信号に基づいて所定フレームについて
所定周期でサンプリングクロックをA/D変換機14に
出力するようになっている。そして、A/D変換機14
は、サンプリングクロック設定回路30からのサンプリ
ングクロックに基づいてCCDカメラ12から入力した
フレーム画像信号をディジタル画像信号(例えば、8ビ
ット)に変換するようになっている。
The CCD camera 12 has an analog / digital (A / D) converter (hereinafter referred to as an A / D converter).
14 and the timing control device 28 are connected. A sampling clock setting circuit 30 is connected to the timing control device 28, and the sampling clock setting circuit 3 is connected.
0 is connected to the A / D converter 14. The sampling clock setting circuit 30 includes a timing control device 28.
The sampling clock is output to the A / D converter 14 in a predetermined cycle for a predetermined frame based on the timing signal from the. And the A / D converter 14
On the basis of the sampling clock from the sampling clock setting circuit 30, the frame image signal input from the CCD camera 12 is converted into a digital image signal (for example, 8 bits).

【0031】A/D変換機14には、マルチプレクサ1
6が接続されており、このマルチプレクサ16は、前述
したタイミング制御装置28からのタイミング信号に基
づいて、A/D変換機14により変換されたディジタル
画像信号の出力先を、画像メモリ18又は画像メモリ2
0に切り換えるようになっている。
The A / D converter 14 includes a multiplexer 1
6 is connected, and this multiplexer 16 outputs the output destination of the digital image signal converted by the A / D converter 14 based on the timing signal from the timing control device 28 described above to the image memory 18 or the image memory. Two
It is designed to switch to 0.

【0032】この画像メモリ18、20にはマッチング
演算器22が接続されている。このマッチング演算器2
2は、タイミング制御装置28から所定のタイミング信
号が入力されると、画像メモリ18に格納されたディジ
タル画像信号と画像メモリ20に格納されたディジタル
画像信号とのマッチングを行うものである。すなわち、
マッチング演算器22は、図示しない減算器、絶対値演
算器及び累算器等を含んで構成され、画像メモリ18に
格納されたディジタル画像信号を複数個の画素からなる
複数のブロックに分割し、分割された各々のブロック内
の各々の画素を第1の画素とし、画像メモリ20に格納
されたディジタル画像信号であって第1の画素位置に対
応する位置の画素を基準とした所定範囲(16画素×1
6画素)内の各々の画素を第2の画素として第1の画素
の各々と第2の画素との相関を求めるようになってい
る。
A matching calculator 22 is connected to the image memories 18 and 20. This matching calculator 2
2 is for matching the digital image signal stored in the image memory 18 with the digital image signal stored in the image memory 20 when a predetermined timing signal is input from the timing control device 28. That is,
The matching calculator 22 is configured to include a subtracter, an absolute value calculator, an accumulator, and the like, which are not shown, and divides the digital image signal stored in the image memory 18 into a plurality of blocks including a plurality of pixels, Each pixel in each of the divided blocks is defined as a first pixel, and a predetermined range (16) based on the pixel at the position corresponding to the first pixel position in the digital image signal stored in the image memory 20. Pixel x 1
Each pixel in (6 pixels) is used as a second pixel, and the correlation between each of the first pixels and the second pixel is obtained.

【0033】マッチング演算器22には、ベクトル抽出
器24が接続されている。このベクトル抽出器24は、
マッチング演算器22により求めた相関のうち最も相関
が高い第1の画素と第2の画素との組み合わせに基づい
て各々のブロックに撮影された像が移動した軌跡を示す
移動ベクトルを求めるようになっている。
A vector extractor 24 is connected to the matching calculator 22. This vector extractor 24
Based on the combination of the first pixel and the second pixel having the highest correlation among the correlations calculated by the matching calculator 22, the movement vector indicating the locus of movement of the image captured in each block is calculated. ing.

【0034】ベクトル抽出器24には、接近物体判定器
26が接続されている。この接近物体判定器26は、ベ
クトル抽出器24により求められた移動ベクトルに基づ
いて自車両に接近している他車両が自車両から所定距離
接近した場合に警報を鳴らすようになっている。
An approaching object determining device 26 is connected to the vector extracting device 24. The approaching object determiner 26 sounds an alarm when another vehicle approaching the own vehicle approaches a predetermined distance from the own vehicle based on the movement vector obtained by the vector extractor 24.

【0035】次に、タイミング制御装置28及びサンプ
リングクロック設定回路30の詳細を、図2を参照して
説明する。
Next, details of the timing controller 28 and the sampling clock setting circuit 30 will be described with reference to FIG.

【0036】図2に示すようにタイミング制御装置28
は、CCDカメラ12からフレーム画像信号を入力し
て、フレーム画像信号から垂直同期信号を分離する同期
分離回路28aと、同期分離回路28aにより分離され
た垂直同期信号を入力し、入力した垂直同期信号の入力
回数をカウントするカウンタ回路28bを備えている。
As shown in FIG. 2, the timing control device 28
Is a sync separation circuit 28a for inputting a frame image signal from the CCD camera 12 to separate a vertical sync signal from the frame image signal, and a vertical sync signal separated by the sync separation circuit 28a. A counter circuit 28b for counting the number of input times

【0037】カウンタ回路28bは、後述するようにリ
セットしてから1番目の垂直同期信号を入力すると第1
の信号をマルチプレクサ16及びサンプリングクロック
設定回路30に出力するための第1の出力端28b1、
3番目の垂直同期信号を入力すると第3の信号をマルチ
プレクサ16及びサンプリングクロック設定回路30に
出力するための第3の出力端28b3、4番目の垂直同
期信号を入力すると第4の信号をマッチング演算器22
に出力するための第4の出力端28b4を備え、第4の
信号を出力すると、カウント値をリセットするようにな
っている。
The counter circuit 28b receives the first vertical synchronizing signal after being reset, as will be described later, and then receives the first vertical synchronizing signal.
The first output terminal 28b1 for outputting the signal of the above to the multiplexer 16 and the sampling clock setting circuit 30,
When the third vertical synchronizing signal is input, the third output terminal 28b3 for outputting the third signal to the multiplexer 16 and the sampling clock setting circuit 30 is input, and when the fourth vertical synchronizing signal is input, the fourth signal is subjected to a matching operation. Bowl 22
The fourth output end 28b4 for outputting the count value is provided, and when the fourth signal is output, the count value is reset.

【0038】また、図2に示すように、サンプリングク
ロック設定回路30は、周波数10〔MHz〕のクロッ
ク信号を発振する発振回路30a、発振回路30aから
発振した周波数10〔MHz〕のクロック信号を周波数
5〔MHz〕のクロック信号にする1/2分周回路30
b、及び、スイッチ30c3の接続を発振回路30aに
接続された端子30c1又は1/2分周回路30bに接
続された端子30c2のいずれかに切り換える切換器3
0cを備えている。
As shown in FIG. 2, the sampling clock setting circuit 30 oscillates a clock signal having a frequency of 10 [MHz] and an oscillation circuit 30a which oscillates a clock signal having a frequency of 10 [MHz]. 1/2 divider circuit 30 for converting to 5 [MHz] clock signal
b and a switch 3 for switching the connection of the switch 30c3 to either the terminal 30c1 connected to the oscillation circuit 30a or the terminal 30c2 connected to the 1/2 frequency dividing circuit 30b.
It has 0c.

【0039】切換器30cによるスイッチ30c1の接
続切り換えは、カウンタ回路28bから出力された第1
の信号及び第3の信号をそれぞれ1回ずつ入力する毎に
行うようになっている。
Switching of the connection of the switch 30c1 by the switch 30c is performed by the first switch output from the counter circuit 28b.
And the third signal are input once each.

【0040】すなわち、初期状態からまず第1の信号を
入力したとき、スイッチ30c1を端子30c3に接続
させ、所定時間Δt経過したときスイッチ30c1と端
子30c3との接続を止める。次に、第3の信号を入力
したとき、スイッチ30c1を端子30c3に接続さ
せ、所定時間Δt経過したときスイッチ30c1と端子
30c3との接続を止める。再度第1の信号を入力した
とき、スイッチ30c1を端子30c2に接続させ、所
定時間Δt経過したときスイッチ30c1と端子30c
2との接続を止める。更に、第3の信号を入力したと
き、スイッチ30c1を端子30c2に接続させ、所定
時間Δt経過したときスイッチ30c1と端子30c2
との接続を止める。そして、これを繰り返す。
That is, when the first signal is first input from the initial state, the switch 30c1 is connected to the terminal 30c3, and when a predetermined time Δt has elapsed, the connection between the switch 30c1 and the terminal 30c3 is stopped. Next, when the third signal is input, the switch 30c1 is connected to the terminal 30c3, and when a predetermined time Δt has elapsed, the connection between the switch 30c1 and the terminal 30c3 is stopped. When the first signal is input again, the switch 30c1 is connected to the terminal 30c2, and when the predetermined time Δt has elapsed, the switch 30c1 and the terminal 30c are connected.
Stop the connection with 2. Further, when the third signal is input, the switch 30c1 is connected to the terminal 30c2, and when the predetermined time Δt has elapsed, the switch 30c1 and the terminal 30c2 are connected.
To disconnect from. And repeat this.

【0041】ここで、スイッチ30c1が端子30c3
に接続された場合には、発振回路30aからの周波数1
0〔MHz〕のクロック信号が切換器30cを介してA
/D変換機14に入力される。また、スイッチ30c1
が端子30c2に接続された場合には、発振回路30a
からの周波数10〔MHz〕のクロック信号が1/2分
周回路30bを介して周波数5〔MHz〕のクロック信
号となり、この信号が切換器30cを介してA/D変換
機14に入力される。
Here, the switch 30c1 is connected to the terminal 30c3.
Connected to the frequency 1 from the oscillator circuit 30a.
A clock signal of 0 [MHz] is passed through the switch 30c to A
It is input to the / D converter 14. Also, the switch 30c1
Is connected to the terminal 30c2, the oscillator circuit 30a
The clock signal having a frequency of 10 [MHz] from is a clock signal having a frequency of 5 [MHz] via the 1/2 frequency dividing circuit 30b, and this signal is input to the A / D converter 14 via the switch 30c. .

【0042】なお、スイッチ30c1を端子30c2又
は端子30c3に接続させたときから所定時間Δt経過
したときスイッチ30c1と端子30c2又は端子30
c3との接続を止めるようにしているのは、CCDカメ
ラ12から所定のフレーム画像信号がA/D変換機14
に入力される時間だけ所定のクロック信号をA/D変換
機14に出力するためである。
When the switch 30c1 is connected to the terminal 30c2 or the terminal 30c3 and a predetermined time Δt has elapsed, the switch 30c1 and the terminal 30c2 or the terminal 30c.
The connection with the c3 is stopped because a predetermined frame image signal from the CCD camera 12 is transferred to the A / D converter 14
This is because a predetermined clock signal is output to the A / D converter 14 for the time input to the A / D converter 14.

【0043】次に、本発明の作用を図3に示したタイミ
ングチャートを参照して説明する。CCDカメラ12
は、所定時間Δt間隔で車両の後側方を撮影し、これに
より得たフレーム画像信号の各々を、所定時間Δt間隔
でA/D変換機14及びタイミング制御装置28に出力
する。なお、図3に示すように、所定時間Δt間隔で車
両の後側方を撮影して得たフレーム画像信号を順に第1
フレーム画像信号、第2フレーム画像信号、第3フレー
ム画像信号・・・ということにする。
Next, the operation of the present invention will be described with reference to the timing chart shown in FIG. CCD camera 12
Captures the rear side of the vehicle at predetermined time intervals Δt and outputs each of the frame image signals obtained thereby to the A / D converter 14 and the timing control device 28 at predetermined time intervals Δt. Note that, as shown in FIG. 3, the frame image signals obtained by photographing the rear side of the vehicle at predetermined time intervals Δt
The frame image signal, the second frame image signal, the third frame image signal, ...

【0044】まず、時刻t1 においてCCDカメラ12
から第1フレーム画像信号を入力した同期分離回路28
aは、第1フレーム画像信号から垂直同期信号を分離
し、垂直同期信号をカウンタ回路28bに出力する。こ
の場合、カウンタ回路28bは、1番目の垂直同期信号
を入力したことから、第1の信号を第1の出力端28b
1を介してマルチプレクサ16及び切換器30cに出力
する。
First, at time t 1 , the CCD camera 12
Sync separation circuit 28 to which the first frame image signal is input from
a separates the vertical synchronizing signal from the first frame image signal and outputs the vertical synchronizing signal to the counter circuit 28b. In this case, since the counter circuit 28b receives the first vertical synchronizing signal, it outputs the first signal to the first output terminal 28b.
1 to the multiplexer 16 and the switch 30c.

【0045】カウンタ回路28bから第1の信号を入力
した切換器30cは、最初は、スイッチ30c1を端子
30c3に接続し、このときから所定時間Δt経過した
とき該接続を止める。従って、スイッチ30c1を端子
30c3に接続している間、発振回路30aから発振さ
れた周波数10〔MHz〕のクロック信号が、切換器3
0cを介してA/D変換機14に入力される。
The switch 30c, which receives the first signal from the counter circuit 28b, first connects the switch 30c1 to the terminal 30c3, and stops the connection when a predetermined time Δt elapses from this time. Therefore, while the switch 30c1 is connected to the terminal 30c3, the clock signal having a frequency of 10 [MHz] oscillated from the oscillation circuit 30a is supplied to the switch 3
It is input to the A / D converter 14 via 0c.

【0046】A/D変換機14は、サンプリングクロッ
ク設定回路30から周波数10〔MHz〕でクロック信
号を入力する毎に、すなわち、周期0.1〔μS〕でC
CDカメラ12から出力された第1フレーム画像信号を
サンプリングしてディジタル画像信号(8ビット)に変
換してマルチプレクサ16に出力する。
The A / D converter 14 receives a C signal at a frequency of 10 [MHz] from the sampling clock setting circuit 30, that is, at a cycle of 0.1 [μS]
The first frame image signal output from the CD camera 12 is sampled, converted into a digital image signal (8 bits), and output to the multiplexer 16.

【0047】マルチプレクサ16は、カウンタ回路28
bから第1の信号を入力することにより、A/D変換機
14から出力されたディジタル画像信号の出力先を画像
メモリ20から画像メモリ18に切り換える。
The multiplexer 16 includes a counter circuit 28.
By inputting the first signal from b, the output destination of the digital image signal output from the A / D converter 14 is switched from the image memory 20 to the image memory 18.

【0048】これにより第1フレーム画像信号は、10
〔MHz〕の周波数、すなわち、0.1〔μS〕の周期
でサンプリングされかつディジタル変換されて画像メモ
リ18に格納される。
As a result, the first frame image signal is 10
The data is sampled at a frequency of [MHz], that is, at a cycle of 0.1 [μS], digitally converted, and stored in the image memory 18.

【0049】次に、時刻t2 において、CCDカメラ1
2から第2フレーム画像信号を入力した同期分離回路2
8aから垂直同期信号を入力したカウンタ回路28b
は、信号をサンプリングクロック設定回路30及びマル
チプレクサ16に出力しない。従って、切換器30c
は、カウンタ回路28bから信号を入力しないことから
スイッチ30c1を端子30c2及び端子30c3のい
ずれにも接続させない。よって、発振回路30a及び1
/2分周回路30bからのクロック信号が切換器30c
を介してA/D変換機14に入力されない。従って、第
2フレーム画像信号は、A/D変換機14によりサンプ
リングされず、よって、画像メモリ18、20にも格納
されない。
Next, at time t 2 , the CCD camera 1
2 from which the second frame image signal is input
Counter circuit 28b to which the vertical synchronizing signal is input from 8a
Does not output the signal to the sampling clock setting circuit 30 and the multiplexer 16. Therefore, the switch 30c
Does not input a signal from the counter circuit 28b, the switch 30c1 is not connected to either the terminal 30c2 or the terminal 30c3. Therefore, the oscillation circuits 30a and 1
The clock signal from the 1/2 frequency dividing circuit 30b is switched to the switch 30c.
It is not input to the A / D converter 14 via the. Therefore, the second frame image signal is not sampled by the A / D converter 14 and is therefore not stored in the image memories 18 and 20.

【0050】次に、時刻t3 において、CCDカメラ1
2から第3フレーム画像信号を入力した同期分離回路2
8aから垂直同期信号を入力したカウンタ回路28bは
第3の信号を第3の出力端28b3を介してマルチプレ
クサ16及びサンプリングクロック設定回路30に出力
する。
Next, at time t 3 , the CCD camera 1
Sync separation circuit 2 to which the third to third frame image signals are input
The counter circuit 28b to which the vertical synchronizing signal is input from 8a outputs the third signal to the multiplexer 16 and the sampling clock setting circuit 30 via the third output end 28b3.

【0051】第3の信号を入力した切換器30cは、再
度スイッチ30c1を端子30c3に接続し、このとき
から所定時間Δt経過したとき該接続を切り離す。これ
により、前述したように、A/D変換機14は、周波数
10〔MHz〕のクロック信号を入力する毎に、すなわ
ち、周期0.1〔μS〕でCCDカメラ12から出力さ
れたフレーム画像信号をサンプリングしてディジタル画
像信号に変換してマルチプレクサ16に出力する。
The switch 30c, to which the third signal is input, connects the switch 30c1 to the terminal 30c3 again, and disconnects the connection when a predetermined time Δt elapses from this time. As a result, as described above, the A / D converter 14 receives the frame image signal output from the CCD camera 12 every time the clock signal having the frequency of 10 [MHz] is input, that is, at the cycle of 0.1 [μS]. Is sampled, converted into a digital image signal, and output to the multiplexer 16.

【0052】ここで、マルチプレクサ16は、第3の信
号入力することによりA/D変換機14から出力された
ディジタル画像信号の出力先を今度は画像メモリ20に
切り換える。これにより、第3フレーム画像信号は、1
0〔MHz〕の周波数、すなわち、0.1〔μS〕の周
期でサンプリングされかつディジタル変換されて画像メ
モリ20に格納される。
Here, the multiplexer 16 switches the output destination of the digital image signal output from the A / D converter 14 to the image memory 20 this time by inputting the third signal. As a result, the third frame image signal is 1
The data is sampled at a frequency of 0 [MHz], that is, a cycle of 0.1 [μS], digitally converted, and stored in the image memory 20.

【0053】次に、時刻t4 において、CCDカメラ1
2から第4のフレーム画像信号を入力した同期分離回路
28aから垂直同期信号を入力したカウンタ回路28b
は、第4の信号を第4の出力端28b4を介してマッチ
ング演算器22のみに出力する。なお、カウンタ回路2
8bは、第4の信号を出力した後カウント値をリセット
する。
Next, at time t 4 , the CCD camera 1
The counter circuit 28b to which the vertical synchronizing signal is input from the sync separation circuit 28a to which the second to fourth frame image signals are input
Outputs the fourth signal to only the matching calculator 22 via the fourth output end 28b4. The counter circuit 2
8b resets the count value after outputting the fourth signal.

【0054】ここで、切換器30cは、カウンタ回路2
8bから信号を入力しないことからスイッチ30c1を
端子30c2及び端子30c3のいずれにも接続させな
い。よって、発振回路30a及び1/2分周回路30b
からのクロック信号が切換器30cを介してA/D変換
機14に入力されない。従って、第4フレーム画像信号
は、A/D変換機14によりサンプリングされず、よっ
て、画像メモリ18、20にも格納されない。
Here, the switch 30c is the counter circuit 2
Since no signal is input from 8b, the switch 30c1 is not connected to either the terminal 30c2 or the terminal 30c3. Therefore, the oscillator circuit 30a and the 1/2 divider circuit 30b
The clock signal from is not input to the A / D converter 14 via the switch 30c. Therefore, the fourth frame image signal is not sampled by the A / D converter 14 and is therefore not stored in the image memories 18 and 20.

【0055】第4の信号を入力したマッチング演算器2
2は、まず、画像メモリ18に格納されたディジタル画
像信号(以下、基準ディジタル画像信号という)42a
(図4参照)を複数個の画素〔本実施例では、水平方向
に16画素、垂直方向に16画素の計256画素〕から
なる複数(M×N個)のブロック46aに分割する。そ
して、分割された各々のブロック46a内の各々の画素
を第1の画素xijとし画像メモリ20に格納されたディ
ジタル画像信号(以下、参照ディジタル画像信号とい
う)44aの第1の画素xij位置に対応する位置の画素
ijを基準としたサーチエリア〔本実施例では、水平方
向に16画素、垂直方向に16画素の計256画素〕4
8a内の各々の画素を第2の画素とする。
Matching calculator 2 to which the fourth signal is input
2 is a digital image signal (hereinafter referred to as a reference digital image signal) 42a stored in the image memory 18
(See FIG. 4) is divided into a plurality of (M × N) blocks 46a composed of a plurality of pixels (in the present embodiment, 16 pixels in the horizontal direction and 16 pixels in the vertical direction, a total of 256 pixels). The first pixel x ij position of the digital image signal (hereinafter referred to as the reference digital image signal) 44a stored in the image memory 20 is defined as the first pixel x ij for each pixel in each divided block 46a. A search area based on the pixel y ij at the position corresponding to [in this embodiment, 16 pixels in the horizontal direction and 16 pixels in the vertical direction, a total of 256 pixels] 4
Let each pixel in 8a be a second pixel.

【0056】そして、相関は、第1の画素xijの輝度値
をxwij、第2の画素yi+N j+M の輝度値をyw
i+N j+M とすると、各ブロック46a毎に次式(1)か
ら求められる。
The correlation is that the brightness value of the first pixel x ij is xw ij and the brightness value of the second pixel y i + N j + M is yw.
If i + N j + M , it can be obtained from the following equation (1) for each block 46a.

【0057】[0057]

【数1】 [Equation 1]

【0058】すなわち、基準ディジタル画像信号42a
内の分割されたブロック46a内の各々の第1の画素x
ijについて、第1の画素xijの輝度値xwijと、参照デ
ィジタル画像信号44a内における第1の画素xij位置
と同一の位置の画素yijを基準としたサーチエリア48
a内の各々の画素yi+N j+M の輝度値ywi+N j+M との
差分の絶対値を各々求めて、その結果をベクトル抽出器
24に出力する。
That is, the reference digital image signal 42a
Each first pixel x in the divided block 46a in
For ij, the search area 48 in which the luminance value xw ij of the first pixel x ij, the pixel y ij of the first pixel x ij located at the same position in the reference digital image signal in 44a as a reference
The absolute value of the difference between the luminance value yw i + N j + M of each pixel y i + N j + M in a is obtained, and the result is output to the vector extractor 24.

【0059】なお、サーチエリア48aは、画素yij
中央とし、画素yijから水平方向及び垂直方向に16画
素により定まる範囲であり、Nが−8〜7、Mが−8〜
7に変化する範囲である。すなわち、参照ディジタル画
像信号44aの画素yijを中央とし、yi-8 j-8 、y
i-8 j+7 、yi+7 j+7 、yi+7 j-8 を4つ角とした範囲
である。
[0059] Incidentally, the search area 48a is a pixel y ij is the center, a range defined by 16 pixels horizontally and vertically from the pixel y ij, N is -8 to 7, M is -8
The range changes to 7. That is, the pixel y ij of the reference digital image signal 44a is centered, and y i-8 j-8 , y
This is a range in which i-8 j + 7 , y i + 7 j + 7 , and y i + 7 j-8 are four corners.

【0060】ベクトル抽出器24は、マッチング演算器
22から出力された第1の画素xijの輝度値xwijと画
素yi+N j+M の輝度値ywi+N j+M との差分の絶対値の
中で最も小さい値の第1の画素と第2の画素との組み合
わせを求める。すなわち、例えば、図4に示すように、
あるブロック46aについて第1の画素xijがx0 であ
り、第2の画素yi+N j+M がy0 である場合、この第1
の画素x0 を始点、第2の画素y0 を終点とした移動ベ
クトル52aを求めて、その結果を接近物体判定器26
に出力する。
The vector extractor 24 calculates the difference between the brightness value xw ij of the first pixel x ij output from the matching calculator 22 and the brightness value yw i + N j + M of the pixel y i + N j + M. A combination of the first pixel and the second pixel having the smallest absolute value of is obtained. That is, for example, as shown in FIG.
If for a block 46a the first pixel x ij is x 0 and the second pixel y i + N j + M is y 0 , then this first pixel x ij
Of the moving object 52a whose starting point is the pixel x 0 and whose ending point is the second pixel y 0 , and the result is obtained as the approaching object determiner 26.
Output to.

【0061】接近物体判定器26は、ベクトル抽出器2
4で求められた移動ベクトル52aの位置及び大きさに
基づいて、自車両の周辺に存在する物体が自車両に所定
の距離以下の位置に接近しているか否かを検出して、自
車両に接近する物体が自車両に所定の距離以下の位置に
接近している場合に、警報器を鳴らしてドライバーに注
意を促すようにしている。
The approaching object determiner 26 is the vector extractor 2
Based on the position and size of the movement vector 52a obtained in 4, it is detected whether or not an object existing in the vicinity of the own vehicle approaches the own vehicle at a position of a predetermined distance or less, and When an approaching object is approaching the vehicle within a predetermined distance or less, an alarm is sounded to call the driver's attention.

【0062】なお、このように、マッチング演算器22
のマッチング演算、ベクトル抽出器24のベクトル抽出
及び接近物体判定器26の接近物体判定は、第4の出力
端28b4から第4の信号がマッチング演算器22に入
力されたときから、第5フレーム画像信号から分離され
た垂直同期信号がカウンタ回路28bに入力される前ま
での間に行われる。
As described above, the matching calculator 22
Of the fifth frame image from the time when the fourth signal is input from the fourth output end 28b4 to the matching calculator 22. It is performed before the vertical synchronizing signal separated from the signal is input to the counter circuit 28b.

【0063】次に、時刻t5 において、CCDカメラ1
2から第5のフレーム画像信号を入力した同期分離回路
28aから垂直同期信号を入力したカウンタ回路28b
は、既にリセットしており、第5フレーム画像信号から
分離した垂直同期信号を入力した場合は第1番目の垂直
同期信号を入力したことになり、第1の信号をマルチプ
レクサ16及び切換器30cに出力する。
Next, at time t 5 , the CCD camera 1
The counter circuit 28b to which the vertical synchronizing signal is input from the sync separation circuit 28a to which the second to fifth frame image signals are input
Has already been reset, and when the vertical synchronizing signal separated from the fifth frame image signal is input, it means that the first vertical synchronizing signal has been input, and the first signal is input to the multiplexer 16 and the switch 30c. Output.

【0064】カウンタ回路28bから第1の信号を入力
した切換器30cは、既に第1の信号及び第3の信号を
それぞれ1回ずつ入力している。よって、切換器30c
は、スイッチ30c1を端子30c2に接続させる。従
って、発振回路30aから発振された周波数10〔MH
z〕のクロック信号が1/2分周回路30bで周波数5
〔MHz〕のクロック信号となり、この信号が切換器3
0cを介してA/D変換機14に入力される。
The switch 30c to which the first signal is input from the counter circuit 28b has already input the first signal and the third signal once each. Therefore, the switch 30c
Connects switch 30c1 to terminal 30c2. Therefore, the frequency oscillated from the oscillation circuit 30a is 10 [MH
z] clock signal has a frequency of 5 in the 1/2 frequency divider circuit 30b.
It becomes a clock signal of [MHz], and this signal is used by the switch 3
It is input to the A / D converter 14 via 0c.

【0065】A/D変換機14は、サンプリングクロッ
ク設定回路30から出力された周波数5〔MHz〕のク
ロック信号を入力する毎に、すなわち、周期0.2〔μ
S〕でCCDカメラ12から出力された第5フレーム画
像信号をサンプリングしてディジタル画像信号(8ビッ
ト)に変換してマルチプレクサ16に出力する。
The A / D converter 14 inputs a clock signal having a frequency of 5 [MHz] output from the sampling clock setting circuit 30, that is, a cycle of 0.2 [μ].
In S], the fifth frame image signal output from the CCD camera 12 is sampled, converted into a digital image signal (8 bits), and output to the multiplexer 16.

【0066】マルチプレクサ16は、カウンタ回路28
bから第1の信号を入力することによりA/D変換機1
4から出力されたディジタル画像信号の出力先を画像メ
モリ20から画像メモリ18に切り換える。
The multiplexer 16 includes a counter circuit 28.
By inputting the first signal from b, the A / D converter 1
The output destination of the digital image signal output from No. 4 is switched from the image memory 20 to the image memory 18.

【0067】これにより第5フレームのフレーム画像信
号は、5〔MHz〕の周波数で、すなわち、0.2〔μ
S〕の周波数でサンプリングされて画像メモリ18に格
納される。
As a result, the frame image signal of the fifth frame has a frequency of 5 [MHz], that is, 0.2 [μ].
S] is sampled and stored in the image memory 18.

【0068】次に、時刻t6 において、CCDカメラ1
2から第6フレーム画像信号を入力した同期分離回路2
8aから垂直同期信号を入力したカウンタ回路28b
は、2番目の垂直同期信号を入力したことになり、信号
をサンプリングクロック設定回路30及びマルチプレク
サ16に出力しない。従って、第6フレーム画像信号
は、A/D変換機14によりサンプリングされず、よっ
て、画像メモリ18、20にも格納されない。
Next, at time t 6 , the CCD camera 1
2 to 6th frame image signal input sync separation circuit 2
Counter circuit 28b to which the vertical synchronizing signal is input from 8a
Means that the second vertical synchronizing signal has been input, and the signal is not output to the sampling clock setting circuit 30 and the multiplexer 16. Therefore, the sixth frame image signal is not sampled by the A / D converter 14 and is therefore not stored in the image memories 18 and 20.

【0069】次に、時刻t7 において、CCDカメラ1
2から第7フレーム画像信号を入力した同期分離回路2
8aから垂直同期信号を入力したカウンタ回路28bか
らは第3の信号をマルチプレクサ16及びサンプリング
クロック設定回路30に出力する。
Next, at time t 7 , the CCD camera 1
2 to 7th frame image signal input sync separation circuit 2
The counter circuit 28b to which the vertical synchronizing signal is input from 8a outputs a third signal to the multiplexer 16 and the sampling clock setting circuit 30.

【0070】第3の信号を入力した切換器30cは、ス
イッチ30c1を端子30c2に接続させる。これによ
り、前述したように、周波数5〔MHz〕のクロック信
号が切換器30cを介してA/D変換機14に入力され
る。
The switch 30c to which the third signal is input connects the switch 30c1 to the terminal 30c2. As a result, as described above, the clock signal of frequency 5 [MHz] is input to the A / D converter 14 via the switch 30c.

【0071】A/D変換機14は、サンプリングクロッ
ク設定回路30から出力された周波数5〔MHz〕のク
ロック信号を入力する毎に、すなわち、周期0.2〔μ
S〕でCCDカメラ12から出力された第7フレーム画
像信号をサンプリングしてディジタル画像信号(8ビッ
ト)に変換してマルチプレクサ16に出力する。
The A / D converter 14 inputs a clock signal having a frequency of 5 [MHz] output from the sampling clock setting circuit 30, that is, a cycle of 0.2 [μ].
In S], the seventh frame image signal output from the CCD camera 12 is sampled, converted into a digital image signal (8 bits), and output to the multiplexer 16.

【0072】ここで、マルチプレクサ16は、第3の信
号入力することによりA/D変換機14から出力された
ディジタル画像信号の出力先を今度は画像メモリ20に
切り換える。これにより、第7フレーム画像信号は、5
〔MHz〕の周波数、すなわち、0.2〔μS〕の周期
でサンプリングされて画像メモリ20に格納される。
Here, the multiplexer 16 switches the output destination of the digital image signal output from the A / D converter 14 to the image memory 20 this time by inputting the third signal. As a result, the seventh frame image signal is 5
It is sampled at a frequency of [MHz], that is, a cycle of 0.2 [μS], and stored in the image memory 20.

【0073】次に、時刻t8 において、CCDカメラ1
2から第8フレーム画像信号を入力した同期分離回路2
8aから垂直同期信号を入力したカウンタ回路28b
は、第4の信号をマッチング演算器22にのみ出力す
る。
Next, at time t 8 , the CCD camera 1
Sync separation circuit 2 to which the second to eighth frame image signals are input
Counter circuit 28b to which the vertical synchronizing signal is input from 8a
Outputs the fourth signal only to the matching calculator 22.

【0074】この第4の信号を入力したマッチング演算
器22は、マッチング演算を行う。なお、このマッチン
グ演算は、前述した通りであるので、詳細な説明は省略
する。今回のマッチング演算も前回のマッチング演算と
同様に第1の画素xij位置に対応する位置の画素yij
基準としたサーチエリア48b(図5参照)をサーチす
るものである。
The matching calculator 22 to which this fourth signal is input performs matching calculation. Since this matching calculation is as described above, detailed description will be omitted. This matching operation is also intended to search the search area 48b which is the previous matching operation and based on the pixel y ij at the position corresponding to the first pixel x ij similarly positioned (see Fig. 5).

【0075】ここで、前回と今回のマッチング演算を比
較してみる。すなわち、前回のマッチング演算の際の画
像メモリ18、20に格納されたディジタル画像信号の
1画素xijの大きさより今回のマッチング演算の際の画
像メモリ18、20に格納されたディジタル画像信号の
1画素Ptsは、図5に示すように、4倍となっている。
よって、前回のマッチング演算の際の基準ディジタル画
素信号を分割した総ブロック数がM×N個であったもの
が、今回のマッチング演算の際では、(M/2)×(N
/2)個となる。すなわち、ブロック数は1/4に減少
する。従って、計算量を減少させることができる。
Now, let us compare the matching operations of the previous time and this time. That is, based on the size of one pixel x ij of the digital image signal stored in the image memories 18 and 20 at the time of the previous matching calculation, 1 of the digital image signals stored in the image memories 18 and 20 at the time of the current matching calculation is calculated. The pixel P ts is quadrupled as shown in FIG.
Therefore, the total number of blocks obtained by dividing the reference digital pixel signal in the previous matching calculation was M × N, but in this matching calculation, (M / 2) × (N
/ 2). That is, the number of blocks is reduced to 1/4. Therefore, the amount of calculation can be reduced.

【0076】また、この場合、図6に示すように、前回
のマッチングのサーチエリア48aと今回のマッチング
のサーチエリア48b内の画素数はそれぞれ〔16画素
×16画素(計256画素)〕で同一であるが、前回の
マッチングと今回のマッチングとではサーチエリア48
a、48bの大きさが異なる。
In this case, as shown in FIG. 6, the number of pixels in the previous matching search area 48a and the number of pixels in the current matching search area 48b are [16 pixels × 16 pixels (total 256 pixels)], which are the same. However, there is a search area 48 between the previous matching and the current matching.
The sizes of a and 48b are different.

【0077】これは、前回のマッチング演算の際の画像
メモリ18、20に格納されたディジタル画像信号は1
0〔MHz〕でサンプリングしてディジタル変換された
ものであり、今回のマッチング演算の際の画像メモリ1
8、20に格納されたディジタル画像信号は5〔MH
z〕でサンプリングしてディジタル変換されたものであ
る。従って、水平方向及び垂直方向に16画素としたサ
ーチエリアとしても、サンプリングした周期が倍の長さ
となると、今回のサーチエリア48bは、前回のディジ
タル画像信号を水平方向及び垂直方向に1画素おきに1
6画素×16画素とした範囲となって、サーチエリア4
8bはサーチエリア48aの4倍の大きさとなる。
This is because the digital image signal stored in the image memories 18 and 20 in the previous matching calculation is 1
The image memory 1 is sampled at 0 [MHz] and digitally converted.
The digital image signals stored in 8 and 20 are 5 [MH
z] and digitally converted. Therefore, even if the search area has 16 pixels in the horizontal direction and the vertical direction, if the sampling period becomes twice as long, the search area 48b this time shows the previous digital image signal every other pixel in the horizontal direction and the vertical direction. 1
The area is 6 pixels × 16 pixels, and the search area 4
8b is four times as large as the search area 48a.

【0078】また、前述したように、この実施例では前
回のマッチング演算の際はフレーム画像信号を10〔M
Hz〕でサンプリングし、今回のマッチング演算の際は
フレーム画像信号を5〔MHz〕でサンプリングし、か
つ、サーチエリア内の画素数を各々固定値、すなわち、
16画素×16画素(計256画素)としている。
Further, as described above, in this embodiment, the frame image signal is set to 10 [M] in the previous matching calculation.
Hz], the frame image signal is sampled at 5 [MHz] at the time of this matching calculation, and the number of pixels in the search area is fixed, that is,
16 pixels × 16 pixels (total of 256 pixels).

【0079】これは次の通りである。すなわち、CCD
カメラ12の撮影位置を基準とし車両後側方の距離が長
い所、すなわち、遠距離に存在する他車両が所定時間Δ
t内にフレーム画像内を接近方向に移動する距離(移動
ベクトル)は、該他車両の速度が大きくとも、短い(小
さい)。一方、CCDカメラ12の撮影位置を基準とし
車両後側方の距離が短い所、すなわち、近距離に存在す
る他車両が所定時間Δt内にフレーム画像内を接近方向
に移動する距離(移動ベクトル)は、該他車両の速度が
小さくとも、長い(大きい)。
This is as follows. Ie CCD
Where the distance behind the vehicle with respect to the shooting position of the camera 12 is long, that is, another vehicle located at a long distance has a predetermined time Δ.
The distance (movement vector) of moving in the approaching direction within the frame image within t is short (small) even if the speed of the other vehicle is large. On the other hand, where the distance to the rear side of the vehicle is short based on the shooting position of the CCD camera 12, that is, the distance (movement vector) that another vehicle existing in a short distance moves in the approach direction within the frame image within a predetermined time Δt. Is long (large) even if the speed of the other vehicle is small.

【0080】このように、遠距離に存在する他車両の移
動ベクトルが該他車両の速度が大きくとも短いことに鑑
み、16画素×16画素により定まる範囲(サーチエリ
ア)が移動ベクトル52aを覆える大きさにするため、
フレーム画像信号を10〔MHz〕でサンプリングした
ものである。これにより、自車両から遠距離に存在する
他車両の移動ベクトルを精度よく抽出することが可能と
なる。
In this way, in view of the fact that the movement vector of another vehicle existing at a long distance is short even if the speed of the other vehicle is large, the range (search area) defined by 16 pixels × 16 pixels can cover the movement vector 52a. To size
The frame image signal is sampled at 10 [MHz]. As a result, it becomes possible to accurately extract the movement vector of another vehicle that is present at a long distance from the own vehicle.

【0081】これに対し、近距離に存在する他車両の移
動ベクトルが該他車両の速度が小さくとも長いことに鑑
み、16画素×16画素により定まるサーチエリアを移
動ベクトル52bを覆える大きさにするため、フレーム
画像信号を5〔MHz〕でサンプリングしたものであ
る。これにより、自車両から近距離に存在する他車両の
移動ベクトルを精度よく抽出することが可能となる。
On the other hand, in view of the fact that the movement vector of another vehicle existing at a short distance is long even if the speed of the other vehicle is small, the search area defined by 16 pixels × 16 pixels has a size that can cover the movement vector 52b. Therefore, the frame image signal is sampled at 5 [MHz]. As a result, it becomes possible to accurately extract the movement vector of another vehicle that is present at a short distance from the host vehicle.

【0082】以上から遠距離用及び近距離用に各々の移
動ベクトルに対処可能なサーチエリアを設定して、該サ
ーチエリア内をサーチして、移動ベクトルを求めること
から、CCDカメラ12の撮影位置を基準とした距離に
応じた所にいる移動体の移動ベクトルを精度よく抽出す
ることができる。
From the above, the search areas capable of coping with the respective movement vectors for the long distance and the short distance are set, and the movement vector is obtained by searching the search area to find the photographing position of the CCD camera 12. It is possible to accurately extract the movement vector of the moving object located at a position corresponding to the distance.

【0083】以上説明した実施例では、第1、第3、第
5、第7フレーム画像信号に基づいて遠距離及び近距離
に存在する移動体の移動ベクトルの抽出、接近判定処理
を行うようにしているが、これ限定するものでなく、例
えば、第1、第2フレーム画像信号に基づいて遠距離に
存在する移動体の移動ベクトルの抽出、接近判定処理を
行うと共に第4、第5フレーム画像信号に基づいて近距
離に存在する移動体の移動ベクトルの抽出、接近判定処
理を行うようにしてもよい。
In the embodiment described above, the extraction of the movement vector of the moving object existing at a long distance and the short distance and the approach determination processing are performed based on the first, third, fifth and seventh frame image signals. However, the present invention is not limited to this, and for example, based on the first and second frame image signals, the moving vector of the moving object existing at a long distance is extracted, the approach determination process is performed, and the fourth and fifth frame images are performed. You may make it perform the extraction of the movement vector of the moving body which exists in a short distance, and an approach determination process based on a signal.

【0084】また、前述した実施例では、遠距離及び近
距離に存在する移動体の移動ベクトルの抽出等のため、
周波数10〔MHz〕、5〔MHz〕でサンプリングし
てディジタル変換しているが、これ限定するものでな
く、例えば、遠距離、近距離及び中距離に存在する移動
体の移動ベクトルの抽出等のため、周波数10〔MH
z〕、5〔MHz〕及び7〔MHz〕でサンプリングし
てディジタル変換するようにしてもよい。なお、この場
合、サンプリングクロック設定回路30内に、周波数1
0〔MHz〕のクロック信号を周波数7〔MHz〕のク
ロック信号にする7/10分周回路を新たに設けるよう
にして、切換器30cのスイッチ30c1の接続端子を
端子30c2、端子30c3及び7/10分周回路に接
続した端子に切換ようにする。更に、同様に、遠距離よ
り短く中距離より長い距離及び中距離より短く近距離よ
り長い距離に存在する移動体の移動ベクトルの抽出等の
ため、例えば、周波数10〔MHz〕、8〔MHz〕、
7〔MHz〕、6〔MHz〕及び5〔MHz〕でサンプ
リングしてディジタル変換するようにしてもよい。
Further, in the above-mentioned embodiment, in order to extract the movement vector of the moving body existing at a long distance and the short distance,
Although sampling is performed at frequencies of 10 [MHz] and 5 [MHz] to perform digital conversion, the present invention is not limited to this. Therefore, frequency 10 [MH
z], 5 [MHz] and 7 [MHz] may be sampled and digitally converted. In this case, in the sampling clock setting circuit 30, the frequency 1
A 7/10 frequency divider circuit for converting a clock signal of 0 [MHz] into a clock signal of frequency 7 [MHz] is newly provided so that the connection terminals of the switch 30c1 of the switching device 30c are terminals 30c2, 30c3 and 7 /. Switch to the terminal connected to the divide-by-10 circuit. Further, similarly, for extraction of a moving vector of a moving object existing at a distance shorter than a long distance and longer than a medium distance and a distance shorter than a medium distance and longer than a short distance, for example, a frequency of 10 [MHz], 8 [MHz] ,
You may make it sample by 7 [MHz], 6 [MHz], and 5 [MHz], and may carry out digital conversion.

【0085】更に、前述した実施例では、クロック信号
の周波数を変化させかつマッチング演算器22のサーチ
エリア内の画素数を16画素×16画素の固定値として
いるが、これに限定するものでなく、例えば、クロック
信号の周波数を例えば10〔MHz〕に固定し、サーチ
エリア内の画素数を遠距離に存在する移動体の移動ベク
トルの抽出等のため16画素×16画素とすると共に近
距離に存在する移動体の移動ベクトルの抽出等のため3
2画素×32画素(但し2画素毎に1画素間引いてマッ
チング演算を行うようにする)としてもよい。
Further, in the above-described embodiment, the frequency of the clock signal is changed and the number of pixels in the search area of the matching calculator 22 is set to a fixed value of 16 pixels × 16 pixels, but the present invention is not limited to this. , For example, the frequency of the clock signal is fixed to 10 [MHz], and the number of pixels in the search area is set to 16 pixels × 16 pixels to extract a moving vector of a moving object existing at a long distance and at a short distance. 3 for extracting the movement vector of the existing moving body
The number of pixels may be set to 2 pixels × 32 pixels (however, every two pixels are thinned out to perform matching calculation).

【0086】次に、本発明の第2の実施例を説明する。
まず、第2の実施例の構成を説明するが、前述した第1
の実施例と同様な部分については同一の符号を付して、
その説明を省略する。
Next, a second embodiment of the present invention will be described.
First, the configuration of the second embodiment will be described.
The same parts as those in the embodiment of
The description is omitted.

【0087】本実施例は、前述した第1の実施例と比較
すると、図7に示すように、画像メモリ18、20とマ
ッチング演算器22との間にサブサンプリング回路32
を備えている。また、本実施例は、第1の実施例のサン
プリングクロック設定回路30が設けられておらず、タ
イミング制御装置28には、サブサンプリング回路32
に接続されたシーケンサ回路34が接続されて構成され
ている。
Compared with the first embodiment described above, the present embodiment has a sub-sampling circuit 32 between the image memories 18 and 20 and the matching calculator 22 as shown in FIG.
It has. Further, in this embodiment, the sampling clock setting circuit 30 of the first embodiment is not provided, and the timing control device 28 has the sub-sampling circuit 32.
The sequencer circuit 34 connected to is connected.

【0088】次に、タイミング制御装置28、サブサン
プリング回路32及びシーケンサ回路34の構成を図8
を参照して詳細に説明する。
Next, the configurations of the timing control device 28, the sub-sampling circuit 32, and the sequencer circuit 34 are shown in FIG.
This will be described in detail with reference to FIG.

【0089】図8に示すようにタイミング制御装置28
は、同期分離回路28a及びカウンタ回路28bを備え
ている。本実施例におけるカウンタ回路28bは、後述
するようにリセットしてから1番目の垂直同期信号を入
力すると第1の信号をマルチプレクサ16に出力するた
めの第1の出力端28b1、3番目の垂直同期信号を入
力すると第3の信号をマルチプレクサ16に出力するた
めの第3の出力端28b3、4番目の垂直同期信号を入
力すると第4の信号をシーケンサ回路34に出力するた
めの第4の出力端28b4、5番目の垂直同期信号を入
力すると第5の信号をシーケンサ回路34に出力するた
めの第5の出力端28b5を備え、第5の信号を出力す
ると、カウント値をリセットするようになっている。
As shown in FIG. 8, the timing control device 28
Includes a sync separation circuit 28a and a counter circuit 28b. The counter circuit 28b in the present embodiment is reset as described later, and when the first vertical synchronizing signal is input after it is reset, the first output terminal 28b1 for outputting the first signal to the multiplexer 16 and the third vertical synchronizing signal. When a signal is input, a third output terminal 28b3 for outputting the third signal to the multiplexer 16 and a fourth output terminal for outputting a fourth signal to the sequencer circuit 34 when the fourth vertical synchronizing signal is input. 28b4, a fifth output terminal 28b5 for outputting the fifth signal to the sequencer circuit 34 when the fifth vertical synchronizing signal is input, and when the fifth signal is output, the count value is reset. There is.

【0090】また、図8に示すように、サブサンプリン
グ回路32は、画像メモリ18とイメージバスを介して
接続されたレジスタ32aと、画像メモリ20とイメー
ジバスを介して接続されたレジスタ32bと、を備えて
いる。
As shown in FIG. 8, the sub-sampling circuit 32 includes a register 32a connected to the image memory 18 via the image bus, a register 32b connected to the image memory 20 via the image bus, and Is equipped with.

【0091】さらに、シーケンサ回路34は、周波数1
0〔MHz〕のクロック信号を発振するタイミングクロ
ック発生回路34a、タイミングクロック発生回路34
aから発振された周波数10〔MHz〕のクロック信号
を周波数5〔MHz〕のクロック信号にする1/2分周
回路34b、及び、スイッチ34c1の接続をタイミン
グクロック発生回路34aに接続された端子34c3又
は1/2分周回路34bに接続された端子34c2のい
ずれかに切り換える切換器34cを備えている。
Further, the sequencer circuit 34 has the frequency 1
Timing clock generation circuit 34a that oscillates a clock signal of 0 [MHz], timing clock generation circuit 34
a frequency dividing circuit 34b for converting a clock signal having a frequency of 10 [MHz] oscillated from a into a clock signal having a frequency of 5 [MHz], and a switch 34c1 connected to a timing clock generation circuit 34a at a terminal 34c3. Alternatively, a switch 34c for switching to either the terminal 34c2 connected to the 1/2 frequency dividing circuit 34b is provided.

【0092】ここで、本実施例における切換器34cに
よるスイッチ34c1の接続切り換えは、カウンタ回路
28bから出力された第4の信号及び第5の信号を入力
する毎に行うようになっている。
Here, the connection switching of the switch 34c1 by the switch 34c in the present embodiment is performed every time the fourth signal and the fifth signal output from the counter circuit 28b are input.

【0093】すなわち、最初、スイッチ34c1は端子
34c2及び端子34c3のいずれにも接続されておら
ず、第4の信号を入力したとき、スイッチ34c1を端
子34c3に接続させ、所定時間Δt経過したときスイ
ッチ34c1と端子34c3との接続を止める。次に、
第5の信号を入力したとき、スイッチ34c1を端子3
4c2に接続させ、所定時間Δt経過したときスイッチ
34c1と端子34c2との接続を止める。そして、こ
れを繰り返す。
That is, initially, the switch 34c1 is not connected to either the terminal 34c2 or the terminal 34c3, and when the fourth signal is input, the switch 34c1 is connected to the terminal 34c3, and when a predetermined time Δt elapses, the switch 34c1 is connected. The connection between 34c1 and the terminal 34c3 is stopped. next,
When the fifth signal is input, set the switch 34c1 to the terminal 3
4c2 and the connection between the switch 34c1 and the terminal 34c2 is stopped when a predetermined time Δt has elapsed. And repeat this.

【0094】従って、スイッチ34c1が端子34c3
に接続された場合には、タイミングクロック発生回路3
4aから発振した周波数10〔MHz〕のクロック信号
が切換器30cを介してサブサンプリング回路32のレ
ジスタ32a、32b及びマッチング演算器22に入力
される。また、スイッチ34c1が端子34c2に接続
された場合には、タイミングクロック発生回路34aか
らの周波数10〔MHz〕のクロック信号が1/2分周
回路34bを介して周波数5〔MHz〕のクロック信号
となり、この信号が切換器34cを介してサブサンプリ
ング回路32のレジスタ32a、32b及びマッチング
演算器22に入力される。
Therefore, the switch 34c1 is connected to the terminal 34c3.
When connected to, the timing clock generation circuit 3
A clock signal having a frequency of 10 [MHz] oscillated from 4a is input to the registers 32a and 32b of the sub-sampling circuit 32 and the matching calculator 22 via the switch 30c. When the switch 34c1 is connected to the terminal 34c2, the clock signal with a frequency of 10 [MHz] from the timing clock generating circuit 34a becomes a clock signal with a frequency of 5 [MHz] via the 1/2 frequency dividing circuit 34b. This signal is input to the registers 32a and 32b of the sub-sampling circuit 32 and the matching calculator 22 via the switch 34c.

【0095】次に、本実施例の作用を図9に示したタイ
ミングチャートを参照して説明する。
Next, the operation of this embodiment will be described with reference to the timing chart shown in FIG.

【0096】時刻t1 において、CCDカメラ12から
第1フレーム画像信号がA/D変換機14及びタイミン
グ制御装置28に入力される。A/D変換機14では入
力した第1フレーム画像信号を所定のサンプリング周期
0.1〔μS〕でサンプリングしてディジタル画像信号
に変換して、マルチプレクサ16に出力する。
At time t 1 , the first frame image signal is input from the CCD camera 12 to the A / D converter 14 and the timing control device 28. The A / D converter 14 samples the input first frame image signal at a predetermined sampling period of 0.1 [μS], converts it into a digital image signal, and outputs it to the multiplexer 16.

【0097】一方、第1フレーム画像信号を入力した同
期分離回路28aは、第1フレーム画像信号から分離し
た垂直同期信号をカウンタ回路28bに出力する。カウ
ンタ回路28bは、第1の出力端28b1から第1の信
号をマルチプレクサ16に出力する。
On the other hand, the sync separation circuit 28a, to which the first frame image signal is input, outputs the vertical sync signal separated from the first frame image signal to the counter circuit 28b. The counter circuit 28b outputs the first signal to the multiplexer 16 from the first output end 28b1.

【0098】第1の信号を入力したマルチプレクサ16
は、A/D変換機14から出力されディジタル画像信号
の出力先を画像メモリ20から画像メモリ18に切り換
える。
Multiplexer 16 to which the first signal is input
Switches the output destination of the digital image signal output from the A / D converter 14 from the image memory 20 to the image memory 18.

【0099】以上より第1フレーム画像信号が10〔M
Hz〕のサンプリング周波数、すなわち、周期0.1
〔μS〕でサンプリングされつかディジタル変換されて
画像メモリ18に格納される。
From the above, the first frame image signal is 10 [M
Hz] sampling frequency, ie, period 0.1
The data is sampled at [μS] or digitally converted and stored in the image memory 18.

【0100】次に、時刻t2 において、CCDカメラ1
2から第2フレーム画像信号を入力したA/D変換機1
4は、第2フレーム画像信号を10〔MHz〕のサンプ
リング周波数、すなわち、周期0.1〔μS〕でサンプ
リングしかつディジタル変換してマルチプレクサ16に
出力する。また、第2フレーム画像信号を入力した同期
分離回路28aから垂直同期信号を入力したカウンタ回
路28bは、信号をマルチプレクサ16に出力しない。
よって、第2フレーム画像信号に対応するディジタル画
像信号は画像メモリ18、20に格納されない。
Next, at time t 2 , the CCD camera 1
A / D converter 1 that receives the second frame image signal from 2
Reference numeral 4 samples the second frame image signal at a sampling frequency of 10 [MHz], that is, a period of 0.1 [μS], digitally converts it, and outputs it to the multiplexer 16. Also, the counter circuit 28b, which receives the vertical synchronizing signal from the synchronizing separation circuit 28a, which receives the second frame image signal, does not output the signal to the multiplexer 16.
Therefore, the digital image signal corresponding to the second frame image signal is not stored in the image memories 18 and 20.

【0101】次に、時刻t3 において、CCDカメラ1
2から第3フレーム画像信号がA/D変換機14及びタ
イミング制御装置28に入力されると、A/D変換機1
4は、前述したように第3フレーム画像信号をディジタ
ル変換してマルチプレクサ16に出力する。また、第3
フレーム画像信号を入力した同期分離回路28aから垂
直同期信号を入力したカウンタ回路28bは、第3の信
号をマルチプレクサ16に出力する。
Next, at time t 3 , the CCD camera 1
When the second to third frame image signals are input to the A / D converter 14 and the timing control device 28, the A / D converter 1
4 digitally converts the third frame image signal and outputs it to the multiplexer 16 as described above. Also, the third
The counter circuit 28b which receives the vertical synchronizing signal from the synchronizing separation circuit 28a which receives the frame image signal outputs the third signal to the multiplexer 16.

【0102】第3の信号を入力したマルチプレクサ16
は、A/D変換機14から出力されたディジタル画像信
号の出力先を画像メモリ18から画像メモリ20に切り
換える。
Multiplexer 16 to which the third signal is input
Switches the output destination of the digital image signal output from the A / D converter 14 from the image memory 18 to the image memory 20.

【0103】以上より、第3フレーム画像信号が10M
Hzのサンプリング周波数でサンプリングされかつディ
ジタル変換されて画像メモリ20に格納される。
From the above, the third frame image signal is 10M
It is sampled at a sampling frequency of Hz, digitally converted and stored in the image memory 20.

【0104】次に、時刻t4 において、CCDカメラ1
2から第4フレーム画像信号がA/D変換機14及びタ
イミング制御装置28に入力されると、A/D変換機1
4は、前述したように第4フレーム画像信号をディジタ
ル変換してマルチプレクサ16に出力する。また、第4
フレーム画像信号を入力した同期分離回路28aから垂
直同期信号を入力したカウンタ回路28bは、第4の信
号をシーケンサ回路34のみに出力する。
Next, at time t 4 , the CCD camera 1
When the second to fourth frame image signals are input to the A / D converter 14 and the timing control device 28, the A / D converter 1
Reference numeral 4 digitally converts the fourth frame image signal and outputs it to the multiplexer 16 as described above. Also, the fourth
The counter circuit 28b receiving the vertical synchronizing signal from the synchronizing separating circuit 28a receiving the frame image signal outputs the fourth signal only to the sequencer circuit 34.

【0105】よって、第4の信号がマルチプレクサ16
に出力されないことから、第4フレーム画像信号に対応
するディジタル画像信号は画像メモリ18、20に格納
されない。
Therefore, the fourth signal is the multiplexer 16
Therefore, the digital image signal corresponding to the fourth frame image signal is not stored in the image memories 18 and 20.

【0106】一方、第4の信号を入力したシーケンサ回
路34の切換器34cは、スイッチ34c1を、端子3
4c3に接続させ、このときから所定時間Δt経過した
とき、該接続を止める。この所定時間Δtの間、タイミ
ングクロック発生回路34aから発振した周波数10
〔MHz〕のクロック信号が切換器34cを介してサブ
サンプリング回路32のレジスタ32a、32b及びマ
ッチング演算器22に入力される。これにより、レジス
タ32a、32bは、周波数10〔MHz〕のクロック
信号を入力する毎に、すなわち、周期0.1〔μS〕で
画像メモリ18、20からディジタル画像信号を取込
み、マッチング演算器22に出力する。なお、この場
合、画像メモリ18、20に格納されたディジタル画像
信号は、間引かれずマッチング演算器22に出力され
る。このマッチング演算器22は、周波数10〔MH
z〕のクロック信号を入力する毎にレジスタ32a、3
2bディジタル画像信号を取込み、マッチング演算を行
う。なお、このマッチング演算は、第1の実施例と同様
である。
On the other hand, the switch 34c of the sequencer circuit 34, to which the fourth signal is input, switches the switch 34c1 to the terminal 3
4c3, and when the predetermined time Δt has elapsed from this time, the connection is stopped. During this predetermined time Δt, the frequency 10 oscillated from the timing clock generation circuit 34a
The clock signal of [MHz] is input to the registers 32a and 32b of the sub-sampling circuit 32 and the matching calculator 22 via the switch 34c. As a result, the registers 32a and 32b take in the digital image signals from the image memories 18 and 20 each time a clock signal having a frequency of 10 [MHz] is input, that is, at a period of 0.1 [μS], and the matching arithmetic unit 22 receives them. Output. In this case, the digital image signals stored in the image memories 18 and 20 are output to the matching calculator 22 without being thinned out. This matching calculator 22 has a frequency of 10 [MH
z] every time the clock signal of
A 2b digital image signal is taken in and a matching operation is performed. The matching calculation is the same as in the first embodiment.

【0107】ここで、画像メモリ18、20には、CC
Dカメラ12からのフレーム画像信号がサンプリング周
期(0.1〔μS〕)でサンプリングしてディジタル変
換されたディジタル画像信号が格納されている。サブサ
ンプリング回路32は周波数10〔MHz〕のクロック
信号を入力する毎に、すなわち、周期0.1〔μS〕で
画像メモリ18、20からディジタル画像信号を取込
み、マッチング演算器22は周波数10〔MHz〕のク
ロック信号を入力する毎に、すなわち、周期0.1〔μ
S〕でサブサンプリング回路32からディジタル画像信
号を取込んでいる。
Here, the CCs are stored in the image memories 18 and 20.
A digital image signal obtained by sampling the frame image signal from the D camera 12 at a sampling cycle (0.1 [μS]) and digitally converting the frame image signal is stored. The sub-sampling circuit 32 takes in a digital image signal from the image memories 18 and 20 every time a clock signal having a frequency of 10 [MHz] is input, that is, at a period of 0.1 [μS], and the matching calculator 22 sets a frequency of 10 [MHz]. ] Every time a clock signal of
In S], the digital image signal is fetched from the sub-sampling circuit 32.

【0108】従って、マッチング演算器22によるマッ
チング演算の際のサーチエリア(16画素×16画素)
は、第1の実施例における遠距離に存在する他車両の移
動ベクトルを精度よく抽出することの可能な遠距離用の
サーチエリアとなり、これにより、自車両から遠距離に
存在する他車両の移動ベクトルを精度よく抽出すること
が可能となる。
Therefore, the search area (16 pixels × 16 pixels) in the matching calculation by the matching calculator 22
Is a search area for a long distance in which the movement vector of another vehicle existing in a long distance in the first embodiment can be accurately extracted, whereby the movement of another vehicle existing in a long distance from the own vehicle is moved. It is possible to extract the vector with high accuracy.

【0109】そして、ベクトル抽出器24及び接近物体
判定器26も前述した第1の実施例と同様の処理を行
う。
Then, the vector extractor 24 and the approaching object determiner 26 also perform the same processing as in the first embodiment.

【0110】次に、時刻t5 において、CCDカメラ1
2から第5フレーム画像信号がA/D変換機14及びタ
イミング制御装置28に入力されると、A/D変換機1
4は、前述したように第5フレーム画像信号をディジタ
ル変換してマルチプレクサ16に出力する。また、第5
フレーム画像信号を入力した同期分離回路28aから垂
直同期信号を入力したカウンタ回路28bは、第5の信
号をシーケンサ回路34のみに出力する。
Next, at time t 5 , the CCD camera 1
When the second to fifth frame image signals are input to the A / D converter 14 and the timing control device 28, the A / D converter 1
As described above, 4 digitally converts the fifth frame image signal and outputs it to the multiplexer 16. Also, the fifth
The counter circuit 28b receiving the vertical synchronizing signal from the synchronizing separating circuit 28a receiving the frame image signal outputs the fifth signal only to the sequencer circuit 34.

【0111】よって、第5の信号がマルチプレクサ16
に出力されないことから、第5フレーム画像信号に対応
するディジタル画像信号は画像メモリ18、20に格納
されない。
Therefore, the fifth signal is the multiplexer 16
Therefore, the digital image signal corresponding to the fifth frame image signal is not stored in the image memories 18 and 20.

【0112】一方、第5の信号を入力したシーケンサ回
路34の切換器34cは、スイッチ34c1を、端子3
4c2に接続させる。これにより、タイミングクロック
発生回路34aから発振した周波数10〔MHz〕のク
ロック信号が1/2分周回路34bにより周波数5〔M
Hz〕のクロック信号となり、この信号が切換器34c
を介してサブサンプリング回路32のレジスタ32a、
32b及びマッチング演算器22に入力される。これに
より、レジスタ32a、32bは、周波数5〔MHz〕
のクロック信号を入力する毎に、すなわち、周期0.2
〔μS〕で画像メモリ18、20からディジタル画像信
号を取込み、マッチング演算器22に出力する。
On the other hand, the switch 34c of the sequencer circuit 34, to which the fifth signal is input, switches the switch 34c1 to the terminal 3
4c2. As a result, the clock signal having a frequency of 10 [MHz] oscillated from the timing clock generation circuit 34a is supplied to the frequency 5 [M
Hz] clock signal, and this signal is the switch 34c.
Via the register 32a of the sub-sampling circuit 32,
32b and the matching calculator 22. As a result, the registers 32a and 32b have a frequency of 5 [MHz].
Every time a clock signal of
At [μS], digital image signals are fetched from the image memories 18 and 20 and output to the matching calculator 22.

【0113】なお、レジスタ32a、32bは、周波数
10〔MHz〕、すなわち、周期0.1〔μS〕でサン
プリングしてディジタル変換されたディジタル画像信号
を周波数5〔MHz〕、すなわち、周期0.2〔μS〕
でクロック信号を入力する毎に取り込んでいることか
ら、画像メモリ18、20内のディジタル画像信号を2
画素毎に1画素間引いて読み出している。
The registers 32a and 32b sample the digital image signal digitally converted by sampling at a frequency of 10 [MHz], that is, a period of 0.1 [μS], and a frequency of 5 [MHz], that is, a period of 0.2. [ΜS]
Since the clock signal is fetched each time it is input, the digital image signals in the image memories 18 and 20 are stored in 2 units.
Reading is performed by thinning out one pixel for each pixel.

【0114】また、マッチング演算器22は、周波数5
〔MHz〕のクロック信号を入力する毎にレジスタ32
a、32bからディジタル画像信号を取込み、マッチン
グ演算を行う。なお、このマッチング演算は、第1の実
施例と同様であり、ベクトル抽出器24及び接近物体判
定器26も前述した第1の実施例と同様の処理を行う。
In addition, the matching calculator 22 uses the frequency 5
A register 32 is input every time a [MHz] clock signal is input.
Digital image signals are fetched from a and 32b and a matching operation is performed. The matching calculation is the same as that in the first embodiment, and the vector extractor 24 and the approaching object determiner 26 also perform the same processing as in the first embodiment.

【0115】ここで、前述したように画像メモリ18、
20から2画素毎に1画素間引いてディジタル画像信号
を取り込んでいるので、サーチエリア(16画素×16
画素)は、第1の実施例における近距離に存在する他車
両の移動ベクトルを精度よく抽出することの可能な近距
離用のサーチエリアとなり、これにより、自車両から近
距離に存在する他車両の移動ベクトルを精度よく抽出す
ることが可能となる。
Here, as described above, the image memory 18,
Since the digital image signal is acquired by thinning out one pixel every 20 pixels from 20 pixels, the search area (16 pixels × 16
Pixel) serves as a short-distance search area in which the movement vector of another vehicle existing in the short distance in the first embodiment can be accurately extracted. As a result, another vehicle existing in the short distance from the own vehicle is obtained. It is possible to accurately extract the movement vector of.

【0116】以上説明した本実施例を前述した第1の実
施例と比較してみる。前述したように第1の実施例で
は、遠距離用及び近距離用の各々についてフレーム画像
信号をディジタル変換して画像メモリに取込み移動ベク
トルの抽出を行っている。
The present embodiment described above will be compared with the above-mentioned first embodiment. As described above, in the first embodiment, the frame image signal for each of the long distance and short distance is digitally converted and taken into the image memory to extract the movement vector.

【0117】これに対して、第2の実施例では、CCD
カメラ12の撮影位置を基準とする車両後側方の距離が
長い距離に存在する他車両の移動ベクトルを精度よく抽
出するためのサンプリング周期(0.1〔μS〕)でフ
レーム画像信号をサンプリングしかつディジタル変換し
て画像メモリに記憶している。そして、記憶したディジ
タル画像信号を遠距離用のサンプリング周期(0.1
〔μS〕)で取込んで移動ベクトルを求めると共に、近
距離用のサンプリング周期(0.2〔μS〕)で取り込
んで移動ベクトルを求めるようにしている。
On the other hand, in the second embodiment, the CCD
A frame image signal is sampled at a sampling period (0.1 [μS]) for accurately extracting a movement vector of another vehicle whose distance behind the vehicle with respect to the shooting position of the camera 12 is a long distance. Further, it is digitally converted and stored in the image memory. Then, the stored digital image signal is stored in the long-distance sampling cycle (0.1
[ΜS]) is used to obtain the movement vector, and the short-distance sampling period (0.2 [μS]) is used to obtain the movement vector.

【0118】よって、図3及び図9に示すように、本実
施例は第1の実施例より処理の時間を短くすることがで
きる。
Therefore, as shown in FIGS. 3 and 9, this embodiment can shorten the processing time as compared with the first embodiment.

【0119】以上説明した実施例では、第1フレーム画
像信号及び第3フレーム画像信号に基づいて遠距離及び
近距離に存在する移動体の移動ベクトルの抽出、接近判
定処理を行うようにしているが、これ限定するものでな
く、例えば、第1フレーム画像信号及び第2フレーム画
像信号や、第1フレーム画像信号及び第4フレーム画像
信号に基づいて遠距離及び近距離に存在する移動体の移
動ベクトルの抽出、接近判定処理を行うようにしてもよ
い。
In the above-described embodiment, the movement vector of the moving object existing at a long distance and the short distance are extracted and the approach determination processing is performed based on the first frame image signal and the third frame image signal. However, the present invention is not limited to this, and for example, a movement vector of a moving object existing at a long distance or a short distance based on the first frame image signal and the second frame image signal, or the first frame image signal and the fourth frame image signal. May be performed and the approach determination processing may be performed.

【0120】また、前述した実施例では、遠距離及び近
距離に存在する移動体の移動ベクトルの抽出等のため、
周波数10〔MHz〕、5〔MHz〕(周期0.1〔μ
S〕、0.2〔μS〕)でサンプリングしてディジタル
変換しているが、これ限定するものでなく、遠距離、近
距離及び中距離に存在する移動体の移動ベクトルの抽出
等のため、周波数10〔MHz〕、5〔MHz〕及び7
〔MHz〕でサンプリングしてディジタル変換するよう
にしてもよい。なお、この場合、シーケンサ回路34内
に、周波数10〔MHz〕のクロック信号を周波数7
〔MHz〕のクロック信号にする7/10分周回路を新
たに設けるようにして、切換器34cのスイッチ34c
1の接続端子を端子34c2、端子34c3及び7/1
0分周回路に接続した端子34c4に切換ようにする。
更に、同様に、遠距離より短く中距離より長い距離及び
中距離より短く近距離より長い距離に存在する移動体の
移動ベクトルの抽出等のため、例えば、周波数10〔M
Hz〕、8〔MHz〕、7〔MHz〕、6〔MHz〕及
び5〔MHz〕でサンプリングしてディジタル変換する
ようにしてもよい。
Further, in the above-mentioned embodiment, in order to extract the movement vector of the moving object existing at the long distance and the short distance,
Frequency 10 [MHz], 5 [MHz] (Period 0.1 [μ
S], 0.2 [μS]) is sampled and digitally converted. However, the present invention is not limited to this, and for extraction of the movement vector of a moving object existing at a long distance, a short distance and an intermediate distance, Frequency 10 [MHz], 5 [MHz] and 7
You may make it sample by [MHz] and may carry out digital conversion. In this case, in the sequencer circuit 34, a clock signal having a frequency of 10 [MHz] is used.
A switch 34c of the switch 34c is provided by newly providing a 7/10 frequency dividing circuit for making a clock signal of [MHz].
The connection terminals of 1 are the terminals 34c2, 34c3 and 7/1.
The terminal 34c4 connected to the 0 frequency dividing circuit is switched.
Further, similarly, for extraction of a moving vector of a moving object existing at a distance shorter than a long distance and longer than a medium distance and a distance shorter than a medium distance and longer than a short distance, for example, a frequency of 10 [M
Hz], 8 [MHz], 7 [MHz], 6 [MHz] and 5 [MHz] may be sampled and digitally converted.

【0121】更に、前述した実施例では、クロック信号
の周波数を変化させかつマッチング演算器22のサーチ
エリア内の画素数を16画素×16画素の固定値として
いるが、これ限定するものでなく、例えば、クロック信
号の周波数を例えば10〔MHz〕に固定し、サーチエ
リア内の画素数を遠距離に存在する移動体の移動ベクト
ルの抽出等のため16画素×16画素とすると共に近距
離に存在する移動体の移動ベクトルの抽出等のため32
画素×32画素(但し2画素毎に1画素間引いてマッチ
ング演算を行うようにする)としてもよい。
Further, in the above-mentioned embodiment, the frequency of the clock signal is changed and the number of pixels in the search area of the matching calculator 22 is set to a fixed value of 16 pixels × 16 pixels, but the present invention is not limited to this. For example, the frequency of the clock signal is fixed to, for example, 10 [MHz], and the number of pixels in the search area is set to 16 pixels × 16 pixels to extract a movement vector of a moving object existing at a long distance and exists at a short distance. 32 for extracting the moving vector of the moving object
Pixels × 32 pixels (however, one pixel is thinned out every two pixels to perform the matching calculation).

【0122】次に、本発明の第3の実施例を説明する。
本実施例は、第1の実施例と略同様の構成となっている
が、図10に示すように、CCDカメラ12がマイクロ
コンピュータを含む点、及び、CCDカメラ12に、ス
テアリングシャフトの回転方向(操舵方向)と回転量
(操舵角)を検出する操舵角センサ38が接続されてい
る点が異なる。
Next, a third embodiment of the present invention will be described.
This embodiment has substantially the same configuration as the first embodiment, but as shown in FIG. 10, the CCD camera 12 includes a microcomputer, and the CCD camera 12 has a steering shaft rotating direction. The difference is that a steering angle sensor 38 that detects the (steering direction) and the rotation amount (steering angle) is connected.

【0123】次に、本実施例の作用を説明するが、以
下、本実施例が前述した第1の実施例と異なる作用部分
を説明する。
Next, the operation of this embodiment will be described. Hereinafter, the operation portion of this embodiment different from that of the first embodiment will be described.

【0124】CCDカメラ12は、第1フレーム画像信
号〜第3フレーム画像信号の各々については、遠距離に
存在する他車両の移動ベクトルを検出するため、図11
に示したウインドウ64のフレーム画像信号のみをA/
D変換機14に出力する。一方、第5フレーム画像信号
〜第7フレーム画像信号の各々については、近距離に存
在する他車両の移動ベクトルを検出するため、ウインド
ウ68のフレーム画像信号のみをA/D変換機14に出
力する。このように、ウインドウ64とウインドウ68
とはその大きさが異なり、ウインドウ64が比較的小さ
い領域となっているのは、遠距離に存在する他車両が所
定時間Δt間に移動できる範囲がある程度限定できるか
らである。よって、遠距離に存在する他車両が所定時間
Δt間に移動できる範囲以外の領域内のフレーム画像信
号は不要であるので、A/D変換機14に出力しないよ
うにするものである。
Since the CCD camera 12 detects the movement vector of another vehicle existing at a long distance for each of the first frame image signal to the third frame image signal, FIG.
Only the frame image signal of the window 64 shown in FIG.
Output to the D converter 14. On the other hand, for each of the fifth frame image signal to the seventh frame image signal, only the frame image signal of the window 68 is output to the A / D converter 14 in order to detect the movement vector of another vehicle existing at a short distance. . In this way, window 64 and window 68
The size of the window 64 is different from that of the above, and the reason why the window 64 is a relatively small area is that the range in which another vehicle existing at a long distance can move during the predetermined time Δt can be limited to some extent. Therefore, a frame image signal in an area other than a range in which another vehicle existing at a long distance can move within a predetermined time Δt is unnecessary, and is not output to the A / D converter 14.

【0125】これに対して、ウインドウ68が大きい領
域となっているのは、近距離に存在する他車両は、自車
両への接近速度が遅くとも、所定時間Δt間に移動する
可能性のある範囲が大きく、これを限定することができ
ないからである。
On the other hand, the area in which the window 68 is large is a range in which another vehicle existing in a short distance may move within a predetermined time Δt even if the approaching speed to the own vehicle is slow. Is large and cannot be limited.

【0126】更に、CCDカメラ12は、ウインドウ6
4を舵角に応じて移動する処理を行うようにしている。
すなわち、該処理は、図12に示す制御ルーチン(所定
時間Δt毎に実行される)に基づいて行われ、まず、ス
テップ102で、操舵角センサ38から入力したステア
リングシャフトの回転方向と回転量とに基づいて、所定
時間Δt内に変化した操舵角αを検出する。なお、この
操舵角αはステアリングシャフトの回転方向が左回転の
場合に正の値としている。
Further, the CCD camera 12 has a window 6
4 is moved according to the steering angle.
That is, the processing is performed based on the control routine shown in FIG. 12 (executed every predetermined time Δt). First, at step 102, the rotation direction and the rotation amount of the steering shaft input from the steering angle sensor 38 are detected. The steering angle α that has changed within the predetermined time Δt is detected based on the above. The steering angle α is a positive value when the rotation direction of the steering shaft is counterclockwise.

【0127】次のステップ104で、操舵角αが0でな
いか否かを判断し、操舵角αが0でない場合には、ステ
ップ106で、現在の舵角laを算出する。すなわち、
所定時間Δt前の舵角に、操舵角αを加算した値を、現
在の舵角laとする。
In the next step 104, it is judged whether or not the steering angle α is 0. If the steering angle α is not 0, the current steering angle la is calculated in step 106. That is,
A value obtained by adding the steering angle α to the steering angle before the predetermined time Δt is set as the current steering angle la.

【0128】ステップ108から、現在の舵角laに基
づいて、図13に示した現在の舵角laとこのときのウ
インドウ64の中心位置の変更先の位置との関係を示し
たマップから、ウインドウ64の中央位置を位置させる
位置を求める。
From step 108, based on the current rudder angle la, from the map showing the relationship between the current rudder angle la shown in FIG. 13 and the position to which the center position of the window 64 at this time is changed, The position where the central position of 64 is located is determined.

【0129】ここで、図13に示したマップについて説
明する。例えば、ステアリングシャフトが左回転したと
き車両の進行方向は左方向に変化する。このとき、車両
後側方の遠距離に存在する他車両の存在する可能性のあ
る範囲は、図14に示す位置に移動する。なお、ステア
リングシャフトが右回転した場合には、該範囲は、図1
4に示す位置とは逆方向に移動する。
Now, the map shown in FIG. 13 will be described. For example, when the steering shaft rotates counterclockwise, the traveling direction of the vehicle changes to the left. At this time, the range in which there is a possibility of another vehicle existing at a long distance behind the vehicle moves to the position shown in FIG. When the steering shaft rotates to the right, the range is
It moves in the opposite direction to the position shown in FIG.

【0130】このように、舵角laが大きくなるに従っ
てウインドウ64の中心位置は図14の紙面右側に移動
する。すなわち、ステアリングシャフトが左回転した回
転量が大きくなるに従って、ウインドウ64の中心位置
のX座標値は大きくなる。この関係が図13のようにな
り、舵角laと、舵角laのときのウインドウ64の中
心位置のX座標値とがマップとなって記憶されている。
なお、X−Y座標軸は、図11、図14に示すように、
フレーム画像の水平方向下端(X軸)、垂直方向左端
(Y軸)となっている。
Thus, as the steering angle la increases, the center position of the window 64 moves to the right side of the paper surface of FIG. That is, the X coordinate value of the center position of the window 64 increases as the amount of rotation of the steering shaft that rotates to the left increases. This relationship is as shown in FIG. 13, and the steering angle la and the X coordinate value of the center position of the window 64 at the steering angle la are stored as a map.
The XY coordinate axes are as shown in FIG. 11 and FIG.
It is the lower end in the horizontal direction (X axis) and the left end in the vertical direction (Y axis) of the frame image.

【0131】例えば、舵角が舵角la1 の場合、このと
きのウインドウ64の中心位置のX座標値はe2とな
る。そこで、例えば、舵角が0の場合、X座標値がe1
であったウインドウ64の中心位置(図11参照)をe
2(図14参照)となるようにΔe(=e2−e1)移
動させる。
For example, when the steering angle is the steering angle la 1 , the X coordinate value of the center position of the window 64 at this time is e2. Therefore, for example, when the steering angle is 0, the X coordinate value is e1.
The center position of the window 64 (see FIG. 11) that was
Δe (= e2-e1) is moved so as to be 2 (see FIG. 14).

【0132】一方、ステップ104の判断が否定された
場合、すなわち、所定時間Δt内にステアリングシャフ
トが回転しなかった場合、ステップ110で、操舵角α
=0が継続しているか否かを判断する。操舵角α=0が
継続している場合には、車両が直進しており、舵角が0
であるので、舵角laを0にセットする。
On the other hand, if the determination in step 104 is negative, that is, if the steering shaft does not rotate within the predetermined time Δt, the steering angle α is determined in step 110.
It is determined whether or not = 0 continues. When the steering angle α = 0 continues, the vehicle is traveling straight and the steering angle is 0.
Therefore, the steering angle la is set to 0.

【0133】是に対し、操舵角α=0が継続していない
場合には、車両の進行方向が変化し始めたことから、本
ルーチンを終了する。
On the other hand, when the steering angle α = 0 is not continued, the traveling direction of the vehicle has started to change, and this routine is ended.

【0134】そして、CCDカメラ12は、図14に示
すように、求められた位置にウインドウ64の中央位置
を位置させた領域内のフレーム画像信号のみをA/D変
換機14及びタイミング制御装置28に出力する。
Then, as shown in FIG. 14, the CCD camera 12 causes the A / D converter 14 and the timing controller 28 to process only the frame image signals in the area where the central position of the window 64 is located at the obtained position. Output to.

【0135】以上説明したように本実施例では、自車両
から遠距離及び近距離に存在する移動体の移動ベクトル
を求める際には遠距離及び近距離用の各々のウインドウ
を設定し、このウインドウ内のフレーム画像信号のみを
ディジタル変換しているので、不要なデータを排除して
必要なデータのみについて移動ベクトル抽出処理を行う
ようにしていることから、移動ベクトル抽出処理の処理
時間を短縮させることができる。
As described above, in the present embodiment, when the movement vector of the moving body existing at a long distance and a short distance from the own vehicle is obtained, each window for the long distance and the short distance is set, and this window is set. Since only the frame image signal in the inside is digitally converted, unnecessary data is eliminated and the moving vector extraction processing is performed only on the necessary data. Therefore, the processing time of the moving vector extraction processing can be shortened. You can

【0136】以上説明した実施例で、第1の実施例のC
CDカメラ12(但し、マイクロコンピュータを備えて
いる)に操舵角センサを接続して、自車両から遠距離及
び近距離に存在する移動体の移動ベクトルを求めるため
の遠距離及び近距離用の各々のウインドウを設定するよ
うにしているが、これ限定するものでなく、第2の実施
例のCCDカメラ12をマイクロコンピュータを含んで
構成し、該CCDカメラ12に操舵角センサを接続し
て、同様な処理を行うようにしもよい。
In the embodiment described above, C of the first embodiment is used.
A steering angle sensor is connected to the CD camera 12 (provided that a microcomputer is provided), and each of a long distance and a short distance for obtaining a movement vector of a moving body existing at a long distance and a short distance from the vehicle. However, the present invention is not limited to this, and the CCD camera 12 of the second embodiment is configured to include a microcomputer and the steering angle sensor is connected to the CCD camera 12, It is also possible to perform various processes.

【0137】また、前述した実施例では、遠距離用のウ
インドウのみを舵角に応じて移動させるようにしている
が、これ限定するものでなく、その他のウインドウも舵
角に応じて移動させるようにしもよい。
Further, in the above-mentioned embodiment, only the long distance window is moved according to the steering angle, but the present invention is not limited to this, and other windows may be moved according to the steering angle. You can

【0138】次に、本発明の第4の実施例を説明する。
前述した第1の実施例ないし第3の実施例は、ハードウ
ェア的に処理して移動ベクトルを求めるようにしている
が、本実施例は、ソフトウェア的に処理して移動ベクト
ルを求めるものである。
Next, a fourth embodiment of the present invention will be described.
In the first to third embodiments described above, processing is performed by hardware to obtain the movement vector, but in the present embodiment, processing is performed by software to obtain the movement vector. .

【0139】すなわち、本実施例は、図15に示すよう
に、CCDカメラ12、A/D変換機14、マルチプレ
クサ16、画像メモリ18、20、警報器72、同期分
離回路74及びマイクロコンピュータ60を備えてい
る。このマイクロコンピュータ60は、CPU62、R
OM64、RAM66、入出力(I/O)ポート68を
備え、これらはバス70により相互に接続されている。
That is, in this embodiment, as shown in FIG. 15, the CCD camera 12, the A / D converter 14, the multiplexer 16, the image memories 18 and 20, the alarm 72, the sync separation circuit 74 and the microcomputer 60 are provided. I have it. The microcomputer 60 includes a CPU 62, R
An OM 64, a RAM 66, and an input / output (I / O) port 68 are provided, which are interconnected by a bus 70.

【0140】入出力(I/O)ポート68には、A/D
変換機14、マルチプレクサ16、画像メモリ18、2
0、同期分離回路74及び警報器72が接続されてい
る。
The input / output (I / O) port 68 has an A / D
Converter 14, multiplexer 16, image memory 18, 2
0, a sync separation circuit 74 and an alarm device 72 are connected.

【0141】次に、本実施例の作用を、制御ルーチンを
示したフローチャート(図16、図17)を参照して、
説明する。
Next, referring to the flowcharts (FIGS. 16 and 17) showing the control routine, the operation of this embodiment will be described.
explain.

【0142】CCDカメラ12は所定時間Δt間隔で車
両の後側方を撮影して得たフレーム画像信号をA/D変
換機14及び同期分離回路74に出力する。同期分離回
路74は、入力したフレーム画像信号から、まず、垂直
同期信号VSを分離してマイクロコンピュータ60に出
力する。このように、マイクロコンピュータ60から垂
直同期信号VSを入力すると、ステップ122(図16
参照)の判断が肯定され、ステップ124で、垂直同期
信号VSの入力回数をカウントするための変数nを1イ
ンクリメントし、ステップ126で、変数nが4でない
か否かを判断する。該判断が否定された場合にはステッ
プ146に進み、該判断が肯定された場合には、ステッ
プ128で、変数nが8でないか否かを判断する。該判
断が否定された場合にはステップ160に進み、該判断
が肯定された場合には、ステップ130で、変数nが奇
数か否かを判断する。
The CCD camera 12 outputs the frame image signal obtained by photographing the rear side of the vehicle at a predetermined time interval Δt to the A / D converter 14 and the sync separation circuit 74. The sync separation circuit 74 first separates the vertical sync signal VS from the input frame image signal and outputs it to the microcomputer 60. In this way, when the vertical synchronizing signal VS is input from the microcomputer 60, step 122 (FIG.
When the variable n for counting the number of inputs of the vertical synchronizing signal VS is incremented by 1 in step 124, it is determined in step 126 whether the variable n is not 4. If the determination is negative, the process proceeds to step 146, and if the determination is affirmative, it is determined in step 128 whether the variable n is not 8. If the determination is negative, the process proceeds to step 160, and if the determination is affirmative, it is determined in step 130 whether the variable n is an odd number.

【0143】ここで、現段階は、第1フレーム画像信号
から分離した垂直同期信号VSを入力した段階であるの
で、ステップ130の判断が肯定され、ステップ132
で、マルチプレクサ16に切換信号を出力する。この切
換信号を入力したマルチプレクサ16は、A/D変換機
14から出力されたディジタル画像信号の出力先を画像
メモリ20から画像メモリ18に切り換える。
Here, since the present stage is the stage in which the vertical synchronizing signal VS separated from the first frame image signal is input, the determination at step 130 is affirmative and step 132
Then, the switching signal is output to the multiplexer 16. The multiplexer 16 which receives this switching signal switches the output destination of the digital image signal output from the A / D converter 14 from the image memory 20 to the image memory 18.

【0144】ステップ134で、変数nが3以下である
か否かを判断し、該判断肯定さた場合には、第1フレー
ム画像信号又は第3フレーム画像信号から分離した垂直
同期信号VSを入力したことになる。なお、現段階は、
第1フレーム画像信号から分離した垂直同期信号VSを
入力した段階であるので、ステップ134の判断が肯定
され、ステップ136で、同期分離回路74から水平同
期信号HSを入力したか否かを判断する。
In step 134, it is judged whether or not the variable n is 3 or less. If the judgment is affirmative, the vertical synchronizing signal VS separated from the first frame image signal or the third frame image signal is input. It has been done. At this stage,
Since the vertical synchronizing signal VS separated from the first frame image signal has been input, the determination at step 134 is affirmative, and it is determined at step 136 whether the horizontal synchronizing signal HS is input from the synchronizing separation circuit 74. .

【0145】ステップ136の判断が肯定された場合に
は、ステップ138で、水平同期信号HSの入力回数を
表す変数mを1インクリメントし、ステップ140で、
CCDカメラ12から1水平走査線分のフレーム画像信
号がA/D変換機14に出力される時間だけ周波数10
〔MHz〕のタイミング信号をA/D変換機14に出力
する。
If the determination at step 136 is affirmative, then at step 138, the variable m representing the number of inputs of the horizontal synchronizing signal HS is incremented by 1, and at step 140,
The frequency of the frame image signal of one horizontal scanning line from the CCD camera 12 is output to the A / D converter 14 at a frequency of 10
The timing signal of [MHz] is output to the A / D converter 14.

【0146】このタイミング信号を入力したA/D変換
機14は、タイミング信号を入力する毎にCCDカメラ
12から出力されたフレーム画像信号をサンプリングし
てディジタル変換してマルチプレクサ16に出力する。
The A / D converter 14 to which this timing signal is input samples the frame image signal output from the CCD camera 12 every time the timing signal is input, digitally converts it, and outputs it to the multiplexer 16.

【0147】ここで、マルチプレクサ16は、前述した
ように、出力先が画像メモリ20から画像メモリ18に
切り換えられているので、A/D変換機14によりディ
ジタル変換されディジタル画像信号が順に画像メモリ1
8に格納される。
Since the output destination of the multiplexer 16 is switched from the image memory 20 to the image memory 18 as described above, the digital image signals digitally converted by the A / D converter 14 are sequentially output to the image memory 1.
8 is stored.

【0148】ステップ142で、変数mが総水平走査線
数m0 (例えば、256)以上であるか否かを判断し、
該判断が否定された場合には、未だディジタル変換され
ていない水平走査線があるので、ステップ136に戻っ
て、以上の処理(ステップ136〜ステップ142)を
繰り返す。
At step 142, it is judged whether or not the variable m is equal to or larger than the total number of horizontal scanning lines m 0 (for example, 256),
If the determination is negative, there is a horizontal scanning line that has not been digitally converted, so the process returns to step 136 and the above processing (steps 136 to 142) is repeated.

【0149】一方、ステップ142の判断が肯定された
場合には、1つのフレーム画像信号(なお、現段階は、
第1フレーム画像信号)の全てをディジタル変換したこ
とから、ステップ144で、変数mを0に初期化して、
本ルーチンを終了する。
On the other hand, if the determination in step 142 is affirmative, one frame image signal (at this stage,
Since all of the first frame image signal) have been digitally converted, the variable m is initialized to 0 in step 144,
This routine ends.

【0150】また、CCDカメラ12から第2フレーム
画像信号が出力された場合、同期分離回路74から、ま
ず、垂直同期信号VSがマイクロコンピュータ60に出
力される。この場合ステップ130の判断か否定され、
ステップ122に戻って、次のフレーム画像信号から分
離された垂直同期信号VSを入力したか否かを判断す
る。従って、CCDカメラ12から第3フレーム画像信
号が出力され場合、同期分離回路74から、垂直同期信
号VSがマイクロコンピュータ60に出力されると、ス
テップ130の判断が肯定され、ステップ132で、切
換信号をマルチプレクサ16に出力する。これにより、
マルチプレクサ16は、A/D変換機14から入力した
ディジタル画像信号の出力先を画像メモリ18から画像
メモリ20に切り換える。
When the second frame image signal is output from the CCD camera 12, the sync separation circuit 74 first outputs the vertical sync signal VS to the microcomputer 60. In this case, the judgment in step 130 is denied,
Returning to step 122, it is determined whether or not the vertical synchronizing signal VS separated from the next frame image signal has been input. Therefore, when the third frame image signal is output from the CCD camera 12 and the vertical separation signal VS is output from the sync separation circuit 74 to the microcomputer 60, the determination at step 130 is affirmed, and at step 132, the switching signal is output. Is output to the multiplexer 16. This allows
The multiplexer 16 switches the output destination of the digital image signal input from the A / D converter 14 from the image memory 18 to the image memory 20.

【0151】また、ステップ134〜ステップ144の
処理が行われ、これにより、第3フレーム画像信号の全
てをディジタル変換して画像メモリ20に記憶されたこ
とになる。
Further, the processing of steps 134 to 144 is carried out, whereby all the third frame image signals are digitally converted and stored in the image memory 20.

【0152】そして、CCDカメラ12から第4フレー
ム画像信号が出力された場合、同期分離回路74から
は、垂直同期信号VSがマイクロコンピュータ60に出
力され、この場合、ステップ126の判断が否定され、
ステップ146で、移動ベクトル抽出処理を行う。
When the CCD camera 12 outputs the fourth frame image signal, the sync separation circuit 74 outputs the vertical sync signal VS to the microcomputer 60. In this case, the determination at step 126 is denied,
In step 146, the movement vector extraction process is performed.

【0153】また、CCDカメラ12から第5フレーム
画像信号が出力された場合、同期分離回路74からは、
垂直同期信号VSがマイクロコンピュータ60に出力さ
れ、この場合、ステップ134の判断が否定され、この
場合は、ステップ148で、水平同期信号HSを入力し
たか否かを判断し、水平同期信号HSを入力した場合、
ステップ150で、前述した変数mを1インクリメント
する。
When the fifth frame image signal is output from the CCD camera 12, the sync separation circuit 74 outputs
The vertical synchronizing signal VS is output to the microcomputer 60. In this case, the determination at step 134 is denied, and in this case, at step 148, it is determined whether or not the horizontal synchronizing signal HS is input, and the horizontal synchronizing signal HS is output. If you enter
In step 150, the variable m described above is incremented by 1.

【0154】そして、ステップ152で、変数mは奇数
であるか否かを判断し、奇数である場合には、ステップ
154で、5〔MHz〕でタイミング信号を出力する。
一方、変数mが偶数であれば、ステップ148に戻っ
て、再度水平同期信号HSを入力したか否かを判断す
る。これにより、10〔MHz〕のタイミング信号に基
づいてサンプリングしてディジタル変換したディジタル
画像信号と比較すると、水平方向及び垂直方向に、2画
素毎に1画素間引くことになる。
Then, in step 152, it is determined whether or not the variable m is an odd number, and if it is an odd number, a timing signal is output at 5 [MHz] in step 154.
On the other hand, if the variable m is an even number, the process returns to step 148 to determine again whether the horizontal synchronizing signal HS is input. As a result, when compared with a digital image signal that is sampled and digitally converted based on a timing signal of 10 [MHz], one pixel is thinned out every two pixels in the horizontal and vertical directions.

【0155】そして、ステップ156で、変数mが総水
平走査線数m0 以上であるか否かを判断し、該判断が否
定された場合には、ステップ148に戻って以上の処理
(ステップ148〜ステップ156)を繰り返す。一
方、変数mが総水平走査線数m 0 以上であると判断され
た場合には、第5フレーム画像信号の全ての水平走査線
についてディジタル変換し、ディジタル変換されたディ
ジタル画像信号(第5フレーム画像信号)が画像メモリ
18に格納されたことになるので、ステップ158で、
変数mを0に初期化して、本ルーチンを終了する。
Then, in step 156, the variable m is the total water.
Number of flat scan lines m0It is judged whether or not the above, and the judgment is negative.
If determined, return to step 148 to perform the above processing
(Steps 148 to 156) are repeated. one
On the other hand, the variable m is the total number of horizontal scanning lines m 0Judged to be above
All horizontal scanning lines of the fifth frame image signal
Digitally converted to
Digital memory image signal (5th frame image signal) is image memory
Since it has been stored in step 18, in step 158,
The variable m is initialized to 0, and this routine ends.

【0156】一方、CCDカメラ12から第6フレーム
画像信号が出力され場合、同期分離回路74からは、垂
直同期信号VSがマイクロコンピュータ60に出力され
るが、ステップ130の判断が否定され、ステップ12
2に戻って、再度垂直同期信号VSを入力したか否かを
判断する。
On the other hand, when the sixth frame image signal is output from the CCD camera 12, the vertical separation signal VS is output from the sync separation circuit 74 to the microcomputer 60, but the determination in step 130 is denied and step 12
Returning to step 2, it is judged again whether or not the vertical synchronizing signal VS has been input.

【0157】また、CCDカメラ12から第7フレーム
画像信号が出力された場合、同期分離回路74からは、
垂直同期信号VSがマイクロコンピュータ60に出力さ
れ、この場合、ステップ134の判断が否定され、ステ
ップ148〜ステップ158の処理を行う。これによ
り、第7フレーム画像信号に対応するディジタル画像信
号が画像メモリ20に格納される。
When the seventh frame image signal is output from the CCD camera 12, the sync separation circuit 74 outputs
The vertical synchronizing signal VS is output to the microcomputer 60. In this case, the determination at step 134 is denied and the processes at steps 148 to 158 are performed. As a result, the digital image signal corresponding to the seventh frame image signal is stored in the image memory 20.

【0158】そして、CCDカメラ12から第8フレー
ム画像信号が出力された場合、同期分離回路74から
は、垂直同期信号VSがマイクロコンピュータ60に出
力され、この場合、ステップ128の判断が否定され、
この場合、ステップ160で、移動ベクトル抽出処理を
行い、ステップ162で、変数nを0に初期化して、本
ルーチンを終了する。
When the eighth frame image signal is output from the CCD camera 12, the vertical separation signal VS is output from the sync separation circuit 74 to the microcomputer 60. In this case, the determination at step 128 is denied,
In this case, the moving vector extraction process is performed in step 160, the variable n is initialized to 0 in step 162, and this routine is ended.

【0159】以上説明した処理は、第1フレーム画像信
号〜第8フレーム画像信号、第9フレーム画像信号〜第
16フレーム画像信号、・・・のように、フレーム画像
信号を8個毎に繰り返される。
The processing described above is repeated every eight frame image signals, such as the first frame image signal to the eighth frame image signal, the ninth frame image signal to the sixteenth frame image signal, .... .

【0160】次に、ステップ146及びステップ160
の移動ベクトル抽出処理を、該処理のサブルーチンを示
したフローチャート(図17及び図18)を参照して、
説明する。
Next, step 146 and step 160.
The movement vector extraction processing of the above will be described with reference to the flowcharts (FIGS. 17 and 18) showing the subroutine of the processing.
explain.

【0161】まず、ステップ165(図17参照)で、
マッチング演算を行う。この処理を図18に示したフロ
ーチャートを参照して説明する。すなわち、ステップ1
72で、画像メモリ18から基準ディジタル画像信号を
取込み、ステップ174で、画像メモリ20から参照デ
ィジタル画像信号を取り込む。
First, in step 165 (see FIG. 17),
Perform matching operation. This processing will be described with reference to the flowchart shown in FIG. That is, step 1
At 72, the standard digital image signal is fetched from the image memory 18, and at step 174, the reference digital image signal is fetched from the image memory 20.

【0162】ステップ176で、基準ディジタル画像信
号を16画素×16画素からなるブロックに複数分割
し、分割したブロックの各々を識別するための変数bを
0に初期化し、ステップ180で、変数bを1インクリ
メントする。ステップ182で、ブロックb内の任意の
画素を識別するための変数cを0に初期化し、ステップ
184で、変数cを1インクリメントする。
At step 176, the reference digital image signal is divided into a plurality of blocks each consisting of 16 pixels × 16 pixels, a variable b for identifying each of the divided blocks is initialized to 0, and at step 180, the variable b is set. Increment by 1. In step 182, a variable c for identifying an arbitrary pixel in the block b is initialized to 0, and in step 184, the variable c is incremented by 1.

【0163】ステップ186で、参照ディジタル画像信
号内であって、画素cと同一位置の画素を中心とした所
定範囲内の画素を抽出する。すなわち、画素cと同一位
置の画素を中心とし、水平方向及び垂直方向に16画素
の各々の画素を抽出する。ステップ188で抽出した画
素の各々を識別するための変数dを0に初期化して、ス
テップ190で、変数dを1インクリメントし、ステッ
プ192で、画素cと画素dとのマッチングを求める。
なお、このマッチングは、前述した第1の実施例と同様
に行う。
In step 186, the pixels in the reference digital image signal within a predetermined range centered on the pixel at the same position as the pixel c are extracted. That is, centering on the pixel at the same position as the pixel c, each of 16 pixels is extracted in the horizontal and vertical directions. A variable d for identifying each of the pixels extracted in step 188 is initialized to 0, the variable d is incremented by 1 in step 190, and a matching between pixel c and pixel d is obtained in step 192.
Note that this matching is performed in the same manner as in the first embodiment described above.

【0164】そして、ステップ194で、変数dが、参
照ディジタル画像信号であって画素cと同一位置の画素
を中心とした所定範囲内の総画素数d0 (本実施例では
256)以上であるか否かを判断する。該判断が否定さ
れた場合には、ステップ190に戻って、以上の処理
(ステップ190〜ステップ194)を繰り返す。
Then, at step 194, the variable d is equal to or larger than the total number of pixels d 0 (256 in this embodiment) within a predetermined range centered on the pixel at the same position as the pixel c, which is the reference digital image signal. Determine whether or not. If the determination is negative, the process returns to step 190 and the above processing (step 190 to step 194) is repeated.

【0165】一方、ステップ194の判断が肯定された
場合には、画素cと、参照ディジタル画像信号であって
画素cと同一位置の画素を中心とした所定範囲内の各々
の画素dとのマッチングを求めたことから、ステップ1
96で、変数cがブロックb内の総画素数c0 (本実施
例では256)以上であるか否かを判断する。
On the other hand, when the determination in step 194 is affirmative, the pixel c is matched with each pixel d within a predetermined range centered on the pixel at the same position as the pixel c in the reference digital image signal. From step 1
At 96, it is determined whether or not the variable c is equal to or larger than the total number of pixels c 0 in the block b (256 in this embodiment).

【0166】ステップ196の判断が否定された場合に
は、ステップ184に戻って、以上の処理(ステップ1
84〜ステップ196)を繰り返す。一方、ステップ1
96の判断が肯定された場合には、ブロックb内の全て
の画素cについて、各々の画素cと、参照ディジタル画
像信号であって該画素cと同一位置の画素を中心とした
所定範囲内の各々の画素dとのマッチングを求めたこと
から、ステップ198で、マッチングの最も高い画素
c、dを抽出する。
If the determination in step 196 is negative, the process returns to step 184 and the above processing (step 1
84 to step 196) are repeated. On the other hand, step 1
If the determination in 96 is affirmative, for all the pixels c in the block b, each pixel c and a reference digital image signal within a predetermined range centered on the pixel at the same position as the pixel c Since the matching with each pixel d has been obtained, in step 198, the pixels c and d with the highest matching are extracted.

【0167】そして、ステップ200で、変数bが総ブ
ロック数b0 以上であるか否かを判断し、該判断が否定
された場合には、ステップ180に戻って、以上の処理
(ステップ180〜ステップ200)を繰り返す。ステ
ップ200の判断が肯定された場合には、全てのブロッ
ク内の各々の画素と、該画素と同一位置の画素を中心と
した所定範囲内の各々の画素とのマッチングを求めたこ
とから、ステップ166(図17参照)で、ステップ1
98で抽出した画像cを始点、画素dを終点とした移動
ベクトルを、全てのブロックについて求める。そして、
ステップ167で、接近物体判定処理を行う。すなわ
ち、ステップ166で求めた移動ベクトルの位置及び大
きさに基づいて移動体が自車両に所定距離以上接近した
か否かを判断し、該判断が肯定された場合に、警報器7
2を鳴らして、メインルーチンへ戻る。
Then, in step 200, it is judged whether or not the variable b is equal to or more than the total number of blocks b 0. If the judgment is negative, the process returns to step 180 and the above processing (step 180 to Repeat step 200). If the determination in step 200 is affirmative, the matching between each pixel in all blocks and each pixel within a predetermined range centered on the pixel at the same position as the pixel is determined. 166 (see FIG. 17), step 1
The movement vector having the image c extracted at 98 as the start point and the pixel d as the end point is obtained for all blocks. And
At step 167, approaching object determination processing is performed. That is, it is determined whether or not the moving body has approached the host vehicle by a predetermined distance or more based on the position and magnitude of the movement vector obtained in step 166. If the determination is affirmative, the alarm device 7
Ring 2 and return to the main routine.

【0168】以上説明した本実施例では、前述した第1
の実施例のCCDカメラ12、A/D変換機14、マル
チプレクサ16及び画像メモリ18、20を備え、第1
の実施例の処理、すなわち、タイミング制御装置28、
サンプリングクロック設定回路30、マッチング演算器
22、ベクトル抽出器24及び接近物体判定器26の処
理をマイクロコンピュータにより行うようにしている
が、これに限定するものでなく、前述した第2の実施例
や第3の実施例のCCDカメラ12、A/D変換機1
4、マルチプレクサ16、画像メモリ18、20、サブ
サンプリング回路32を備え、タイミング制御装置2
8、シーケンサ回路34、マッチング演算器22、ベク
トル抽出器24及び接近物体判定器26の処理をマイク
ロコンピュータにより行うようにしもよい。
In the present embodiment described above, the above-mentioned first
The CCD camera 12, the A / D converter 14, the multiplexer 16 and the image memories 18 and 20 of the embodiment of
Processing of the embodiment, that is, the timing control device 28,
Although the processing of the sampling clock setting circuit 30, the matching calculator 22, the vector extractor 24, and the approaching object determiner 26 is performed by the microcomputer, the present invention is not limited to this, and the processing of the second embodiment described above or CCD camera 12 and A / D converter 1 of the third embodiment
4, the multiplexer 16, the image memories 18 and 20, and the sub-sampling circuit 32.
The processing of 8, the sequencer circuit 34, the matching calculator 22, the vector extractor 24, and the approaching object determiner 26 may be performed by a microcomputer.

【0169】以上説明した全ての実施例では、第1の画
素と第2の画素との相関を、第1の画素の輝度値と第2
の画素の輝度値との差分の絶対値に基づいて求めるよう
にしているが、これ限定するものでなく、例えば、第1
の画素と第2の画素との輝度値の差分の2乗和、該差分
の絶対値が一定のしきい値を越えたもの個数を求めるこ
とによた求めるようにしてもよい。
In all the embodiments described above, the correlation between the first pixel and the second pixel is determined by the luminance value of the first pixel and the second pixel.
Although it is determined based on the absolute value of the difference between the pixel and the luminance value of the pixel, the present invention is not limited to this.
Alternatively, the sum of squares of the difference between the brightness values of the pixel and the second pixel, or the number of pixels whose absolute value of the difference exceeds a certain threshold value may be obtained.

【0170】 [0170]

【発明の効果】以上説明したように請求項1記載の発明
は、基準集合以外の他の集合であって前記第1の画素位
置に対応する位置の画素を基準とした所定範囲が撮影位
置を基準とする距離に応じて変化する移動ベクトルの長
さに応じた大きさとなることから、撮影位置を基準とす
る距離に応じた所の移動体の移動ベクトルを精度よく抽
出することができる、という効果を有する。
As described above, according to the first aspect of the invention, a predetermined range, which is a set other than the reference set and which has a pixel at a position corresponding to the first pixel position as a reference, is a photographing position. Since the size of the movement vector varies according to the reference distance, the movement vector of the moving body can be accurately extracted according to the distance based on the shooting position. Have an effect.

【0171】請求項2記載の発明は、移動ベクトルを求
める工程毎に、所定範囲内の画素数を一定にしかつ所定
周期を各々長さが異なるようにすると共に撮影位置を基
準とする距離が短くなるに従って長くなるように予め決
められた複数の周期のいずれか1つとしていることか
ら、所定範囲内の画素数を一定にした相関を求める手段
を備えれば、所定周期を各々長さが異なるようにすると
共に撮影位置を基準とする距離が短くなるに従って長く
なるように予め決められた複数の周期のいずれか1つと
することで、撮影位置を基準とする距離に応じた所の移
動体の移動ベクトルを精度よく抽出することができる、
という効果を有する。
According to the second aspect of the present invention, the number of pixels within a predetermined range is made constant and the predetermined cycles are made different in length, and the distance based on the photographing position is short for each step of obtaining the movement vector. Since any one of a plurality of predetermined cycles is set so as to become longer as it becomes, if the means for obtaining the correlation with the number of pixels within a predetermined range being constant is provided, the predetermined cycles have different lengths. In addition, by setting one of a plurality of predetermined periods so that the distance based on the shooting position becomes shorter as the distance based on the shooting position becomes shorter, the moving object at a location corresponding to the distance based on the shooting position is set. It is possible to accurately extract the movement vector,
Has the effect.

【0172】請求項3記載の発明は、移動ベクトルを求
める工程毎に、所定範囲内の画素数を各々異なるように
すると共に撮影位置を基準とする距離が短くなるに従っ
て多くなるように予め決められた複数の画素数のいずれ
か1つにしかつ所定周期を各々同一の周期としているこ
とから、所定周期を各々同一の周期としした複数のフレ
ーム画像信号各々の所定領域の画像信号の各々を所定周
期でサンプリングする手段を備えれば、所定範囲内の画
素数を各々異なるようにすると共に撮影位置を基準とす
る距離が短くなるに従って多くなるように予め決められ
た複数の画素数のいずれか1つにすることで、撮影位置
を基準とする距離に応じた所の移動体の移動ベクトルを
精度よく抽出することができる、という効果を有する。
According to the third aspect of the present invention, the number of pixels in the predetermined range is made different for each step of obtaining the movement vector, and the number is increased in advance as the distance based on the photographing position becomes shorter. Since each of the plurality of pixel image signals is set to one of the plurality of pixels and the predetermined cycle is set to be the same cycle, each of the image signals of the predetermined areas of the plurality of frame image signals in which the predetermined cycle is set to the same cycle is set to the predetermined cycle. If a means for sampling is provided, any one of a plurality of pixel numbers determined in advance so that the number of pixels in the predetermined range is made different and the number becomes larger as the distance based on the photographing position becomes shorter. By doing so, there is an effect that it is possible to accurately extract the movement vector of the moving body at a position corresponding to the distance with respect to the shooting position.

【0173】請求項4記載の発明は、移動ベクトルを求
める工程毎にサンプリングされる所定領域の画像信号の
各々は、撮影位置を基準とする距離が短くなるに従って
長くなるように予め決められた複数の周期のうち最も短
い周期でサンプリングして記憶された画像信号であるこ
とから、移動ベクトルを求める工程毎に所定時間間隔で
所定方向を複数回撮影して得られた複数のフレーム画像
信号の各々を取り込む必要がなくなることから、移動ベ
クトルの抽出処理の処理時間を短縮することができる。
According to a fourth aspect of the present invention, each of the image signals of the predetermined area sampled in each step of obtaining the movement vector is determined in advance so that it becomes longer as the distance from the photographing position becomes shorter. Since it is the image signal sampled and stored in the shortest cycle of the above, each of the plurality of frame image signals obtained by photographing the predetermined direction a plurality of times at a predetermined time interval for each step of obtaining the movement vector. Since it is not necessary to take in, it is possible to shorten the processing time of the moving vector extraction processing.

【0174】請求項5記載の発明は、移動ベクトルを求
める工程毎にサンプリングされる所定領域の画像信号の
各々は、大きさが撮影位置を基準とする距離が短くなる
に従って大きくなりかつ位置が撮影位置を基準とする距
離に基づいて予め決められた領域の画像信号であること
から、撮影位置を基準とする距離に応じた所の移動体が
存在すると予想される領域のデータについてのみ処理
し、不要なデータを排除して必要なデータのみについて
処理することから、移動ベクトルの抽出処理の処理時間
を短縮することができる。
According to the fifth aspect of the present invention, each of the image signals of the predetermined region sampled in each step of obtaining the movement vector becomes larger in size as the distance from the photographing position becomes shorter, and the position is photographed. Since it is an image signal of a predetermined area based on the distance based on the position, only the data of the area where the moving body is expected to exist according to the distance based on the shooting position is processed, Since unnecessary data is excluded and only necessary data is processed, it is possible to shorten the processing time of the moving vector extraction processing.

【図面の簡単な説明】[Brief description of drawings]

【図1】第1の実施例のブロック図である。FIG. 1 is a block diagram of a first embodiment.

【図2】タイミング制御装置及びサンプリングクロック
設定回路の詳細を示した電気回路である。
FIG. 2 is an electric circuit showing details of a timing control device and a sampling clock setting circuit.

【図3】第1の実施例のタイミングチャートである。FIG. 3 is a timing chart of the first embodiment.

【図4】マッチング演算を説明するための説明図であ
る。
FIG. 4 is an explanatory diagram for explaining a matching calculation.

【図5】10〔MHz〕及び5〔MHz〕の各々の周波
数でサンプリングして得られたディジタル画像信号の1
画素の大きさを比較した説明図である。
FIG. 5 is one of digital image signals obtained by sampling at respective frequencies of 10 [MHz] and 5 [MHz].
It is explanatory drawing which compared the magnitude | size of a pixel.

【図6】10〔MHz〕及び5〔MHz〕の各々の周波
数でサンプリングして得られたディジタル画像信号のサ
ーチエリアの大きさを比較した説明図である。
FIG. 6 is an explanatory diagram comparing the sizes of search areas of digital image signals obtained by sampling at frequencies of 10 [MHz] and 5 [MHz].

【図7】第2の実施例のブロック図である。FIG. 7 is a block diagram of a second embodiment.

【図8】タイミング制御装置、サブサンプリング回路及
びシーケンサ回路の詳細を示した電気回路である。
FIG. 8 is an electric circuit showing details of a timing control device, a sub-sampling circuit, and a sequencer circuit.

【図9】第2の実施例のタイミングチャートである。FIG. 9 is a timing chart of the second embodiment.

【図10】第3の実施例のブロック図である。FIG. 10 is a block diagram of a third embodiment.

【図11】遠距離用及び近距離用のウインドウを説明す
るための説明図である。
FIG. 11 is an explanatory diagram for explaining windows for long distance and short distance.

【図12】ウインドウを舵角に応じて移動させるための
処理ルーチンを示したフローチャートである。
FIG. 12 is a flowchart showing a processing routine for moving a window according to a steering angle.

【図13】舵角とウインドウの中心位置との関係を示し
た線図である。
FIG. 13 is a diagram showing a relationship between a steering angle and a center position of a window.

【図14】舵角に応じて移動させたウインドウ位置を説
明するための説明図である。
FIG. 14 is an explanatory diagram for explaining a window position moved according to a steering angle.

【図15】第4の実施例のブロック図である。FIG. 15 is a block diagram of a fourth embodiment.

【図16】本実施例のメインルーチンを示したフローチ
ャートである。
FIG. 16 is a flowchart showing a main routine of this embodiment.

【図17】移動ベクトル抽出処理のサブルーチンを示し
たフローチャートである。
FIG. 17 is a flowchart showing a subroutine of movement vector extraction processing.

【図18】マッチング演算処理のサブルーチンを示した
フローチャートである。
FIG. 18 is a flowchart showing a subroutine of matching calculation processing.

【図19】従来の移動ベクトル抽出方法におけるサーチ
エリアを示した図である。
FIG. 19 is a diagram showing a search area in a conventional movement vector extraction method.

【図20】サーチエリアと移動体の移動ベクトルとの関
係を示した図である。
FIG. 20 is a diagram showing a relationship between a search area and a movement vector of a moving body.

【符号の説明】[Explanation of symbols]

(第1の実施例) 16 マルチプレクサ 22 マッチング演算器 28 タイミング制御装置 30 サンプリングクロック設定回路 30c 切換器 42a 基準ディジタル画像信号 42b 基準ディジタル画像信号 44a 参照ディジタル画像信号 44b 参照ディジタル画像信号 46a ブロック 48a サーチエリア 48b サーチエリア 52a、52b 移動ベクトル (第2の実施例) 32 サブサンプリング回路 34 シーケンサ回路 34c 切換器 (第3の実施例) 38 操舵角センサ 62 ディジタル画像信号 64 68 ウインドウ (第4の実施例) 72 警報器 74 同期分離回路 (First embodiment) 16 multiplexer 22 matching calculator 28 timing controller 30 sampling clock setting circuit 30c switch 42a reference digital image signal 42b reference digital image signal 44a reference digital image signal 44b reference digital image signal 46a block 48a search area 48b Search areas 52a, 52b Movement vector (Second embodiment) 32 Sub-sampling circuit 34 Sequencer circuit 34c Switcher (Third embodiment) 38 Steering angle sensor 62 Digital image signal 64 68 Window (Fourth embodiment) 72 alarm device 74 sync separation circuit

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 所定時間間隔で所定方向を複数回撮影し
て得られた複数のフレーム画像信号のうち予め定められ
た複数のフレーム画像信号各々の所定領域の画像信号の
各々を所定周期でサンプリングすることにより複数個の
画素の集合に変換し、前記変換された集合のうち基準と
なる基準集合を複数個の画素からなる複数のブロックに
分割し、分割された各々のブロック内の各々の画素を第
1の画素とし前記基準集合以外の他の集合であって前記
第1の画素位置に対応する位置の画素を基準とした所定
範囲内の各々の画素を第2の画素として前記第1の画素
の各々と前記第2の画素との相関を求め、求めた相関の
うち最も相関が高い前記第1の画素と前記第2の画素と
の組み合わせに基づいて前記各々のブロックに撮影され
た像が移動した軌跡を示す移動ベクトルを求める工程を
複数回行う移動ベクトル抽出方法であって、 前記移動ベクトルを求める工程毎に前記所定範囲を、各
々大きさが異なるようにすると共に前記撮影位置を基準
とする距離が短くなるに従って大きくなるように予め決
められた複数の領域のいずれか1つとする移動ベクトル
抽出方法。
1. An image signal in a predetermined area of each of a plurality of predetermined frame image signals among a plurality of frame image signals obtained by photographing a plurality of times in a predetermined direction at predetermined time intervals By converting into a set of a plurality of pixels, the reference set of the reference of the converted set is divided into a plurality of blocks of a plurality of pixels, each pixel in each divided block Is a first pixel and is a set other than the reference set, and each pixel within a predetermined range with respect to a pixel at a position corresponding to the first pixel position is a second pixel An image captured in each of the blocks based on a combination of the first pixel and the second pixel, which has the highest correlation among the obtained correlations, by obtaining a correlation between each pixel and the second pixel. Locus of movement Is a movement vector extraction method that performs a step of obtaining a movement vector indicating a plurality of times, wherein the predetermined range is made different in size for each step of obtaining the movement vector and a distance based on the photographing position is set as a reference. A movement vector extraction method in which any one of a plurality of areas is determined so that the area becomes larger as the area becomes shorter.
【請求項2】 前記移動ベクトルを求める工程毎に、前
記所定範囲内の画素数を一定にしかつ前記所定周期を各
々長さが異なるようにすると共に前記撮影位置を基準と
する距離が短くなるに従って長くなるように予め決めら
れた複数の周期のいずれか1つとすることにより、前記
移動ベクトルを求める工程毎に前記所定範囲を、各々大
きさが異なりかつ前記撮影位置を基準とする距離が短く
なるに従って大きくなるように予め決められた複数の領
域のいずれか1つとすることを特徴とする請求項1記載
の移動ベクトル抽出方法。
2. In each step of obtaining the movement vector, the number of pixels in the predetermined range is made constant, the predetermined cycles are made different in length, and the distance based on the photographing position becomes shorter. By setting any one of a plurality of predetermined cycles so as to be long, the predetermined range is different for each step of obtaining the movement vector, and the distance based on the photographing position is shortened. The movement vector extraction method according to claim 1, wherein the movement vector extraction method is one of a plurality of areas that are predetermined so as to become larger in accordance with the above.
【請求項3】 前記移動ベクトルを求める工程毎に、前
記所定範囲内の画素数を各々異なるようにすると共に前
記撮影位置を基準とする距離が短くなるに従って多くな
るように予め決められた複数の画素数のいずれか1つに
しかつ前記所定周期を各々同一の周期とすることによ
り、前記移動ベクトルを求める工程毎に前記所定範囲
を、各々大きさが異なりかつ前記撮影位置を基準とする
距離が短くなるに従って大きくなるように予め決められ
た複数の領域のいずれか1つとすることを特徴とする請
求項1記載の移動ベクトル抽出方法。
3. A plurality of predetermined pixels are set so that the number of pixels in the predetermined range is different for each step of obtaining the movement vector, and the number is increased as the distance from the photographing position becomes shorter. By setting any one of the number of pixels and setting the predetermined cycle to be the same cycle, the predetermined range is different for each step of obtaining the movement vector, and the distance based on the photographing position is different from each other. The movement vector extraction method according to claim 1, wherein the movement vector extraction method is one of a plurality of areas that are predetermined so as to become larger as the length becomes shorter.
【請求項4】 前記移動ベクトルを求める工程毎に前記
サンプリングされる前記所定領域の画像信号の各々は、
前記撮影位置を基準とする距離が短くなるに従って長く
なるように予め決められた複数の周期のうち最も短い周
期でサンプリングして記憶された画像信号であることを
特徴とする請求項1ないし請求項3のいずれか1項に記
載の移動ベクトル抽出方法。
4. Each of the image signals in the predetermined region sampled in each step of obtaining the movement vector,
2. The image signal stored by sampling at the shortest cycle of a plurality of predetermined cycles so that it becomes longer as the distance from the shooting position becomes shorter. The movement vector extraction method according to any one of 3 above.
【請求項5】 前記移動ベクトルを求める工程毎に前記
サンプリングされる前記所定領域の画像信号の各々は、
大きさが前記撮影位置を基準とする距離が短くなるに従
って大きくなりかつ位置が前記撮影位置を基準とする距
離に基づいて予め決められた領域の画像信号であること
を特徴とする請求項1ないし請求項4のいずれか1項に
記載の移動ベクトル抽出方法。
5. Each of the image signals in the predetermined region sampled in each step of obtaining the movement vector,
2. The size of the image signal increases as the distance with respect to the photographing position decreases, and the position is an image signal of a predetermined area based on the distance with respect to the photographing position. The movement vector extraction method according to claim 4.
JP05935695A 1995-03-17 1995-03-17 Moving vector extraction method Expired - Fee Related JP3235393B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05935695A JP3235393B2 (en) 1995-03-17 1995-03-17 Moving vector extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05935695A JP3235393B2 (en) 1995-03-17 1995-03-17 Moving vector extraction method

Publications (2)

Publication Number Publication Date
JPH08255250A true JPH08255250A (en) 1996-10-01
JP3235393B2 JP3235393B2 (en) 2001-12-04

Family

ID=13110917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05935695A Expired - Fee Related JP3235393B2 (en) 1995-03-17 1995-03-17 Moving vector extraction method

Country Status (1)

Country Link
JP (1) JP3235393B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286724A (en) * 2006-04-13 2007-11-01 Hitachi Ltd Onboard information processing method, onboard information processing program, onboard information processor and onboard information processing system
JP2009234294A (en) * 2008-03-25 2009-10-15 Panasonic Electric Works Co Ltd Parking space monitoring device
WO2010013782A1 (en) * 2008-08-01 2010-02-04 トヨタ自動車株式会社 Image processing device
JP2010267055A (en) * 2009-05-14 2010-11-25 Sony Corp Apparatus and method for detection of moving object, and computer program
JP2011192141A (en) * 2010-03-16 2011-09-29 Sony Corp Moving body detecting device and moving body detection method and program
WO2016063545A1 (en) * 2014-10-24 2016-04-28 京セラ株式会社 Stereo camera apparatus and vehicle provided with stereo camera apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286724A (en) * 2006-04-13 2007-11-01 Hitachi Ltd Onboard information processing method, onboard information processing program, onboard information processor and onboard information processing system
JP2009234294A (en) * 2008-03-25 2009-10-15 Panasonic Electric Works Co Ltd Parking space monitoring device
JP4706711B2 (en) * 2008-03-25 2011-06-22 パナソニック電工株式会社 Parking space monitoring device
US8742947B2 (en) 2008-03-25 2014-06-03 Panasonic Corporation Parking space monitoring device
WO2010013782A1 (en) * 2008-08-01 2010-02-04 トヨタ自動車株式会社 Image processing device
JP2010039634A (en) * 2008-08-01 2010-02-18 Toyota Motor Corp Image processor
US8670590B2 (en) 2008-08-01 2014-03-11 Toyota Jidosha Kabushiki Kaisha Image processing device
JP2010267055A (en) * 2009-05-14 2010-11-25 Sony Corp Apparatus and method for detection of moving object, and computer program
JP2011192141A (en) * 2010-03-16 2011-09-29 Sony Corp Moving body detecting device and moving body detection method and program
WO2016063545A1 (en) * 2014-10-24 2016-04-28 京セラ株式会社 Stereo camera apparatus and vehicle provided with stereo camera apparatus
US10595003B2 (en) 2014-10-24 2020-03-17 Kyocera Corporation Stereo camera apparatus and vehicle comprising the same

Also Published As

Publication number Publication date
JP3235393B2 (en) 2001-12-04

Similar Documents

Publication Publication Date Title
KR20080049061A (en) Method and device for tracking a movement of an object or a person
EP2698982B1 (en) Image processing device
JP5114235B2 (en) Image display device, image display method, and imaging device
JP2003259361A (en) Image processing apparatus for vehicle
JP6723079B2 (en) Object distance detection device
CN107211091A (en) Selective high frame rate video capture in imaging sensor subregion
JP4042750B2 (en) Image processing apparatus, computer program, and image processing method
JP3709879B2 (en) Stereo image processing device
JP3268953B2 (en) Tracking area setting device, motion vector detection circuit, and subject tracking device using the same
CN114600417B (en) Synchronization device, synchronization method, and storage device storing synchronization program
JPH08255250A (en) Moving vector extracting method
JPH10269362A (en) Object recognition method and device therefor
JPH0614698B2 (en) Automatic tracking camera
JPH08172620A (en) Image input means for vehicle
JP2010003253A (en) Motion estimation device
JPH08237536A (en) Device and method for tracking object
JP2002199382A (en) Moving image processing camera and image processing system using the camera
JPH07212653A (en) Picture processing unit
JPH10126766A (en) Monitoring camera equipment
JPH10336506A (en) Image-processing system, system and method for tracking and storage medium
JP2002027480A (en) Dynamic image processing method and apparatus thereof
JP3181201B2 (en) Moving object detection method
JP3615970B2 (en) Moving object detection method
JP3836666B2 (en) Moving target detection apparatus and moving target detection method
EP3796257A1 (en) Estimation device, estimation method, and computer program product

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070928

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080928

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080928

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090928

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees