JPH10143799A - Preceding vehicle following device - Google Patents
Preceding vehicle following deviceInfo
- Publication number
- JPH10143799A JPH10143799A JP8302028A JP30202896A JPH10143799A JP H10143799 A JPH10143799 A JP H10143799A JP 8302028 A JP8302028 A JP 8302028A JP 30202896 A JP30202896 A JP 30202896A JP H10143799 A JPH10143799 A JP H10143799A
- Authority
- JP
- Japan
- Prior art keywords
- preceding vehicle
- distance
- image
- template
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Landscapes
- Controls For Constant Speed Travelling (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は車載先行車追従装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an on-vehicle preceding vehicle tracking device.
【０００２】[0002]
【従来の技術】従来、車載ステレオ画像処理装置による
先行車追従装置として、たとえば、特開平２−２３２５
１２号公報に記載されたものが知られている。この従来
の先行車追従装置は、ある時刻の画像上に切ったウィン
ドウ内の画像をテンプレートとし、その画像と最も類似
した画像の位置を新たに入力した画像上から求め、その
位置を新たなウィンドウとして同じ処理を繰り返すこと
により先行車追従を行う方式のものである。2. Description of the Related Art Conventionally, as a preceding vehicle following apparatus using an in-vehicle stereo image processing apparatus, for example, Japanese Patent Laid-Open Publication No.
No. 12 is known. This conventional preceding vehicle tracking device uses an image in a window cut on an image at a certain time as a template, obtains a position of an image most similar to the image from a newly input image, and determines the position in a new window. In this system, the preceding vehicle is followed by repeating the same processing.
【０００３】[0003]
【発明が解決しようとする課題】ところが、このような
従来の先行車追従装置では、先行車との相対速度が大き
い時、特に先行車が急ブレーキをかけた時などでは先行
車の画像上での大きさが連続的に入力する画像間でも大
きく変化するために、テンプレートとのマッチングが困
難となる問題点があった。また相対速度が小さい場合で
も、画像処理時間間隔が長いと、相対速度が大きい場合
と同じように連続画像間で先行車の大きさが大きく変化
するためマッチングが困難となる問題点もあった。However, in such a conventional preceding vehicle following apparatus, when the relative speed with the preceding vehicle is high, especially when the preceding vehicle applies a sudden brake, the image of the preceding vehicle is displayed on the image of the preceding vehicle. Has a problem that matching with a template is difficult because the size of the image changes greatly between images input continuously. Further, even when the relative speed is low, if the image processing time interval is long, the size of the preceding vehicle greatly changes between successive images as in the case where the relative speed is high, so that matching becomes difficult.
【０００４】本発明はこのような従来の問題点に鑑みて
なされたもので、ある時刻においてその過去数回分で求
めた先行車までの距離値をもとにして先行車との相対速
度を求め、その相対速度から現時刻の画像上での先行車
の大きさと新たに入力する画像上での先行車の大きさと
の比率を求め、その比率をもとにして現時刻の画像上に
切ったウィンドウ内の画像をスケーリングし、新たに入
力する画像上での先行車の大きさに合わせたテンプレー
トを作成することにより、先行車との相対速度が大きい
場合や画像処理時間間隔が大きい場合にもテンプレート
とのマッチングが容易に行える先行車追従装置を提供す
ることを目的とする。The present invention has been made in view of such a conventional problem, and calculates a relative speed with respect to a preceding vehicle at a certain time based on a distance value to a preceding vehicle obtained in the past several times. From the relative speed, the ratio between the size of the preceding vehicle on the image at the current time and the size of the preceding vehicle on the newly input image was obtained, and the ratio was cut on the image at the current time based on the ratio. By scaling the image in the window and creating a template according to the size of the preceding vehicle on the newly input image, even if the relative speed with the preceding vehicle is large or the image processing time interval is large, It is an object of the present invention to provide a preceding vehicle following device that can easily perform matching with a template.
【０００５】[0005]
【課題を解決するための手段】請求項１の発明の先行車
追従装置は、前方の情景を撮像する上下２台の撮像手段
と、前記２台の撮像手段それぞれの撮像した画像を記憶
する画像メモリと、前記２台の撮像手段のうちのいずれ
か１台の撮像手段の撮像した画像に対して、与えられる
先行車を含む画像のテンプレートとマッチング処理する
ことによって当該画像中の先行車を含むウィンドウを切
り出す先行車検出手段と、前記２台の撮像手段のうちの
他方の撮像手段の撮像した画像を前記先行車検出手段の
切り出したウィンドウとマッチング処理することによっ
て当該他方の撮像手段の画像中の先行車を含むウィンド
ウを切り出す視差算出手段と、前記２台の撮像手段それ
ぞれの画像中から切り出されたウィンドウの座標値に基
づいて先行車までの距離を算出する距離算出手段と、前
記距離算出手段の算出した距離データを複数回分記憶す
る距離データ記憶手段と、記距離データ記憶手段に記憶
されている過去の複数回分の距離データに基づいて先行
車との相対速度を算出する相対速度算出手段と、前記相
対速度算出手段の算出した相対速度に基づき、前記先行
車検出手段が前回の演算時に切り出した前記先行車を含
むウィンドウをスケーリングして新たな先行車を含む画
像のテンプレートを作成して前記先行車検出手段に与え
るテンプレート作成手段とを備えたものである。According to a first aspect of the present invention, there is provided a preceding vehicle following apparatus, comprising: upper and lower imaging means for capturing an image of a scene in front; and an image for storing images captured by each of the two imaging means. A memory and a preceding vehicle in the image obtained by performing matching processing on an image captured by any one of the two imaging units with a template of an image including a given preceding vehicle. A preceding vehicle detecting unit that cuts out a window, and an image captured by the other image capturing unit of the two image capturing units is matched with a window cut out by the preceding vehicle detecting unit so as to match the image of the other image capturing unit. A parallax calculating unit that cuts out a window including the preceding vehicle, and a preceding vehicle based on the coordinate values of the window cut out from the images of the two imaging units. Distance calculating means for calculating the distance, distance data storing means for storing the distance data calculated by the distance calculating means for a plurality of times, and preceding distance data based on a plurality of past distance data stored in the distance data storing means. A relative speed calculating means for calculating a relative speed with respect to the vehicle, and a window including the preceding vehicle cut out by the preceding vehicle detecting means at the time of the previous calculation is scaled based on the relative speed calculated by the relative speed calculating means. And a template creating means for creating a template of an image including the preceding vehicle and giving the template to the preceding vehicle detecting means.
【０００６】この請求項１の発明の先行車追従装置で
は、前方の情景を上下２台の撮像手段によって撮像し、
それぞれの画像を画像メモリに記憶する。そして先行車
検出手段が、２台の撮像手段のうちのいずれか１台の撮
像手段の撮像した画像に対して、与えられる先行車を含
む画像のテンプレートとマッチング処理することによっ
て当該画像中の先行車を含むウィンドウを切り出し、視
差算出手段が２台の撮像手段のうちの他方の撮像手段の
撮像した画像を先行車検出手段の切り出したウィンドウ
とマッチング処理することによって当該他方の撮像手段
の画像中の先行車を含むウィンドウを切り出す。そして
距離算出手段が、これら２台の撮像手段それぞれの画像
中から切り出されたウィンドウの座標値に基づいて先行
車までの距離を算出し、距離データ記憶手段に記憶す
る。なお、この距離データ記憶手段には距離算出手段の
算出した距離データを過去数回分記憶させておく。According to the preceding vehicle tracking device of the first aspect of the present invention, the front scene is imaged by two upper and lower imaging means,
Each image is stored in the image memory. Then, the preceding vehicle detecting means performs a matching process on the image captured by any one of the two image capturing means with a template of an image including the given preceding vehicle, thereby obtaining a preceding vehicle in the image. A window including a car is cut out, and the parallax calculating unit performs a matching process on an image picked up by the other image pickup unit of the two image pickup units with a window cut out by the preceding vehicle detecting unit, so that the image of the other image pickup unit is displayed. Cut out the window containing the preceding car. Then, the distance calculation means calculates the distance to the preceding vehicle based on the coordinate values of the windows cut out from the images of the two imaging means, and stores the distance in the distance data storage means. It should be noted that the distance data storage means stores the distance data calculated by the distance calculation means for the past several times.
【０００７】そして相対速度算出手段が、距離データ記
憶手段に記憶されている過去数回分の距離データに基づ
いて先行車との相対速度を算出してテンプレート作成手
段に与え、テンプレート作成手段は、相対速度算出手段
の算出した相対速度に基づき、先行車検出手段が前回の
演算時に切り出した先行車を含むウィンドウをスケーリ
ングして新たな先行車を含む画像のテンプレートを作成
して先行車検出手段に与える。The relative speed calculation means calculates the relative speed with respect to the preceding vehicle based on the distance data of the past several times stored in the distance data storage means and gives the relative speed to the template creation means. Based on the relative speed calculated by the speed calculating means, the preceding vehicle detecting means scales the window including the preceding vehicle cut out at the time of the previous calculation, creates a new image template including the preceding vehicle, and gives it to the preceding vehicle detecting means. .
【０００８】以上の処理を繰り返すことによって、先行
車に対する急激な接近があった場合、あるいは追従処理
時間間隔が長くてその間に先行車との距離が大きく変化
したような場合でも、先行車との相対速度を過去数回分
の距離データから算出して予測するために先行車を見失
うことなく追従することができ、先行車追従性を改善す
ることができる。[0008] By repeating the above processing, even if there is a sudden approach to the preceding vehicle, or if the following processing time interval is long and the distance to the preceding vehicle changes significantly during that time, it is possible to make a contact with the preceding vehicle. Since the relative speed is calculated and predicted from the distance data of the past several times, it is possible to follow the preceding vehicle without losing a sight of the preceding vehicle, and it is possible to improve the following vehicle followability.
【０００９】請求項２の発明は、請求項１の先行車追従
装置においてさらに、前記相対速度と前記先行車までの
距離とに基づいて、前記２台の撮像手段それぞれの撮像
した画像に対して前記先行車検出及び距離算出処理のた
めのマッチング処理の範囲を限定する処理範囲限定手段
を備えたものである。According to a second aspect of the present invention, in the preceding vehicle follow-up apparatus of the first aspect, based on the relative speed and the distance to the preceding vehicle, an image captured by each of the two imaging units is obtained. There is provided processing range limiting means for limiting the range of the matching process for the preceding vehicle detection and the distance calculation process.
【００１０】この請求項２の発明の先行車追従装置で
は、処理範囲限定手段によってマッチング処理時の画像
上の探索範囲を特に先行車が存在する可能性の高い範囲
に限定することができ、先行車追従処理を高速化するこ
とができる。In the preceding vehicle following apparatus according to the second aspect of the present invention, the search range on the image at the time of the matching process can be limited to the range in which the preceding vehicle is particularly likely to exist by the processing range limiting means. The speed of the vehicle following process can be increased.
【００１１】請求項３の発明は、請求項１又は２の先行
車追従装置においてさらに、前記画像から先行車を含む
ウィンドウの切り出しができたかどうかによって先行車
を追従しているかどうかを判断する追従判断手段と、前
記追従判断手段が追従していると判断した時に前記テン
プレート作成手段が作成したテンプレートとそれを用い
た時の先行車までの距離とを保存するテンプレート・距
離保存手段と、前記追従判断手段が先行車を追従してい
ないと判断した時に、前記先行車検出手段の用いる画像
をあらかじめ設定した所定の大きさの複数のブロックに
分割し、各ブロックごとにその中に撮像されている物体
までの距離を求めるブロック距離算出手段と、前記ブロ
ック距離算出手段の算出した距離のうち最短距離を与え
るブロックを選択する最短距離ブロック選択手段とを備
え、前記テンプレート作成手段が、前記追従判断手段が
先行車を追従していないと判断した時には、前記最短距
離ブロック選択手段の選択したブロックまでの距離と、
前記テンプレート・距離保存手段に保存されている距離
との比率に基づき、前記テンプレート・距離保存手段に
保存されているテンプレートをスケーリングして新たな
テンプレートを作成し、前記先行車検出手段に与えるよ
うにしたものである。According to a third aspect of the present invention, in the preceding vehicle following apparatus according to the first or second aspect, it is further determined whether or not the preceding vehicle is being followed by whether or not a window including the preceding vehicle has been cut out from the image. Determining means; a template / distance storing means for storing the template created by the template creating means when the following determining means determines that the vehicle is following, and a distance to a preceding vehicle when using the template; When the determining means determines that the preceding vehicle is not following, the image used by the preceding vehicle detecting means is divided into a plurality of blocks of a predetermined size set in advance, and each block is imaged therein. A block distance calculating means for obtaining a distance to the object, and a block which gives a shortest distance among the distances calculated by the block distance calculating means is selected. And a shortest distance block selecting unit that, the template producing means, wherein when the tracking determining means is determined not to follow the preceding vehicle, the distance to the selected block of the shortest distance block selecting means,
Based on the ratio with the distance stored in the template / distance storage unit, a new template is created by scaling the template stored in the template / distance storage unit, and is provided to the preceding vehicle detection unit. It was done.
【００１２】この請求項３の発明の先行車追従装置で
は、追従判断手段によって本装置が先行車に追従してい
るかどうか判断し、追従していると判断した時にはテン
プレート作成手段が作成したテンプレートとそれを用い
た時の先行車までの距離とをテンプレート・距離保存手
段に保存しておく。In the preceding vehicle following apparatus according to the third aspect of the present invention, the following determining means determines whether or not the present apparatus is following the preceding vehicle. The distance to the preceding vehicle when it is used is stored in the template / distance storage means.
【００１３】そして追従判断手段が、本装置が先行車に
追従しておらず先行車を見失ったと判断した時には、ブ
ロック距離算出手段が先行車検出手段の用いる画像をあ
らかじめ設定したある大きさの複数のブロックに分割
し、各ブロックごとにその中に撮像されている物体まで
の距離を求め、最短距離ブロック選択手段がこのブロッ
ク距離算出手段の算出した距離のうち最短距離を与える
ブロックを選択する。そして、テンプレート作成手段
が、この最短距離ブロック選択手段の選択したブロック
までの距離と、テンプレート・距離保存手段に保存され
ている距離との比率に基づき、テンプレート・距離保存
手段に保存されているテンプレートをスケーリングして
新たなテンプレートを作成して先行車検出手段に与え
る。When the following determination means determines that the present apparatus has not followed the preceding vehicle and has lost sight of the preceding vehicle, the block distance calculating means converts the image used by the preceding vehicle detecting means into a plurality of images of a predetermined size. And the distance to the object imaged therein is obtained for each block, and the shortest distance block selecting means selects a block giving the shortest distance from the distances calculated by the block distance calculating means. Then, based on the ratio between the distance to the block selected by the shortest distance block selecting means and the distance stored in the template / distance storing means, the template creating means stores the template stored in the template / distance storing means. Is scaled to create a new template, which is provided to the preceding vehicle detecting means.
【００１４】これにより、先行車検出手段、視差算出手
段、距離算出手段及び相対速度算出手段によって２台の
撮像手段それぞれの撮像した画像から先行車を含むウィ
ンドウを切り出して先行車までの距離の算出と相対速度
の算出するという先行車追従処理を継続することができ
る。Thus, the preceding vehicle detecting means, the parallax calculating means, the distance calculating means, and the relative speed calculating means cut out a window including the preceding vehicle from the image taken by each of the two imaging means and calculate the distance to the preceding vehicle. And the preceding vehicle following process of calculating the relative speed can be continued.
【００１５】請求項４の発明は、請求項３の先行車追従
装置においてさらに、前記最短距離ブロック選択手段の
選択したブロックに対して、前記ブロック距離算出手段
の算出した最短距離に基づいて（ｘ，ｙ）座標位置を決
定し、前記テンプレート作成手段に与える座標決定手段
を備えてものであり、これによってテンプレート作成手
段は撮像手段の撮像した画像中からテンプレートを作成
する位置のおおよその見当をつけることができ、それだ
けテンプレート作成処理の高速化が図れる。According to a fourth aspect of the present invention, in the preceding vehicle following apparatus of the third aspect, further, based on the shortest distance calculated by the block distance calculating means, (x , Y) coordinate determining means for determining the coordinate position and providing the coordinate to the template creating means, whereby the template creating means gives an approximate idea of the position at which the template is created from the image taken by the imaging means. This speeds up the template creation process.
【００１６】[0016]
【発明の効果】請求項１の発明によれば、先行車に対す
る急激な接近があった場合、あるいは追従処理時間間隔
が長くてその間に先行車との距離が大きく変化したよう
な場合でも、先行車との相対速度を過去数回分の距離デ
ータから算出して予測するために先行車を見失うことな
く追従することができ、先行車追従性を改善することが
できる。According to the first aspect of the present invention, even if a sudden approach to the preceding vehicle occurs, or if the following processing time interval is long and the distance from the preceding vehicle changes significantly during that time, Since the relative speed with respect to the vehicle is calculated and predicted from the distance data of the past several times, the vehicle can be followed without losing sight of the preceding vehicle, and the followability of the preceding vehicle can be improved.
【００１７】請求項２の発明によれば、処理範囲限定手
段によってマッチング処理時の画像上の探索範囲を特に
先行車が存在する可能性の高い範囲に限定することがで
き、先行車追従処理を高速化することができる。According to the second aspect of the present invention, the search range on the image at the time of the matching process can be limited to the range in which the preceding vehicle is particularly likely to exist by the processing range limiting means. Speed can be increased.
【００１８】請求項３の発明によれば、本装置が先行車
を一時的に見失っても、画像中から先行車の存在する位
置を自動的に探索して割り出し、テンプレートを作成し
て先行車追従処理を継続することができ、先行車追従の
信頼性を高めることができる。According to the third aspect of the present invention, even if the present apparatus temporarily loses track of the preceding vehicle, the position of the preceding vehicle is automatically searched and determined from the image, and a template is created to create a template. The following process can be continued, and the reliability of following the preceding vehicle can be improved.
【００１９】請求項４の発明によれば、請求項３の先行
車追従装置においてさらに、最短距離ブロック選択手段
の選択したブロックに対して、ブロック距離算出手段の
算出した最短距離に基づいて（ｘ，ｙ）座標位置を決定
してテンプレート作成手段に与える座標決定手段を備え
ているので、テンプレート作成手段が撮像手段の撮像し
た画像中からテンプレートを作成する位置のおおよその
見当をつけることができ、テンプレート作成処理の高速
化が図れる。According to the fourth aspect of the present invention, in the preceding vehicle following apparatus of the third aspect, the block selected by the shortest distance block selecting means is further based on the shortest distance calculated by the block distance calculating means. , Y) Since there is provided a coordinate determining means for determining the coordinate position and giving it to the template creating means, the template creating means can give a rough idea of the position where the template is created from the image taken by the imaging means, The template creation process can be sped up.
【００２０】[0020]
【発明の実施の形態】以下、本発明の実施の形態を図に
基づいて詳説する。図１は本発明の第１の実施の形態の
機能構成を示しており、この第１の実施の形態の先行車
追従装置は、車両の先頭部において上下の光軸が１つの
垂直面上に乗るような上下位置関係に設置された２台の
カメラ１ａ，１ｂと、これらのカメラ１ａ，１ｂそれぞ
れの撮像した映像信号をディジタル画像データとして保
存する画像メモリ２ａ，２ｂと、これらの画像メモリ２
ａ，２ｂのいずれかあらかじめ定めた一方のもの（以下
の説明では、画像メモリ２ａとする）の画像からあるテ
ンプレートとの類似度を求めることによって距離測定対
象物である先行車を検出する先行車検出部３と、この先
行車検出部３が用いた画像内において先行車が検出され
た位置の画像と最も類似した画像が存在する位置を他方
の画像メモリ２の画像内から探し出す視差計算部４とを
備えている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 1 shows a functional configuration of a first embodiment of the present invention. In the preceding vehicle following device of the first embodiment, the upper and lower optical axes are on one vertical plane at the head of the vehicle. Two cameras 1a and 1b installed in a vertical position as if riding, image memories 2a and 2b for storing video signals captured by each of the cameras 1a and 1b as digital image data, and these image memories 2a and 2b.
a, 2b, which determines a similarity to a certain template from an image of one of the predetermined ones (hereinafter referred to as an image memory 2a) to detect a preceding vehicle which is a distance measurement target. Output unit 3 and a parallax calculating unit 4 for searching the image in the other image memory 2 for a position in the image used by the preceding vehicle detecting unit 3 where an image most similar to the image at the position where the preceding vehicle is detected exists. And
【００２１】この実施の形態の先行車追従装置はさら
に、視差計算部４で求めた互いに類似した位置と２台の
カメラ１ａ，１ｂの位置関係とに基づき、先行車までの
距離を算出する距離算出部５と、この距離算出部５が算
出した先行車までの距離データの過去数回分のデータを
記憶する距離保管部６と、この距離保管部６に記憶され
ている過去数回分の距離データから先行車との相対速度
を算出する相対速度算出部７と、この相対速度算出部７
で求めた相対速度をもとにして、新たに入力される画像
上の先行車の大きさを前回に入力された画像上での先行
車の大きさから予測し、先行車検出部３で先行車の画像
上の位置を求める際に前回に入力された画像上の先行車
が存在する位置に切られたウィンドウ内の画像を新たに
入力される画像上の先行車の大きさに合わせてスケーリ
ングしたテンプレートを作成するテンプレート作成部８
とを備えている。The preceding vehicle following apparatus of this embodiment further calculates the distance to the preceding vehicle based on the similar positions obtained by the parallax calculator 4 and the positional relationship between the two cameras 1a and 1b. A calculating unit 5; a distance storage unit 6 for storing data of the past several times of the distance data to the preceding vehicle calculated by the distance calculating unit 5; and a distance data for the past several times stored in the distance storage unit 6 Speed calculation unit 7 for calculating the relative speed with respect to the preceding vehicle from the vehicle, and the relative speed calculation unit 7
The size of the preceding vehicle on the newly input image is predicted from the size of the preceding vehicle on the previously input image on the basis of the relative speed obtained in When finding the position on the image of the car, the image in the window cut to the position where the preceding vehicle exists on the previously input image is scaled according to the size of the preceding vehicle on the newly input image Template creation unit 8 for creating a template
And
【００２２】次に、上記構成の先行車追従装置の動作に
ついて説明する。図２にカメラ１ａ，１ｂそれぞれが撮
像した先行車１０の画像Ａ上の大きさと距離ｚとの関係
が示してあり、先行車１０の車幅Ｗ（ｍ）と先行車１０
までの距離ｚ（ｍ）とカメラ１ａ，１ｂそれぞれのレン
ズ１２ａ，１２ｂから撮像面１３ａ，１３ｂまでの焦点
距離ｆ（画素）とすると、画像Ａ上の先行車の大きさxw
（画素）は、次の数１式で求められる。Next, the operation of the preceding vehicle following apparatus having the above configuration will be described. FIG. 2 shows the relationship between the size of the preceding vehicle 10 on the image A and the distance z captured by the cameras 1a and 1b, respectively, and the vehicle width W (m) of the preceding vehicle 10 and the preceding vehicle 10
And the focal length f (pixels) from the lenses 12a and 12b of the cameras 1a and 1b to the imaging surfaces 13a and 13b, the size xw of the preceding vehicle on the image A
(Pixel) is obtained by the following equation (1).
【００２３】[0023]
【数１】 ただし、一般に焦点距離ｆは（ｍｍ）の単位で表わされ
ることが多いが、ここではｆ（ｍｍ）を画像Ａにおける
１画素の大きさ（単位はｍｍ）で割ることによって単位
を画素に変換する。たとえば、図２における画像Ａにお
ける１画素の大きさは、既知のＷ（ｍｍ），ｚ（ｍ
ｍ），ｆ（ｍｍ）を設定し、その時に撮像される画像Ａ
上のxwの画素数を求め、それを上記の数１式に代入する
ことによって求めることができる。(Equation 1) However, in general, the focal length f is often expressed in units of (mm). Here, the unit is converted into pixels by dividing f (mm) by the size (unit: mm) of one pixel in the image A. . For example, the size of one pixel in image A in FIG. 2 is known W (mm), z (m
m) and f (mm) are set, and an image A captured at that time is set.
The number of pixels of the above xw can be obtained by substituting it into the above equation (1).
【００２４】通常、カメラ１ａ，１ｂの焦点距離ｆは固
定値であり、同じ先行車１０を追従する場合には車幅Ｗ
も固定値となるので、画像Ａ上の先行車の大きさxwは距
離ｚに反比例する。図３及び図４は同じ先行車１０との
相対速度が０ｋｍ／ｈの場合と先行車１０が自車より速
くて遠ざかる場合との画像Ａの先行車の大きさの変化の
様子を示している。これらの図３及び図４と上記数１式
とから分かるように、車間距離ｚが一定であれば画像Ａ
上の先行車の大きさxwも一定であるが、画像Ａ上の先行
車の大きさxwは車間距離ｚによって変化するため、相対
速度が０でない時には固定の大きさのテンプレートで位
置検出を行うことはできない。また連続して入力される
画像をもとにしてテンプレートを更新することによって
その時々の先行車の大きさxwに対応したテンプレートを
作成することはできるが、急に相対速度が増加した時や
画像の取り込み時間間隔が長い時にはこの方法では対応
することができない。Normally, the focal length f of the cameras 1a and 1b is a fixed value, and when following the same preceding vehicle 10, the vehicle width W
Is also a fixed value, so that the size xw of the preceding vehicle on the image A is inversely proportional to the distance z. 3 and 4 show how the size of the preceding vehicle in the image A changes when the relative speed with the preceding vehicle 10 is 0 km / h and when the preceding vehicle 10 moves away faster and faster than the own vehicle. . As can be seen from FIGS. 3 and 4 and the above equation 1, if the inter-vehicle distance z is constant, the image A
The size xw of the preceding vehicle on the upper side is also constant, but the size xw of the preceding vehicle on the image A changes depending on the inter-vehicle distance z. Therefore, when the relative speed is not 0, position detection is performed using a fixed-size template. It is not possible. Also, by updating the template based on images that are continuously input, it is possible to create a template corresponding to the size xw of the preceding vehicle at that time, but when the relative speed suddenly increases or This method cannot cope with the case where the time interval for capturing is long.
【００２５】そこで本発明では、以下に説明する原理手
法によって連続した過去数回分の画像を用いてテンプレ
ートを更新し、急激に大きな変化がある場合でも対応す
ることができるようにしたのである。Therefore, in the present invention, the template is updated by using the images of the past several times in succession according to the principle method described below, so that it is possible to cope with a sudden large change.
【００２６】相対速度がａ（ｍ／ｓ）、画像の取り込み
時間間隔がΔｔ（ｓ）の時、１枚の画像を入力してから
次の画像を入力するまでに変化する車間距離Δｚは、Δ
ｔ・ａ（ｍ）である。画像上の先行車の大きさxwは車間
距離ｚに反比例するので、時刻ｔでの車間距離をｚｔと
し、時刻ｔでの画像上の先行車の大きさをxwｔとし、時
刻t+1 での画像上の先行車の大きさをxwt+1 とすると、
時刻ｔと時刻t+1 とでの画像上の先行車の大きさの間に
は、次の数２式の関係が成り立つ。When the relative speed is a (m / s) and the image capturing time interval is Δt (s), the inter-vehicle distance Δz that changes from the input of one image to the input of the next image is: Δ
t · a (m). Since the preceding vehicle size xw on the image is inversely proportional to the inter-vehicle distance z, the inter-vehicle distance at the time t and z t, the image on the preceding vehicle in the size of the at time t and xw t, time t + 1 If the size of the preceding car on the image at is xwt + 1 ,
The following equation 2 holds between the size of the preceding vehicle on the image at time t and time t + 1.
【００２７】[0027]
【数２】 この数２式内の相対速度ａは、ある一定時間間隔ごとに
ステレオ画像処理で求めた過去数回分の距離値をもとに
して求めることができる。図５にはある時刻ｔから遡っ
て過去数回分の距離値の変化をグラフにして示してある
が、相対速度ａはこのような過去数回分の距離値データ
を利用して最小２乗誤差をとる直線の傾きより求めるこ
とができる。また各時刻で求めた先行車までの距離ｚは
図６に示す原理によってステレオ画像において２枚の画
像間のマッチング位置ｙａ，ｙｂを求めることによって
次の数３式から算出することができる。(Equation 2) The relative speed a in the equation 2 can be obtained based on the distance values of the past several times obtained by the stereo image processing at certain fixed time intervals. FIG. 5 is a graph showing changes in distance values for the past several times going back from a certain time t, and the relative speed a is obtained by using the distance value data for the past several times to obtain the least square error. It can be obtained from the inclination of the straight line taken. The distance z to the preceding vehicle obtained at each time can be calculated from the following equation 3 by obtaining matching positions ya and yb between two images in a stereo image according to the principle shown in FIG.
【００２８】[0028]
【数３】 ここで、ｆ，ｙａ，ｙｂの単位は画素、Ｄ，ｚの単位は
ｍである。(Equation 3) Here, the unit of f, ya, yb is a pixel, and the unit of D, z is m.
【００２９】このようにして算出した相対速度ａをもと
にして、時刻ｔの画像に切ったウィンドウを数２式の比
率でスケーリングすることによって次回の入力画像上の
先行車の大きさとテンプレートとを作成することができ
る。Based on the relative speed a calculated in this way, the window cut into the image at the time t is scaled by the ratio of the following equation (2), so that the size of the preceding vehicle on the next input image and the template Can be created.
【００３０】このようにして、位置検出を行う画像上で
の先行車の大きさとテンプレートとを作成する基本とな
る画像上での先行車の大きさの比率を求め、この比率を
用いて位置検出を行う画像上の先行車の大きさに合わせ
てスケーリングしてテンプレートを作成することによ
り、相対速度が大きい時や画像の入力時間間隔が長い時
など、先行車の大きさが大きく変化する場合においても
テンプレートと処理対象画像上での先行車との間で大き
さが大きく異なることがなくなるために、確実にマッチ
ングを行うことができるようになる。また、連続画像処
理で相対速度と車間距離と画像上での先行車位置が常に
分かっていることから、これらの値をもとにして次回の
画像での先行車の存在範囲が限定できて先行車の位置検
出の処理範囲を限定することができ、処理の高速化も可
能となる。In this way, the ratio between the size of the preceding vehicle on the image for which the position is to be detected and the size of the preceding vehicle on the image on which the template is to be created is obtained, and the position is detected using this ratio. When the size of the preceding vehicle changes greatly, such as when the relative speed is large or when the image input time interval is long, Also, since the size of the template and the preceding vehicle on the processing target image do not greatly differ from each other, the matching can be surely performed. In addition, since the relative speed, the inter-vehicle distance, and the position of the preceding vehicle on the image are always known by continuous image processing, the range of the preceding vehicle in the next image can be limited based on these values, and The processing range of the vehicle position detection can be limited, and the processing can be speeded up.
【００３１】以上の原理をもとにして先行車追従を実行
する図１に示した第１の実施の形態の先行車追従装置に
よる先行車追従動作は、次の通りである。上下に２台設
置されているカメラ１ａ，１ｂによって所定周期ごとに
前方の情景を撮像し、その画像信号は画像メモリ２ａ，
２ｂそれぞれにディジタル画像データとして記憶されて
いく。この画像メモリ２ａ，２ｂは過去数回分の画像デ
ータを蓄積し、新たな入力があると最古のものから画像
データを順繰りに最新の画像データで更新していくこと
により、現在時点に近い連続した過去数回分の画像デー
タを記憶している。The preceding vehicle following operation by the preceding vehicle following apparatus of the first embodiment shown in FIG. 1 for executing following vehicle based on the above principle is as follows. The front scene is imaged at predetermined intervals by two cameras 1a and 1b installed at the top and bottom, and the image signals are stored in the image memories 2a and 2b.
2b are stored as digital image data. The image memories 2a and 2b accumulate image data of several times in the past, and when there is a new input, sequentially update the image data from the oldest one with the latest image data, thereby obtaining a continuous image close to the current time. It stores the image data of the past several times.
【００３２】テンプレート作成部８は、画像メモリ２ａ
に記憶されている画像データを用いて先行車の最新のテ
ンプレートを作成する。この先行車のテンプレートの作
成方法を図７を用いて説明する。図７において左の画像
Ａは時刻ｔの画像、右の画像Ａ' は新たに入力する画像
の予想図である。ここでテンプレートの大きさは常にxw
×ywに固定することにして、xw×ywのテンプレートにス
ケーリングされるべきウィンドウの範囲xw' ×yw' の大
きさを相対速度より求め、その大きさxw' ×yw' のウィ
ンドウ内の画像をxw×ywにスケーリングすることによっ
てテンプレートを作成する。The template creating section 8 includes an image memory 2a
The latest template of the preceding vehicle is created using the image data stored in. A method for creating a template for the preceding vehicle will be described with reference to FIG. In FIG. 7, the left image A is a predicted image of a time t, and the right image A 'is a predicted image of a newly input image. Where the size of the template is always xw
Xyw, the size of the window range xw'xyw 'to be scaled to the xwxyw template is calculated from the relative speed, and the image in the window of the size xw'xyw' is calculated. Create a template by scaling to xw × yw.
【００３３】xw' ，yw' は数４式によって求める。Xw 'and yw' are obtained by the following equation (4).
【００３４】[0034]
【数４】 数４式の中のxw，ywは適当な大きさに定義する。またａ
は相対速度、Δｔは画像の入力時間間隔である。そして
この相対速度ａは相対速度算出部７において算出する
が、それには距離算出部５において算出し、距離保管部
６に記憶されている連続する最新の過去数回分の車間距
離ｚに対して、図５に示したように最小２乗誤差となる
直線（ｙ＝ａｔ＋ｂ）の傾きａとして求めるものであ
り、テンプレート作成部８において、この相対速度ａを
上記数４式に代入することによって時刻ｔの画像上に切
るウィンドウの大きさxw' ×yw' を決定する。またテン
プレートを作成するための画像を抜き出すウィンドウの
位置は、先行車検出部３において時刻ｔの画像上で先行
車の位置検出を行った際に先行車が検出された位置（ｘ
ｔ，ｙｔ）を始点とする位置に切る。(Equation 4) Xw and yw in Equation 4 are defined to have appropriate sizes. And a
Is a relative speed, and Δt is an image input time interval. The relative speed “a” is calculated by the relative speed calculator 7. The relative speed “a” is calculated by the distance calculator 5, and for the latest several consecutive inter-vehicle distances z stored in the distance storage 6, As shown in FIG. 5, it is obtained as the slope a of a straight line (y = at + b) that gives the least square error. The template creation unit 8 substitutes this relative speed a into the above equation 4 to obtain the time t. Determine the size xw 'x yw' of the window cut on the image of. The position of the window from which the image for creating the template is extracted is determined by the position (x) at which the preceding vehicle was detected when the preceding vehicle detecting unit 3 detected the position of the preceding vehicle on the image at time t.
(t , y t ).
【００３５】このようにして定義された大きさxw' ×y
w' のウィンドウ内の画像を大きさがxw×ywになるよう
にスケーリングする。スケーリングは図７の上側に示し
たように、テンプレートの左上端の点を原点とし、左端
の画素から順に各点が対応する位置を比例計算により求
め、対応する位置の輝度をテンプレート上の輝度とする
ことによって行う。つまり、テンプレート上の点（ｉ，
ｊ）の輝度を画像Ａ上の点（ｘｔ＋ｉ×xw／xw' ，ｙｔ
＋ｊ×yw／yw' ）の輝度とする操作をxw×yw箇所の画素
において行い、位置検出画像上の先行車の大きさに合わ
せたテンプレートを作成するのである。The size xw '× y defined in this way
Scale the image in window w 'so that its size is xw × yw. As shown in the upper part of FIG. 7, the scaling is performed using the point at the upper left end of the template as the origin, the position corresponding to each point in order from the left end pixel is calculated by proportional calculation, and the luminance of the corresponding position is calculated as the luminance on the template. Do by doing. That is, a point (i,
j) to the point (x t + i × xw / xw ′, y t ) on the image A
+ J × yw / yw ′) is performed on the pixels at xw × yw locations to create a template that matches the size of the preceding vehicle on the position detection image.
【００３６】先行車検出部３における先行車位置検出
は、次の手順による。この先行車位置検出は、テンプレ
ート作成部８によって作成したテンプレートと最も類似
度の高い部分を、新たに入力した画像内から探し出す操
作によって行う。この類似度は、正規化相関法を用いて
算出することができる。図８に正規化相関法による位置
検出手法を示してあり、テンプレートの輝度値をＴij、
新たに入力した画像内から抜き出した位置の画像の輝度
値をＡijとすると、互いの画像の類似度Ｒは次の数５式
により算出することができる。The detection of the position of the preceding vehicle in the preceding vehicle detecting section 3 is performed according to the following procedure. This preceding vehicle position detection is performed by an operation of searching for a part having the highest similarity to the template created by the template creating unit 8 from the newly input image. This similarity can be calculated using the normalized correlation method. FIG. 8 shows a position detection method based on the normalized correlation method.
Assuming that the luminance value of the image at the position extracted from the newly input image is Aij, the similarity R between the images can be calculated by the following equation (5).
【００３７】[0037]
【数５】 この数５式による類似度Ｒが高いほど類似性が強くな
る。そこで新たに入力した画像Ａから位置をずらしなが
らテンプレートと同じ大きさxw×ywの画像を切り取り、
数５式に当てはめてそれぞれの類似度を算出し、類似度
が最も大きい切り出し画像の位置を先行車の位置として
決定する。図８の場合には中段の切り出し画像のうち、
真ん中の画像がテンプレートに最も類似度が高い画像と
決定し、その画像の左上端位置座標（ｘｔ＋Δｔ，ｙ
ｔ＋Δｔ）を先行車の位置と決定するのである。(Equation 5) The higher the similarity R according to the equation (5), the stronger the similarity. Therefore, while shifting the position from the newly input image A, an image of the same size xw × yw as the template is cut out, and
Each similarity is calculated by applying Equation 5, and the position of the clipped image having the highest similarity is determined as the position of the preceding vehicle. In the case of FIG. 8, among the cutout images in the middle row,
The middle image is determined as the image having the highest similarity to the template, and the upper left position coordinates ( xt + Δt , y) of the image are determined.
t + Δt ) is determined as the position of the preceding vehicle.
【００３８】距離算出部５は次の手法によって先行車と
の車間距離ｚを算出する。前述のように、図６に示した
原理によって先行車の一部が撮像されていて、互いに対
応する位置ｙａ，ｙｂが分かれば、数３式によって先行
車までの距離ｚを求めることができる。The distance calculating section 5 calculates the inter-vehicle distance z from the preceding vehicle by the following method. As described above, a part of the preceding vehicle is imaged according to the principle shown in FIG. 6, and if the positions ya and yb corresponding to each other are known, the distance z to the preceding vehicle can be obtained by Expression 3.
【００３９】そこでまず、視差計算部４においてテンプ
レートマッチング処理を行うことになる。先行車の位置
は先行車検出部３においてカメラ１ａの撮像した画像Ａ
に基づいてすでに決定されているので、視差計算部４で
は図９に示すように、ウィンドウの始点をｙａとして、
このｙａの位置に切られたウィンドウをテンプレートと
することにより、先行車検出部３で行った位置検出と同
じようにカメラ１ｂが撮像した画像Ｂから、画像Ａから
切られたテンプレートと最も類似度Ｓの高い位置を次の
数６式を用いた正規化相関法によって求め、その位置を
ｙｂとする。First, the parallax calculating section 4 performs a template matching process. The position of the preceding vehicle is determined by the image A captured by the camera 1a in the preceding vehicle detecting unit 3.
, The parallax calculation unit 4 sets the start point of the window as ya as shown in FIG.
By using the window cut at the position of ya as a template, the similarity between the image B captured by the camera 1b and the template cut from the image A is obtained from the image B captured by the camera 1b in the same manner as the position detection performed by the preceding vehicle detection unit 3. A position where S is high is obtained by a normalized correlation method using the following equation (6), and the position is defined as yb.
【００４０】[0040]
【数６】 なお、このマッチング処理では、２台のカメラ１ａ，１
ｂはそれらのｙ軸が同一ライン上に乗るように配置され
ているので、図９に示すように探索する位置はｘｂ（＝
ｘａ）におけるｙ軸方向だけでよい。そして求めたｙ
ａ，ｙｂを数３式に代入することによって先行車１０ま
での距離ｚを求めることができる。この距離ｚの算出
は、距離算出部５において行い、その結果は距離保管部
６に記憶する。(Equation 6) In this matching process, the two cameras 1a, 1
b are arranged such that their y axes are on the same line, so that the position to be searched is xb (=
Only the y-axis direction in xa) is required. And found y
By substituting a and yb into Equation 3, the distance z to the preceding vehicle 10 can be obtained. The calculation of the distance z is performed by the distance calculation unit 5, and the result is stored in the distance storage unit 6.
【００４１】以上の方法で算出する先行車までの距離ｚ
は、毎回更新しながら過去数回分の距離を距離保管部６
に記憶しておく。そして、次の画像処理を行う時に、最
新の距離ｚを用いて上記の相対速度を算出し、先行車追
従用のテンプレート作成時のスケーリングの比率として
利用する。The distance z to the preceding vehicle calculated by the above method
Stores the distance for the past several times while updating each time.
To memorize it. Then, when performing the next image processing, the relative speed is calculated using the latest distance z, and is used as a scaling ratio at the time of creating a template for following the preceding vehicle.
【００４２】このような処理を繰り返すことによって、
先行車を追従しながら車間距離計測、相対速度の算出を
行う。そしてこれらの算出データは外部に出力され、車
間距離警報、急接近警報、その他の前方安全監視機能に
利用することになる。By repeating such processing,
The following distance measurement and the calculation of the relative speed are performed while following the preceding vehicle. The calculated data is output to the outside and used for an inter-vehicle distance warning, a sudden approach warning, and other forward safety monitoring functions.
【００４３】次に、本発明の第２の実施の形態を図１０
に基づいて説明する。この第２の実施の形態の先行車追
従装置は、ある決まった先行車１０を追従し続ける処理
において、先行車を一時的に見失った後に同じ先行車を
再び見つけて追従を再開できるように、先行車を見失っ
た時にはテンプレートを更新せず、それまで用いていた
テンプレートとその時の距離とを常に保存しておき、そ
のテンプレートを用いて先行車の探索を継続する機能を
付加的に備えたことを特徴とする。つまり、通常は第１
の実施の形態の先行車追従装置と同じ処理を行い、先行
車を一時的に見失った時に限り、テンプレートを更新せ
ず、先行車を追従している時に保存したテンプレートを
その時の距離に応じてスケーリングし、そのスケーリン
グしたテンプレートを用いて先行車位置を検出する処理
を行うようにしているのである。Next, a second embodiment of the present invention will be described with reference to FIG.
It will be described based on. In the process of following the preceding vehicle 10 according to the second embodiment, in the process of continuing to follow a certain preceding vehicle 10, the following vehicle can be found again after the preceding vehicle is temporarily lost so that the following vehicle can be found again to resume the following. When the preceding vehicle is lost, the template is not updated, the previously used template and the distance at that time are always saved, and a function to continue searching for the preceding vehicle using the template is additionally provided. It is characterized by. That is, usually the first
Performs the same processing as the preceding vehicle following device of the embodiment, only when the preceding vehicle is temporarily lost, does not update the template, and saves the template saved when following the preceding vehicle according to the distance at that time. The scaling is performed, and the process of detecting the preceding vehicle position is performed using the scaled template.
【００４４】この第２の実施の形態の先行車追従装置の
機能構成を図１０に基づいて説明する。第２の実施の形
態の先行車追従装置は、図１に示した第１の実施の形態
と同様に２台のカメラ１ａ，１ｂ、画像メモリ２ａ，２
ｂを備え、先行車位置を検出する先行車検出部３−１
と、視差計算部４、距離算出部５、距離保管部６、相対
速度算出部７、テンプレート作成部８−１を備えてい
る。これらのうち先行車検出部３−１、テンプレート作
成部８−１は先行車を見失った時に行う先行車位置検出
処理、テンプレート作成処理が第１の実施の形態のもの
とは異なっている。The functional configuration of the preceding vehicle following device according to the second embodiment will be described with reference to FIG. The preceding vehicle following apparatus of the second embodiment includes two cameras 1a and 1b and image memories 2a and 2 as in the first embodiment shown in FIG.
preceding vehicle detecting unit 3-1 for detecting the position of the preceding vehicle
And a parallax calculation unit 4, a distance calculation unit 5, a distance storage unit 6, a relative speed calculation unit 7, and a template creation unit 8-1. Among them, the preceding vehicle detecting section 3-1 and the template creating section 8-1 are different from those of the first embodiment in the preceding vehicle position detecting process and the template creating process performed when the preceding vehicle is lost.
【００４５】この第２の実施の形態の先行車追従装置で
はさらに、先行車１０に追従していることを判断する追
従判断部２１と、先行車１０に追従している時に用いた
テンプレートとその時の距離とを記憶しておくテンプレ
ート・距離保管部２２と、画像内をある大きさのブロッ
クに区切り、そのブロックごとにブロック内に撮像され
ている物体までの距離を求める距離画像作成部２３と、
ブロックごとに求めた距離値のうち最小の距離を与える
ブロックを先行車が撮像されているブロックとし、物体
のｙ座標を求める最短距離位置検出部２４及びｙ座標位
置算出部２５とを備えている。そしてテンプレート作成
部８−１は、先行車を見失った時に、最も短い距離位置
の先行車が撮像されているブロックにおいてその距離の
時に撮像される先行車の大きさに合わせてスケーリング
したテンプレートを作成し、また先行車検出部３−１は
このテンプレートを用いて先行車の位置検出を行う。The preceding vehicle following apparatus according to the second embodiment further includes a following determination unit 21 for determining that the vehicle is following the preceding vehicle 10, a template used when following the preceding vehicle 10, A template / distance storage unit 22 for storing the distance of the image and a distance image creating unit 23 for dividing the image into blocks of a certain size, and calculating a distance to an object imaged in the block for each block. ,
A block that gives the minimum distance among the distance values obtained for each block is a block where the preceding vehicle is imaged, and includes a shortest distance position detection unit 24 and a y coordinate position calculation unit 25 that obtain the y coordinate of the object. . Then, when the preceding vehicle is lost, the template creating unit 8-1 creates a template that is scaled according to the size of the preceding vehicle imaged at that distance in the block where the preceding vehicle at the shortest distance position is imaged. The preceding vehicle detection unit 3-1 detects the position of the preceding vehicle using this template.
【００４６】次に、上記構成の第２の実施の形態の動作
について説明する。追従判断部２１が後述する演算処理
により先行車１０に追従していると判断している間は、
先行車検出部３−１、視差計算部４、距離算出部５、距
離保管部６、相対速度算出部７及びテンプレート作成部
８−１は第１の実施の形態と同じ演算処理により先行車
追従処理を繰り返す。Next, the operation of the second embodiment having the above configuration will be described. While the following determination unit 21 determines that the vehicle is following the preceding vehicle 10 by a calculation process described later,
The preceding vehicle detection unit 3-1, the parallax calculation unit 4, the distance calculation unit 5, the distance storage unit 6, the relative speed calculation unit 7, and the template creation unit 8-1 follow the preceding vehicle by the same arithmetic processing as in the first embodiment. Repeat the process.
【００４７】ここで、先行車１０に追従しているかどう
かは、たとえば、先行車検出部３−１が算出する前述の
数６式による類似度Ｓの大きさと、画像Ａにおける横エ
ッジの有無により判断することができる。画像Ａ上での
先行車には通常、横エッジ（つまり、縦方向の線）が多
く、また先行車１０を追従し続けている時には類似度Ｓ
の最大値が１に近くなるが、位置検出の走査範囲内に先
行車が存在しなくなると類似度の最大値が低くなる。し
たがって、類似度の最大値があるしきい値以下となり、
かつ横エッジの強度や長さがあるしきい値以下となった
時には先行車を見失ったと判断することができる。そこ
で、追従判断部２１は、先行車検出部３−１が行う上記
の類似度の演算値をしきい値と比較し、また画像Ａにお
ける横エッジの抽出とその強度演算及び長さ演算を行
い、しきい値と比較することによって先行車１０に追従
しているか見失ったかどうかを判断する。Here, whether or not the vehicle is following the preceding vehicle 10 is determined by, for example, the magnitude of the similarity S calculated by the preceding equation 6 calculated by the preceding vehicle detecting unit 3-1 and the presence or absence of a horizontal edge in the image A. You can judge. The preceding vehicle on the image A usually has many horizontal edges (that is, vertical lines), and when the preceding vehicle 10 continues to follow, the similarity S
Is close to 1, but the maximum value of the similarity decreases when the preceding vehicle no longer exists within the scanning range for position detection. Therefore, the maximum value of the similarity falls below a certain threshold,
When the strength or length of the lateral edge becomes equal to or less than a certain threshold value, it can be determined that the preceding vehicle has been lost. Therefore, the follow-up determination unit 21 compares the calculated value of the similarity performed by the preceding vehicle detection unit 3-1 with a threshold value, extracts a horizontal edge in the image A, calculates its strength, and calculates its length. , By comparing with the threshold value, it is determined whether the vehicle follows the preceding vehicle 10 or is lost.
【００４８】追従判断部２１が先行車を見失ったと判断
した時には、テンプレートを更新せず、その時に用いた
テンプレートとそのテンプレートを作成した画像上に撮
像されている先行車までの距離ｚｓをテンプレート・距
離保管部２２に記憶し、それらのデータを用いて、次に
説明する方法によって先行車探索を行う。When the follow-up determination unit 21 determines that the preceding vehicle has been lost, the template is not updated, and the template used at that time and the distance zs to the preceding vehicle captured on the image in which the template is created are determined by the template. Using the data stored in the distance storage unit 22, a search for a preceding vehicle is performed by the method described below.
【００４９】図１１（ａ），（ｂ）に示すようにカメラ
１ａが撮像し、画像メモリ２ａに記憶された画像Ａ上
で、先行車１０が撮像されていれば存在するはずの範囲
Ｃは、路面上である画像Ａの下部に限られている。そこ
で距離画像作成部２３において、図１２に示すように画
像Ａ内で路面が撮像されている範囲Ｃをブロックｂ１，
ｂ２，ｂ３，ｂ４ごとに区切り、最短距離位置検出部２
４において各ブロックごとの距離ｄ１，ｄ２，ｄ３，ｄ
４を求める。このブロックごとの距離は、画像Ａにおい
てブロックｂ１，ｂ２，ｂ３，ｂ４を定義し、それをテ
ンプレートとして視差計算部４及び距離算出部５による
車間距離計測処理と同じように、正規化相関法で画像Ｂ
内から類似度の最も高いブロックの位置を探すことでそ
のブロック内に撮像されている先行車までの距離を求め
るのである。As shown in FIGS. 11 (a) and 11 (b), on the image A stored by the camera 1a and stored in the image memory 2a, the range C that should exist if the preceding vehicle 10 is captured is , Is limited to the lower part of the image A on the road surface. Therefore, in the distance image creation unit 23, as shown in FIG.
b2, b3, b4, the shortest distance position detection unit 2
4, distances d1, d2, d3, d for each block
Ask for 4. The distance for each block is defined by the normalized correlation method in the same manner as the inter-vehicle distance measurement processing by the parallax calculation unit 4 and the distance calculation unit 5 using the blocks b1, b2, b3, and b4 as a template in the image A. Image B
By searching for the position of the block with the highest similarity from within, the distance to the preceding vehicle imaged in that block is determined.
【００５０】ただし、このブロックごとのステレオマッ
チングは垂直微分画像を用いる。これは、先行車は横エ
ッジを多く持つため、ブロック内に先行車が存在する場
合に背景の画像よりも先行車の横エッジが強調されたマ
ッチングが行われるようにするためである。この方法で
ステレオマッチングを行うと、先行車が撮像されている
場合、そのブロックまでの距離が短くなるので、すべて
のブロックのうち最短距離のものを先行車が存在する可
能性のあるブロックと見なし、その後に先行車の存在を
確認する処理を行う。なお、最短距離位置検出部２４に
よって最短距離位置のブロックを特定すると、ｙ座標位
置検出部２５はそのブロックの画像中に存在する先行車
の一部のｙ軸座標位置を後述する方法によって検出す
る。However, the stereo matching for each block uses a vertical differential image. This is because the preceding vehicle has many lateral edges, so that when the preceding vehicle exists in the block, matching in which the lateral edge of the preceding vehicle is emphasized more than the background image is performed. When stereo matching is performed by this method, if the preceding vehicle is imaged, the distance to that block becomes shorter. Therefore, the block with the shortest distance among all blocks is regarded as a block where the preceding vehicle may exist. Thereafter, a process of confirming the existence of the preceding vehicle is performed. When the shortest distance position detection unit 24 specifies the block at the shortest distance position, the y coordinate position detection unit 25 detects the y axis coordinate position of a part of the preceding vehicle existing in the image of the block by a method described later. .
【００５１】上記の先行車の存在確認はテンプレート作
成部８−１において行う。図１３に示すように、最近距
離のブロック（ここではブロックｂ２であったとしてい
る）内の対象物までの距離ｄ２はすでに求められている
ので、その距離をｚｂとし、テンプレート・距離保管部
２２に記憶されているテンプレートＴとそのテンプレー
トを作成した時の距離ｚｓとをもとにしてブロックｂ２
の画像内の先行車の大きさに合わせてテンプレートＴを
スケーリングして位置検出用のテンプレートＴ′を作成
する。そして先行車検出部３−１は、このテンプレート
Ｔ′を用いてブロックｂ２の近辺で最も類似度の高い位
置を探索し、その位置での類似度と横エッジの強度と長
さが先行車に追従したと見なされるしきい値を越えてい
たなら、先行車を検出したものと見なし、再び前述の第
１の実施の形態と同じ手順でテンプレートを更新しなが
ら先行車を追従する処理を続ける。The presence of the preceding vehicle is confirmed by the template creating section 8-1. As shown in FIG. 13, since the distance d2 to the object in the nearest block (here, the block b2) has already been obtained, the distance is set to zb, and the template / distance storage unit 22 is set. B2 based on the template T stored in the block and the distance zs when the template was created.
The template T is scaled in accordance with the size of the preceding vehicle in the image (1) to create a template T 'for position detection. Using the template T ', the preceding vehicle detecting unit 3-1 searches for a position having the highest similarity near the block b2, and the similarity at that position and the strength and length of the horizontal edge are compared with those of the preceding vehicle. If the threshold is deemed to have been followed, it is regarded that the preceding vehicle has been detected, and the process of following the preceding vehicle is continued while updating the template again in the same procedure as in the first embodiment.
【００５２】しかしながらしきい値を越えていなけれ
ば、いままで探索対象とした画像Ａ内には先行車は存在
していないものと判断し、さらに次の画像の取り込み
と、上記の先行車探索処理を繰り返す。However, if the threshold value is not exceeded, it is determined that the preceding vehicle does not exist in the image A to be searched, and the next image is fetched and the preceding vehicle search process is performed. repeat.
【００５３】この第２の実施の形態によれば、次のよう
な利点がある。テンプレートマッチングによって先行車
の位置検出を行う場合、車間距離によって先行車の大き
さが変わることが問題点となることが多いが、第２の実
施の形態で採用した方法によれば、画像内の各ブロック
ごとの距離と先行車を表すテンプレートの距離とを共に
保存しているために、ブロック内に撮像されている物体
までの距離ｚｂとテンプレートの距離ｚｓとをもとにし
た比例計算によってテンプレートＴを位置検出を行う画
像Ａ上の先行車の大きさに合わせてスケーリングして位
置検出用のテンプレートＴ′を作成することができ、先
行車を一時的に見失ってもテンプレートマッチングによ
る先行車追従を継続することができるのである。According to the second embodiment, there are the following advantages. When detecting the position of the preceding vehicle by template matching, the problem often arises that the size of the preceding vehicle changes depending on the inter-vehicle distance, but according to the method adopted in the second embodiment, Since the distance of each block and the distance of the template representing the preceding vehicle are both stored, the template is calculated by a proportional calculation based on the distance zb to the object imaged in the block and the distance zs of the template. T can be scaled in accordance with the size of the preceding vehicle on the image A for which position detection is to be performed, and a template T 'for position detection can be created. Even if the preceding vehicle is temporarily lost, following the preceding vehicle by template matching Can be continued.
【００５４】また先行車を見失った時の復帰処理におい
て、次のような利点もある。図１３に示すように、先行
車１０までの距離ｚと、先行車１０を撮像しているカメ
ラ１ａの高さ位置から先行車の一部までの垂直高さｈと
が分かっていれば、先行車１０が撮像されるｙ軸方向の
位置ｙａは次の数７式より求めることができる。Further, in the return processing when the preceding vehicle is lost, there are the following advantages. As shown in FIG. 13, if the distance z to the preceding vehicle 10 and the vertical height h from the height position of the camera 1 a capturing the image of the preceding vehicle 10 to a part of the preceding vehicle are known, The position ya in the y-axis direction where the car 10 is imaged can be obtained from the following equation (7).
【００５５】[0055]
【数７】 そこで最短距離位置検出部２４によりあるブロックｂ２
で求めた距離を先行車までの距離と仮定すると、ｙ座標
位置検出部２５は数７式より先行車の横エッジが存在す
るおおよそのｙ軸方向の位置を求め、テンプレート作成
部８−１はこれらの演算結果に基づき、先行車の位置検
出範囲をｘ軸方向はそのブロックｂ２の近辺であり、ｙ
軸方向は数７式で求めた付近に限定することができ、テ
ンプレート作成処理時間を短くすることができる。また
先行車が幾何学的に撮像される可能性が全くない位置を
検出することがないので、誤検出を減らすこともでき
る。さらにｙ座標位置検出部２５が数７式によって求め
たｙ軸座標値は、先行車の存在確認を行う際の横エッジ
の存在確認位置として利用することもできる。(Equation 7) Therefore, a block b2 by the shortest distance position detection unit 24
Assuming that the distance obtained in the above is the distance to the preceding vehicle, the y-coordinate position detection unit 25 obtains the approximate position in the y-axis direction where the lateral edge of the preceding vehicle exists from Expression 7, and the template creation unit 8-1 Based on these calculation results, the position detection range of the preceding vehicle is in the x-axis direction near the block b2, and y
The axial direction can be limited to the vicinity obtained by Expression 7, and the template creation processing time can be shortened. In addition, since a position where there is no possibility that the preceding vehicle is geometrically imaged is not detected, erroneous detection can be reduced. Furthermore, the y-axis coordinate value obtained by the y-coordinate position detection unit 25 by the equation 7 can be used as a position for confirming the presence of a lateral edge when confirming the presence of a preceding vehicle.
【００５６】次に、本発明の第３の実施の形態を図１４
に基づいて説明する。この第３の実施の形態の先行車追
従装置は、第１の実施の形態の構成にさらに、画像Ａに
対するマッチング処理の際の処理範囲を限定する処理範
囲限定部３１を追加的に備え、テンプレート作成部８−
２、先行車検出部３−２がこの処理範囲限定部３１の指
示によって画像Ａに対するマッチング処理範囲を限定す
るようにしたことを特徴とする。Next, a third embodiment of the present invention will be described with reference to FIG.
It will be described based on. The preceding-vehicle following device according to the third embodiment further includes a processing range limiting unit 31 that limits the processing range when performing the matching process on the image A in addition to the configuration of the first embodiment. Creation unit 8-
2. The preceding vehicle detection section 3-2 limits the matching processing range for the image A in accordance with the instruction of the processing range limiting section 31.
【００５７】画像上での先行車の大きさを考慮するため
に常に相対速度と車間距離とを求めているので、それら
の値をもとに先行車が画像上で存在する範囲を求めるこ
とができ、これに基づいて位置検出の走査範囲を限定す
ることによって処理の高速化が図れる。図１５に示すよ
うに、前方に曲率半径がｒの道路がある時のカメラ１
ａ，１ｂの撮像した画像Ａ，Ｂ上の先行車の横方向の動
きの大きさは、次の数８式のようになる。Since the relative speed and the inter-vehicle distance are always determined in order to consider the size of the preceding vehicle on the image, it is possible to determine the range in which the preceding vehicle exists on the image based on these values. The processing can be speeded up by limiting the scanning range for position detection based on this. As shown in FIG. 15, the camera 1 when there is a road with a radius of curvature r ahead.
The magnitude of the lateral movement of the preceding vehicle on the images A and B taken by the images a and 1b is expressed by the following equation (8).
【００５８】[0058]
【数８】 また図１６から明らかなように連続入力画像間での先行
車１０の縦方向の動きの大きさは数９式のようになる。(Equation 8) Further, as is apparent from FIG. 16, the magnitude of the vertical movement of the preceding vehicle 10 between the continuous input images is as shown in Expression 9.
【００５９】[0059]
【数９】 ただし、数８式、数９式において、 ｘｔ：時刻ｔでのウィンドウ位置のｘ座標（画素） ｘｔ＋Δｔ：時刻ｔ＋Δｔでのウィンドウ位置のｘ座標
（画素） Δｔ：画像の入力時間間隔（ｓ） ａ：相対速度（ｍ／ｓ） ｚｔ：時刻ｔでの車間距離（ｍ） ｒ：前方道路の曲率半径（ｍ） ｆ：焦点距離（画素） ｈ：先行車の一部から光軸までの距離（ｍ） である。(Equation 9) Here, in Expressions 8 and 9, xt : x coordinate (pixel) of the window position at time t xt + Δt : x coordinate (pixel) of the window position at time t + Δt Δt: image input time interval (s A) relative speed (m / s) z t : inter-vehicle distance at time t (m) r: radius of curvature of the road ahead (m) f: focal length (pixels) h: from a part of the preceding vehicle to the optical axis (M).
【００６０】そして曲率半径ｒは走行道路によって異な
るが、これは道路地図資料などから調べることができる
ために既知の値と見なすことができる（高速道路ではき
ついカーブでも３００ｍ程度であり、あらかじめ設定し
ておくこともできる）。また光軸からの高さｈはカメラ
１ａ，１ｂの取付位置によって決まるもので、測定して
入力しておくことができる。さらに相対速度ａや車間距
離ｚｔは画像処理で常に求めている。このため、数８
式、数９式それぞれの右辺の代数文字のすべてに数値を
代入することができるので、連続画像間で先行車の動く
領域をあらかじめ求めておくことができる。つまり、相
対速度ａと車間距離ｚｔとが分かれば、連続画像間で先
行車の位置の動く大きさを算出することができ、このた
めに、位置検出の走査範囲を限定することができ、演算
処理時間を短縮することができる。The radius of curvature r differs depending on the traveling road, but can be regarded as a known value because it can be checked from road map materials and the like (on a highway, even a tight curve is about 300 m. You can keep it). The height h from the optical axis is determined by the mounting positions of the cameras 1a and 1b, and can be measured and input. Further relative velocity a and the inter-vehicle distance z t is always determined by the image processing. Therefore, Equation 8
Numerical values can be substituted for all the algebraic characters on the right side of each of Expressions and Expression 9, so that the area in which the preceding vehicle moves between consecutive images can be obtained in advance. In other words, knowing the relative velocity a and the inter-vehicle distance z t, can be calculated magnitude of movement of the position of the preceding vehicle between successive images, for this, it is possible to limit the scanning range of the detection position, Calculation processing time can be reduced.
【００６１】そこでこの第３の実施の形態の先行車追従
装置では、第１の実施の形態において処理範囲限定部３
１を付加した構成とすることにより、距離算出部５から
得られる車間距離ｚｔと相対速度算出部７から得られる
相対速度ａとに基づいて、数８式、数９式により処理範
囲を限定し、これをテンプレート作成部８−２と先行車
検出部３−２に与え、これらが実行するテンプレート作
成処理とマッチング処理において走査範囲を限定させる
ようにしているのである。Therefore, in the preceding vehicle following device of the third embodiment, the processing range limiting unit 3 in the first embodiment is used.
Limited by adopting a configuration obtained by adding 1, inter-vehicle distance obtained from the distance calculating unit 5 based on the z t and the relative speed a obtained from the relative speed calculation unit 7, equation (8), the processing range by the number 9 formula Then, this is given to the template creating unit 8-2 and the preceding vehicle detecting unit 3-2, so that the scanning range is limited in the template creating process and the matching process executed by them.
【００６２】これによって第３の実施の形態では、先行
車位置検出のための走査範囲を限定することができて処
理時間を短縮することができ、さらに走査範囲を限定す
ることで、先行車が幾何学的に撮像される可能性が全く
ない位置を検出することがないので、誤検出を減らすこ
ともできる。As a result, in the third embodiment, the scanning range for detecting the position of the preceding vehicle can be limited, and the processing time can be reduced. Since a position where there is no possibility of being geometrically captured is not detected, erroneous detection can be reduced.
【図１】本発明の第１の実施の形態の機能ブロック図。FIG. 1 is a functional block diagram according to a first embodiment of the present invention.
【図２】上記の実施の形態における光学系の説明図。FIG. 2 is an explanatory diagram of an optical system in the embodiment.
【図３】上記の実施の形態のおける先行車との相対速度
が０の時の画像の時間推移を示す説明図。FIG. 3 is an explanatory diagram showing a time transition of an image when a relative speed with respect to a preceding vehicle is 0 in the embodiment.
【図４】上記の実施の形態における先行車が遠ざかる時
の画像の時間推移を示す説明図。FIG. 4 is an explanatory diagram showing a time transition of an image when a preceding vehicle moves away in the embodiment.
【図５】上記の実施の形態における車間距離の最小２乗
法による予測処理を示す説明図。FIG. 5 is an explanatory diagram showing a prediction process by the least squares method of an inter-vehicle distance in the embodiment.
【図６】上記の実施の形態における上下２台のカメラに
よる視差算出処理を示す説明図。FIG. 6 is an explanatory diagram showing parallax calculation processing by two upper and lower cameras in the embodiment.
【図７】上記の実施の形態におけるテンプレート作成部
のテンプレート作成処理を示す説明図。FIG. 7 is an explanatory diagram showing template creation processing of a template creation unit in the embodiment.
【図８】上記の実施の形態における先行車検出部の先行
車検出処理を示す説明図。FIG. 8 is an explanatory diagram showing a preceding vehicle detection process of a preceding vehicle detecting unit in the embodiment.
【図９】上記の実施の形態における視差計算部のステレ
オマッチング処理を示す説明図。FIG. 9 is an explanatory diagram showing a stereo matching process of a parallax calculating unit in the embodiment.
【図１０】本発明の第２の実施の形態の機能ブロック
図。FIG. 10 is a functional block diagram according to a second embodiment of the present invention.
【図１１】上記の実施の形態における先行車の画像上で
の存在範囲を示す説明図。FIG. 11 is an explanatory diagram showing an existing range on an image of a preceding vehicle in the embodiment.
【図１２】上記の実施の形態における画像上での先行車
検出手順を示す説明図。FIG. 12 is an explanatory diagram showing a preceding vehicle detection procedure on an image according to the embodiment.
【図１３】上記の実施の形態におけるテンプレート作成
部のテンプレート作成処理を示す説明図。FIG. 13 is an explanatory diagram showing template creation processing of the template creation unit in the embodiment.
【図１４】本発明の第３の実施の形態の機能ブロック
図。FIG. 14 is a functional block diagram according to a third embodiment of the present invention.
【図１５】上記の実施の形態におけるカーブ道路での先
行車の横方向の存在範囲を示す説明図。FIG. 15 is an explanatory diagram showing a laterally existing range of a preceding vehicle on a curved road in the embodiment.
【図１６】上記の実施の形態における先行車の縦方向の
存在範囲を示す説明図。FIG. 16 is an explanatory diagram showing a range in which a preceding vehicle exists in the vertical direction in the embodiment.
１ａ，１ｂ カメラ ２ａ，２ｂ 画像メモリ ３，３−１，３−２ 先行車検出部 ４ 視差計算部 ５ 距離算出部 ６ 距離保管部 ７ 相対速度検出部 ８，８−１，８−２ テンプレート作成部 １０ 先行車 １２ａ，１２ｂ レンズ １３ａ，１３ｂ 撮像面 ２１ 追従判断部 ２２ テンプレート・距離保管部 ２３ 距離画像作成部 ２４ 最短距離位置検出部 ２５ ｙ座標位置算出部 ３１ 処理範囲限定部 1a, 1b Camera 2a, 2b Image memory 3, 3-1, 3-2 Vehicle ahead detection unit 4 Parallax calculation unit 5 Distance calculation unit 6 Distance storage unit 7 Relative speed detection unit 8, 8-1, 8-2 Template creation Unit 10 preceding vehicle 12a, 12b lens 13a, 13b imaging surface 21 following determination unit 22 template / distance storage unit 23 distance image creation unit 24 shortest distance position detection unit 25 y coordinate position calculation unit 31 processing range limitation unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ // Ｇ０１Ｃ 3/06 Ｇ０６Ｆ 15/62 ４１５ ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 6 Identification symbol FI // G01C 3/06 G06F 15/62 415
Claims (4)
手段と、 前記２台の撮像手段それぞれの撮像した画像を記憶する
画像メモリと、 前記２台の撮像手段のうちのいずれか１台の撮像手段の
撮像した画像に対して、与えられる先行車を含む画像の
テンプレートとマッチング処理することによって当該画
像中の先行車を含むウィンドウを切り出す先行車検出手
段と、 前記２台の撮像手段のうちの他方の撮像手段の撮像した
画像を前記先行車検出手段の切り出したウィンドウとマ
ッチング処理することによって当該他方の撮像手段の画
像中の先行車を含むウィンドウを切り出す視差算出手段
と、 前記２台の撮像手段それぞれの画像中から切り出された
ウィンドウの座標値に基づいて先行車までの距離を算出
する距離算出手段と、 前記距離算出手段の算出した距離データを複数回分記憶
する距離データ記憶手段と、 前記距離データ記憶手段に記憶されている過去の複数回
分の距離データに基づいて先行車との相対速度を算出す
る相対速度算出手段と、 前記相対速度算出手段の算出した相対速度に基づき、前
記先行車検出手段が前回の演算時に切り出した前記先行
車を含むウィンドウをスケーリングして新たな先行車を
含む画像のテンプレートを作成して前記先行車検出手段
に与えるテンプレート作成手段とを備えて成る先行車追
従装置。1. An upper and lower two image pickup means for picking up an image of a forward scene, an image memory for storing images picked up by the two image pickup means, and one of the two image pickup means Preceding vehicle detecting means for cutting out a window including the preceding vehicle in the image by performing a matching process on the image captured by the two image capturing means with a given template of the image including the preceding vehicle; and the two image capturing means A parallax calculating unit that cuts out a window including a preceding vehicle in the image of the other image capturing unit by performing a matching process on an image captured by the other image capturing unit with the window extracted by the preceding vehicle detecting unit; Distance calculating means for calculating a distance to a preceding vehicle based on coordinate values of a window cut out from an image of each of the image pickup means; Distance data storage means for storing the distance data calculated by the step for a plurality of times; and relative speed calculation means for calculating a relative speed with respect to the preceding vehicle based on the past distance data for a plurality of times stored in the distance data storage means. Based on the relative speed calculated by the relative speed calculation means, the preceding vehicle detection means creates a template of an image including a new preceding vehicle by scaling a window including the preceding vehicle cut out during the previous calculation. A preceding vehicle follow-up device comprising: a template creating means for providing to the preceding vehicle detecting means.
に基づいて、前記２台の撮像手段それぞれの撮像した画
像に対して前記先行車検出及び距離算出処理のためのマ
ッチング処理の範囲を限定する処理範囲限定手段を備え
て成る請求項１に記載の先行車追従装置。2. A range of a matching process for detecting a preceding vehicle and calculating a distance with respect to an image captured by each of the two imaging units based on the relative speed and a distance to the preceding vehicle. 2. The preceding vehicle follow-up device according to claim 1, further comprising means for limiting a processing range.
切り出しができたかどうかによって先行車を追従してい
るかどうかを判断する追従判断手段と、 前記追従判断手段が追従していると判断した時に前記テ
ンプレート作成手段が作成したテンプレートとそれを用
いた時の先行車までの距離とを保存するテンプレート・
距離保存手段と、 前記追従判断手段が先行車を追従していないと判断した
時に、前記先行車検出手段の用いる画像をあらかじめ設
定した所定の大きさの複数のブロックに分割し、各ブロ
ックごとにその中に撮像されている物体までの距離を求
めるブロック距離算出手段と、 前記ブロック距離算出手段の算出した距離のうち最短距
離を与えるブロックを選択する最短距離ブロック選択手
段とを備え、 前記テンプレート作成手段は、前記追従判断手段が先行
車を追従していないと判断した時には、前記最短距離ブ
ロック選択手段の選択したブロックまでの距離と、前記
テンプレート・距離保存手段に保存されている距離との
比率に基づき、前記テンプレート・距離保存手段に保存
されているテンプレートをスケーリングして新たなテン
プレートを作成し、前記先行車検出手段に与えることを
特徴とする請求項１又は２に記載の先行車追従装置。3. A follow-up determining means for determining whether or not the vehicle is following the preceding vehicle based on whether or not a window including the preceding vehicle has been cut out from the image. A template that stores the template created by the template creation means and the distance to the preceding vehicle when using it
Distance storing means, when the following determination means determines that the preceding vehicle is not following, divides the image used by the preceding vehicle detecting means into a plurality of blocks of a predetermined size set in advance, and for each block, A block distance calculating unit that calculates a distance to an object imaged therein; and a shortest block selecting unit that selects a block that gives a shortest distance among the distances calculated by the block distance calculating unit; Means for determining, when the following determination means determines that the vehicle is not following the preceding vehicle, a ratio of a distance to the block selected by the shortest distance block selecting means to a distance stored in the template / distance storing means. Based on the above, the template stored in the template / distance storage unit is scaled to generate a new template. Create and preceding vehicle following apparatus according to claim 1 or 2, characterized in that applied to the preceding vehicle detection means.
たブロックに対して、前記ブロック距離算出手段の算出
した最短距離に基づいて（ｘ，ｙ）座標位置を決定し、
前記テンプレート作成手段に与える座標決定手段を備え
て成る請求項３に記載の先行車追従装置。4. A (x, y) coordinate position is determined for the block selected by the shortest distance block selecting means based on the shortest distance calculated by the block distance calculating means.
4. The preceding vehicle following device according to claim 3, further comprising a coordinate determination unit provided to the template creation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30202896A JP3757500B2 (en) | 1996-11-13 | 1996-11-13 | Leading vehicle following device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30202896A JP3757500B2 (en) | 1996-11-13 | 1996-11-13 | Leading vehicle following device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10143799A true JPH10143799A (en) | 1998-05-29 |
| JP3757500B2 JP3757500B2 (en) | 2006-03-22 |
Family
ID=17904039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30202896A Expired - Fee Related JP3757500B2 (en) | 1996-11-13 | 1996-11-13 | Leading vehicle following device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3757500B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001116512A (en) * | 1999-10-20 | 2001-04-27 | Matsushita Electric Ind Co Ltd | Method and instrument for measuring distance between vehicles |
| US6990216B2 (en) | 2000-09-22 | 2006-01-24 | Nissan Motor Co., Ltd. | Method and apparatus for estimating inter-vehicle distance using radar and camera |
| JP2008151659A (en) * | 2006-12-18 | 2008-07-03 | Fuji Heavy Ind Ltd | Object detector |
| WO2008123532A1 (en) * | 2007-03-28 | 2008-10-16 | Toyota Jidosha Kabushiki Kaisha | Imaging system |
| JP2009176091A (en) * | 2008-01-25 | 2009-08-06 | Fuji Heavy Ind Ltd | Object detection apparatus |
| JP2011113330A (en) * | 2009-11-27 | 2011-06-09 | Fuji Heavy Ind Ltd | Object detection device and drive assist system |
| CN102368352A (en) * | 2011-10-08 | 2012-03-07 | 中盟智能科技（苏州）有限公司 | Traffic information acquisition method and apparatus thereof |
| EP2570963A2 (en) | 2011-09-15 | 2013-03-20 | Clarion Co., Ltd. | Systems, devices, and methods for recognizing objects as perceived from a vehicle |
| JP2016071616A (en) * | 2014-09-30 | 2016-05-09 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Detecting device, detecting method and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02232511A (en) * | 1989-03-07 | 1990-09-14 | Mitsubishi Electric Corp | Tracking type vehicle-distance measuring apparatus |
| JPH05242391A (en) * | 1992-02-28 | 1993-09-21 | Mitsubishi Electric Corp | Obstacle detecting device for vehicle |
| JPH0642965A (en) * | 1992-07-28 | 1994-02-18 | Yazaki Corp | Target tracking-type distance measuring apparatus |
| JPH06230131A (en) * | 1993-01-29 | 1994-08-19 | Omron Corp | Running device for following with constant vehicle gap |
| JPH06265351A (en) * | 1993-03-12 | 1994-09-20 | Mitsubishi Electric Corp | Detection apparatus of distance between two vehicles |
| JPH06266828A (en) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | Outside monitoring device for vehicle |
| JPH06331351A (en) * | 1993-05-25 | 1994-12-02 | Matsushita Electric Ind Co Ltd | Device for measuring distance between vehicles and stereo image pick-up device |
| JPH07334799A (en) * | 1994-06-10 | 1995-12-22 | Nissan Motor Co Ltd | Vehicle-to-vehicle distance detecting device |
-
1996
- 1996-11-13 JP JP30202896A patent/JP3757500B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02232511A (en) * | 1989-03-07 | 1990-09-14 | Mitsubishi Electric Corp | Tracking type vehicle-distance measuring apparatus |
| JPH05242391A (en) * | 1992-02-28 | 1993-09-21 | Mitsubishi Electric Corp | Obstacle detecting device for vehicle |
| JPH0642965A (en) * | 1992-07-28 | 1994-02-18 | Yazaki Corp | Target tracking-type distance measuring apparatus |
| JPH06230131A (en) * | 1993-01-29 | 1994-08-19 | Omron Corp | Running device for following with constant vehicle gap |
| JPH06265351A (en) * | 1993-03-12 | 1994-09-20 | Mitsubishi Electric Corp | Detection apparatus of distance between two vehicles |
| JPH06266828A (en) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | Outside monitoring device for vehicle |
| JPH06331351A (en) * | 1993-05-25 | 1994-12-02 | Matsushita Electric Ind Co Ltd | Device for measuring distance between vehicles and stereo image pick-up device |
| JPH07334799A (en) * | 1994-06-10 | 1995-12-22 | Nissan Motor Co Ltd | Vehicle-to-vehicle distance detecting device |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001116512A (en) * | 1999-10-20 | 2001-04-27 | Matsushita Electric Ind Co Ltd | Method and instrument for measuring distance between vehicles |
| US6990216B2 (en) | 2000-09-22 | 2006-01-24 | Nissan Motor Co., Ltd. | Method and apparatus for estimating inter-vehicle distance using radar and camera |
| JP2008151659A (en) * | 2006-12-18 | 2008-07-03 | Fuji Heavy Ind Ltd | Object detector |
| WO2008123532A1 (en) * | 2007-03-28 | 2008-10-16 | Toyota Jidosha Kabushiki Kaisha | Imaging system |
| JP2009176091A (en) * | 2008-01-25 | 2009-08-06 | Fuji Heavy Ind Ltd | Object detection apparatus |
| JP2011113330A (en) * | 2009-11-27 | 2011-06-09 | Fuji Heavy Ind Ltd | Object detection device and drive assist system |
| EP2570963A2 (en) | 2011-09-15 | 2013-03-20 | Clarion Co., Ltd. | Systems, devices, and methods for recognizing objects as perceived from a vehicle |
| CN102368352A (en) * | 2011-10-08 | 2012-03-07 | 中盟智能科技（苏州）有限公司 | Traffic information acquisition method and apparatus thereof |
| JP2016071616A (en) * | 2014-09-30 | 2016-05-09 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Detecting device, detecting method and program |
| US9798939B2 (en) | 2014-09-30 | 2017-10-24 | International Business Machines Corporation | Detecting device, detecting method, and program |
| US9798938B2 (en) | 2014-09-30 | 2017-10-24 | International Business Machines Corporation | Detecting device, detecting method, and program |
| US10331961B2 (en) | 2014-09-30 | 2019-06-25 | International Business Machines Corporation | Detecting device, detecting method, and program |
| US10331962B2 (en) | 2014-09-30 | 2019-06-25 | International Business Machines Corporation | Detecting device, detecting method, and program |
| US10339397B2 (en) | 2014-09-30 | 2019-07-02 | International Business Machines Corporation | Detecting device, detecting method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3757500B2 (en) | 2006-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9330320B2 (en) | Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus | |
| JP5074365B2 (en) | Camera device | |
| JP2000357233A (en) | Body recognition device | |
| JP6941070B2 (en) | Stereo camera device | |
| JP3562751B2 (en) | Forward vehicle detection method and device | |
| JP2018048949A (en) | Object recognition device | |
| JP3961584B2 (en) | Lane marking detector | |
| CN111213153A (en) | Target object motion state detection method, device and storage medium | |
| US20210402992A1 (en) | Apparatus and method for setting planned trajectory | |
| JP3079841B2 (en) | Road shape and own vehicle position measurement device | |
| JP3757500B2 (en) | Leading vehicle following device | |
| JP2003281700A (en) | Cutting-in vehicle detecting device and method | |
| JP2011175572A (en) | Lane recognition device | |
| US11619495B2 (en) | Position estimating apparatus and position estimating method | |
| JP4847779B2 (en) | In-vehicle information processing method, in-vehicle information processing program, in-vehicle information processing apparatus, and in-vehicle information processing system | |
| JPH11345392A (en) | Device and method for detecting obstacle | |
| JP5832850B2 (en) | Lane monitoring system and lane monitoring method | |
| US20230245323A1 (en) | Object tracking device, object tracking method, and storage medium | |
| US20200003574A1 (en) | Method and device for fast detection of repetitive structures in the image of a road scene | |
| JPH07302325A (en) | On-vehicle image recognizing device | |
| JP2002008019A (en) | Railway track recognition device and rolling stock using railway track recognition device | |
| JP4106163B2 (en) | Obstacle detection apparatus and method | |
| JPH1139464A (en) | Image processor for vehicle | |
| JP3063481B2 (en) | Vehicle object detection device | |
| JP7134780B2 (en) | stereo camera device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050614 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050805 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |