JP2008286648A - Distance measuring device, distance measuring system, and distance measuring method - Google Patents

Distance measuring device, distance measuring system, and distance measuring method Download PDF

Info

Publication number
JP2008286648A
JP2008286648A JP2007132122A JP2007132122A JP2008286648A JP 2008286648 A JP2008286648 A JP 2008286648A JP 2007132122 A JP2007132122 A JP 2007132122A JP 2007132122 A JP2007132122 A JP 2007132122A JP 2008286648 A JP2008286648 A JP 2008286648A
Authority
JP
Japan
Prior art keywords
distance
horizontal scanning
captured image
region
distance measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007132122A
Other languages
Japanese (ja)
Inventor
Hiroaki Saito
裕昭 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2007132122A priority Critical patent/JP2008286648A/en
Publication of JP2008286648A publication Critical patent/JP2008286648A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a distance measuring device, a distance measuring system, and a distance measuring method capable of measuring accurately the distance to an object, while suppressing a processing time. <P>SOLUTION: A control part 31 selects a small number of reference domains from among characteristic domains extracted from a reference image, scans a plurality of horizontal scanning lines in a searching image, and searches for a correlation domain having correlation with the selected reference domains. The control part 31 calculates a tilt angle of the horizontal scanning line in an imaged image based on a coordinate on the imaged image of the reference domain and the correlation domain, and performs conversion (rotation, translation) processing of the imaged image based on the calculated tilt angle. The control part 31 scans one horizontal scanning line in the searching image, searches for a corresponding domain corresponding to a candidate domain, and measures the distance to the object based on parallax between the candidate domain and the corresponding domain. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測装置、該距離計測装置を備える距離計測システム及び距離計測方法に関する。   The present invention relates to a distance measuring device that measures a distance from a host vehicle to an imaging target based on respective captured images acquired by two imaging devices, a distance measuring system including the distance measuring device, and a distance measuring method.

自動車などの車両に２つのビデオカメラ（撮像装置）を搭載して車両の前方を撮像し、三角測量の原理を利用して対象物までの距離を計測する装置が開発されている。例えば、車両のバンパー又はフロントグリルなどに２つのビデオカメラを設置し、両方のビデオカメラで撮像した撮像画像における対象物の視差に基づいて対象物までの距離を求め、歩行者、障害物などの接近を運転者に知らせることで安全運転を支援する車両の周辺監視装置が提案されている（特許文献１参照）。   2. Description of the Related Art An apparatus has been developed that mounts two video cameras (imaging devices) on a vehicle such as an automobile, images the front of the vehicle, and measures the distance to an object using the principle of triangulation. For example, two video cameras are installed in the bumper or front grill of a vehicle, and the distance to the target is obtained based on the parallax of the target in the captured images captured by both video cameras. A vehicle periphery monitoring device that supports safe driving by notifying a driver of approach has been proposed (see Patent Document 1).

このような装置では、ステレオカメラを用いて対象物までの距離を計測する場合、まず、２つの撮像画像のうち一方の撮像画像（基準画像）で対象物の候補領域を抽出する。抽出した候補領域の撮像画像上の座標を（ｘ、ｙ）とすると、他方の撮像画像（探索画像）において候補領域のｙ座標と同じｙ座標の水平走査線を走査して、候補領域に対応する対応領域を探索し、候補領域と対応領域の視差に基づいて対象物までの距離を計測する。   In such an apparatus, when measuring the distance to an object using a stereo camera, first, a candidate area of the object is extracted from one of the two captured images (reference image). If the coordinates of the extracted candidate region on the captured image are (x, y), the other captured image (search image) is scanned with a horizontal scanning line having the same y coordinate as the y coordinate of the candidate region, and corresponds to the candidate region. The corresponding area to be searched is searched, and the distance to the object is measured based on the parallax between the candidate area and the corresponding area.

また、車両に搭載したステレオカメラで道路上の左右の車線を検出し、検出した車線の位置を撮像画像平面上で特定する。左右の車線に基づいて求めた撮像画像の消失点を利用して道路モデルを構築し、道路モデル上の推定距離と実際に測定した距離とを比較することにより、ステレオカメラの光軸のずれを算出し、測定した距離を補正する距離補正装置が提案されている（特許文献２参照）。
特許第３５１５９２６号公報 特開２００１−１６０１３７号公報 Moreover, the left and right lanes on the road are detected by a stereo camera mounted on the vehicle, and the position of the detected lane is specified on the captured image plane. By constructing a road model using the vanishing points of the captured images obtained based on the left and right lanes, and comparing the estimated distance on the road model with the actually measured distance, the optical axis shift of the stereo camera can be reduced. A distance correction device that corrects the calculated and measured distance has been proposed (see Patent Document 2).
Japanese Patent No. 3515926 JP 2001-160137 A

特許文献１の装置にあっては、対応領域を探索する際に、候補領域のｙ座標と同じｙ座標の水平走査線を走査して探索画像を探索するため、対象物までの距離を計測するには、２つのカメラそれぞれの光軸が平行であり、かつ２つのカメラの水平走査線と地軸が垂直である必要がある。この２つの条件が満たされない場合、特許文献１の装置では、水平走査線上で対応領域を見つけることができず、対象物までの距離を計測することができないか、あるいは計測できたとしても正しい距離を計測することができない。   In the apparatus of Patent Document 1, when searching for a corresponding area, a horizontal scanning line having the same y coordinate as the y coordinate of the candidate area is scanned to search for a search image, and thus the distance to the object is measured. Requires that the optical axes of the two cameras be parallel and that the horizontal scanning line and the ground axis of the two cameras be vertical. If these two conditions are not satisfied, the apparatus of Patent Document 1 cannot find the corresponding area on the horizontal scanning line and cannot measure the distance to the object, or the correct distance even if it can be measured. Cannot be measured.

一方、特許文献２の装置にあっては、２つのカメラそれぞれの光軸がずれた場合であっても、対象物までの距離を計測することができる。しかし、２つのカメラの水平走査線と地軸が垂直でない場合には、特許文献２の装置では、対象物までの距離を計測することができないか、あるいは計測できたとしても正しい距離を計測することができない。   On the other hand, in the apparatus of Patent Document 2, even when the optical axes of the two cameras are shifted, the distance to the object can be measured. However, when the horizontal scanning line and the ground axis of the two cameras are not vertical, the apparatus of Patent Document 2 cannot measure the distance to the object, or measure the correct distance even if it can be measured. I can't.

スレテオカメラを搭載した車両が道路のカーブを曲がる場合、道路上の小石などに片方のタイヤだけが乗り上げた場合、道路のバンク又は道路の舗装状態が悪く車体がロールするような場合では、撮像画像の水平走査線が傾き、地軸と垂直にならない事態が生じる。このような場合には、対象物までの距離を計測することができないか、あるいは計測できたとしても正しい距離を計測することができない。単純な対策として、１つの候補領域に対して、探索画像の全体あるいは多数の水平走査線を走査して対応領域を探索することが考えられるものの、処理コストが膨大になり処理時間も長くなるという問題があった。   When a vehicle equipped with a stereo camera turns a road curve, when only one tire rides on a pebble etc. on the road, or when the car body rolls because the road bank or road pavement is poor, the captured image The horizontal scanning line of the camera tilts and does not become perpendicular to the ground axis. In such a case, the distance to the object cannot be measured, or even if it can be measured, the correct distance cannot be measured. As a simple countermeasure, it is conceivable to search the corresponding area by scanning the entire search image or a large number of horizontal scanning lines for one candidate area, but the processing cost is enormous and the processing time is increased. There was a problem.

本発明は、斯かる事情に鑑みてなされたものであり、自車のロール発生、道路のバンクなどで車体が傾き、撮像画像の水平走査線が地軸と垂直でない場合でも、処理時間を抑制しつつ対象物までの距離を精度良く計測することができる距離計測装置、該距離計測装置を備える距離計測システム及び距離計測方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and suppresses the processing time even when the vehicle body is tilted due to the rolling of the own vehicle, the bank of the road, and the horizontal scanning line of the captured image is not perpendicular to the ground axis. An object of the present invention is to provide a distance measuring device that can accurately measure the distance to an object, a distance measuring system including the distance measuring device, and a distance measuring method.

第１発明に係る距離計測装置は、２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測装置において、一方の撮像画像の各画素の画素値に基づいて、複数の特徴領域を抽出する特徴領域抽出手段と、該特徴領域抽出手段で抽出した特徴領域の中から１又は複数の特徴領域を基準領域として選択する選択手段と、他方の撮像画像の複数の水平走査線を走査して、前記選択手段で選択した基準領域と相関がある相関領域を抽出する相関領域抽出手段と、前記基準領域及び前記相関領域抽出手段で抽出した相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出する角度算出手段と、該角度算出手段で算出した傾き角度に基づいて両撮像画像の座標を変換する変換手段と、該変換手段で変換した他方の撮像画像の水平走査線を走査して、前記基準領域を除く特徴領域に対応する対応領域を特定する特定手段と、前記特徴領域及び前記特定手段で特定した対応領域との視差に基づいて、撮像対象までの距離を計測する計測手段とを備えることを特徴とする。   The distance measuring device according to the first aspect of the present invention is the distance measuring device that measures the distance from the own vehicle to the imaging target based on the respective captured images acquired by the two imaging devices, and the pixel value of each pixel of one captured image Based on the feature area extraction means for extracting a plurality of feature areas, a selection means for selecting one or a plurality of feature areas as a reference area from the feature areas extracted by the feature area extraction means, and the other captured image A plurality of horizontal scanning lines, and a correlation region extraction unit that extracts a correlation region correlated with the reference region selected by the selection unit; and each of the correlation region extracted by the reference region and the correlation region extraction unit Based on the coordinates on the captured image, angle calculation means for calculating the tilt angle of the horizontal scanning line of the captured image, and the coordinates of both captured images are converted based on the tilt angle calculated by the angle calculation means. A conversion unit; a specifying unit that scans a horizontal scanning line of the other captured image converted by the conversion unit to specify a corresponding region corresponding to a feature region excluding the reference region; and the feature region and the specifying unit. Measuring means for measuring the distance to the imaging target based on the parallax with the identified corresponding area is provided.

第２発明に係る距離計測装置は、第１発明において、前記特定手段は、前記相関領域抽出手段が他方の撮像画像を走査する水平走査線の数より少ない数の水平走査線を走査するように構成してあることを特徴する。   In the distance measurement device according to a second aspect of the present invention, in the first aspect, the specifying unit scans a number of horizontal scanning lines that is smaller than the number of horizontal scanning lines by which the correlation region extracting unit scans the other captured image. It is characterized by being configured.

第３発明に係る距離計測装置は、第１発明又は第２発明において、自車の傾き度合いに関する情報を取得する取得手段と、該取得手段で取得した情報に基づいて、他方の撮像画像の水平走査線の走査数を決定する決定手段とを備え、前記相関領域抽出手段は、前記決定手段で決定した走査数の水平走査線を走査するように構成してあることを特徴とする。   According to a third aspect of the present invention, the distance measuring device according to the first or second aspect of the present invention is an acquisition unit that acquires information about the degree of inclination of the host vehicle, and the horizontal of the other captured image based on the information acquired by the acquisition unit Determining means for determining the number of scanning lines, and the correlation area extracting means is configured to scan horizontal scanning lines having the number of scanning lines determined by the determining means.

第４発明に係る距離計測装置は、第１発明又は第２発明において、撮像距離を設定する設定手段と、該設定手段で設定した撮像距離に基づいて、他方の撮像画像の水平走査線の走査数を決定する決定手段とを備え、前記相関領域抽出手段は、前記決定手段で決定した走査数の水平走査線を走査するように構成してあることを特徴とする。   A distance measuring device according to a fourth invention is the distance measuring device according to the first or second invention, wherein the setting means for setting the imaging distance and the scanning of the horizontal scanning line of the other captured image based on the imaging distance set by the setting means Determining means for determining the number, wherein the correlation area extracting means is configured to scan the horizontal scanning lines of the number of scans determined by the determining means.

第５発明に係る距離計測装置は、第１発明又は第２発明において、前記角度算出手段で算出した傾き角度に基づいて、両撮像画像を座標中心の回りに回転する回転手段を備え、前記変換手段は、前記回転手段で両撮像画像を回転させて座標を変換するように構成してあることを特徴とする。   A distance measuring device according to a fifth aspect of the present invention is the distance measuring device according to the first or second aspect, further comprising a rotating means for rotating both captured images around a coordinate center based on the tilt angle calculated by the angle calculating means. The means is characterized in that coordinates are converted by rotating both captured images by the rotating means.

第６発明に係る距離計測装置は、第５発明において、前記回転手段で回転した両撮像画像の少なくとも１つの撮像画像を並進する並進手段を備え、前記変換手段は、前記並進手段で並進させて座標を変換するように構成してあることを特徴とする。   According to a sixth aspect of the present invention, in the fifth aspect of the invention, the distance measuring apparatus includes a translation unit that translates at least one captured image of both the captured images rotated by the rotation unit, and the conversion unit translates the translation image by the translation unit. It is configured to convert coordinates.

第７発明に係る距離計測装置は、第１発明において、前記計測手段は、前記基準領域及び相関領域との視差に基づいて、撮像対象までの距離を計測するように構成してあることを特徴とする。   A distance measuring device according to a seventh invention is characterized in that, in the first invention, the measuring means is configured to measure a distance to an imaging target based on a parallax between the reference area and the correlation area. And

第８発明に係る距離計測装置は、第１発明乃至第７発明のいずれかにおいて、前記角度算出手段は、前記基準領域及び相関領域の撮像画像上の座標を斉次座標としたエピポーラ方程式に基づいて傾き角度を算出するように構成してあることを特徴とする。   In a distance measurement device according to an eighth invention based on any one of the first to seventh inventions, the angle calculation means is based on an epipolar equation in which coordinates on the captured image of the reference region and the correlation region are homogeneous coordinates. And the tilt angle is calculated.

第９発明に係る距離計測システムは、２つの撮像装置と、前述の発明のいずれかに係る距離計測装置とを備え、前記撮像装置それぞれで撮像して得られた２つの撮像画像を前記距離計測装置で処理して撮像対象までの距離を計測することを特徴とする。   A distance measurement system according to a ninth aspect of the present invention includes two imaging devices and the distance measurement device according to any one of the above-described inventions, and the distance measurement is performed on two captured images obtained by capturing each of the imaging devices. It is characterized by measuring the distance to the object to be imaged by processing with an apparatus.

第１０発明に係る距離計測方法は、２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測方法において、一方の撮像画像の各画素の画素値に基づいて、複数の特徴領域を抽出し、抽出した特徴領域の中から１又は複数の特徴領域を基準領域として選択し、他方の撮像画像の複数の水平走査線を走査して、選択した基準領域と相関がある相関領域を抽出し、前記基準領域及び相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出し、算出した角度に基づいて両撮像画像の座標を変換し、変換した他方の撮像画像の水平走査線を走査して、前記基準領域を除く特徴領域に対応する対応領域を特定し、前記特徴領域及び対応領域との視差に基づいて、撮像対象までの距離を計測することを特徴とする。   A distance measurement method according to a tenth aspect of the present invention is the distance measurement method for measuring the distance from the own vehicle to the imaging target based on the respective captured images acquired by the two imaging devices, and the pixel value of each pixel of one captured image A plurality of feature regions are extracted, one or more feature regions are selected from the extracted feature regions as a reference region, and a plurality of horizontal scanning lines of the other captured image are scanned to select the selected reference region. A correlation area having a correlation with the area is extracted, the inclination angle of the horizontal scanning line of the captured image is calculated based on the coordinates on the captured image of each of the reference area and the correlation area, and both captured images are calculated based on the calculated angles. The corresponding coordinate region corresponding to the feature region excluding the reference region is identified, based on the parallax between the feature region and the corresponding region, Imaging vs. Characterized by measuring the distance to.

第１発明及び第１０発明にあっては、一方の撮像画像（基準画像）の各画素の画素値に基づいて、複数の特徴領域を抽出する。特徴領域の抽出は、例えば、撮像画像を二値化処理又はエッジ点の抽出処理などにより行うことができる。抽出した特徴領域の中から１つ又は複数の特徴領域を基準領域として選択する。基準領域の選択は、特徴領域の中で特徴が際立っているもの、例えば、特徴領域内の輝度値の平均値と特徴領域周辺の領域の輝度値の平均値の差分が最も大きいものを選択することができる。他方の撮像画像（探索画像）の複数の水平走査線を走査して、基準領域と相関がある（例えば、所定の相関値が最も大きい値となる）相関領域を抽出する。探索画像の複数の水平走査線を走査することにより、水平走査線が地軸と垂直でない状態であっても、相関領域を見つけることができる。   In the first invention and the tenth invention, a plurality of feature regions are extracted based on the pixel value of each pixel of one captured image (reference image). The feature region can be extracted by, for example, binarization processing or edge point extraction processing of the captured image. One or a plurality of feature areas are selected from the extracted feature areas as a reference area. The reference region is selected by selecting a feature region that has a prominent feature, for example, the one having the largest difference between the average brightness value in the feature region and the average brightness value in the region around the feature region. be able to. A plurality of horizontal scanning lines of the other captured image (search image) are scanned to extract a correlation region that is correlated with the reference region (for example, a predetermined correlation value is the largest value). By scanning a plurality of horizontal scanning lines of the search image, the correlation region can be found even when the horizontal scanning lines are not perpendicular to the ground axis.

基準領域及び抽出した相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出する。この場合、基準領域及び相関領域の座標は、重心座標を用いてもよく、あるいは、基準領域及び相関領域内の各画素の座標を用いてもよい。また、水平走査線の傾き角度は、例えば、基準領域及び相関領域の座標に基づいたエピポーラ方程式を満たすマトリクス（Ｆマトリクス）を求め、Ｆマトリクスのパラメータにより算出することができる。算出した傾き角度に基づいて両撮像画像の座標を変換する。これにより両撮像画像の水平走査線の傾きを０とし（すなわち、地軸と垂直にし）、かつ撮像画像の座標を（ｘ、ｙ）とした場合、両撮像画像で同じｙ座標を通る水平走査線を一致させる。変換した他方の撮像画像の水平走査線を走査して、基準領域を除く特徴領域に対応する（例えば、所定の相関値が最も大きい値となる）対応領域を特定し、特徴領域及び特定した対応領域との視差に基づいて、撮像対象までの距離を計測する。   The inclination angle of the horizontal scanning line of the captured image is calculated based on the coordinates on the captured image of each of the reference region and the extracted correlation region. In this case, the coordinates of the reference area and the correlation area may be the barycentric coordinates, or the coordinates of each pixel in the reference area and the correlation area may be used. Further, the inclination angle of the horizontal scanning line can be calculated by, for example, obtaining a matrix (F matrix) that satisfies the epipolar equation based on the coordinates of the reference region and the correlation region, and using the parameters of the F matrix. The coordinates of both captured images are converted based on the calculated tilt angle. As a result, when the inclination of the horizontal scanning lines of both captured images is 0 (that is, perpendicular to the ground axis) and the coordinates of the captured images are (x, y), the horizontal scanning lines that pass through the same y coordinate in both captured images. Match. The horizontal scanning line of the other captured image that has been converted is scanned to identify the corresponding region corresponding to the feature region excluding the reference region (for example, the predetermined correlation value is the largest value), and the feature region and the identified correspondence Based on the parallax with the region, the distance to the imaging target is measured.

すなわち、基準画像で抽出した特徴領域のうち、まず少数の基準領域に基づいて撮像画像の水平走査線の傾きを修正し、基準領域を除く他の特徴領域については、探索画像の１つの水平走査線を走査することで対応領域を見つけることができ、探索画像の多くの水平走査線を走査する必要がなくなる。これにより、自車のロール発生、道路のバンクなどで車体が傾き、撮像画像の水平走査線が地軸と垂直でない場合でも、処理時間を抑制しつつ対象物までの距離を精度良く計測するができる。   That is, among the feature areas extracted from the reference image, first, the inclination of the horizontal scanning line of the captured image is corrected based on a small number of reference areas, and one horizontal scan of the search image is performed for other feature areas excluding the reference area. The corresponding area can be found by scanning the line, and it is not necessary to scan many horizontal scanning lines of the search image. This enables accurate measurement of the distance to the object while suppressing processing time even when the vehicle body is tilted due to the rolling of the own vehicle, the bank of the road, and the horizontal scanning line of the captured image is not perpendicular to the ground axis. .

第２発明にあっては、対応領域を特定する場合に他方の撮像画像（探索画像）を走査する水平走査線の数は、相関領域を抽出する場合に他方の撮像画像を走査する水平走査線の数より少ない。これにより、例えば、各特徴領域に対応する対応領域を特定する場合に、探索画像の１つの水平走査線を走査することで対応領域を見つけることができ、探索画像の多くの水平走査線を走査する必要がなくなり、処理時間を低減することができる。   In the second invention, the number of horizontal scanning lines for scanning the other captured image (search image) when specifying the corresponding region is equal to the horizontal scanning line for scanning the other captured image when extracting the correlation region. Less than the number of Thus, for example, when a corresponding region corresponding to each feature region is specified, the corresponding region can be found by scanning one horizontal scanning line of the search image, and many horizontal scanning lines of the search image are scanned. Therefore, the processing time can be reduced.

第３発明にあっては、傾きセンサなどにより自車の傾き度合いに関する情報を取得し、取得した情報に基づいて、他方の撮像画像の水平走査線の走査数を決定する。例えば、自車の傾き度合いが大きい場合、走査する水平走査線の数を増加させ、自車の傾き度合いが小さい場合、走査する水平走査線の数を減少させる。これにより、自車の傾きに応じて相関領域の探索範囲を変えることができ、確実に相関領域を抽出することができる。   In the third aspect of the invention, information related to the degree of inclination of the vehicle is acquired by an inclination sensor or the like, and the number of scans of the horizontal scanning line of the other captured image is determined based on the acquired information. For example, when the degree of inclination of the own vehicle is large, the number of horizontal scanning lines to be scanned is increased, and when the degree of inclination of the own vehicle is small, the number of horizontal scanning lines to be scanned is decreased. Thereby, the search range of a correlation area can be changed according to the inclination of the own vehicle, and a correlation area can be extracted reliably.

第４発明にあっては、設定した撮像距離に基づいて、他方の撮像画像の水平走査線の走査数を決定する。例えば、撮像距離が短い近距離の対象物を撮像する場合、相関領域の大きさが大きくなるため走査する水平走査線の数を増加させ、撮像距離が長い遠方の対象物を撮像する場合、相関領域の大きさが小さくなるため走査する水平走査線の数を減少させる。これにより、相関領域の大きさに応じて探索範囲を変えることができ、不要な処理を削減することができる。   In the fourth invention, the number of horizontal scanning lines of the other captured image is determined based on the set imaging distance. For example, when imaging a short-distance object with a short imaging distance, the size of the correlation area is large, so the number of horizontal scanning lines to be scanned is increased, and when imaging a distant object with a long imaging distance, Since the size of the area is reduced, the number of horizontal scanning lines to be scanned is reduced. Thereby, the search range can be changed according to the size of the correlation area, and unnecessary processing can be reduced.

第５発明にあっては、算出した傾き角度に基づいて、両撮像画像（基準画像及び探索画像）を座標中心の回りに回転する。例えば、回転前の撮像画像の座標（ｘ、ｙ）を回転後の撮像画像の座標（ｘ’、ｙ’）に変換する。具体的には、両撮像画像の各画素の画素値（例えば、輝度値）を回転後の各画素の画素値に置き換える。これにより、両撮像画像の水平走査線を地軸に対して垂直にすることができる。   In the fifth invention, both the captured images (reference image and search image) are rotated around the coordinate center based on the calculated tilt angle. For example, the coordinates (x, y) of the captured image before rotation are converted into the coordinates (x ′, y ′) of the captured image after rotation. Specifically, the pixel value (for example, luminance value) of each pixel of both captured images is replaced with the pixel value of each pixel after rotation. Thereby, the horizontal scanning line of both captured images can be made perpendicular to the ground axis.

第６発明にあっては、回転した両撮像画像の少なくとも１つの撮像画像を上下左右に並進する。例えば、探索画像を並進する場合、ｘ方向の並進量Δｘは、Δｘ＝ｘ１’−ｘ２’＋ｄとすることができる。ここで、ｘ１’は回転後の基準領域のｘ座標、ｘ２’は回転後の相関領域のｘ座標、ｄは基準領域と相関領域との視差である。また、ｙ方向の並進量Δｙは、Δｙ＝（ｙ１’−ｙ２’）の絶対値とすることができる。ここで、ｙ１’は回転後の基準領域のｙ座標、ｙ２’は回転後の相関領域のｙ座標である。これにより、水平走査線の傾きが大きい場合であっても、両撮像画像で同じｙ座標を通る水平走査線を一致させることができる。   In the sixth invention, at least one captured image of both rotated captured images is translated vertically and horizontally. For example, when the search image is translated, the translation amount Δx in the x direction can be Δx = x1′−x2 ′ + d. Here, x1 'is the x coordinate of the reference area after rotation, x2' is the x coordinate of the correlation area after rotation, and d is the parallax between the reference area and the correlation area. The translation amount Δy in the y direction can be an absolute value of Δy = (y1′−y2 ′). Here, y1 'is the y coordinate of the reference area after rotation, and y2' is the y coordinate of the correlation area after rotation. Thereby, even when the inclination of the horizontal scanning line is large, the horizontal scanning line passing through the same y coordinate in both captured images can be matched.

第７発明にあっては、基準領域及び相関領域との視差に基づいて、撮像対象までの距離を計測する。これにより、基準領域に対応する対象物までの距離を求めることができる。   In the seventh invention, the distance to the imaging target is measured based on the parallax between the reference region and the correlation region. Thereby, the distance to the target object corresponding to the reference region can be obtained.

第８発明にあっては、基準領域及び相関領域の撮像画像上の座標を斉次座標としたエピポーラ方程式に基づいて傾き角度を算出する。例えば、２つの撮像装置の間での回転がなく、両撮像装置の焦点距離が等しく、かつ撮像画像の縦横比率が等しい場合には、基準領域及び相関領域の座標に基づいたエピポーラ方程式を満たすマトリクス（Ｆマトリクス）を求め、Ｆマトリクスのパラメータの数を２個まで低減して水平走査線の傾き角度を算出することができる。   In the eighth invention, the tilt angle is calculated based on the epipolar equation with the coordinates on the captured image of the reference region and the correlation region as homogeneous coordinates. For example, when there is no rotation between two imaging devices, the focal lengths of both imaging devices are equal, and the aspect ratio of the captured images is equal, the matrix that satisfies the epipolar equation based on the coordinates of the reference region and the correlation region (F matrix) can be obtained, and the number of F matrix parameters can be reduced to two to calculate the tilt angle of the horizontal scanning line.

第９発明にあっては、２つの撮像装置と前述の距離計測装置とを備える。これにより、前述の発明を距離計測システムに適用することができる。   In the ninth invention, two imaging devices and the above-described distance measuring device are provided. Thereby, the above-described invention can be applied to the distance measurement system.

本発明にあっては、自車のロール発生、道路のバンクなどで車体が傾き、撮像画像の水平走査線が地軸と垂直でない場合でも、処理時間を抑制しつつ対象物までの距離を精度良く計測するができる。   In the present invention, even when the vehicle body is tilted due to the rolling of the own vehicle, the bank of the road, etc., and the horizontal scanning line of the captured image is not perpendicular to the ground axis, the distance to the object is accurately controlled while suppressing the processing time. I can measure.

以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は本発明の実施の形態に係る距離計測システムの構成を示す模式図である。距離計測システムは、車室内のルームミラー近傍に並置した２つのビデオカメラ１、２、距離計測装置としてのＥＣＵ３などを備えている。ビデオカメラ１、２は、波長が０．４〜０．８μｍの可視光を用いた撮像装置である。ビデオカメラ１、２で撮像された画像データは、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブルを介して接続してあるＥＣＵ３へ送信される。なお、２つのビデオカメラ１、２で共通の撮像領域を撮像することで、三角測量の原理により撮像対象までの距離を求めることができる。   Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments thereof. FIG. 1 is a schematic diagram showing a configuration of a distance measuring system according to an embodiment of the present invention. The distance measurement system includes two video cameras 1 and 2 juxtaposed in the vicinity of a room mirror in a vehicle interior, an ECU 3 as a distance measurement device, and the like. The video cameras 1 and 2 are imaging devices using visible light having a wavelength of 0.4 to 0.8 μm. The image data captured by the video cameras 1 and 2 is transmitted to the ECU 3 connected via a video cable corresponding to an analog video system such as NTSC or a digital video system. It should be noted that the distance to the imaging target can be obtained by the principle of triangulation by imaging the common imaging area between the two video cameras 1 and 2.

ＥＣＵ３には、運転者が所要の操作を行う操作部、音声又は効果音等により聴覚的な警告を発する警報部などを備えた表示装置４、車体の傾きを検出する傾きセンサ５、ヨーレートセンサ６、車速センサ７などが車載ＬＡＮケーブルを介して接続してある。   The ECU 3 includes a display device 4 including an operation unit for a driver to perform a required operation, an alarm unit for issuing an audible warning by voice or sound effect, a tilt sensor 5 for detecting the tilt of the vehicle body, and a yaw rate sensor 6. A vehicle speed sensor 7 and the like are connected via an in-vehicle LAN cable.

図２はビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換するＣＣＤ（Charge Couple Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子をマトリクス状に備えている。画像撮像部１１は、車両の周囲の可視光像を電気信号として読み取り、読み取った電気信号を信号処理部１２へ送信する。   FIG. 2 is a block diagram showing the configuration of the video camera 1. The image capturing unit 11 includes an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) that converts an optical signal into an electric signal in a matrix. The image capturing unit 11 reads a visible light image around the vehicle as an electric signal, and transmits the read electric signal to the signal processing unit 12.

信号処理部１２は、ＬＳＩで構成され、画像撮像部１１から受信した電気信号をデジタル信号に変換し、画像データとして画像メモリ１３へ記憶する。なお、画像データを画像メモリ１３へ一時記憶することは必須ではなく、映像出力部１４を介して直接ＥＣＵ３へ送信しても良い。   The signal processing unit 12 is configured by an LSI, converts an electrical signal received from the image capturing unit 11 into a digital signal, and stores the digital signal in the image memory 13 as image data. Note that it is not essential to temporarily store the image data in the image memory 13, and the image data may be transmitted directly to the ECU 3 via the video output unit 14.

映像出力部１４は、ＬＳＩで構成され、ＮＴＳＣ等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブルを介してＥＣＵ３に映像データを出力する。なお、ビデオカメラ２もビデオカメラ１と同様の構成である。   The video output unit 14 is configured by an LSI, and outputs video data to the ECU 3 via a video cable compatible with an analog video system such as NTSC or a digital video system. The video camera 2 has the same configuration as the video camera 1.

図３はＥＣＵ３の構成を示すブロック図である。ＥＣＵ３は、制御部３１、画像メモリ３２、ＲＡＭ３３、映像入力部３４、映像出力部３５、通信インタフェース部３６などを備えている。   FIG. 3 is a block diagram showing the configuration of the ECU 3. The ECU 3 includes a control unit 31, an image memory 32, a RAM 33, a video input unit 34, a video output unit 35, a communication interface unit 36, and the like.

映像入力部３４は、ビデオカメラ１、２から映像信号の入力を行う。映像入力部３４は、ビデオカメラ１、２から入力された画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、映像出力部３５は、ケーブルを介して液晶ディスプレイ等の表示装置４に対して画像データを出力する。   The video input unit 34 inputs video signals from the video cameras 1 and 2. The video input unit 34 stores the image data input from the video cameras 1 and 2 in the image memory 32 in synchronization with each frame. The video output unit 35 outputs image data to the display device 4 such as a liquid crystal display via a cable.

通信インタフェース部３６は、傾きセンサ５、ヨーレートセンサ６、車速センサ７との間の通信を行う通信機能を備えている。   The communication interface unit 36 has a communication function for performing communication with the tilt sensor 5, the yaw rate sensor 6, and the vehicle speed sensor 7.

画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ、ＳＤＲＡＭ等であり、映像入力部３４を介してビデオカメラ１、２から入力された画像データを記憶する。   The image memory 32 is an SRAM, flash memory, SDRAM or the like, and stores image data input from the video cameras 1 and 2 via the video input unit 34.

制御部３１は、ＣＰＵ又は専用のハードウエアで構成され、画像メモリ３２に記憶された画像データをフレーム単位で読み出し、読み出したフレーム単位の撮像画像（画像データ）に対して所定の画像処理を行う。制御部３１は、２つの撮像画像（基準画像、探索画像）により三角測量の原理を利用して対象物までの距離を計測する処理を行う。例えば、制御部３１は、一方の撮像画像（基準画像）におけるエッジ点検出処理又は二値化処理により、候補領域（特徴領域）を抽出する候補領域抽出処理を行う。   The control unit 31 is configured by a CPU or dedicated hardware, reads image data stored in the image memory 32 in units of frames, and performs predetermined image processing on the read captured images (image data) in units of frames. . The control unit 31 performs a process of measuring the distance to the object using the principle of triangulation using two captured images (reference image and search image). For example, the control unit 31 performs a candidate area extraction process for extracting a candidate area (feature area) by an edge point detection process or a binarization process in one captured image (reference image).

また、制御部３１は、他方の撮像画像（探索画像）の複数の水平走査線を走査して、候補領域の中から選択された基準領域に相関する相関領域を探索する相関領域探索処理を行う。また、制御部３１は、基準領域及び相関領域の視差に基づいて、撮像対象物までの距離を計測する距離計測処置を行う。   The control unit 31 scans a plurality of horizontal scanning lines of the other captured image (search image), and performs a correlation area search process for searching for a correlation area correlated with a reference area selected from the candidate areas. . In addition, the control unit 31 performs a distance measurement procedure that measures the distance to the imaging target based on the parallax of the reference region and the correlation region.

また、制御部３１は、基準領域及び相関領域の撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出する傾き角度算出処理を行う。また、制御部３１は、算出した傾き角度に基づいて撮像画像の変換処理を行う。また、制御部３１は、変換処理後の他方の撮像画像の水平走査線を走査して、基準領域を除く候補領域に対応する対応領域を探索する対応領域探索処理を行う。また、制御部３１は、候補領域及び対応領域の視差に基づいて、撮像対象物までの距離を計測する距離計測処置を行う。なお、制御部３１の処理の詳細については後述する。   Further, the control unit 31 performs an inclination angle calculation process for calculating the inclination angle of the horizontal scanning line of the captured image based on the coordinates of the reference region and the correlation region on the captured image. In addition, the control unit 31 performs a captured image conversion process based on the calculated tilt angle. In addition, the control unit 31 performs a corresponding area search process for scanning a horizontal scanning line of the other captured image after the conversion process and searching for a corresponding area corresponding to the candidate area excluding the reference area. Further, the control unit 31 performs a distance measurement procedure for measuring the distance to the imaging target based on the parallax of the candidate area and the corresponding area. Details of the processing of the control unit 31 will be described later.

また、制御部３１は、計測した距離に基づいて、例えば、自車前方の対象物（歩行者、車両、障害物など）の追跡、対象物との衝突判定、運転者への警告又は通知などの処理を行う。例えば、車速センサ７から取得した自車の走行速度と対象物との速度により相対速度を求め、衝突の可能性の有無を判定することができる。この場合、ヨーレートセンサ６からの信号を取得し、自車の回頭角を求め対象物までの距離を補正することもできる。   In addition, the control unit 31 tracks, for example, an object (pedestrian, vehicle, obstacle, etc.) ahead of the host vehicle, determines a collision with the object, warns or notifies the driver, based on the measured distance. Perform the process. For example, the relative speed can be obtained from the traveling speed of the own vehicle acquired from the vehicle speed sensor 7 and the speed of the object, and the presence or absence of a collision can be determined. In this case, a signal from the yaw rate sensor 6 can be acquired to determine the turning angle of the vehicle and to correct the distance to the object.

次に本発明に係る距離計測装置であるＥＣＵ３の動作について説明する。図４は２つの撮像画像に基づいて対象物までの距離を計測する例を示す説明図である。図中、左側の矩形はビデオカメラ１で撮像して得られた一方の撮像画像（基準画像）Ｌであり、右側の矩形はビデオカメラ２で撮像して得られた他方の撮像画像（探索画像）Ｒである。また、撮像画像Ｌ、Ｒの座標は撮像画像の左上を座標の原点として、横右方向にｘ座標、下方向にｙ座標としている。   Next, the operation of the ECU 3 that is the distance measuring device according to the present invention will be described. FIG. 4 is an explanatory diagram illustrating an example of measuring a distance to an object based on two captured images. In the drawing, the left rectangle is one captured image (reference image) L obtained by imaging with the video camera 1, and the right rectangle is the other captured image (search image) obtained by imaging with the video camera 2. ) R. In addition, the coordinates of the captured images L and R are the coordinate origin at the upper left of the captured image, the x coordinate in the horizontal right direction, and the y coordinate in the downward direction.

図４（ａ）は撮像画像の水平走査線が地軸と垂直になっている場合である。基準画像Ｌにおいて、候補領域ａが抽出されている。候補領域に対応する対応領域を探索画像Ｒで見つける場合には、探索画像Ｒにおいて候補領域ａのｙ座標と同じｙ座標の水平走査線を走査することにより、対応領域ｂを見つけることができる。   FIG. 4A shows a case where the horizontal scanning line of the captured image is perpendicular to the ground axis. In the reference image L, a candidate area a is extracted. When a corresponding area corresponding to the candidate area is found in the search image R, the corresponding area b can be found by scanning a horizontal scanning line having the same y coordinate as the y coordinate of the candidate area a in the search image R.

図４（ｂ）は撮像画像の水平走査線が地軸と垂直ではなく、水平走査線が、例えば、角度θだけ傾いた場合を示す。この場合、基準画像Ｌにおいて、候補領域ａが抽出されている。候補領域ａのｙ座標と同じｙ座標の水平走査線を走査して、候補領域ａに対応する対応領域を探索しても、水平走査線が傾いているため対応領域ｂを見つけることができない。本発明は、この問題を解決するためのものである。以下その詳細を説明する。   FIG. 4B shows a case where the horizontal scanning line of the captured image is not perpendicular to the ground axis, and the horizontal scanning line is inclined by an angle θ, for example. In this case, the candidate area a is extracted from the reference image L. Even if a horizontal scanning line having the same y coordinate as that of the candidate area a is scanned to search for a corresponding area corresponding to the candidate area a, the corresponding area b cannot be found because the horizontal scanning line is inclined. The present invention is intended to solve this problem. The details will be described below.

図５はＥＣＵ３の距離計測処理の手順を示すフローチャートである。制御部３１は、画像メモリ３２に記憶してある画像データをフレーム単位で読み出し（Ｓ１１）、読み出したフレーム単位の撮像画像のうちの一方の撮像画像（基準画像）の各画素の画素値（例えば、ＲＧＢ値、輝度値など）に基づいて二値化処理を行う（Ｓ１２）。なお、二値化処理に代えて、エッジ点を抽出することもできる。なお、エッジ点を抽出するには、例えば、プルューウィット・オペレータを用いることができる。   FIG. 5 is a flowchart showing a procedure of distance measurement processing of the ECU 3. The control unit 31 reads the image data stored in the image memory 32 in units of frames (S11), and the pixel value (for example, each pixel of one captured image (reference image) of the captured images in units of frames read out) , RGB values, luminance values, etc.) is performed (S12). Note that edge points can be extracted instead of the binarization process. In order to extract the edge point, for example, a Pruit wit operator can be used.

制御部３１は、二値化画像に基づいて、候補領域（特徴領域）を抽出し（Ｓ１３）、抽出した候補領域の中から、１又は複数（例えば、２個）の候補領域を基準領域として選択する（Ｓ１４）。基準領域の選択は、抽出された候補領域のうち、特徴が際立っているものを選択することができる。例えば、候補領域内の画素の画素値（例えば、輝度値）の平均値と、候補領域の周辺領域の画素の画素値（例えば、輝度値）の平均値との差分が最も大きいものから選択することができる。   The control unit 31 extracts a candidate area (feature area) based on the binarized image (S13), and uses one or a plurality of (for example, two) candidate areas as a reference area from the extracted candidate areas. Select (S14). The selection of the reference area can select an extracted candidate area that has a distinct feature. For example, the pixel value (for example, luminance value) of the pixels in the candidate region is selected from those having the largest difference between the average value of the pixel values (for example, luminance values) of the pixels in the peripheral region of the candidate region. be able to.

制御部３１は、選択した基準領域と同じサイズの領域（探索領域）を他方の撮像画像（探索画像）内に設定し、連続する複数の水平走査線（複数のライン）を走査して相関計算を行い、最も高い相関値を与える探索領域を相関領域として探索する（Ｓ１５）。相関値の算出は、例えば、式（１）で表される式に基づいて行われる。   The control unit 31 sets a region (search region) having the same size as the selected reference region in the other captured image (search image), scans a plurality of continuous horizontal scanning lines (a plurality of lines), and performs correlation calculation. And a search area giving the highest correlation value is searched as a correlation area (S15). The calculation of the correlation value is performed based on, for example, an expression represented by Expression (1).

Figure 2008286648
Figure 2008286648

ここで、Ｎは基準領域及び探索領域における総画素数、ｋは零からＮ−１までの整数、Ｆｋは基準領域内におけるｋ番目の画素の輝度値、Ｇｋは探索領域におけるｋ番目の画素の輝度値、及びＲは相関値を表す。なお、相関値の算出方法は、これに限定されるものではなく、絶対差分総和法、正規化相互相関法など、どのような方法であってもよい。   Here, N is the total number of pixels in the reference area and the search area, k is an integer from 0 to N-1, Fk is the luminance value of the kth pixel in the reference area, and Gk is the kth pixel in the search area. The luminance value and R represent a correlation value. The correlation value calculation method is not limited to this, and any method such as an absolute difference sum method or a normalized cross-correlation method may be used.

図６は基準領域に基づいて相関領域を探索する例を示す説明図である。図中、左側の矩形はビデオカメラ１で撮像して得られた一方の撮像画像（基準画像）Ｌであり、右側の矩形はビデオカメラ２で撮像して得られた他方の撮像画像（探索画像）Ｒである。また、撮像画像Ｌ、Ｒの座標は撮像画像の左上を座標の原点として、横右方向にｘ座標、下方向にｙ座標としている。また、各撮像画像の水平走査線は、水平方向から角度θだけ傾いているとする。   FIG. 6 is an explanatory diagram showing an example of searching for a correlation area based on a reference area. In the drawing, the left rectangle is one captured image (reference image) L obtained by imaging with the video camera 1, and the right rectangle is the other captured image (search image) obtained by imaging with the video camera 2. ) R. In addition, the coordinates of the captured images L and R are the coordinate origin at the upper left of the captured image, the x coordinate in the horizontal right direction, and the y coordinate in the downward direction. Further, it is assumed that the horizontal scanning line of each captured image is inclined by an angle θ from the horizontal direction.

基準画像において、複数の候補領域ａ１、ａ２、ａ３、ａ４が抽出され、抽出された候補領域の中から候補領域ａ１を基準領域として選択している。探索画像Ｒにおいて、基準領域ａ１のｙ座標と同じｙ座標の上下数ラインの水平走査線を走査することにより、相関領域ｂ１を見つけることができる。   In the reference image, a plurality of candidate areas a1, a2, a3, and a4 are extracted, and the candidate area a1 is selected as a reference area from the extracted candidate areas. In the search image R, the correlation region b1 can be found by scanning several horizontal scanning lines with the same y-coordinate as the y-coordinate of the reference region a1.

探索画像Ｒにおいて、相関領域を見つけるために走査する水平走査線の数は、予め設定しておくことができる。また、走査する水平走査線の数は、傾きセンサ５から取得した自車の傾き度合いに応じて変更することもできる。例えば、自車の傾き度合いが大きい場合、走査する水平走査線の数を増加させ、自車の傾き度合いが小さい場合、走査する水平走査線の数を減少させる。これにより、自車の傾きに応じて相関領域の探索範囲を変えることができ、確実に相関領域を抽出することができる。   In the search image R, the number of horizontal scanning lines to be scanned in order to find the correlation region can be set in advance. Further, the number of horizontal scanning lines to be scanned can be changed according to the degree of inclination of the own vehicle acquired from the inclination sensor 5. For example, when the degree of inclination of the own vehicle is large, the number of horizontal scanning lines to be scanned is increased, and when the degree of inclination of the own vehicle is small, the number of horizontal scanning lines to be scanned is decreased. Thereby, the search range of a correlation area can be changed according to the inclination of the own vehicle, and a correlation area can be extracted reliably.

また、走査する水平走査線の数は、撮像距離に応じて変更することもできる。例えば、撮像距離が短い近距離の対象物を撮像する場合、相関領域の大きさが大きくなるため走査する水平走査線の数を増加させ、撮像距離が長い遠方の対象物を撮像する場合、相関領域の大きさが小さくなるため走査する水平走査線の数を減少させる。これにより、相関領域の大きさに応じて探索範囲を変えることができ、不要な処理を削減することができる。なお、撮像距離は、例えば、運転者が表示装置４の操作部を操作して設定することができる。   Further, the number of horizontal scanning lines to be scanned can be changed according to the imaging distance. For example, when imaging a short-distance object with a short imaging distance, the size of the correlation area is large, so the number of horizontal scanning lines to be scanned is increased, and when imaging a distant object with a long imaging distance, Since the size of the area is reduced, the number of horizontal scanning lines to be scanned is reduced. Thereby, the search range can be changed according to the size of the correlation area, and unnecessary processing can be reduced. Note that the imaging distance can be set by the driver operating the operation unit of the display device 4, for example.

制御部３１は、基準領域及び相関領域の撮像画像上の座標に基づいて視差ｄを算出する（Ｓ１６）。制御部３１は、基準領域及び相関領域の座標を斉次座標としたエピポーラ方程式により、Ｆマトリクスのパラメータを求め、求めたパラメータに基づいて水平走査線の傾き角度θを算出する（Ｓ１７）。   The control unit 31 calculates the parallax d based on the coordinates on the captured image of the reference area and the correlation area (S16). The control unit 31 calculates F matrix parameters based on the epipolar equation using the coordinates of the reference region and the correlation region as homogeneous coordinates, and calculates the inclination angle θ of the horizontal scanning line based on the determined parameters (S17).

基準画像及び探索画像における斉次座標をそれぞれｍL 、ｍR とし、ＦマトリクスをＦとすると、エピポーラ方程式は、式（２）で表すことができる。斉次座標としては、基準領域及び相関領域の重心座標を用いることができる。あるいは、基準領域及び相関領域内の各画素の座標を用いてもよい。 When the homogeneous coordinates in the reference image and the search image are m L and m R , respectively, and the F matrix is F, the epipolar equation can be expressed by equation (2). As the homogeneous coordinates, the barycentric coordinates of the reference area and the correlation area can be used. Alternatively, the coordinates of each pixel in the reference area and the correlation area may be used.

Figure 2008286648
Figure 2008286648

Ｆマトリクスは、ビデオカメラ１、２の内部及び外部パラメータを用いて表される独立パラメータが７個あり、撮像画像上で７個の座標を用いることにより独立パラメータを求めることができる。しかし、２つのビデオカメラ１、２間でも回転がないこと、２つのビデオカメラ１、２の焦点距離が等しく、かつ撮像画像の縦横比率が等しい場合には、独立パラメータを２個まで低減することができ、Ｆパラメータは、式（３）で表すことができる。さらに、この場合、水平走査線の傾き角度θは、式（４）で表すことができる。   The F matrix has seven independent parameters expressed using internal and external parameters of the video cameras 1 and 2, and the independent parameters can be obtained by using seven coordinates on the captured image. However, if there is no rotation between the two video cameras 1 and 2 and the focal lengths of the two video cameras 1 and 2 are equal and the aspect ratio of the captured images is the same, the number of independent parameters is reduced to two. The F parameter can be expressed by equation (3). Furthermore, in this case, the inclination angle θ of the horizontal scanning line can be expressed by Expression (4).

制御部３１は、算出した傾き角度θに基づいて、基準画像及び探索画像を回転（変換）する（Ｓ１８）。具体的には、両撮像画像の各画素の画素値（例えば、輝度値）を回転後の各画素の画素値に置き換える。これにより、両撮像画像の水平走査線を地軸に対して垂直にすることができる。なお、傾き角度θが小さい場合には、画像の回転処理を行うことにより、両撮像画像の水平走査線を地軸に対して垂直にすることができるとともに、両撮像画像で同じｙ座標を通る水平走査線を略一致させることができる。   The control unit 31 rotates (converts) the reference image and the search image based on the calculated tilt angle θ (S18). Specifically, the pixel value (for example, luminance value) of each pixel of both captured images is replaced with the pixel value of each pixel after rotation. Thereby, the horizontal scanning line of both captured images can be made perpendicular to the ground axis. When the tilt angle θ is small, by performing image rotation processing, the horizontal scanning lines of both captured images can be made perpendicular to the ground axis, and both captured images can pass through the same y coordinate. The scanning lines can be substantially matched.

制御部３１は、回転後の探索画像を上下左右方向の所要の方向に並進（変換）する（Ｓ１９）。例えば、探索画像を並進する場合、ｘ方向の並進量Δｘは、式（５）で表すことができる。ここで、ｘ１’は回転後の基準領域のｘ座標、ｘ２’は回転後の相関領域のｘ座標、ｄは、ステップＳ１６で算出した基準領域と相関領域との視差である。また、ｙ方向の並進量Δｙは、式（６）で表すことができる。ここで、ｙ１’は回転後の基準領域のｙ座標、ｙ２’は回転後の相関領域のｙ座標である。   The control unit 31 translates (converts) the rotated search image in a required direction in the vertical and horizontal directions (S19). For example, when the search image is translated, the translation amount Δx in the x direction can be expressed by Expression (5). Here, x1 'is the x coordinate of the reference area after rotation, x2' is the x coordinate of the correlation area after rotation, and d is the parallax between the reference area and the correlation area calculated in step S16. Further, the translation amount Δy in the y direction can be expressed by Expression (6). Here, y1 'is the y coordinate of the reference area after rotation, and y2' is the y coordinate of the correlation area after rotation.

Figure 2008286648
Figure 2008286648

これにより、水平走査線の傾きが大きい場合であっても、両撮像画像で同じｙ座標を通る水平走査線を一致させることができる。なお、並進させるのは、探索画像に限定されず、基準画像でもよく、あるいは、両者を並進させてもよい。   Thereby, even when the inclination of the horizontal scanning line is large, the horizontal scanning line passing through the same y coordinate in both captured images can be matched. Note that the translation is not limited to the search image, and may be a reference image, or both may be translated.

図７は水平走査線の傾き角度に応じた撮像画像の変換処理の例を示す説明図である。図中、左側の矩形はビデオカメラ１で撮像して得られた一方の撮像画像（基準画像）Ｌであり、右側の矩形はビデオカメラ２で撮像して得られた他方の撮像画像（探索画像）Ｒである。また、撮像画像Ｌ、Ｒの座標は撮像画像の左上を座標の原点として、横右方向にｘ座標、下方向にｙ座標としている。また、各撮像画像の水平走査線は、水平方向から角度θだけ傾いているとする。   FIG. 7 is an explanatory diagram illustrating an example of a conversion process of a captured image according to the inclination angle of the horizontal scanning line. In the drawing, the left rectangle is one captured image (reference image) L obtained by imaging with the video camera 1, and the right rectangle is the other captured image (search image) obtained by imaging with the video camera 2. ) R. In addition, the coordinates of the captured images L and R are the coordinate origin at the upper left of the captured image, the x coordinate in the horizontal right direction, and the y coordinate in the downward direction. Further, it is assumed that the horizontal scanning line of each captured image is inclined by an angle θ from the horizontal direction.

図７（ａ）では、基準画像Ｌにおいて基準領域ａ１（ｘ１、ｙ１）が選択され、基準領域ａ１（ｘ１、ｙ１）に相関する相関領域ｂ１（ｘ２、ｙ２）が探索により見つけられている。基準領域ａ１及び相関領域ｂ１の座標を斉次座標としてエピポーラ方程式によりＦパラメータを求め、水平走査線の傾き角度θを算出する。   In FIG. 7A, the reference area a1 (x1, y1) is selected in the reference image L, and the correlation area b1 (x2, y2) correlated with the reference area a1 (x1, y1) is found by the search. Using the coordinates of the reference area a1 and the correlation area b1 as homogeneous coordinates, the F parameter is obtained by an epipolar equation, and the inclination angle θ of the horizontal scanning line is calculated.

図７（ｂ）では、傾き角度θだけ基準領域Ｌ及び探索画像Ｒを座標の原点を中心として回転処理を行う。回転処理後の基準領域ａ１の座標は、（ｘ１’、ｙ１’）となり、相関領域ｂ１の座標は、（ｘ２’、ｙ２’）となる。これにより、両撮像画像の水平走査線を地軸に対して垂直にする。   In FIG. 7B, the reference region L and the search image R are rotated about the origin of coordinates by the tilt angle θ. The coordinates of the reference area a1 after the rotation processing are (x1 ′, y1 ′), and the coordinates of the correlation area b1 are (x2 ′, y2 ′). Thereby, the horizontal scanning line of both captured images is made perpendicular to the ground axis.

図７（ｃ）では、回転処理後の探索画像Ｒをｘ方向にΔｘ、ｙ方向にΔｙ並進させる。これにより、両撮像画像で同じｙ座標を通る水平走査線を一致させることができる。図７（ｃ）に示すように、基準領域ａ１と相関領域ｂ１は同じ水平走査線上に位置することになる。   In FIG. 7C, the search image R after the rotation process is translated by Δx in the x direction and Δy in the y direction. Thereby, the horizontal scanning line which passes along the same y coordinate in both captured images can be made to correspond. As shown in FIG. 7C, the reference area a1 and the correlation area b1 are located on the same horizontal scanning line.

制御部３１は、基準領域以外の候補領域と同じサイズの領域（探索領域）を探索画像内に設定し、候補領域のｙ座標と同じｙ座標上の水平走査線を走査して相関計算を行い、最も高い相関値を与える探索領域を対応領域として探索する（Ｓ２０）。相関値の算出は、例えば、式（１）を用いることができる。   The control unit 31 sets a region (search region) having the same size as the candidate region other than the reference region in the search image, and performs a correlation calculation by scanning a horizontal scanning line on the same y coordinate as the y coordinate of the candidate region. The search area giving the highest correlation value is searched as the corresponding area (S20). For example, Equation (1) can be used to calculate the correlation value.

図８は対応領域の探索例を示す説明図である。図８に示すように、基準領域以外の候補領域ａ２、ａ３、ａ４それぞれに対応する対応領域ｂ２、ｂ３、ｂ４をｙ座標が同じ水平走査線上で見つけることができる。これにより、基準領域を除く他の候補領域ａ２、ａ３、ａ４については、探索画像の１つの水平走査線を走査することで対応領域ｂ２、ｂ３、ｂ４を見つけることができ、探索画像の多くの水平走査線を走査する必要がなくなり、処理時間を大幅に低減することができる。   FIG. 8 is an explanatory diagram showing an example of searching for a corresponding area. As shown in FIG. 8, corresponding regions b2, b3, and b4 corresponding to candidate regions a2, a3, and a4 other than the reference region can be found on the horizontal scanning line having the same y coordinate. As a result, for the other candidate areas a2, a3, and a4 excluding the reference area, the corresponding areas b2, b3, and b4 can be found by scanning one horizontal scanning line of the search image. It is not necessary to scan the horizontal scanning line, and the processing time can be greatly reduced.

制御部３１は、候補領域及び対応領域の撮像画像上の座標に基づいて視差を算出し（Ｓ２１）、算出した視差に基づいて対象物までの距離を計測し（Ｓ２２）、処理を終了する。   The control unit 31 calculates the parallax based on the coordinates on the captured image of the candidate area and the corresponding area (S21), measures the distance to the object based on the calculated parallax (S22), and ends the process.

以上説明したように、本発明にあっては、自車のロール発生、道路のバンクなどで車体が傾き、撮像画像の水平走査線が地軸と垂直でない場合でも、処理時間を抑制しつつ対象物までの距離を精度良く計測するができる。   As described above, in the present invention, even when the vehicle body is tilted due to the rolling of the own vehicle, the bank of the road, etc., and the horizontal scanning line of the captured image is not perpendicular to the ground axis, the processing time is suppressed and the object is suppressed. Can be accurately measured.

上述の実施の形態では、可視光のビデオカメラを用いる構成であったが、ビデオカメラはこれに限定されるものではなく、近赤外線、遠赤外線のビデオカメラを用いる構成でもよい。近赤外線のビデオカメラでは、波長が０．８〜３μｍの近赤外光を取得し、遠赤外線のビデオカメラでは、波長が８〜１２μｍの遠赤外線を取得する。また、ビデオカメラの設置場所は、ルームミラー近傍に限定されず、バンパ内、フロントグリル内部などに設置することができる。   In the above-described embodiment, a configuration using a visible light video camera is used. However, the video camera is not limited to this, and a configuration using a near infrared or far infrared video camera may be used. A near-infrared video camera acquires near-infrared light having a wavelength of 0.8 to 3 μm, and a far-infrared video camera acquires far-infrared light having a wavelength of 8 to 12 μm. The installation location of the video camera is not limited to the vicinity of the rearview mirror, and can be installed in the bumper, the front grill, or the like.

上述の実施の形態で、対象物までの距離計測を行った後、基準画像の候補領域に対して、移動追跡（トラッキング）、衝突判定、障害物判定などを行うことができる。この場合、トラッキングは、例えば、カルマンフィルタなどを用いて行うことができる。また、障害物判定は、例えば、サポートベクタマシン（ＳＶＭ）、ブースティング（Ｂｏｏｓｔｉｎｇ）など学習アルゴリズム手法を用いることができる。   In the above-described embodiment, after the distance measurement to the target object is performed, movement tracking (tracking), collision determination, obstacle determination, and the like can be performed on the candidate area of the reference image. In this case, tracking can be performed using, for example, a Kalman filter. For the obstacle determination, for example, a learning algorithm method such as support vector machine (SVM) or boosting can be used.

本発明の実施の形態に係る距離計測システムの構成を示す模式図である。It is a schematic diagram which shows the structure of the distance measurement system which concerns on embodiment of this invention. ビデオカメラの構成を示すブロック図である。It is a block diagram which shows the structure of a video camera. ＥＣＵの構成を示すブロック図である。It is a block diagram which shows the structure of ECU. ２つの撮像画像に基づいて対象物までの距離を計測する例を示す説明図である。It is explanatory drawing which shows the example which measures the distance to a target object based on two captured images. ＥＣＵの距離計測処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the distance measurement process of ECU. 基準領域に基づいて相関領域を探索する例を示す説明図である。It is explanatory drawing which shows the example which searches a correlation area | region based on a reference | standard area | region. 水平走査線の傾き角度に応じた撮像画像の変換処理の例を示す説明図である。It is explanatory drawing which shows the example of the conversion process of the captured image according to the inclination angle of a horizontal scanning line. 対応領域の探索例を示す説明図である。It is explanatory drawing which shows the example of a search of a corresponding | compatible area | region.

符号の説明Explanation of symbols

１、２ ビデオカメラ
３ ＥＣＵ
４ 表示装置
５ 傾きセンサ
６ ヨーレートセンサ
７ 車速センサ
３１ 制御部
３２ 画像メモリ
３３ ＲＡＭ
３４ 映像入力部
３５ 映像出力部
３６ 通信インタフェース部 1, 2 Video camera 3 ECU
4 Display Device 5 Tilt Sensor 6 Yaw Rate Sensor 7 Vehicle Speed Sensor 31 Control Unit 32 Image Memory 33 RAM
34 Video Input Unit 35 Video Output Unit 36 Communication Interface Unit

Claims (10)

２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測装置において、
一方の撮像画像の各画素の画素値に基づいて、複数の特徴領域を抽出する特徴領域抽出手段と、
該特徴領域抽出手段で抽出した特徴領域の中から１又は複数の特徴領域を基準領域として選択する選択手段と、
他方の撮像画像の複数の水平走査線を走査して、前記選択手段で選択した基準領域と相関がある相関領域を抽出する相関領域抽出手段と、
前記基準領域及び前記相関領域抽出手段で抽出した相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出する角度算出手段と、
該角度算出手段で算出した傾き角度に基づいて両撮像画像の座標を変換する変換手段と、
該変換手段で変換した他方の撮像画像の水平走査線を走査して、前記基準領域を除く特徴領域に対応する対応領域を特定する特定手段と、
前記特徴領域及び前記特定手段で特定した対応領域との視差に基づいて、撮像対象までの距離を計測する計測手段と
を備えることを特徴とする距離計測装置。 In the distance measuring device that measures the distance from the own vehicle to the imaging target based on the respective captured images acquired by the two imaging devices,
Feature region extraction means for extracting a plurality of feature regions based on the pixel value of each pixel of one captured image;
Selecting means for selecting one or more feature areas as reference areas from the feature areas extracted by the feature area extracting means;
Correlation area extraction means for scanning a plurality of horizontal scanning lines of the other captured image and extracting a correlation area correlated with the reference area selected by the selection means;
An angle calculating means for calculating an inclination angle of a horizontal scanning line of the captured image based on coordinates on the captured image of each of the correlation areas extracted by the reference area and the correlation area extracting means;
Conversion means for converting the coordinates of both captured images based on the tilt angle calculated by the angle calculation means;
A specifying unit that scans a horizontal scanning line of the other captured image converted by the conversion unit and specifies a corresponding region corresponding to the feature region excluding the reference region;
A distance measuring apparatus comprising: a measuring unit that measures a distance to an imaging target based on a parallax between the feature region and the corresponding region specified by the specifying unit. 前記特定手段は、
前記相関領域抽出手段が他方の撮像画像を走査する水平走査線の数より少ない数の水平走査線を走査するように構成してあることを特徴する請求項１に記載の距離計測装置。 The specifying means is:
2. The distance measuring apparatus according to claim 1, wherein the correlation area extracting unit scans a smaller number of horizontal scanning lines than the number of horizontal scanning lines scanning the other captured image. 自車の傾き度合いに関する情報を取得する取得手段と、
該取得手段で取得した情報に基づいて、他方の撮像画像の水平走査線の走査数を決定する決定手段と
を備え、
前記相関領域抽出手段は、
前記決定手段で決定した走査数の水平走査線を走査するように構成してあることを特徴とする請求項１又は請求項２に記載の距離計測装置。 Acquisition means for acquiring information related to the degree of inclination of the vehicle;
Determining means for determining the number of scans of the horizontal scanning line of the other captured image based on the information acquired by the acquisition means;
The correlation area extracting means includes
The distance measuring device according to claim 1 or 2, wherein the distance measuring device is configured to scan the horizontal scanning lines of the number of scans determined by the determining means. 撮像距離を設定する設定手段と、
該設定手段で設定した撮像距離に基づいて、他方の撮像画像の水平走査線の走査数を決定する決定手段と
を備え、
前記相関領域抽出手段は、
前記決定手段で決定した走査数の水平走査線を走査するように構成してあることを特徴とする請求項１又は請求項２に記載の距離計測装置。 Setting means for setting the imaging distance;
Determining means for determining the number of scans of the horizontal scanning line of the other captured image based on the imaging distance set by the setting means;
The correlation area extracting means includes
The distance measuring device according to claim 1 or 2, wherein the distance measuring device is configured to scan the horizontal scanning lines of the number of scans determined by the determining means. 前記角度算出手段で算出した傾き角度に基づいて、両撮像画像を座標中心の回りに回転する回転手段を備え、
前記変換手段は、
前記回転手段で両撮像画像を回転させて座標を変換するように構成してあることを特徴とする請求項１又は請求項２に記載の距離計測装置。 Rotating means for rotating both captured images around the center of coordinates based on the tilt angle calculated by the angle calculating means,
The converting means includes
The distance measuring device according to claim 1 or 2, wherein coordinates are converted by rotating both captured images by the rotating means. 前記回転手段で回転した両撮像画像の少なくとも１つの撮像画像を並進する並進手段を備え、
前記変換手段は、
前記並進手段で並進させて座標を変換するように構成してあることを特徴とする請求項５に記載の距離計測装置。 A translation means for translating at least one captured image of both captured images rotated by the rotation means;
The converting means includes
The distance measuring device according to claim 5, wherein the coordinate is converted by being translated by the translation means. 前記計測手段は、
前記基準領域及び相関領域との視差に基づいて、撮像対象までの距離を計測するように構成してあることを特徴とする請求項１に記載の距離計測装置。 The measuring means includes
The distance measuring device according to claim 1, wherein the distance measuring device is configured to measure a distance to an imaging target based on a parallax between the reference region and the correlation region. 前記角度算出手段は、
前記基準領域及び相関領域の撮像画像上の座標を斉次座標としたエピポーラ方程式に基づいて傾き角度を算出するように構成してあることを特徴とする請求項１乃至請求項７のいずれかに記載の距離計測装置。 The angle calculation means includes
8. The tilt angle is calculated based on an epipolar equation with coordinates on the captured image of the reference region and the correlation region as homogeneous coordinates. The described distance measuring device. ２つの撮像装置と、請求項１乃至請求項８のいずれかに記載の距離計測装置とを備え、前記撮像装置それぞれで撮像して得られた２つの撮像画像を前記距離計測装置で処理して撮像対象までの距離を計測することを特徴とする距離計測システム。   Two imaging devices and the distance measuring device according to any one of claims 1 to 8, wherein the two measuring images obtained by imaging each of the imaging devices are processed by the distance measuring device. A distance measurement system characterized by measuring a distance to an imaging target. ２つの撮像装置で取得したそれぞれの撮像画像に基づいて自車から撮像対象までの距離を計測する距離計測方法において、
一方の撮像画像の各画素の画素値に基づいて、複数の特徴領域を抽出し、
抽出した特徴領域の中から１又は複数の特徴領域を基準領域として選択し、
他方の撮像画像の複数の水平走査線を走査して、選択した基準領域と相関がある相関領域を抽出し、
前記基準領域及び相関領域それぞれの撮像画像上の座標に基づいて、撮像画像の水平走査線の傾き角度を算出し、
算出した角度に基づいて両撮像画像の座標を変換し、
変換した他方の撮像画像の水平走査線を走査して、前記基準領域を除く特徴領域に対応する対応領域を特定し、
前記特徴領域及び対応領域との視差に基づいて、撮像対象までの距離を計測することを特徴とする距離計測方法。 In a distance measuring method for measuring a distance from the own vehicle to an imaging target based on respective captured images acquired by two imaging devices,
Based on the pixel value of each pixel of one captured image, extract a plurality of feature regions,
Select one or more feature regions from the extracted feature regions as a reference region,
A plurality of horizontal scanning lines of the other captured image are scanned to extract a correlation area correlated with the selected reference area,
Based on the coordinates on the captured image of each of the reference region and the correlation region, the inclination angle of the horizontal scanning line of the captured image is calculated,
Convert the coordinates of both captured images based on the calculated angle,
Scan the horizontal scanning line of the other captured image that has been converted to identify the corresponding region corresponding to the feature region excluding the reference region,
A distance measurement method comprising measuring a distance to an imaging target based on a parallax between the feature area and the corresponding area.
JP2007132122A 2007-05-17 2007-05-17 Distance measuring device, distance measuring system, and distance measuring method Pending JP2008286648A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007132122A JP2008286648A (en) 2007-05-17 2007-05-17 Distance measuring device, distance measuring system, and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007132122A JP2008286648A (en) 2007-05-17 2007-05-17 Distance measuring device, distance measuring system, and distance measuring method

Publications (1)

Publication Number Publication Date
JP2008286648A true JP2008286648A (en) 2008-11-27

Family

ID=40146506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007132122A Pending JP2008286648A (en) 2007-05-17 2007-05-17 Distance measuring device, distance measuring system, and distance measuring method

Country Status (1)

Country Link
JP (1) JP2008286648A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191637A (en) * 2009-02-17 2010-09-02 Mazda Motor Corp Driving support device for vehicle
JP2012063217A (en) * 2010-09-15 2012-03-29 Sharp Corp Passive type optical range finding sensor, electronic apparatus and range finding method
KR20140032283A (en) * 2012-09-06 2014-03-14 현대모비스 주식회사 Method and apparatus for processing stereo images
JP2014174357A (en) * 2013-03-11 2014-09-22 Canon Inc Imaging apparatus, imaging system, signal processor, program, and storage medium
CN115861741A (en) * 2023-03-01 2023-03-28 小米汽车科技有限公司 Target calibration method and device, electronic equipment, storage medium and vehicle

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191637A (en) * 2009-02-17 2010-09-02 Mazda Motor Corp Driving support device for vehicle
JP2012063217A (en) * 2010-09-15 2012-03-29 Sharp Corp Passive type optical range finding sensor, electronic apparatus and range finding method
KR20140032283A (en) * 2012-09-06 2014-03-14 현대모비스 주식회사 Method and apparatus for processing stereo images
KR101907852B1 (en) * 2012-09-06 2018-10-15 현대모비스 주식회사 Method and Apparatus for Processing Stereo Images
JP2014174357A (en) * 2013-03-11 2014-09-22 Canon Inc Imaging apparatus, imaging system, signal processor, program, and storage medium
CN115861741A (en) * 2023-03-01 2023-03-28 小米汽车科技有限公司 Target calibration method and device, electronic equipment, storage medium and vehicle
CN115861741B (en) * 2023-03-01 2023-10-17 小米汽车科技有限公司 Target calibration method and device, electronic equipment, storage medium and vehicle

Similar Documents

Publication Publication Date Title
JP5615441B2 (en) Image processing apparatus and image processing method
JP4203512B2 (en) Vehicle periphery monitoring device
JP5012718B2 (en) Image processing device
JP2002359838A (en) Device for supporting driving
JP6032034B2 (en) Object detection device
US9798936B2 (en) System and method for detecting obstacles using a single camera
CN107950023B (en) Vehicle display device and vehicle display method
JP3709879B2 (en) Stereo image processing device
JP6617150B2 (en) Object detection method and object detection apparatus
JP6065629B2 (en) Object detection device
JP2006318059A (en) Apparatus, method, and program for image processing
KR20140024681A (en) Apparatus and method for detecting lane
JP2008286648A (en) Distance measuring device, distance measuring system, and distance measuring method
JP2015158749A (en) Image processor, mobile body, robot, device control method and program
JP2015230703A (en) Object detection device and object detection method
JP2012252501A (en) Traveling path recognition device and traveling path recognition program
JP2014130429A (en) Photographing device and three-dimensional object area detection program
JP2008165595A (en) Obstacle detection method, obstacle detection device, and obstacle detection system
JP2006318061A (en) Apparatus, method, and program for image processing
JP2006050451A (en) Obstacle warning system and image processing apparatus
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP2009193130A (en) Vehicle surrounding monitoring device, vehicle, program for vehicle surrounding monitoring and vehicle surrounding monitoring method
JP2005216200A (en) Other vehicle detecting apparatus and method
JP5432545B2 (en) Object detection device
JP2006317193A (en) Image processing apparatus, imaging processing method and program for processing image