JP2009139323A - Travel road surface detecting apparatus for vehicle - Google Patents
Travel road surface detecting apparatus for vehicle Download PDFInfo
- Publication number
- JP2009139323A JP2009139323A JP2007318566A JP2007318566A JP2009139323A JP 2009139323 A JP2009139323 A JP 2009139323A JP 2007318566 A JP2007318566 A JP 2007318566A JP 2007318566 A JP2007318566 A JP 2007318566A JP 2009139323 A JP2009139323 A JP 2009139323A
- Authority
- JP
- Japan
- Prior art keywords
- plane
- road surface
- constant
- adjacent
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両用走行路面検出装置に係り、特に、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置に関する。 The present invention relates to a vehicular traveling road surface detection device, and more particularly to a vehicular traveling road surface detection device that detects a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging the traveling road surface.
従来、特許文献1に示すように、ステレオカメラにより得られる基準の画像を他方のカメラ視点に画像変換し、その変換画像を他方のカメラ画像とにより走行路面の平面パラメータを算出する平面検出装置が知られている。
また、特許文献2に示すように、前方の道路の勾配角を検出することが出来る前方道路の勾配検出方法が知られている。
Conventionally, as shown in
Further, as shown in
しかしながら、上述したような装置或いは方法では、演算処理の負担が非常に大きく、特に、複数の傾斜変化がある路面については処理しきれない場合があった。また、単純な、例えば2つの平面同士の勾配変化を求めることが出来るものの、様々な傾斜変化がある場合に正確に路面までの距離や傾斜を検出することが出来ないものである。 However, in the apparatus or method as described above, the burden of the arithmetic processing is very large, and in particular, there are cases where the road surface having a plurality of inclination changes cannot be processed. In addition, a simple change in the gradient between two planes, for example, can be obtained, but when there are various changes in the inclination, the distance to the road surface and the inclination cannot be detected accurately.
そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであり、簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供することを目的としている。 Accordingly, the present invention has been made to solve the above-described problems of the prior art, and an object thereof is to provide a vehicle road surface detection device that can accurately detect a road surface by simple processing. Yes.
上記の目的を達成するために本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第1撮像手段と、この第1撮像手段により撮像された路面画像と少なくとも1部が重複する路面画像が得られるように走行路面を撮像する第2撮像手段と、撮像される路面画像から路面を複数の平面に分割する路面分割手段と、これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、第1撮像手段及び第2撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する特定平面定数算出手段と、特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、特定平面算出手段により算出された平面定数と、隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有することを特徴としている。 In order to achieve the above object, a vehicle road surface detection device according to the present invention is a vehicle road surface detection device for detecting a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging the road surface. First imaging means for imaging the vehicle, second imaging means for imaging the traveling road surface so as to obtain a road surface image that overlaps at least part of the road surface image captured by the first imaging means, and the road surface image to be captured Road surface dividing means for dividing the road surface into a plurality of planes, divided plane specifying means for specifying any one of these divided planes as a specific plane, and each image captured by the first imaging means and the second imaging means Specific plane constant calculation means for detecting a corresponding point searched for in the road surface image and calculating a plane constant defining the specific plane by projective transformation, and a plane adjacent to the specific plane. Adjacent plane constant estimating means for estimating the plane constant of the specific plane from the gradient change at the boundary between the specific plane and its adjacent plane, the plane constant calculated by the specific plane calculating means, and the plane constant estimated by the adjacent plane constant estimating means And road surface gradient estimating means for estimating the road surface gradient of a predetermined wide area.
このように構成された本発明においては、路面分割手段により撮像される路面画像の路面を複数の平面に分割し、これらの分割された平面のうちいずれかを特定平面として特定し、特定平面定数算出手段により第1撮像手段及び第2撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出し、そして、隣接平面定数推定手段により、この特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定している。このように、撮像された路面を複数に分割したうちの一つについて特定平面定数算出手段により平面定数(例えば、車両からの距離や路面の傾き)が算出され、他の隣接する面は、この算出した平面定数を基に境界部の勾配変化を考慮して算出している。ここで、第1撮像手段及び第2撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する方法(特定平面定数算出手段)は、ECU(コンピュータ)による処理負担が大きい。一方、或る平面間の境界部の勾配変化を算出する方法のECUによる処理負担は小さい。そして、本発明では、分割した複数の平面のうちの1つの平面定数をこの処理負担が大きい特定平面定数算出手段により算出した後、その特定平面に隣接する隣接平面及びこのような隣接平面にさらに隣接する次なる隣接平面の平面定数は、処理負担が小さい隣接平面定数推定手段により得られる勾配変化から算出している。そして、特定平面算出手段により算出された平面定数と、隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定するようにしている。従って、広い範囲にわたる路面検出の処理負担が軽減される。また、第1撮像手段及び第2撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数が算出され、この特定平面の平面定数を基に隣接平面の平面定数が推定されるようになっているので路面(例えば、路面の距離と傾斜)を正確に検出することが出来る。これらの結果、簡易な処理により路面を正確に検出することが出来る。 In the present invention configured as described above, the road surface of the road surface image picked up by the road surface dividing means is divided into a plurality of planes, one of these divided planes is specified as a specific plane, and a specific plane constant is set. The calculation means detects a corresponding point searched for in each road surface image picked up by the first image pickup means and the second image pickup means, calculates a plane constant defining a specific plane by projective transformation, and adjacent The plane constant of the plane adjacent to the specific plane is estimated from the change in the gradient of the boundary between the specific plane and the adjacent plane by the plane constant estimation means. As described above, the plane constant (for example, the distance from the vehicle and the inclination of the road surface) is calculated by the specific plane constant calculating unit for one of the imaged road surfaces divided into a plurality, and the other adjacent surfaces are Based on the calculated plane constant, the change in the gradient at the boundary is taken into consideration. Here, a method of detecting a corresponding point searched for in each road surface image picked up by the first image pickup means and the second image pickup means and calculating a plane constant defining a specific plane by projective transformation (specific plane) The constant calculation means) has a heavy processing load on the ECU (computer). On the other hand, the processing load on the ECU of the method of calculating the gradient change at the boundary between certain planes is small. And in this invention, after calculating one plane constant of the divided | segmented several planes by the specific plane constant calculation means with this large processing burden, it adjoins to the adjacent plane adjacent to the specific plane, and such an adjacent plane. The plane constant of the adjacent next adjacent plane is calculated from the gradient change obtained by the adjacent plane constant estimating means with a small processing load. The slope of the road surface in a predetermined wide area is estimated from the plane constant calculated by the specific plane calculation means and the plane constant estimated by the adjacent plane constant estimation means. Therefore, the processing load for road surface detection over a wide range is reduced. Further, the corresponding constants searched for in the respective road surface images picked up by the first image pickup means and the second image pickup means are detected, and a plane constant defining the specific plane is calculated by projective transformation, and the specific plane is calculated. Since the plane constant of the adjacent plane is estimated based on the plane constant, the road surface (for example, the distance and inclination of the road surface) can be accurately detected. As a result, the road surface can be accurately detected by simple processing.
また、本発明において、好ましくは、路面分割手段は、撮像される路面画像の路面を車両進行方向の縦方向に分割する。
このように構成された本発明においては、車両進行方向の路面を簡易且つ正確に検出することが出来る。
In the present invention, preferably, the road surface dividing means divides the road surface of the road surface image to be captured in the vertical direction of the vehicle traveling direction.
In the present invention configured as described above, the road surface in the vehicle traveling direction can be detected easily and accurately.
また、本発明において、好ましくは、路面分割手段は、撮像される路面画像の路面を路面の横断方向に分割する。
このように構成された本発明においては、路面横断方向の路面を簡易且つ正確に検出することが出来る。
In the present invention, it is preferable that the road surface dividing unit divides the road surface of the road image to be imaged in the transverse direction of the road surface.
In the present invention configured as described above, the road surface in the direction crossing the road surface can be detected easily and accurately.
また、本発明において、好ましくは、特定平面及び隣接平面のそれぞれの平面定数は、車両からの距離d及び傾きnにより規定される。
このように構成された本発明においては、路面の車両からの距離及び傾斜の度合いを正確に検出することが出来る。
In the present invention, it is preferable that the plane constants of the specific plane and the adjacent plane are defined by the distance d from the vehicle and the inclination n.
In the present invention configured as described above, the distance of the road surface from the vehicle and the degree of inclination can be accurately detected.
また、本発明において、好ましくは、隣接平面定数算出手段は、特定平面の車両からの距離d及び傾きnと、その特定平面と隣接平面との境界部の勾配変化δにより、隣接平面の平面定数を推定する。
このように構成された本発明においては、隣接平面の路面の車両からの距離及び傾斜の度合いを距離d、傾きn及び勾配変化δにより正確に検出することが出来る。
In the present invention, it is preferable that the adjacent plane constant calculating means calculates the plane constant of the adjacent plane based on the distance d and the inclination n of the specific plane from the vehicle and the gradient change δ at the boundary between the specific plane and the adjacent plane. Is estimated.
In the present invention configured as described above, the distance and the degree of inclination of the road surface of the adjacent plane from the vehicle can be accurately detected by the distance d, the inclination n, and the gradient change δ.
また、本発明において、好ましくは、特定平面定数算出手段により算出される平面定数の路面の横断方向の傾斜n’が所定値以下のとき、路面の横断方向に分割された領域の平面定数は互いに同じものとする。
このように構成された本発明においては、路面の横断方向の傾斜が小さい場合に、路面の横断方向の隣接平面をその横方向の特定平面(或いは隣接平面)と同じになるようにしているので、処理負担を軽減することが出来る。
In the present invention, it is preferable that the plane constants of the regions divided in the transverse direction of the road surface are mutually equal when the slope n ′ in the transverse direction of the road surface of the plane constant calculated by the specific plane constant calculating unit is equal to or less than a predetermined value. Same thing.
In the present invention configured as described above, when the road surface has a small inclination in the transverse direction, the adjacent plane in the transverse direction of the road surface is made the same as the specific plane (or adjacent plane) in the lateral direction. , Processing burden can be reduced.
また、本発明において、好ましくは、隣接平面定数算出手段により隣接平面の平面定数の算出が数回行われたとき、その次には、再度特定平面算出手段により平面定数を算出し、その後順次隣接平面定数算出手段による特定平面の算出を行う。
このように構成された本発明においては、隣接平面定数算出手段による隣接平面の平面定数の算出が数回行われたとき、その次には、再度特定平面算出手段により平面定数を算出し、その後順次、隣接平面定数算出手段による特定平面の算出を行うようにしているので、隣接平面定数算出手段を複数回行うことによる累積誤差を小さくして、路面を正確に検出するようにすることが出来る。
In the present invention, preferably, when the plane constant of the adjacent plane is calculated several times by the adjacent plane constant calculating means, then the plane constant is calculated again by the specific plane calculating means and then sequentially adjacent. The specific plane is calculated by the plane constant calculation means.
In the present invention configured as described above, when the calculation of the plane constant of the adjacent plane by the adjacent plane constant calculation unit is performed several times, the plane constant is then calculated again by the specific plane calculation unit, and then Since the specific plane is sequentially calculated by the adjacent plane constant calculating means, it is possible to reduce the accumulated error caused by performing the adjacent plane constant calculating means a plurality of times and accurately detect the road surface. .
本発明による車両用走行路面検出装置によれば、簡易な処理により路面を正確に検出することが出来る。 According to the vehicular traveling road surface detection device of the present invention, the road surface can be accurately detected by simple processing.
以下、本発明の実施形態を添付図面を参照して説明する。
先ず、本発明の実施形態による車両用走行路面検出装置が適用される車両、道路領域検出処理の基本的なフロー、処理画像の例及び道路領域検出処理内容について説明する。図1は、本発明の実施形態による車両用走行路面検出装置が適用される車両の概念図であり、図2は、本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理フローを示すフローチャートであり、図3は、本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理画像の例を示す概念図であり、図4は、射影変換に用いる左右のカメラのそれぞれの対応点の例を示す図である。以下、Sは各ステップを示す。
Embodiments of the present invention will be described below with reference to the accompanying drawings.
First, a vehicle to which a vehicle road surface detection device according to an embodiment of the present invention is applied, a basic flow of road area detection processing, an example of a processed image, and road area detection processing contents will be described. FIG. 1 is a conceptual diagram of a vehicle to which a vehicle road surface detection device according to an embodiment of the present invention is applied. FIG. 2 is a road area detection process used in the vehicle road surface detection device according to an embodiment of the present invention. FIG. 3 is a conceptual diagram showing an example of a processing image of road area detection processing used in the vehicle road surface detection device according to the embodiment of the present invention. FIG. 4 is a projective transformation. It is a figure which shows the example of each corresponding point of the left and right cameras used for. Hereinafter, S represents each step.
本発明の実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面を複数の領域に分割し、そのうちの1つの面の距離及び傾きを求めた後、その情報を基に、その面に隣接する面とのつなぎ目部の勾配変化などから、隣接する面の距離及び傾きを順々に算出するものである。 The embodiment of the present invention does not calculate the distance from the host vehicle and the inclination of the surface of the entire road surface as in the prior art, but divides the road surface into a plurality of areas, and determines the distance and inclination of one of the surfaces. After that, based on the information, the distance and inclination of the adjacent surfaces are sequentially calculated from the gradient change of the joint portion with the adjacent surface.
先ず、図1に示すように、車両1は、フロントウィンドウ2の上方に設置されたステレオカメラ4と、ECU処理装置6とを有する。
図2に示すように、道路領域検出処理においては、S1において、ステレオカメラ4によりステレオ画像を取得する。得られた画像のうち、一方の画像を基準画像(図3(a))とし、他方の画像を参照画像(図3(b))とする。
次に、図2のS2おいて、ECU6は、前処理として、これらの基準画像及び参照画像を取り込み、両画像の輝度を一致させるためにLOGフィルタなどを用いてコントラスト調整を行う。
First, as shown in FIG. 1, the
As shown in FIG. 2, in the road area detection process, a stereo image is acquired by the
Next, in S2 of FIG. 2, as a pre-processing, the
次に、図2のS3に示すように、参照画像(図3(b))を基準画像(図3(a))の視点から見た画像に後述する(1)射影変換行列算出を用いて視点変換を行う。この処理では、道路平面に対する射影変換行列を動的に推定し、参照画像(図3(b))を射影変換して図3(c)に示すような射影変換画像を得る。このように得られた射影変換画像によれば、参照画像に含まれる高さのある物体が射影変換によって傾くことから、射影変換後の参照画像(図3(c))と基準画像(図3(a))との間で差分を求めることで、高さのない道路平面部分を抽出することが出来る。 Next, as shown in S3 of FIG. 2, the reference image (FIG. 3B) is converted into an image viewed from the viewpoint of the standard image (FIG. 3A) using (1) projective transformation matrix calculation described later. Perform viewpoint conversion. In this process, the projective transformation matrix for the road plane is dynamically estimated, and the projective transformation image as shown in FIG. 3C is obtained by projective transformation of the reference image (FIG. 3B). According to the projective transformation image obtained in this way, an object with a height included in the reference image is tilted by the projective transformation, so that the reference image (FIG. 3C) after the projective transformation and the standard image (FIG. 3). By obtaining the difference from (a)), it is possible to extract a road plane portion having no height.
即ち、先ず、図2のS4において、図3(d)に示すように、基準画像(図3(a))と射影変換後の参照画像(図3(c))の輝度値における差分画像を作成し、次に、図3(e)で黒く示される部分のように、輝度差がしきい値以下となる領域を求める。そして、図2のS5において、図3(f)に示すように、グレーで示すような道路領域における(2)道路平面の姿勢を算出することが出来る。
これらの処理は、後述するように、路面を複数の分割領域に分けたそれぞれの特定平面について行うことが出来る。
That is, first, in S4 of FIG. 2, as shown in FIG. 3D, a difference image in luminance values between the base image (FIG. 3A) and the reference image after projective transformation (FIG. 3C) is obtained. Next, an area where the luminance difference is equal to or less than the threshold value is obtained as shown by a black portion in FIG. Then, in S5 of FIG. 2, as shown in FIG. 3 (f), (2) the posture of the road plane in the road region as shown in gray can be calculated.
As will be described later, these processes can be performed for each specific plane obtained by dividing the road surface into a plurality of divided regions.
次に、本発明の実施形態による車両用走行路面検出装置において行われる、車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理についてより詳細に説明する。
1. (1)射影変換行列算出(図2のS3)
(1)射影変換行列算出式
参照画像Ir を射影変換行列Hで変換した画像と基準画像Ib に対して、平面領域推定範囲内
での輝度差の2乗を評価関数e(H)として、これを最小にする射影変換行列
を求める。算出式は以下のようになる。
ただし、
は画像iの同次座標で表した位置
での輝度値、Hは画像間の平面部に対応した射影変換行列とする。
Next, the road area detection process for obtaining the distance d from the vehicle to the specific plane and the attitude n of the specific plane performed in the vehicle road surface detection apparatus according to the embodiment of the present invention will be described in more detail.
1. (1) Projection transformation matrix calculation (S3 in FIG. 2)
(1) Projection transformation matrix calculation formula For the image obtained by transforming the reference image I r with the projection transformation matrix H and the standard image I b , within the plane region estimation range
Projection transformation matrix that minimizes the square of the luminance difference at と し て as the evaluation function e (H)
Ask for. The calculation formula is as follows.
However,
Is the position of image i in homogeneous coordinates
The luminance value at H, H is a projective transformation matrix corresponding to the plane portion between images.
(2)射影変換行列算出方法
式(1)を満たす射影変換行列を探索により求める。処理手順は以下のようになる。
(a)前時刻に推定した射影変換行列が存在する場合は、それを初期値とする。平面抽出処理のスタート時は前時刻の射影変換行列が存在しないため、水平な道路に停車した状態で撮影した画像から道路平面内の図4に示すような対応点(例えば、路面上で特定の輝度を有する白線、路面上の標識、マンホールなど)を設定し最小2乗法を用いて求めた射影変換行列H0 を初期値とする。
(2) Projection transformation matrix calculation method A projection transformation matrix satisfying equation (1) is obtained by searching. The processing procedure is as follows.
(A) If there is a projective transformation matrix estimated at the previous time, it is set as an initial value. At the start of the plane extraction process, there is no projective transformation matrix at the previous time, so corresponding points as shown in FIG. 4 in the road plane (for example, specific on the road surface) A projection transformation matrix H 0 obtained by setting a white line having luminance, a sign on the road surface, a manhole, etc.) and using the least square method is set as an initial value.
(b)ステレオカメラ画像から射影変換行列を計算する。次に、射影変換行列は式(2)で表される。これを特異値分解して道路平面の法線ベクトルを求め、射影変換行列H0 から求めた法線ベクトルn0 と内積を計算して、ある範囲に収まり且つ平面領域が見つかるときはその射影変換行列は正しいと判断する。それ以外の時は、誤ったローカルミニマムに陥ったとして、次の射影変換行列H1 を初期値として同様の計算を行う。それでも正しい射影変換行列が見つからない場合は、射影変換行列H2 を初期値として同様の計算を行う。ただし、射影変換行列H1 、H2 は、射影変換行列H0 の平面法線ベクトルn0 をピッチ方向前後に4°傾けた法線ベクトルn1、n2 と射影変換行列H0 より求めたR、t、dを用いて式(2)より求めたものである。
ただし、ステレオカメラ間の回転行列をR、ベースラインベクトルをt、平面法線ベクトルをn、カメラと平面間距離をd、基準カメラと参照カメラの内部パラメータをA1、A2 、定数項をkとする。定数項(k≠0)は、画像が得られた射影変換行列には定数倍の自由度が存在することを示す。
(B) A projective transformation matrix is calculated from the stereo camera image. Next, the projective transformation matrix is expressed by Equation (2). This singular value decomposition to determine the normal vector of the road plane, and calculates the normal vector n 0 and the inner product calculated from the projective transformation matrix H 0, when found and plan area fit in a range of the projective transformation Judge that the matrix is correct. In other cases, the same calculation is performed using the next projective transformation matrix H 1 as an initial value, assuming that an erroneous local minimum has occurred. If a correct projection transformation matrix is still not found, the same calculation is performed using the projection transformation matrix H 2 as an initial value. However, projective transformation matrix H 1, H 2 was determined from the normal vectors n 1, n 2 and projective transformation matrix H 0 for the planar normal vector n 0 inclined 4 ° in the longitudinal pitch direction of the projective transformation matrix H 0 It is obtained from the equation (2) using R, t, and d.
However, the rotation matrix between stereo cameras is R, the baseline vector is t, the plane normal vector is n, the distance between the camera and the plane is d, the internal parameters of the reference camera and the reference camera are A 1 and A 2 , and the constant terms are k. The constant term (k ≠ 0) indicates that the projective transformation matrix from which the image is obtained has a degree of freedom that is a constant multiple.
(c)すべての射影変換行列(H0、H1、H2)を用いても正しい射影変換行列が求まらない場合は、その画像中に平面は存在しないと見なし、射影変換行列と計算領域をリセットし、ここで処理を終え、次の処理へと進む。 (C) If a correct projection transformation matrix cannot be obtained even if all projection transformation matrices (H 0 , H 1 , H 2 ) are used, it is assumed that no plane exists in the image, and the projection transformation matrix and calculation are performed. The area is reset, and the process ends here and proceeds to the next process.
2. (2)道路平面の姿勢算出(図3のS5)
ステレオ画像間の平面に対する射影変換行列から、特異値分解を用いることでステレオカメラに対する平面の向きと位置を算出する。式(2)のカメラ内部パラメータA1、A2 が既知であるとすると、式(3)のように射影変換行列H′を特異値分解できる。
t/d、nは以下の関係式から求めることができる。
ただし、
σ1≠σ2≠σ3 のとき、
(ε1,3=±1)・・・(5)
ε1,3 を決定するために、2台のカメラが道路面を向いており平面が見えているという条件を加える。すなわち、nと
との内積が正になる。これで、解が2つとなる。次に、それぞれのnについて、求まったtと、実際のカメラ配置の大まかな並進ベクトルである
との内積を計算し、1に近いほうのtをnの解とする。
2. (2) Road plane posture calculation (S5 in FIG. 3)
The orientation and position of the plane relative to the stereo camera are calculated from the projective transformation matrix for the plane between the stereo images by using singular value decomposition. If the camera internal parameters A 1 and A 2 in Equation (2) are known, the projective transformation matrix H ′ can be decomposed into singular values as shown in Equation (3).
t / d and n can be obtained from the following relational expression.
However,
When σ 1 ≠ σ 2 ≠ σ 3
(Ε 1,3 = ± 1) (5)
In order to determine ε 1,3 , a condition is added that the two cameras are facing the road and the plane is visible. I.e. n and
The inner product with becomes positive. This gives two solutions. Next, for each n, the calculated t and the approximate translation vector of the actual camera placement
The t product closer to 1 is taken as the solution of n.
次に、dは得られたt/dの絶対値とカメラ間のベースライン長|t|から次の式より求めることができる。
以上のようにして、特定平面の平面定数として、車両1から特定平面までの距離d及び特定平面の姿勢(傾き/法線ベクトル)nを求めることが出来る。
Next, d can be obtained from the absolute value of t / d obtained and the baseline length | t |
As described above, the distance d from the
次に、図5乃至図7により、所定の平面どうしのつなぎ目部の勾配変化(δ1)の算出方法を説明する。図5は、所定の2つの平面でのつなぎ目部及び左右画像対応点を示す路面画像の例を示す図であり、図6は、所定の2つの平面でのつなぎ目部での勾配変化を算出するための特定平面の画像と座標xとを示す図であり、図7は、位置xにおける距離画像縦断面図(a)及び距離画像における距離データ点を示す図である。
この特定平面どうしのつなぎ目部の勾配変化は、或る2つの特定平面の互いの境界部において、ステレオ視の原理より算出した距離情報(距離画像)から、以下に示す方法を用いて2つの特定平面の勾配変動を算出するものである。
Next, a method of calculating the gradient change (δ1) at the joint between predetermined planes will be described with reference to FIGS. FIG. 5 is a diagram showing an example of a road surface image showing a joint portion and left and right image corresponding points in two predetermined planes, and FIG. 6 calculates a gradient change in the joint portion in two predetermined planes. FIG. 7 is a diagram showing a distance image longitudinal cross-sectional view (a) at the position x and distance data points in the distance image.
The change in the gradient of the joint between the specific planes is determined by using the following method from distance information (distance image) calculated from the principle of stereo vision at the boundary between two specific planes. This is to calculate the gradient fluctuation of the plane.
1.距離画像作成
先ず、ステレオカメラ4から得られる左右のカメラ画像の中で、特定平面データ検出処理(特定平面における、車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理)により検出した少なくとも2つの所定の平面での互いのつなぎ目部の領域に対して、図5に示すような左右画像間での対応点をマッチング探索により検出し、そこから得られる視差(=x1−x2)から、ステレオ視の原理より距離を算出する。それを画像として表したものを距離画像とする。
1. First, in the left and right camera images obtained from the
2.つなぎ目部勾配変化(δ1)の算出
先ず、上述したように算出した距離画像に対して、所定の2つの平面でのつなぎ目部を含む特定の位置(例えば、図6の位置x)における高さの変化である距離画像縦断面図を図7(a)のように作成する。この距離画像縦断面図での所定の2つの平面でのつなぎ目部に対応する距離データ/高さデータ(図7(b))から、最小2乗近似などの方法により、つなぎ目部の手前の平面に対する直線L1と、つなぎ目部の向こう側の平面に対応する直線L2を算出し、それらの2つの直線L1及びL2のなす角度δ1を所定の2つの平面での平面つなぎ目部勾配変化として算出する。
2. Calculation of Joint Section Gradient Change (δ1) First, with respect to the distance image calculated as described above, the height at a specific position (for example, position x in FIG. 6) including the joint section on two predetermined planes is calculated. A distance image longitudinal sectional view which is a change is created as shown in FIG. From the distance data / height data (FIG. 7 (b)) corresponding to the joint portion at two predetermined planes in the longitudinal section of the distance image, the plane in front of the joint portion by a method such as least square approximation. A straight line L1 and a straight line L2 corresponding to the plane on the other side of the joint portion are calculated, and an angle δ1 formed by the two straight lines L1 and L2 is calculated as a change in the slope of the flat joint portion between the two predetermined planes.
次に、図8乃至図11により、本発明の実施形態による車両用走行路面検出装置の処理の概念を説明する。
図8は、車両及びこの車両の進行方向である縦方向及び路面の横断方向にそれぞれ路面を分割した路面分割の概念図であり、図9は、図8のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図であり、図10は、車両及びこの車両の前方の路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。
Next, the concept of processing of the vehicle road surface detection device according to the embodiment of the present invention will be described with reference to FIGS.
FIG. 8 is a conceptual diagram of the road surface division in which the road surface is divided in the vehicle and the vertical direction as the traveling direction of the vehicle and in the transverse direction of the road surface. FIG. FIG. 10 is a conceptual diagram for explaining how to obtain a plane constant of a divided region, and FIG. 10 is a conceptual diagram of road surface division in which a road surface is divided in a transverse direction of a vehicle and a road surface in front of the vehicle.
先ず、図8に示すように、本発明の実施形態では、車両の進行方向前方における路面を、例えば横断方向(路面の横方向)に2分割し且つ縦方向(車両進行方向)に複数に分割する。次に、図9に示すように、先ず、この場合は一番手前の左側の領域を特定領域(特定平面)A11として決定し、上述した「車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理」により、この特定領域の平面定数(距離d11、傾き(法線ベクトル)n11)を算出する。 First, as shown in FIG. 8, in the embodiment of the present invention, the road surface ahead of the traveling direction of the vehicle is divided into, for example, two in the transverse direction (the lateral direction of the road surface) and divided in the vertical direction (the traveling direction of the vehicle). To do. Next, as shown in FIG. 9, first, in this case, the leftmost area on the foremost side is determined as the specific area (specific plane) A11, and the above-mentioned “distance d from the vehicle to the specific plane and the attitude of the specific plane” The plane constant (distance d11, slope (normal vector) n11) of this specific area is calculated by “road area detection processing for obtaining n”.
次に、一番手前の右側の領域を隣接領域(隣接平面)A21として決定し、このとき領域A11とA21とのつなぎ目部の勾配変化δ11を、上述した「所定の2つの平面での平面どうしのつなぎ目部の勾配変化」により算出する。そして、特定領域A11の平面定数(距離d11、傾き(法線ベクトル)n11)及びつなぎ目部の勾配変化(δ11)の両方を用いて、隣接領域A21の平面定数(距離d21、傾き(法線ベクトル)n21)を推定する。より詳細には、特定領域A11の傾きn11に勾配変化δ11を足して、傾きn21とし、距離d21は、距離d11と同じとする。 Next, the rightmost region on the foremost side is determined as an adjacent region (adjacent plane) A21. At this time, the gradient change δ11 at the joint between the regions A11 and A21 is set to the above-described “planes in two predetermined planes”. It is calculated by “change in the slope of the joint portion”. Then, using both the plane constant (distance d11, slope (normal vector) n11) of the specific area A11 and the gradient change (δ11) of the joint portion, the plane constant (distance d21, slope (normal vector) of the adjacent area A21 is used. ) N21) is estimated. More specifically, the gradient change δ11 is added to the gradient n11 of the specific area A11 to obtain a gradient n21, and the distance d21 is the same as the distance d11.
同様に、手前から2番目の左側の領域を隣接領域A12として決定し、このとき特定領域A11と隣接領域A12とのつなぎ目部の勾配変化δ12を上述した「所定の2つの平面での平面どうしのつなぎ目部の勾配変化(δ12)」により算出する。そして、特定領域A11の平面定数(距離d11、傾き(法線ベクトル)n11)及びつなぎ目部の勾配変化(δ12)の両方を用いて、隣接領域A12の平面定数(距離d12、傾き(法線ベクトル)n12)を推定する。より詳細には、特定領域A11の傾きn11に勾配変化δ12を足して、傾きn12とし、距離d12は、距離d11に、分割した分割長さ(車両進行方向の分割長さ)を足して求める。 Similarly, the second left region from the front is determined as the adjacent region A12. At this time, the gradient change δ12 of the joint portion between the specific region A11 and the adjacent region A12 is described above as “the two planes between the two predetermined planes”. It is calculated by “gradient change of joint portion (δ12)”. Then, using both the plane constant (distance d11, slope (normal vector) n11) of the specific area A11 and the slope change (δ12) of the joint portion, the plane constant (distance d12, slope (normal vector) of the adjacent area A12 is used. ) N12) is estimated. More specifically, the gradient change δ12 is added to the gradient n11 of the specific area A11 to obtain the gradient n12, and the distance d12 is obtained by adding the divided division length (divided length in the vehicle traveling direction) to the distance d11.
以下、同様に、例えば、隣接領域A22は、隣接領域A12の平面定数(距離d12、傾き(法線ベクトル)n12)及びつなぎ目部の勾配変化(δ22)の両方を用いて、隣接領域A22の平面定数(距離d22、傾き(法線ベクトル)n22)を推定する。 Hereinafter, similarly, for example, the adjacent area A22 uses the plane constant (distance d12, slope (normal vector) n12) of the adjacent area A12 and the slope change (δ22) of the joint portion to determine the plane of the adjacent area A22. Constants (distance d22, slope (normal vector) n22) are estimated.
他の実施例として、図10に示すように、本発明の実施形態では、車両の進行方向前方における路面を、例えば横断方向(路面の横方向)に分割せず且つ縦方向(車両進行方向)に複数に分割する。次に、図11に示すように、先ず、この場合は一番手前の領域を特定領域(特定平面)A11として決定し、上述した「車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理」により、この特定領域の平面定数(距離d11、傾き(法線ベクトル)n11)を算出する。
次に、2番目の領域を隣接領域(隣接平面)A12として決定し、このとき領域A11とA12とのつなぎ目部の勾配変化δ12を、上述した「所定の2つの平面での平面どうしのつなぎ目部の勾配変化」により算出する。そして、特定領域A11の平面定数(距離d11、傾き(法線ベクトル)n11)及びつなぎ目部の勾配変化(δ12)の両方を用いて、隣接領域A12の平面定数(距離d12、傾き(法線ベクトル)n12)を推定する。より詳細には、特定領域A11の傾きn11に勾配変化δ12を足して、傾きn12とし、距離d12は、距離d11に、分割した分割長さ(車両進行方向の分割長さ)を足して求める。
As another example, as shown in FIG. 10, in the embodiment of the present invention, the road surface ahead of the traveling direction of the vehicle is not divided into, for example, the transverse direction (the lateral direction of the road surface) and the longitudinal direction (the traveling direction of the vehicle). Divide into multiple parts. Next, as shown in FIG. 11, first, in this case, the foremost area is determined as the specific area (specific plane) A11, and the above-mentioned “distance d from vehicle to specific plane and attitude n of the specific plane are determined. The plane constant (distance d11, slope (normal vector) n11) of this specific area is calculated by “road area detection processing for obtaining”.
Next, the second region is determined as the adjacent region (adjacent plane) A12, and at this time, the gradient change δ12 of the joint portion between the regions A11 and A12 is referred to as “the joint portion between the planes in the two predetermined planes” described above. It is calculated by “change in slope of”. Then, using both the plane constant (distance d11, slope (normal vector) n11) of the specific area A11 and the slope change (δ12) of the joint portion, the plane constant (distance d12, slope (normal vector) of the adjacent area A12 is used. ) N12) is estimated. More specifically, the gradient change δ12 is added to the gradient n11 of the specific area A11 to obtain the gradient n12, and the distance d12 is obtained by adding the divided division length (divided length in the vehicle traveling direction) to the distance d11.
同様に、3番目の領域A13についても、隣接領域A12の平面定数(距離d12、傾き(法線ベクトル)n12)及びつなぎ目部の勾配変化(δ13)の両方を用いて、隣接領域A13の平面定数(距離d13、傾き(法線ベクトル)n13)を推定する。より詳細には、特定領域A12の傾きn12に勾配変化δ13を足して、傾きn13とし、距離d13は、距離d12に、分割した分割長さ(車両進行方向の分割長さ)を足して求める。以降、図示するように、S14以降も同様に推定する。 Similarly, for the third area A13, the plane constant of the adjacent area A13 is calculated using both the plane constant (distance d12, slope (normal vector) n12) of the adjacent area A12 and the gradient change (δ13) of the joint. (Distance d13, slope (normal vector) n13) is estimated. More specifically, the gradient change δ13 is added to the gradient n12 of the specific area A12 to obtain the gradient n13, and the distance d13 is obtained by adding the divided length (divided length in the vehicle traveling direction) to the distance d12. Thereafter, as shown in FIG.
次に、図12により、ECUによる処理内容をブロック図により説明する。図12は、本発明の実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図12に示すように、ECU6は、ステレオカメラ4により撮像された路面画像を、画像記憶部(右)20及び画像記憶部(左)22で記憶する。路面領域判定部24では、これらの記憶された路面画像の情報を基に路面領域を判定する。この判定部24では、上述した車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理により射影変換を用いて判定する。なお、この路面領域判定部24では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定しても良い。
Next, the processing contents by the ECU will be described with reference to FIG. FIG. 12 is a block diagram showing processing contents in the vehicle road surface detection device according to the embodiment of the present invention.
As shown in FIG. 12, the
次に、路面分割処理部26においては、予め所定の基準で分割の仕方を定めた路面分割データ28のデータを基に、路面領域判定部24で判定された路面を分割する。例えば、上述した図8や図10のように分割する。
次に、画像処理領域(特定領域、特定平面)設定部28では、路面分割処理部26において分割された領域のうち、上述した「車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理(射影変換による道路平面の算出)」により算出する領域を設定する。
一方、推定領域(隣接領域、隣接平面)設定部30では、路面分割処理部26において分割された領域のうち、上述した「所定の平面どうしのつなぎ目部の勾配変化(δ1)の算出」により算出された勾配変化(δ)と、基準となる或る領域(特定領域、或いは、推定領域)の平面定数(距離d、傾き(法線ベクトル)n)とにより推定する領域を推定領域として設定する。
Next, the road surface
Next, in the image processing region (specific region, specific plane)
On the other hand, the estimated region (adjacent region, adjacent plane)
次に、特定平面内対応点探索32では、左右のカメラ6のそれぞれの撮像画面における路面領域(路面領域判定部24で判定された路面)の互いの対応点を探索する。対応点とは、特定の輝度を有する部分であり、白線、路面上の標識、マンホールなどである(図4参照)。これらの対応点により射影変換を行うことが出来る。
Next, in the specific plane corresponding point search 32, the corresponding points of the road surface area (the road surface determined by the road surface area determination unit 24) on the respective imaging screens of the left and
次に、特定平面平面定数算出部34では、路面分割処理部26で分割された路面のうちの一つを特定平面として定め、その特定平面の平面定数である車両からの距離d1、姿勢(傾き)n1を算出する。ここでは、特定平面内対応点探索部32で設定された対応点の視差角により、距離及び傾きを算出する。より詳細には、上述した「車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理(射影変換による道路平面の算出)」により行われる。
Next, the specific plane plane
また、特定平面つなぎ目部勾配変化算出部36では、路面分割処理部26で分割された路面のうちの一つである特定平面と、次に平面定数を求める隣接平面との間のつなぎ目部の勾配δ1を算出する。この算出は、上述した「所定の平面どうしのつなぎ目部の勾配変化(δ1)の算出」により行われる。
In addition, the specific plane joint gradient
そして、隣接平面平面定数算出部38では、特定平面平面定数算出部34で算出された距離d1、姿勢n1と、特定平面つなぎ目部勾配変化算出部36で算出された勾配δ1とにより、上述したように、隣接平面の平面定数(距離d2、姿勢(傾き)n2)を推定する。
Then, in the adjacent plane plane
次に、隣接平面つなぎ目部勾配変化算出部40では、推定領域設定部30で設定された隣接領域と、他の特定平面(画像処理領域(特定領域、特定平面)設定部28で設定された領域、或いは、推定領域(隣接領域、隣接平面)設定部30で設定された他の領域)との間のつなぎ目部の勾配変化δ2を算出する。
そして、次隣接平面平面定数推定部42では、隣接平面平面定数算出部38で算出された距離d2、姿勢n2と、隣接平面つなぎ目部勾配変化算出部40で算出された勾配δ2とにより、上述したように、隣接平面の平面定数(距離d3、姿勢(傾き)n3)を推定する。
Next, in the adjacent plane joint gradient
Then, in the next adjacent plane plane
以下、次隣接平面平面定数推定部44・・・nも同様の処理を行う。そして、走行路面勾配検出部46では、特定平面平面定数算出部により算出された平面定数(距離d1、傾きn2)と、複数の隣接平面平面定数算出部38、42、44、・・・Nにより推定された平面定数(距離d2〜dN、傾きn2〜nN)とにより、走行路面の距離及び傾きの情報から路面勾配を検出する。
そして、この検出された路面勾配の情報を利用して、安全システム8、変速システム(AT)9、エンジンシステム(ENG)10の制御が行われる。
Hereinafter, the next adjacent plane plane
Then, the
次に、図13により、本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図13は、本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。Sは、各ステップを示す。
図13に示すように、S1では、各種パラメータのイニシャライズ処置が行われる。次に、S2において、ステレオカメラ4により撮像されたデータが画像記憶部20、22に記憶される。次に、S3において、路面領域判定部24により、走行路面となる対象領域が抽出され、さらに、画像処理領域設定部28で画像処理する特定領域を設定する。次に、S4において、路面分割処理部26により、走行路面が路面横断方向にN個(1、2、3・・・)及び車両進行方向にM個(1、2、3・・・)に分割される。ここでは、走行路面が予め決められた大きさ或いは予め決められた数となるように分割される。
Next, with reference to FIG. 13, a flowchart as processing contents in the vehicle road surface detection device according to the embodiment of the present invention will be described. FIG. 13 is a flowchart showing the processing contents in the vehicle road surface detection device according to the embodiment of the present invention. S indicates each step.
As shown in FIG. 13, in S1, various parameters are initialized. Next, in S <b> 2, data captured by the
次に、S5において、路面横断方向の分割の数値パラメータiを1(i=1)とし、車両進行方向の分割の数値パラメータjを1(j=1)とする。
次に、S6において、特定平面平面定数算出部34により、特定平面Ai、jの平面データ(位置di、j、傾きni、j)が検出されると共に保存される。次に、S7において、平面Ai、jの傾きni、jの路面横断方向の傾き値の絶対値が、αより小さいか否かを判定する。
Next, in S5, the numerical parameter i for dividing in the road crossing direction is set to 1 (i = 1), and the numerical parameter j for dividing in the vehicle traveling direction is set to 1 (j = 1).
Next, in S6, the plane data (position di, j, inclination ni, j) of the specific plane Ai, j is detected and stored by the specific plane plane
平面Ai、jの傾きni、jの路面横断方向の傾き値の絶対値が、αより小さい場合には、平面Ai、j〜AN、jの平面データ(位置di、j、傾きni、j)のうち、位置d1、j〜dN、jを「d1、j」とし、傾きn1、j〜nN、jを「n1、j」とする。即ち、路面の横断方向の傾斜が小さい場合にi=1として、路面横断方向には分割しないようにし、つまり、路面の横断方向の隣接平面をその横方向の特定平面(或いは隣接平面)と同じであると捉えるようにしているので、ECU6による処理負担を軽減することが出来る。
When the absolute value of the inclination value ni, j of the plane Ai, j in the crossing direction of the road surface is smaller than α, the plane data (position di, j, inclination ni, j) of the plane Ai, j to AN, j Among them, the positions d1, j to dN, j are “d1, j”, and the inclinations n1, j to nN, j are “n1, j”. That is, when the slope in the cross direction of the road surface is small, i = 1 is set so as not to be divided in the cross direction of the road surface. Therefore, the processing load on the
平面Ai、jの傾きni、jの路面横断方向の傾き値の絶対値が、αより大きい場合には、S9乃至S12の処理により、路面横断方向の隣接領域の距離d及び傾きnを検出する。具体的には、S9において、特定平面つなぎ目部勾配変化(δ)算出部36或いは隣接平面つなぎ目部勾配変化(δ)算出部40において、上述した「所定の2つの平面での平面どうしのつなぎ目部の勾配変化(δ)」により平面Ai、jの路面横断方向のつなぎ目部の勾配変化δi、jを検出する。次に、S10において、隣接平面平面定数推定部38、42、44・・・Nにより、路面横断方向の隣接領域Ai+1、jの平面データ(位置di+1、j、傾きni+1、j)を算出して保存する。S11では、路面横断方向の分割の数値パラメータiに1を加え、S12により、S9乃至S11の処理が、分割数であるN個まで行われたか否かを判定する。
When the absolute value of the slope ni, j in the road crossing direction of the plane Ai, j is larger than α, the distance d and the slope n of the adjacent region in the road crossing direction are detected by the processes in S9 to S12. . Specifically, in S9, in the specific plane joint change (δ)
S9乃至S11の処理が、分割数であるN個まで行われた場合、S13に進み、路面横断方向の分割の数値パラメータiを1に戻す。これは、車両進行方向の次の領域において、再び、i=1〜Nまでの平面データを得るためである。
次に、S14において、上述したS6で保存された特定平面A1、jの平面データ(距離d1、j、傾きn1、j)を読み出す。
When the processes of S9 to S11 are performed up to N which is the number of divisions, the process proceeds to S13, and the numerical parameter i of division in the crossing direction in the road surface is returned to 1. This is to obtain plane data from i = 1 to N again in the next region in the vehicle traveling direction.
Next, in S14, the plane data (distance d1, j, inclination n1, j) of the specific plane A1, j stored in S6 described above is read.
次に、S15において、車両進行方向の分割の数値パラメータjがMSであるか否かを判定する。MSは、車両進行方向(縦方向)の分割数Mよりも小さい値であり、それ以上の繰り返しの平面データの推定を行うと路面検出の精度が低下するものとして設定された値である。
S15において、j=MSと判定された場合には、S16に進み、上述した「所定の2つの平面での平面どうしのつなぎ目部の勾配変化(δ12)」による平面データの推定を行わず、上述した「車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理」により、平面1、jの平面データ(位置d1、j+1、傾きn1、j+1)を検出すると共に保存する。次に、S17において、MS+MSをMSと設定する。
Next, in S15, it is determined whether or not the numerical parameter j for division in the vehicle traveling direction is MS. MS is a value that is smaller than the division number M in the vehicle traveling direction (vertical direction), and is a value that is set to reduce the accuracy of road surface detection when more repeated plane data is estimated.
If it is determined in step S15 that j = MS, the process proceeds to step S16, and the above-described “inclination change of the joint portion between two planes in two predetermined planes (δ12)” is not estimated, and the above-described plane data is not estimated. The plane data (position d1, j + 1, inclination n1, j + 1) of the
このようなS15乃至S17の処理により、隣接平面定数算出手段(上述した「所定の2つの平面での平面どうしのつなぎ目部の勾配変化(δ)」による平面データの推定)による隣接平面の平面定数の算出が数回(MS回)行われたとき、その次には、再度、特定平面算出手段(上述した「車両から特定平面までの距離d及び特定平面の姿勢nを求めるための道路領域検出処理」)により平面定数を算出し、その後順次、隣接平面定数算出手段による特定平面の算出を行うようにしているので、隣接平面定数算出手段を複数回行うことによる累積誤差を小さくして、路面を正確に検出するようにすることが出来る。 By such processing of S15 to S17, the plane constant of the adjacent plane by the adjacent plane constant calculation means (estimation of plane data by the above-mentioned “gradient change (δ) of the joint portion between two planes in two predetermined planes)” described above. Is calculated several times (MS times), then, again, the specific plane calculation means (the above-described “distance d from the vehicle to the specific plane and road area detection for obtaining the attitude n of the specific plane” Since the plane constant is calculated by the processing “), and then the specific plane is calculated by the adjacent plane constant calculating means sequentially, the accumulated error due to performing the adjacent plane constant calculating means a plurality of times is reduced, and the road surface is reduced. Can be detected accurately.
S15において、j=MSと判定さない場合には、S18において、特定平面つなぎ目部勾配変化(δ)算出部36或いは隣接平面つなぎ目部勾配変化(δ)算出部40において、上述した「所定の2つの平面での平面どうしのつなぎ目部の勾配変化(δ)」により平面Ai、jの路面横断方向のつなぎ目部の勾配変化δ1、jを検出する。次に、S19において、隣接平面平面定数推定部38、42、44・・・Nにより、路面横断方向の隣接領域A1、j+1の平面データ(位置d1、j+1、傾き1、j+1)を算出して保存する。そして、S20において、車両進行方向の分割の数値パラメータjに1を加え(j=j+1)、S21でjが、車両進行方向の分割数Mより大きいか否かを判定し、以下S7乃至S20の処理を繰り返すことにより、S4で分割した全ての領域(i=1〜N、j=1〜M)について、路面データ(平面定数)を算出或いは推定することが出来る。
If it is not determined in step S15 that j = MS, the specific plane joint slope change (δ)
以上、本発明の実施形態によれば、撮像される路面画像の路面が複数の平面に分割され、これらの分割された平面のうちいずれかが特定平面として特定され、ステレオカメラ4で撮像されたそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出され、そして、この特定平面に隣接する平面の平面定数が特定平面とその隣接平面との境界部の勾配変化から推定されるようになっている。このように、撮像された路面を複数に分割したうちの一つについて平面定数(本実施形態では、車両からの距離及び路面の傾き)、他の隣接する面はこの算出した平面定数を基に境界部の勾配変化を考慮して算出されている。ここで、ステレオカメラ4で撮像されたそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出される方法は、ECU6による処理負担が大きい。一方、或る平面間の境界部の勾配変化を算出する方法のECUによる処理負担は小さい。そして、本発明の実施形態では、分割した複数の平面のうちの1つの平面定数をこの処理負担が大きい算出手段により算出した後、その特定平面に隣接する隣接平面及びこのような隣接平面にさらに隣接する次なる隣接平面の平面定数が、処理負担が小さい手段により得られる勾配変化から算出されている。従って、広い範囲にわたる路面検出の処理負担が軽減される。また、ステレオカメラ4のそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出され、この特定平面の平面定数を基に隣接平面の平面定数が推定されるようになっているので、本発明の実施形態によれば、路面の車両からの距離及び路面の傾斜を正確に検出することが出来る。これらの結果、簡易な処理により路面を正確に検出することが出来る。
As described above, according to the embodiment of the present invention, the road surface of the road surface image to be captured is divided into a plurality of planes, and any one of these divided planes is specified as the specific plane and captured by the
また、撮像された路面は、車両進行方向の縦方向に分割されると共に路面の横断方向に分割され、特定平面及び隣接平面のそれぞれの平面定数は、車両からの距離d及び傾きnにより規定されるので、路面の車両からの距離d及び傾きnを簡易且つ正確に検出することが出来る。 Further, the imaged road surface is divided in the longitudinal direction of the vehicle traveling direction and in the transverse direction of the road surface, and the plane constants of the specific plane and the adjacent plane are defined by the distance d from the vehicle and the inclination n. Therefore, the distance d and the slope n from the vehicle on the road surface can be detected easily and accurately.
1 車両
4 ステレオカメラ
6 ECU
1
Claims (7)
走行路面を撮像する第1撮像手段と、
この第1撮像手段により撮像された路面画像と少なくとも1部が重複する路面画像が得られるように走行路面を撮像する第2撮像手段と、
撮像される路面画像から路面を複数の平面に分割する路面分割手段と、
これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、
上記第1撮像手段及び上記第2撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により上記特定平面を規定する平面定数を算出する特定平面定数算出手段と、
上記特定平面に隣接する平面の平面定数を上記特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、
上記特定平面算出手段により算出された平面定数と、上記隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定する路面勾配推定手段と、
を有することを特徴とする車両用走行路面検出装置。 A vehicle road surface detection device for detecting a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging a road surface,
First imaging means for imaging a traveling road surface;
Second imaging means for imaging the traveling road surface so as to obtain a road surface image at least partly overlapping with the road surface image captured by the first imaging means;
Road surface dividing means for dividing the road surface into a plurality of planes from the imaged road surface image;
A divided plane specifying means for specifying any of these divided planes as a specific plane;
Specific plane constant calculation for detecting a corresponding point searched for in each road surface image picked up by the first imaging means and the second imaging means and calculating a plane constant defining the specific plane by projective transformation Means,
An adjacent plane constant estimating means for estimating a plane constant of a plane adjacent to the specific plane from a gradient change of a boundary portion between the specific plane and the adjacent plane;
A road surface gradient estimating unit that estimates a road surface gradient of a predetermined wide area from the plane constant calculated by the specific plane calculating unit and the plane constant estimated by the adjacent plane constant estimating unit;
A vehicle road surface detection device characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007318566A JP2009139323A (en) | 2007-12-10 | 2007-12-10 | Travel road surface detecting apparatus for vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007318566A JP2009139323A (en) | 2007-12-10 | 2007-12-10 | Travel road surface detecting apparatus for vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009139323A true JP2009139323A (en) | 2009-06-25 |
Family
ID=40870058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007318566A Pending JP2009139323A (en) | 2007-12-10 | 2007-12-10 | Travel road surface detecting apparatus for vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009139323A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101865684A (en) * | 2010-05-05 | 2010-10-20 | 西安交通大学 | Device and method for measuring slope and length of dry beach |
JP2011128844A (en) * | 2009-12-17 | 2011-06-30 | Fuji Heavy Ind Ltd | Road shape recognition device |
WO2011080943A1 (en) * | 2009-12-28 | 2011-07-07 | 日立オートモティブシステムズ株式会社 | Road-shoulder detecting device and vehicle using road-shoulder detecting device |
JP2014225220A (en) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | Moving surface information detection device, mobile apparatus control system using the same, and moving surface information detection program |
JP2015031990A (en) * | 2013-07-31 | 2015-02-16 | ヤマハ発動機株式会社 | Detection device for detecting obstacle and steep slope and vehicle including the same |
DE102013018926A1 (en) * | 2013-11-13 | 2015-05-13 | Audi Ag | Method for determining a value for a height |
KR20160076271A (en) * | 2014-12-22 | 2016-06-30 | 현대모비스 주식회사 | Apparatus and method for detecting obstacle |
JP2017166866A (en) * | 2016-03-14 | 2017-09-21 | オムロン株式会社 | Road surface shape measurement device, measurement method, and program |
JP2020098188A (en) * | 2018-09-27 | 2020-06-25 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | Obstacle detection method, obstacle detection device, electronic apparatus, vehicle and storage medium |
-
2007
- 2007-12-10 JP JP2007318566A patent/JP2009139323A/en active Pending
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011128844A (en) * | 2009-12-17 | 2011-06-30 | Fuji Heavy Ind Ltd | Road shape recognition device |
WO2011080943A1 (en) * | 2009-12-28 | 2011-07-07 | 日立オートモティブシステムズ株式会社 | Road-shoulder detecting device and vehicle using road-shoulder detecting device |
JP2011138244A (en) * | 2009-12-28 | 2011-07-14 | Hitachi Automotive Systems Ltd | Road-shoulder detecting device and vehicle using the same |
US8873803B2 (en) | 2009-12-28 | 2014-10-28 | Hitachi Automotive Systems, Ltd. | Road-shoulder detecting device and vehicle using road-shoulder detecting device |
CN101865684A (en) * | 2010-05-05 | 2010-10-20 | 西安交通大学 | Device and method for measuring slope and length of dry beach |
JP2014225220A (en) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | Moving surface information detection device, mobile apparatus control system using the same, and moving surface information detection program |
JP2015031990A (en) * | 2013-07-31 | 2015-02-16 | ヤマハ発動機株式会社 | Detection device for detecting obstacle and steep slope and vehicle including the same |
DE102013018926A1 (en) * | 2013-11-13 | 2015-05-13 | Audi Ag | Method for determining a value for a height |
DE102013018926B4 (en) * | 2013-11-13 | 2021-06-02 | Audi Ag | Method and system for determining a value for an altitude |
US9665782B2 (en) | 2014-12-22 | 2017-05-30 | Hyundai Mobis Co., Ltd. | Obstacle detecting apparatus and obstacle detecting method |
KR101676656B1 (en) | 2014-12-22 | 2016-11-16 | 현대모비스 주식회사 | Apparatus and method for detecting obstacle |
KR20160076271A (en) * | 2014-12-22 | 2016-06-30 | 현대모비스 주식회사 | Apparatus and method for detecting obstacle |
JP2017166866A (en) * | 2016-03-14 | 2017-09-21 | オムロン株式会社 | Road surface shape measurement device, measurement method, and program |
WO2017158952A1 (en) * | 2016-03-14 | 2017-09-21 | オムロン株式会社 | Road surface shape measuring device, measuring method, and program |
CN108419441A (en) * | 2016-03-14 | 2018-08-17 | 欧姆龙株式会社 | Road pavement form measurement device, assay method and program |
KR20180116214A (en) * | 2016-03-14 | 2018-10-24 | 오므론 가부시키가이샤 | Surface profile measuring device, measuring method and program |
KR101992824B1 (en) | 2016-03-14 | 2019-06-25 | 오므론 가부시키가이샤 | Surface profile measuring device, measuring method and program |
US10508912B2 (en) | 2016-03-14 | 2019-12-17 | Omron Corporation | Road surface shape measuring device, measuring method, and non-transitory computer-readable medium |
CN108419441B (en) * | 2016-03-14 | 2020-06-02 | 欧姆龙株式会社 | Road surface shape measuring device, measuring method, and computer-readable storage medium |
JP2020098188A (en) * | 2018-09-27 | 2020-06-25 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | Obstacle detection method, obstacle detection device, electronic apparatus, vehicle and storage medium |
US11393219B2 (en) | 2018-09-27 | 2022-07-19 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for detecting obstacle, electronic device, vehicle and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009139323A (en) | Travel road surface detecting apparatus for vehicle | |
US10762643B2 (en) | Method for evaluating image data of a vehicle camera | |
US9846812B2 (en) | Image recognition system for a vehicle and corresponding method | |
JP4919036B2 (en) | Moving object recognition device | |
JP4814669B2 (en) | 3D coordinate acquisition device | |
US20110228101A1 (en) | Method and device for determining calibration parameters of a camera | |
JP4943034B2 (en) | Stereo image processing device | |
US9594966B2 (en) | Obstacle detection device and obstacle detection method | |
WO2011027564A1 (en) | Parallax calculation method and parallax calculation device | |
US20150036887A1 (en) | Method of determining a ground plane on the basis of a depth image | |
JP2008082870A (en) | Image processing program, and road surface state measuring system using this | |
TWI504858B (en) | A vehicle specification measuring and processing device, a vehicle specification measuring method, and a recording medium | |
EP3324359B1 (en) | Image processing device and image processing method | |
US10235579B2 (en) | Vanishing point correction apparatus and method | |
CN112862890B (en) | Road gradient prediction method, device and storage medium | |
JP2010085240A (en) | Image processing device for vehicle | |
CN108197590B (en) | Pavement detection method, device, terminal and storage medium | |
JP4052291B2 (en) | Image processing apparatus for vehicle | |
JP2009139324A (en) | Travel road surface detecting apparatus for vehicle | |
Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
JP2009092551A (en) | Method, apparatus and system for measuring obstacle | |
EP4102464A1 (en) | Method and apparatus with calibration | |
US20200003574A1 (en) | Method and device for fast detection of repetitive structures in the image of a road scene | |
JP4462533B2 (en) | Road lane detection device | |
JP2001108434A (en) | Method and apparatus for measuring distance |