JP2009139323A

JP2009139323A - Travel road surface detecting apparatus for vehicle

Info

Publication number: JP2009139323A
Application number: JP2007318566A
Authority: JP
Inventors: Koji Iwase; 耕二岩瀬; Satoru Matsuoka; 悟松岡; Haruhisa Kore; 治久是; Takanori Kume; 孝則久米
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2007-12-10
Filing date: 2007-12-10
Publication date: 2009-06-25

Abstract

PROBLEM TO BE SOLVED: To provide a travel road surface detecting apparatus for vehicles capable of accurately detecting road surfaces by simple processing. SOLUTION: The travel road surface detection apparatus for vehicles for detecting a road slope in a prescribed wide road surface region on the basis of road surface images includes a first imaging means; a second imaging means; a road surface dividing means for dividing a road surface into a plurality of planes on the basis of taken road surface images; a divided plane specifying means for specifying any divided plane as a specific plane from among these divided planes; a specific plane constant computing means for detecting corresponding points retrieved from road surface images taken by the first imaging means and the second imaging means and computing plane constants which specify a specific plane by projection transformation; and an adjacent plane constant estimating means for estimating the plane constants of planes adjacent to the specific plane on the basis of changes in the slopes of boundary parts between the specific plane and its adjacent planes. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、車両用走行路面検出装置に係り、特に、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置に関する。 The present invention relates to a vehicular traveling road surface detection device, and more particularly to a vehicular traveling road surface detection device that detects a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging the traveling road surface.

従来、特許文献１に示すように、ステレオカメラにより得られる基準の画像を他方のカメラ視点に画像変換し、その変換画像を他方のカメラ画像とにより走行路面の平面パラメータを算出する平面検出装置が知られている。
また、特許文献２に示すように、前方の道路の勾配角を検出することが出来る前方道路の勾配検出方法が知られている。 Conventionally, as shown in Patent Document 1, a plane detection device that converts a reference image obtained by a stereo camera to the other camera viewpoint and calculates a plane parameter of a traveling road surface from the converted image with the other camera image is provided. Are known.
Further, as shown in Patent Document 2, a method for detecting the gradient of a road ahead is known that can detect the slope angle of the road ahead.

特開２００６−０５３７５４号公報JP 2006-053754 A 特開平０９−３２５０２６号公報JP 09-325026 A

しかしながら、上述したような装置或いは方法では、演算処理の負担が非常に大きく、特に、複数の傾斜変化がある路面については処理しきれない場合があった。また、単純な、例えば２つの平面同士の勾配変化を求めることが出来るものの、様々な傾斜変化がある場合に正確に路面までの距離や傾斜を検出することが出来ないものである。 However, in the apparatus or method as described above, the burden of the arithmetic processing is very large, and in particular, there are cases where the road surface having a plurality of inclination changes cannot be processed. In addition, a simple change in the gradient between two planes, for example, can be obtained, but when there are various changes in the inclination, the distance to the road surface and the inclination cannot be detected accurately.

そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであり、簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供することを目的としている。 Accordingly, the present invention has been made to solve the above-described problems of the prior art, and an object thereof is to provide a vehicle road surface detection device that can accurately detect a road surface by simple processing. Yes.

上記の目的を達成するために本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第１撮像手段と、この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、撮像される路面画像から路面を複数の平面に分割する路面分割手段と、これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する特定平面定数算出手段と、特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、特定平面算出手段により算出された平面定数と、隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有することを特徴としている。 In order to achieve the above object, a vehicle road surface detection device according to the present invention is a vehicle road surface detection device for detecting a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging the road surface. First imaging means for imaging the vehicle, second imaging means for imaging the traveling road surface so as to obtain a road surface image that overlaps at least part of the road surface image captured by the first imaging means, and the road surface image to be captured Road surface dividing means for dividing the road surface into a plurality of planes, divided plane specifying means for specifying any one of these divided planes as a specific plane, and each image captured by the first imaging means and the second imaging means Specific plane constant calculation means for detecting a corresponding point searched for in the road surface image and calculating a plane constant defining the specific plane by projective transformation, and a plane adjacent to the specific plane. Adjacent plane constant estimating means for estimating the plane constant of the specific plane from the gradient change at the boundary between the specific plane and its adjacent plane, the plane constant calculated by the specific plane calculating means, and the plane constant estimated by the adjacent plane constant estimating means And road surface gradient estimating means for estimating the road surface gradient of a predetermined wide area.

このように構成された本発明においては、路面分割手段により撮像される路面画像の路面を複数の平面に分割し、これらの分割された平面のうちいずれかを特定平面として特定し、特定平面定数算出手段により第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出し、そして、隣接平面定数推定手段により、この特定平面に隣接する平面の平面定数を特定平面とその隣接平面との境界部の勾配変化から推定している。このように、撮像された路面を複数に分割したうちの一つについて特定平面定数算出手段により平面定数（例えば、車両からの距離や路面の傾き）が算出され、他の隣接する面は、この算出した平面定数を基に境界部の勾配変化を考慮して算出している。ここで、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数を算出する方法（特定平面定数算出手段）は、ＥＣＵ（コンピュータ）による処理負担が大きい。一方、或る平面間の境界部の勾配変化を算出する方法のＥＣＵによる処理負担は小さい。そして、本発明では、分割した複数の平面のうちの１つの平面定数をこの処理負担が大きい特定平面定数算出手段により算出した後、その特定平面に隣接する隣接平面及びこのような隣接平面にさらに隣接する次なる隣接平面の平面定数は、処理負担が小さい隣接平面定数推定手段により得られる勾配変化から算出している。そして、特定平面算出手段により算出された平面定数と、隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定するようにしている。従って、広い範囲にわたる路面検出の処理負担が軽減される。また、第１撮像手段及び第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により特定平面を規定する平面定数が算出され、この特定平面の平面定数を基に隣接平面の平面定数が推定されるようになっているので路面（例えば、路面の距離と傾斜）を正確に検出することが出来る。これらの結果、簡易な処理により路面を正確に検出することが出来る。 In the present invention configured as described above, the road surface of the road surface image picked up by the road surface dividing means is divided into a plurality of planes, one of these divided planes is specified as a specific plane, and a specific plane constant is set. The calculation means detects a corresponding point searched for in each road surface image picked up by the first image pickup means and the second image pickup means, calculates a plane constant defining a specific plane by projective transformation, and adjacent The plane constant of the plane adjacent to the specific plane is estimated from the change in the gradient of the boundary between the specific plane and the adjacent plane by the plane constant estimation means. As described above, the plane constant (for example, the distance from the vehicle and the inclination of the road surface) is calculated by the specific plane constant calculating unit for one of the imaged road surfaces divided into a plurality, and the other adjacent surfaces are Based on the calculated plane constant, the change in the gradient at the boundary is taken into consideration. Here, a method of detecting a corresponding point searched for in each road surface image picked up by the first image pickup means and the second image pickup means and calculating a plane constant defining a specific plane by projective transformation (specific plane) The constant calculation means) has a heavy processing load on the ECU (computer). On the other hand, the processing load on the ECU of the method of calculating the gradient change at the boundary between certain planes is small. And in this invention, after calculating one plane constant of the divided | segmented several planes by the specific plane constant calculation means with this large processing burden, it adjoins to the adjacent plane adjacent to the specific plane, and such an adjacent plane. The plane constant of the adjacent next adjacent plane is calculated from the gradient change obtained by the adjacent plane constant estimating means with a small processing load. The slope of the road surface in a predetermined wide area is estimated from the plane constant calculated by the specific plane calculation means and the plane constant estimated by the adjacent plane constant estimation means. Therefore, the processing load for road surface detection over a wide range is reduced. Further, the corresponding constants searched for in the respective road surface images picked up by the first image pickup means and the second image pickup means are detected, and a plane constant defining the specific plane is calculated by projective transformation, and the specific plane is calculated. Since the plane constant of the adjacent plane is estimated based on the plane constant, the road surface (for example, the distance and inclination of the road surface) can be accurately detected. As a result, the road surface can be accurately detected by simple processing.

また、本発明において、好ましくは、路面分割手段は、撮像される路面画像の路面を車両進行方向の縦方向に分割する。
このように構成された本発明においては、車両進行方向の路面を簡易且つ正確に検出することが出来る。 In the present invention, preferably, the road surface dividing means divides the road surface of the road surface image to be captured in the vertical direction of the vehicle traveling direction.
In the present invention configured as described above, the road surface in the vehicle traveling direction can be detected easily and accurately.

また、本発明において、好ましくは、路面分割手段は、撮像される路面画像の路面を路面の横断方向に分割する。
このように構成された本発明においては、路面横断方向の路面を簡易且つ正確に検出することが出来る。 In the present invention, it is preferable that the road surface dividing unit divides the road surface of the road image to be imaged in the transverse direction of the road surface.
In the present invention configured as described above, the road surface in the direction crossing the road surface can be detected easily and accurately.

また、本発明において、好ましくは、特定平面及び隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定される。
このように構成された本発明においては、路面の車両からの距離及び傾斜の度合いを正確に検出することが出来る。 In the present invention, it is preferable that the plane constants of the specific plane and the adjacent plane are defined by the distance d from the vehicle and the inclination n.
In the present invention configured as described above, the distance of the road surface from the vehicle and the degree of inclination can be accurately detected.

また、本発明において、好ましくは、隣接平面定数算出手段は、特定平面の車両からの距離ｄ及び傾きｎと、その特定平面と隣接平面との境界部の勾配変化δにより、隣接平面の平面定数を推定する。
このように構成された本発明においては、隣接平面の路面の車両からの距離及び傾斜の度合いを距離ｄ、傾きｎ及び勾配変化δにより正確に検出することが出来る。 In the present invention, it is preferable that the adjacent plane constant calculating means calculates the plane constant of the adjacent plane based on the distance d and the inclination n of the specific plane from the vehicle and the gradient change δ at the boundary between the specific plane and the adjacent plane. Is estimated.
In the present invention configured as described above, the distance and the degree of inclination of the road surface of the adjacent plane from the vehicle can be accurately detected by the distance d, the inclination n, and the gradient change δ.

また、本発明において、好ましくは、特定平面定数算出手段により算出される平面定数の路面の横断方向の傾斜ｎ’が所定値以下のとき、路面の横断方向に分割された領域の平面定数は互いに同じものとする。
このように構成された本発明においては、路面の横断方向の傾斜が小さい場合に、路面の横断方向の隣接平面をその横方向の特定平面（或いは隣接平面）と同じになるようにしているので、処理負担を軽減することが出来る。 In the present invention, it is preferable that the plane constants of the regions divided in the transverse direction of the road surface are mutually equal when the slope n ′ in the transverse direction of the road surface of the plane constant calculated by the specific plane constant calculating unit is equal to or less than a predetermined value. Same thing.
In the present invention configured as described above, when the road surface has a small inclination in the transverse direction, the adjacent plane in the transverse direction of the road surface is made the same as the specific plane (or adjacent plane) in the lateral direction. , Processing burden can be reduced.

また、本発明において、好ましくは、隣接平面定数算出手段により隣接平面の平面定数の算出が数回行われたとき、その次には、再度特定平面算出手段により平面定数を算出し、その後順次隣接平面定数算出手段による特定平面の算出を行う。
このように構成された本発明においては、隣接平面定数算出手段による隣接平面の平面定数の算出が数回行われたとき、その次には、再度特定平面算出手段により平面定数を算出し、その後順次、隣接平面定数算出手段による特定平面の算出を行うようにしているので、隣接平面定数算出手段を複数回行うことによる累積誤差を小さくして、路面を正確に検出するようにすることが出来る。 In the present invention, preferably, when the plane constant of the adjacent plane is calculated several times by the adjacent plane constant calculating means, then the plane constant is calculated again by the specific plane calculating means and then sequentially adjacent. The specific plane is calculated by the plane constant calculation means.
In the present invention configured as described above, when the calculation of the plane constant of the adjacent plane by the adjacent plane constant calculation unit is performed several times, the plane constant is then calculated again by the specific plane calculation unit, and then Since the specific plane is sequentially calculated by the adjacent plane constant calculating means, it is possible to reduce the accumulated error caused by performing the adjacent plane constant calculating means a plurality of times and accurately detect the road surface. .

本発明による車両用走行路面検出装置によれば、簡易な処理により路面を正確に検出することが出来る。 According to the vehicular traveling road surface detection device of the present invention, the road surface can be accurately detected by simple processing.

以下、本発明の実施形態を添付図面を参照して説明する。
先ず、本発明の実施形態による車両用走行路面検出装置が適用される車両、道路領域検出処理の基本的なフロー、処理画像の例及び道路領域検出処理内容について説明する。図１は、本発明の実施形態による車両用走行路面検出装置が適用される車両の概念図であり、図２は、本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理フローを示すフローチャートであり、図３は、本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理画像の例を示す概念図であり、図４は、射影変換に用いる左右のカメラのそれぞれの対応点の例を示す図である。以下、Ｓは各ステップを示す。 Embodiments of the present invention will be described below with reference to the accompanying drawings.
First, a vehicle to which a vehicle road surface detection device according to an embodiment of the present invention is applied, a basic flow of road area detection processing, an example of a processed image, and road area detection processing contents will be described. FIG. 1 is a conceptual diagram of a vehicle to which a vehicle road surface detection device according to an embodiment of the present invention is applied. FIG. 2 is a road area detection process used in the vehicle road surface detection device according to an embodiment of the present invention. FIG. 3 is a conceptual diagram showing an example of a processing image of road area detection processing used in the vehicle road surface detection device according to the embodiment of the present invention. FIG. 4 is a projective transformation. It is a figure which shows the example of each corresponding point of the left and right cameras used for. Hereinafter, S represents each step.

本発明の実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面を複数の領域に分割し、そのうちの１つの面の距離及び傾きを求めた後、その情報を基に、その面に隣接する面とのつなぎ目部の勾配変化などから、隣接する面の距離及び傾きを順々に算出するものである。 The embodiment of the present invention does not calculate the distance from the host vehicle and the inclination of the surface of the entire road surface as in the prior art, but divides the road surface into a plurality of areas, and determines the distance and inclination of one of the surfaces. After that, based on the information, the distance and inclination of the adjacent surfaces are sequentially calculated from the gradient change of the joint portion with the adjacent surface.

先ず、図１に示すように、車両１は、フロントウィンドウ２の上方に設置されたステレオカメラ４と、ＥＣＵ処理装置６とを有する。
図２に示すように、道路領域検出処理においては、Ｓ１において、ステレオカメラ４によりステレオ画像を取得する。得られた画像のうち、一方の画像を基準画像（図３（ａ））とし、他方の画像を参照画像（図３（ｂ））とする。
次に、図２のＳ２おいて、ＥＣＵ６は、前処理として、これらの基準画像及び参照画像を取り込み、両画像の輝度を一致させるためにＬＯＧフィルタなどを用いてコントラスト調整を行う。 First, as shown in FIG. 1, the vehicle 1 includes a stereo camera 4 installed above the front window 2 and an ECU processing device 6.
As shown in FIG. 2, in the road area detection process, a stereo image is acquired by the stereo camera 4 in S1. Of the obtained images, one image is a reference image (FIG. 3A) and the other image is a reference image (FIG. 3B).
Next, in S2 of FIG. 2, as a pre-processing, the ECU 6 takes in these standard image and reference image, and performs contrast adjustment using a LOG filter or the like in order to match the luminance of both images.

次に、図２のＳ３に示すように、参照画像（図３（ｂ））を基準画像（図３（ａ））の視点から見た画像に後述する(1)射影変換行列算出を用いて視点変換を行う。この処理では、道路平面に対する射影変換行列を動的に推定し、参照画像（図３（ｂ））を射影変換して図３（ｃ）に示すような射影変換画像を得る。このように得られた射影変換画像によれば、参照画像に含まれる高さのある物体が射影変換によって傾くことから、射影変換後の参照画像（図３（ｃ））と基準画像（図３（ａ））との間で差分を求めることで、高さのない道路平面部分を抽出することが出来る。 Next, as shown in S3 of FIG. 2, the reference image (FIG. 3B) is converted into an image viewed from the viewpoint of the standard image (FIG. 3A) using (1) projective transformation matrix calculation described later. Perform viewpoint conversion. In this process, the projective transformation matrix for the road plane is dynamically estimated, and the projective transformation image as shown in FIG. 3C is obtained by projective transformation of the reference image (FIG. 3B). According to the projective transformation image obtained in this way, an object with a height included in the reference image is tilted by the projective transformation, so that the reference image (FIG. 3C) after the projective transformation and the standard image (FIG. 3). By obtaining the difference from (a)), it is possible to extract a road plane portion having no height.

即ち、先ず、図２のＳ４において、図３（ｄ）に示すように、基準画像（図３（ａ））と射影変換後の参照画像（図３（ｃ））の輝度値における差分画像を作成し、次に、図３（ｅ）で黒く示される部分のように、輝度差がしきい値以下となる領域を求める。そして、図２のＳ５において、図３（ｆ）に示すように、グレーで示すような道路領域における(2)道路平面の姿勢を算出することが出来る。
これらの処理は、後述するように、路面を複数の分割領域に分けたそれぞれの特定平面について行うことが出来る。 That is, first, in S4 of FIG. 2, as shown in FIG. 3D, a difference image in luminance values between the base image (FIG. 3A) and the reference image after projective transformation (FIG. 3C) is obtained. Next, an area where the luminance difference is equal to or less than the threshold value is obtained as shown by a black portion in FIG. Then, in S5 of FIG. 2, as shown in FIG. 3 (f), (2) the posture of the road plane in the road region as shown in gray can be calculated.
As will be described later, these processes can be performed for each specific plane obtained by dividing the road surface into a plurality of divided regions.

次に、本発明の実施形態による車両用走行路面検出装置において行われる、車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理についてより詳細に説明する。
１． (1)射影変換行列算出（図２のＳ３）
（１）射影変換行列算出式
参照画像Ｉ_r を射影変換行列Hで変換した画像と基準画像Ｉ_b に対して、平面領域推定範囲内

での輝度差の2乗を評価関数e(H)として、これを最小にする射影変換行列

を求める。算出式は以下のようになる。

ただし、

は画像iの同次座標で表した位置

での輝度値、Hは画像間の平面部に対応した射影変換行列とする。 Next, the road area detection process for obtaining the distance d from the vehicle to the specific plane and the attitude n of the specific plane performed in the vehicle road surface detection apparatus according to the embodiment of the present invention will be described in more detail.
1. (1) Projection transformation matrix calculation (S3 in FIG. 2)
(1) Projection transformation matrix calculation formula For the image obtained by transforming the reference image I _r with the projection transformation matrix H and the standard image I _b , within the plane region estimation range

Projection transformation matrix that minimizes the square of the luminance difference at として as the evaluation function e (H)

Ask for. The calculation formula is as follows.

However,

Is the position of image i in homogeneous coordinates

The luminance value at H, H is a projective transformation matrix corresponding to the plane portion between images.

（２）射影変換行列算出方法
式(1)を満たす射影変換行列を探索により求める。処理手順は以下のようになる。
（ａ）前時刻に推定した射影変換行列が存在する場合は、それを初期値とする。平面抽出処理のスタート時は前時刻の射影変換行列が存在しないため、水平な道路に停車した状態で撮影した画像から道路平面内の図４に示すような対応点（例えば、路面上で特定の輝度を有する白線、路面上の標識、マンホールなど）を設定し最小2乗法を用いて求めた射影変換行列Ｈ₀ を初期値とする。 (2) Projection transformation matrix calculation method A projection transformation matrix satisfying equation (1) is obtained by searching. The processing procedure is as follows.
(A) If there is a projective transformation matrix estimated at the previous time, it is set as an initial value. At the start of the plane extraction process, there is no projective transformation matrix at the previous time, so corresponding points as shown in FIG. 4 in the road plane (for example, specific on the road surface) A projection transformation matrix H ₀ obtained by setting a white line having luminance, a sign on the road surface, a manhole, etc.) and using the least square method is set as an initial value.

（ｂ）ステレオカメラ画像から射影変換行列を計算する。次に、射影変換行列は式(2)で表される。これを特異値分解して道路平面の法線ベクトルを求め、射影変換行列Ｈ₀ から求めた法線ベクトルｎ₀ と内積を計算して、ある範囲に収まり且つ平面領域が見つかるときはその射影変換行列は正しいと判断する。それ以外の時は、誤ったローカルミニマムに陥ったとして、次の射影変換行列Ｈ₁ を初期値として同様の計算を行う。それでも正しい射影変換行列が見つからない場合は、射影変換行列Ｈ₂ を初期値として同様の計算を行う。ただし、射影変換行列Ｈ₁ 、Ｈ₂ は、射影変換行列Ｈ₀ の平面法線ベクトルｎ₀ をピッチ方向前後に4°傾けた法線ベクトルｎ₁、ｎ₂ と射影変換行列Ｈ₀ より求めたR、t、dを用いて式(2)より求めたものである。

ただし、ステレオカメラ間の回転行列をR、ベースラインベクトルをt、平面法線ベクトルをｎ、カメラと平面間距離をd、基準カメラと参照カメラの内部パラメータをＡ₁、Ａ₂ 、定数項をkとする。定数項（k≠0）は、画像が得られた射影変換行列には定数倍の自由度が存在することを示す。 (B) A projective transformation matrix is calculated from the stereo camera image. Next, the projective transformation matrix is expressed by Equation (2). This singular value decomposition to determine the normal vector of the road plane, and calculates the normal vector n ₀ and the inner product calculated from the projective transformation matrix H _0, when found and plan area fit in a range of the projective transformation Judge that the matrix is correct. In other cases, the same calculation is performed using the next projective transformation matrix H ₁ as an initial value, assuming that an erroneous local minimum has occurred. If a correct projection transformation matrix is still not found, the same calculation is performed using the projection transformation matrix H ₂ as an initial value. However, projective transformation matrix H _1, H ₂ was determined from the normal vectors n _1, n ₂ and projective transformation matrix H ₀ for the planar normal vector n ₀ inclined 4 ° in the longitudinal pitch direction of the projective transformation matrix H ₀ It is obtained from the equation (2) using R, t, and d.

However, the rotation matrix between stereo cameras is R, the baseline vector is t, the plane normal vector is n, the distance between the camera and the plane is d, the internal parameters of the reference camera and the reference camera are A ₁ and A ₂ , and the constant terms are k. The constant term (k ≠ 0) indicates that the projective transformation matrix from which the image is obtained has a degree of freedom that is a constant multiple.

（ｃ）すべての射影変換行列（Ｈ₀、Ｈ₁、Ｈ₂）を用いても正しい射影変換行列が求まらない場合は、その画像中に平面は存在しないと見なし、射影変換行列と計算領域をリセットし、ここで処理を終え、次の処理へと進む。 (C) If a correct projection transformation matrix cannot be obtained even if all projection transformation matrices (H ₀ , H ₁ , H ₂ ) are used, it is assumed that no plane exists in the image, and the projection transformation matrix and calculation are performed. The area is reset, and the process ends here and proceeds to the next process.

２． (2)道路平面の姿勢算出（図３のＳ５）
ステレオ画像間の平面に対する射影変換行列から、特異値分解を用いることでステレオカメラに対する平面の向きと位置を算出する。式(2)のカメラ内部パラメータＡ₁、Ａ₂ が既知であるとすると、式(3)のように射影変換行列Ｈ′を特異値分解できる。

t/d、nは以下の関係式から求めることができる。

ただし、
σ₁≠σ₂≠σ₃ のとき、

（ε_1,3＝±1）・・・(5)

ε_1,3 を決定するために、2台のカメラが道路面を向いており平面が見えているという条件を加える。すなわち、nと

との内積が正になる。これで、解が2つとなる。次に、それぞれのnについて、求まったtと、実際のカメラ配置の大まかな並進ベクトルである

との内積を計算し、1に近いほうのtをnの解とする。 2. (2) Road plane posture calculation (S5 in FIG. 3)
The orientation and position of the plane relative to the stereo camera are calculated from the projective transformation matrix for the plane between the stereo images by using singular value decomposition. If the camera internal parameters A ₁ and A _{2 in} Equation (2) are known, the projective transformation matrix H ′ can be decomposed into singular values as shown in Equation (3).

t / d and n can be obtained from the following relational expression.

However,
When σ ₁ ≠ σ ₂ ≠ σ ₃

(Ε _1,3 = ± 1) (5)

In order to determine ε _1,3 , a condition is added that the two cameras are facing the road and the plane is visible. I.e. n and

The inner product with becomes positive. This gives two solutions. Next, for each n, the calculated t and the approximate translation vector of the actual camera placement

The t product closer to 1 is taken as the solution of n.

次に、dは得られたt/dの絶対値とカメラ間のベースライン長|t|から次の式より求めることができる。

以上のようにして、特定平面の平面定数として、車両１から特定平面までの距離ｄ及び特定平面の姿勢（傾き／法線ベクトル）ｎを求めることが出来る。 Next, d can be obtained from the absolute value of t / d obtained and the baseline length | t |

As described above, the distance d from the vehicle 1 to the specific plane and the attitude (inclination / normal vector) n of the specific plane can be obtained as the plane constant of the specific plane.

次に、図５乃至図７により、所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出方法を説明する。図５は、所定の２つの平面でのつなぎ目部及び左右画像対応点を示す路面画像の例を示す図であり、図６は、所定の２つの平面でのつなぎ目部での勾配変化を算出するための特定平面の画像と座標ｘとを示す図であり、図７は、位置ｘにおける距離画像縦断面図（ａ）及び距離画像における距離データ点を示す図である。
この特定平面どうしのつなぎ目部の勾配変化は、或る２つの特定平面の互いの境界部において、ステレオ視の原理より算出した距離情報（距離画像）から、以下に示す方法を用いて２つの特定平面の勾配変動を算出するものである。 Next, a method of calculating the gradient change (δ1) at the joint between predetermined planes will be described with reference to FIGS. FIG. 5 is a diagram showing an example of a road surface image showing a joint portion and left and right image corresponding points in two predetermined planes, and FIG. 6 calculates a gradient change in the joint portion in two predetermined planes. FIG. 7 is a diagram showing a distance image longitudinal cross-sectional view (a) at the position x and distance data points in the distance image.
The change in the gradient of the joint between the specific planes is determined by using the following method from distance information (distance image) calculated from the principle of stereo vision at the boundary between two specific planes. This is to calculate the gradient fluctuation of the plane.

１．距離画像作成
先ず、ステレオカメラ４から得られる左右のカメラ画像の中で、特定平面データ検出処理（特定平面における、車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理）により検出した少なくとも２つの所定の平面での互いのつなぎ目部の領域に対して、図５に示すような左右画像間での対応点をマッチング探索により検出し、そこから得られる視差（＝ｘ１−ｘ２）から、ステレオ視の原理より距離を算出する。それを画像として表したものを距離画像とする。 1. First, in the left and right camera images obtained from the stereo camera 4, a specific plane data detection process (road area detection for determining the distance d from the vehicle to the specific plane and the attitude n of the specific plane in the specific plane) The corresponding points between the left and right images as shown in FIG. 5 are detected by matching search for at least two predetermined plane areas detected by the processing), and the parallax (= From x1−x2), the distance is calculated based on the principle of stereo vision. A distance image is represented as an image.

２．つなぎ目部勾配変化（δ１）の算出
先ず、上述したように算出した距離画像に対して、所定の２つの平面でのつなぎ目部を含む特定の位置（例えば、図６の位置ｘ）における高さの変化である距離画像縦断面図を図７（ａ）のように作成する。この距離画像縦断面図での所定の２つの平面でのつなぎ目部に対応する距離データ／高さデータ（図７（ｂ））から、最小２乗近似などの方法により、つなぎ目部の手前の平面に対する直線Ｌ１と、つなぎ目部の向こう側の平面に対応する直線Ｌ２を算出し、それらの２つの直線Ｌ１及びＬ２のなす角度δ１を所定の２つの平面での平面つなぎ目部勾配変化として算出する。 2. Calculation of Joint Section Gradient Change (δ1) First, with respect to the distance image calculated as described above, the height at a specific position (for example, position x in FIG. 6) including the joint section on two predetermined planes is calculated. A distance image longitudinal sectional view which is a change is created as shown in FIG. From the distance data / height data (FIG. 7 (b)) corresponding to the joint portion at two predetermined planes in the longitudinal section of the distance image, the plane in front of the joint portion by a method such as least square approximation. A straight line L1 and a straight line L2 corresponding to the plane on the other side of the joint portion are calculated, and an angle δ1 formed by the two straight lines L1 and L2 is calculated as a change in the slope of the flat joint portion between the two predetermined planes.

次に、図８乃至図１１により、本発明の実施形態による車両用走行路面検出装置の処理の概念を説明する。
図８は、車両及びこの車両の進行方向である縦方向及び路面の横断方向にそれぞれ路面を分割した路面分割の概念図であり、図９は、図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図であり、図１０は、車両及びこの車両の前方の路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。 Next, the concept of processing of the vehicle road surface detection device according to the embodiment of the present invention will be described with reference to FIGS.
FIG. 8 is a conceptual diagram of the road surface division in which the road surface is divided in the vehicle and the vertical direction as the traveling direction of the vehicle and in the transverse direction of the road surface. FIG. FIG. 10 is a conceptual diagram for explaining how to obtain a plane constant of a divided region, and FIG. 10 is a conceptual diagram of road surface division in which a road surface is divided in a transverse direction of a vehicle and a road surface in front of the vehicle.

先ず、図８に示すように、本発明の実施形態では、車両の進行方向前方における路面を、例えば横断方向（路面の横方向）に２分割し且つ縦方向（車両進行方向）に複数に分割する。次に、図９に示すように、先ず、この場合は一番手前の左側の領域を特定領域（特定平面）Ａ１１として決定し、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、この特定領域の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）を算出する。 First, as shown in FIG. 8, in the embodiment of the present invention, the road surface ahead of the traveling direction of the vehicle is divided into, for example, two in the transverse direction (the lateral direction of the road surface) and divided in the vertical direction (the traveling direction of the vehicle). To do. Next, as shown in FIG. 9, first, in this case, the leftmost area on the foremost side is determined as the specific area (specific plane) A11, and the above-mentioned “distance d from the vehicle to the specific plane and the attitude of the specific plane” The plane constant (distance d11, slope (normal vector) n11) of this specific area is calculated by “road area detection processing for obtaining n”.

次に、一番手前の右側の領域を隣接領域（隣接平面）Ａ２１として決定し、このとき領域Ａ１１とＡ２１とのつなぎ目部の勾配変化δ１１を、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１１）の両方を用いて、隣接領域Ａ２１の平面定数（距離ｄ２１、傾き（法線ベクトル）ｎ２１）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１１を足して、傾きｎ２１とし、距離ｄ２１は、距離ｄ１１と同じとする。 Next, the rightmost region on the foremost side is determined as an adjacent region (adjacent plane) A21. At this time, the gradient change δ11 at the joint between the regions A11 and A21 is set to the above-described “planes in two predetermined planes”. It is calculated by “change in the slope of the joint portion”. Then, using both the plane constant (distance d11, slope (normal vector) n11) of the specific area A11 and the gradient change (δ11) of the joint portion, the plane constant (distance d21, slope (normal vector) of the adjacent area A21 is used. ) N21) is estimated. More specifically, the gradient change δ11 is added to the gradient n11 of the specific area A11 to obtain a gradient n21, and the distance d21 is the same as the distance d11.

同様に、手前から２番目の左側の領域を隣接領域Ａ１２として決定し、このとき特定領域Ａ１１と隣接領域Ａ１２とのつなぎ目部の勾配変化δ１２を上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ１２）」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１２）の両方を用いて、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１２を足して、傾きｎ１２とし、距離ｄ１２は、距離ｄ１１に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。 Similarly, the second left region from the front is determined as the adjacent region A12. At this time, the gradient change δ12 of the joint portion between the specific region A11 and the adjacent region A12 is described above as “the two planes between the two predetermined planes”. It is calculated by “gradient change of joint portion (δ12)”. Then, using both the plane constant (distance d11, slope (normal vector) n11) of the specific area A11 and the slope change (δ12) of the joint portion, the plane constant (distance d12, slope (normal vector) of the adjacent area A12 is used. ) N12) is estimated. More specifically, the gradient change δ12 is added to the gradient n11 of the specific area A11 to obtain the gradient n12, and the distance d12 is obtained by adding the divided division length (divided length in the vehicle traveling direction) to the distance d11.

以下、同様に、例えば、隣接領域Ａ２２は、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）及びつなぎ目部の勾配変化（δ２２）の両方を用いて、隣接領域Ａ２２の平面定数（距離ｄ２２、傾き（法線ベクトル）ｎ２２）を推定する。 Hereinafter, similarly, for example, the adjacent area A22 uses the plane constant (distance d12, slope (normal vector) n12) of the adjacent area A12 and the slope change (δ22) of the joint portion to determine the plane of the adjacent area A22. Constants (distance d22, slope (normal vector) n22) are estimated.

他の実施例として、図１０に示すように、本発明の実施形態では、車両の進行方向前方における路面を、例えば横断方向（路面の横方向）に分割せず且つ縦方向（車両進行方向）に複数に分割する。次に、図１１に示すように、先ず、この場合は一番手前の領域を特定領域（特定平面）Ａ１１として決定し、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、この特定領域の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）を算出する。
次に、２番目の領域を隣接領域（隣接平面）Ａ１２として決定し、このとき領域Ａ１１とＡ１２とのつなぎ目部の勾配変化δ１２を、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化」により算出する。そして、特定領域Ａ１１の平面定数（距離ｄ１１、傾き（法線ベクトル）ｎ１１）及びつなぎ目部の勾配変化（δ１２）の両方を用いて、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）を推定する。より詳細には、特定領域Ａ１１の傾きｎ１１に勾配変化δ１２を足して、傾きｎ１２とし、距離ｄ１２は、距離ｄ１１に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。 As another example, as shown in FIG. 10, in the embodiment of the present invention, the road surface ahead of the traveling direction of the vehicle is not divided into, for example, the transverse direction (the lateral direction of the road surface) and the longitudinal direction (the traveling direction of the vehicle). Divide into multiple parts. Next, as shown in FIG. 11, first, in this case, the foremost area is determined as the specific area (specific plane) A11, and the above-mentioned “distance d from vehicle to specific plane and attitude n of the specific plane are determined. The plane constant (distance d11, slope (normal vector) n11) of this specific area is calculated by “road area detection processing for obtaining”.
Next, the second region is determined as the adjacent region (adjacent plane) A12, and at this time, the gradient change δ12 of the joint portion between the regions A11 and A12 is referred to as “the joint portion between the planes in the two predetermined planes” described above. It is calculated by “change in slope of”. Then, using both the plane constant (distance d11, slope (normal vector) n11) of the specific area A11 and the slope change (δ12) of the joint portion, the plane constant (distance d12, slope (normal vector) of the adjacent area A12 is used. ) N12) is estimated. More specifically, the gradient change δ12 is added to the gradient n11 of the specific area A11 to obtain the gradient n12, and the distance d12 is obtained by adding the divided division length (divided length in the vehicle traveling direction) to the distance d11.

同様に、３番目の領域Ａ１３についても、隣接領域Ａ１２の平面定数（距離ｄ１２、傾き（法線ベクトル）ｎ１２）及びつなぎ目部の勾配変化（δ１３）の両方を用いて、隣接領域Ａ１３の平面定数（距離ｄ１３、傾き（法線ベクトル）ｎ１３）を推定する。より詳細には、特定領域Ａ１２の傾きｎ１２に勾配変化δ１３を足して、傾きｎ１３とし、距離ｄ１３は、距離ｄ１２に、分割した分割長さ（車両進行方向の分割長さ）を足して求める。以降、図示するように、Ｓ１４以降も同様に推定する。 Similarly, for the third area A13, the plane constant of the adjacent area A13 is calculated using both the plane constant (distance d12, slope (normal vector) n12) of the adjacent area A12 and the gradient change (δ13) of the joint. (Distance d13, slope (normal vector) n13) is estimated. More specifically, the gradient change δ13 is added to the gradient n12 of the specific area A12 to obtain the gradient n13, and the distance d13 is obtained by adding the divided length (divided length in the vehicle traveling direction) to the distance d12. Thereafter, as shown in FIG.

次に、図１２により、ＥＣＵによる処理内容をブロック図により説明する。図１２は、本発明の実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図１２に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）２０及び画像記憶部（左）２２で記憶する。路面領域判定部２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この判定部２４では、上述した車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理により射影変換を用いて判定する。なお、この路面領域判定部２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定しても良い。 Next, the processing contents by the ECU will be described with reference to FIG. FIG. 12 is a block diagram showing processing contents in the vehicle road surface detection device according to the embodiment of the present invention.
As shown in FIG. 12, the ECU 6 stores the road surface image captured by the stereo camera 4 in the image storage unit (right) 20 and the image storage unit (left) 22. The road surface area determination unit 24 determines a road surface area based on the stored information on the road surface image. In this determination unit 24, determination is performed using projective transformation by road area detection processing for obtaining the distance d from the vehicle to the specific plane and the attitude n of the specific plane. The road surface area determination unit 24 may determine a road surface area with respect to a preset traveling direction as a road surface area, or may detect a white line or a road shoulder and determine the road surface area.

次に、路面分割処理部２６においては、予め所定の基準で分割の仕方を定めた路面分割データ２８のデータを基に、路面領域判定部２４で判定された路面を分割する。例えば、上述した図８や図１０のように分割する。
次に、画像処理領域（特定領域、特定平面）設定部２８では、路面分割処理部２６において分割された領域のうち、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理（射影変換による道路平面の算出）」により算出する領域を設定する。
一方、推定領域（隣接領域、隣接平面）設定部３０では、路面分割処理部２６において分割された領域のうち、上述した「所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出」により算出された勾配変化（δ）と、基準となる或る領域（特定領域、或いは、推定領域）の平面定数（距離ｄ、傾き（法線ベクトル）ｎ）とにより推定する領域を推定領域として設定する。 Next, the road surface division processing unit 26 divides the road surface determined by the road surface region determination unit 24 based on the data of the road surface division data 28 in which the division method is determined in advance based on a predetermined reference. For example, it is divided as shown in FIGS.
Next, in the image processing region (specific region, specific plane) setting unit 28, among the regions divided by the road surface division processing unit 26, “the distance d from the vehicle to the specific plane and the posture n of the specific plane are obtained. The area to be calculated by “road area detection processing (calculation of road plane by projective transformation)” is set.
On the other hand, the estimated region (adjacent region, adjacent plane) setting unit 30 calculates by the above-described “calculation of gradient change (δ1) at a joint portion between predetermined planes” among the regions divided by the road surface division processing unit 26. An estimated area is set as an estimated area based on the gradient change (δ) and a plane constant (distance d, slope (normal vector) n) of a certain area (specific area or estimated area) serving as a reference. .

次に、特定平面内対応点探索３２では、左右のカメラ６のそれぞれの撮像画面における路面領域（路面領域判定部２４で判定された路面）の互いの対応点を探索する。対応点とは、特定の輝度を有する部分であり、白線、路面上の標識、マンホールなどである（図４参照）。これらの対応点により射影変換を行うことが出来る。 Next, in the specific plane corresponding point search 32, the corresponding points of the road surface area (the road surface determined by the road surface area determination unit 24) on the respective imaging screens of the left and right cameras 6 are searched. The corresponding point is a portion having a specific luminance, such as a white line, a road sign, a manhole, etc. (see FIG. 4). Projective transformation can be performed using these corresponding points.

次に、特定平面平面定数算出部３４では、路面分割処理部２６で分割された路面のうちの一つを特定平面として定め、その特定平面の平面定数である車両からの距離ｄ１、姿勢（傾き）ｎ１を算出する。ここでは、特定平面内対応点探索部３２で設定された対応点の視差角により、距離及び傾きを算出する。より詳細には、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理（射影変換による道路平面の算出）」により行われる。 Next, the specific plane plane constant calculation unit 34 determines one of the road surfaces divided by the road surface division processing unit 26 as a specific plane, and the distance d1 from the vehicle, which is the plane constant of the specific plane, the posture (inclination) ) Calculate n1. Here, the distance and the inclination are calculated based on the parallax angles of the corresponding points set by the specific point corresponding point search unit 32. More specifically, it is performed by the above-described “road area detection processing for calculating the distance d from the vehicle to the specific plane and the attitude n of the specific plane (calculation of the road plane by projective transformation)”.

また、特定平面つなぎ目部勾配変化算出部３６では、路面分割処理部２６で分割された路面のうちの一つである特定平面と、次に平面定数を求める隣接平面との間のつなぎ目部の勾配δ１を算出する。この算出は、上述した「所定の平面どうしのつなぎ目部の勾配変化（δ１）の算出」により行われる。 In addition, the specific plane joint gradient change calculating section 36 has a joint section gradient between a specific plane which is one of the road surfaces divided by the road surface division processing section 26 and an adjacent plane whose plane constant is next calculated. δ1 is calculated. This calculation is performed by the above-described “calculation of gradient change (δ1) at a joint portion between predetermined planes”.

そして、隣接平面平面定数算出部３８では、特定平面平面定数算出部３４で算出された距離ｄ１、姿勢ｎ１と、特定平面つなぎ目部勾配変化算出部３６で算出された勾配δ１とにより、上述したように、隣接平面の平面定数（距離ｄ２、姿勢（傾き）ｎ２）を推定する。 Then, in the adjacent plane plane constant calculation unit 38, the distance d1 and posture n1 calculated by the specific plane plane constant calculation unit 34 and the gradient δ1 calculated by the specific plane joint gradient change calculation unit 36 are as described above. Next, the plane constant (distance d2, posture (tilt) n2) of the adjacent plane is estimated.

次に、隣接平面つなぎ目部勾配変化算出部４０では、推定領域設定部３０で設定された隣接領域と、他の特定平面（画像処理領域（特定領域、特定平面）設定部２８で設定された領域、或いは、推定領域（隣接領域、隣接平面）設定部３０で設定された他の領域）との間のつなぎ目部の勾配変化δ２を算出する。
そして、次隣接平面平面定数推定部４２では、隣接平面平面定数算出部３８で算出された距離ｄ２、姿勢ｎ２と、隣接平面つなぎ目部勾配変化算出部４０で算出された勾配δ２とにより、上述したように、隣接平面の平面定数（距離ｄ３、姿勢（傾き）ｎ３）を推定する。 Next, in the adjacent plane joint gradient change calculation unit 40, the adjacent region set by the estimation region setting unit 30 and the other specific plane (image processing region (specific region, specific plane) setting unit 28) Alternatively, the gradient change δ2 at the joint between the estimated region (adjacent region and adjacent plane) and other regions set by the setting unit 30 is calculated.
Then, in the next adjacent plane plane constant estimation unit 42, the distance d2 and the posture n2 calculated by the adjacent plane plane constant calculation unit 38 and the gradient δ2 calculated by the adjacent plane joint gradient change calculation unit 40 are described above. Thus, the plane constant (distance d3, posture (tilt) n3) of the adjacent plane is estimated.

以下、次隣接平面平面定数推定部４４・・・ｎも同様の処理を行う。そして、走行路面勾配検出部４６では、特定平面平面定数算出部により算出された平面定数（距離ｄ１、傾きｎ２）と、複数の隣接平面平面定数算出部３８、４２、４４、・・・Ｎにより推定された平面定数（距離ｄ２〜ｄＮ、傾きｎ２〜ｎＮ）とにより、走行路面の距離及び傾きの情報から路面勾配を検出する。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。 Hereinafter, the next adjacent plane plane constant estimation unit 44... N performs the same process. In the traveling road surface gradient detection unit 46, the plane constant (distance d1, inclination n2) calculated by the specific plane plane constant calculation unit and a plurality of adjacent plane plane constant calculation units 38, 42, 44,. Based on the estimated plane constants (distances d2 to dN, inclinations n2 to nN), the road surface gradient is detected from information on the distance and inclination of the traveling road surface.
Then, the safety system 8, the transmission system (AT) 9, and the engine system (ENG) 10 are controlled using the detected road surface gradient information.

次に、図１３により、本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１３は、本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。Ｓは、各ステップを示す。
図１３に示すように、Ｓ１では、各種パラメータのイニシャライズ処置が行われる。次に、Ｓ２において、ステレオカメラ４により撮像されたデータが画像記憶部２０、２２に記憶される。次に、Ｓ３において、路面領域判定部２４により、走行路面となる対象領域が抽出され、さらに、画像処理領域設定部２８で画像処理する特定領域を設定する。次に、Ｓ４において、路面分割処理部２６により、走行路面が路面横断方向にＮ個（１、２、３・・・）及び車両進行方向にＭ個（１、２、３・・・）に分割される。ここでは、走行路面が予め決められた大きさ或いは予め決められた数となるように分割される。 Next, with reference to FIG. 13, a flowchart as processing contents in the vehicle road surface detection device according to the embodiment of the present invention will be described. FIG. 13 is a flowchart showing the processing contents in the vehicle road surface detection device according to the embodiment of the present invention. S indicates each step.
As shown in FIG. 13, in S1, various parameters are initialized. Next, in S 2, data captured by the stereo camera 4 is stored in the image storage units 20 and 22. Next, in S 3, the road area determination unit 24 extracts a target area to be a traveling road surface, and the image processing area setting unit 28 sets a specific area for image processing. Next, in S4, the road surface division processing unit 26 reduces the number of traveling road surfaces to N (1, 2, 3,...) In the crossing direction and M (1, 2, 3,...) In the vehicle traveling direction. Divided. Here, the road surface is divided so as to have a predetermined size or a predetermined number.

次に、Ｓ５において、路面横断方向の分割の数値パラメータｉを１（ｉ＝１）とし、車両進行方向の分割の数値パラメータｊを１（ｊ＝１）とする。
次に、Ｓ６において、特定平面平面定数算出部３４により、特定平面Ａｉ、ｊの平面データ（位置ｄｉ、ｊ、傾きｎｉ、ｊ）が検出されると共に保存される。次に、Ｓ７において、平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより小さいか否かを判定する。 Next, in S5, the numerical parameter i for dividing in the road crossing direction is set to 1 (i = 1), and the numerical parameter j for dividing in the vehicle traveling direction is set to 1 (j = 1).
Next, in S6, the plane data (position di, j, inclination ni, j) of the specific plane Ai, j is detected and stored by the specific plane plane constant calculating unit 34. Next, in S 7, it is determined whether or not the absolute value of the inclination value ni, j of the plane Ai, j in the road crossing direction is smaller than α.

平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより小さい場合には、平面Ａｉ、ｊ〜ＡＮ、ｊの平面データ（位置ｄｉ、ｊ、傾きｎｉ、ｊ）のうち、位置ｄ１、ｊ〜ｄＮ、ｊを「ｄ１、ｊ」とし、傾きｎ１、ｊ〜ｎＮ、ｊを「ｎ１、ｊ」とする。即ち、路面の横断方向の傾斜が小さい場合にｉ＝１として、路面横断方向には分割しないようにし、つまり、路面の横断方向の隣接平面をその横方向の特定平面（或いは隣接平面）と同じであると捉えるようにしているので、ＥＣＵ６による処理負担を軽減することが出来る。 When the absolute value of the inclination value ni, j of the plane Ai, j in the crossing direction of the road surface is smaller than α, the plane data (position di, j, inclination ni, j) of the plane Ai, j to AN, j Among them, the positions d1, j to dN, j are “d1, j”, and the inclinations n1, j to nN, j are “n1, j”. That is, when the slope in the cross direction of the road surface is small, i = 1 is set so as not to be divided in the cross direction of the road surface. Therefore, the processing load on the ECU 6 can be reduced.

平面Ａｉ、ｊの傾きｎｉ、ｊの路面横断方向の傾き値の絶対値が、αより大きい場合には、Ｓ９乃至Ｓ１２の処理により、路面横断方向の隣接領域の距離ｄ及び傾きｎを検出する。具体的には、Ｓ９において、特定平面つなぎ目部勾配変化（δ）算出部３６或いは隣接平面つなぎ目部勾配変化（δ）算出部４０において、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」により平面Ａｉ、ｊの路面横断方向のつなぎ目部の勾配変化δｉ、ｊを検出する。次に、Ｓ１０において、隣接平面平面定数推定部３８、４２、４４・・・Ｎにより、路面横断方向の隣接領域Ａｉ＋１、ｊの平面データ（位置ｄｉ＋１、ｊ、傾きｎｉ＋１、ｊ）を算出して保存する。Ｓ１１では、路面横断方向の分割の数値パラメータｉに１を加え、Ｓ１２により、Ｓ９乃至Ｓ１１の処理が、分割数であるＮ個まで行われたか否かを判定する。 When the absolute value of the slope ni, j in the road crossing direction of the plane Ai, j is larger than α, the distance d and the slope n of the adjacent region in the road crossing direction are detected by the processes in S9 to S12. . Specifically, in S9, in the specific plane joint change (δ) calculation unit 36 or the adjacent plane joint change (δ) calculation unit 40, the above-mentioned “joint part of planes in two predetermined planes”. The gradient change δi, j at the joint portion in the crossing direction of the road surface of the plane Ai, j is detected. Next, in S10, the adjacent plane plane constant estimation units 38, 42, 44... N calculate plane data (position di + 1, j, inclination ni + 1, j) of the adjacent area Ai + 1, j in the road crossing direction. save. In S11, 1 is added to the numerical parameter i of the crossing direction in the road surface direction, and it is determined in S12 whether or not the processes of S9 to S11 have been performed up to N as the number of divisions.

Ｓ９乃至Ｓ１１の処理が、分割数であるＮ個まで行われた場合、Ｓ１３に進み、路面横断方向の分割の数値パラメータｉを１に戻す。これは、車両進行方向の次の領域において、再び、ｉ＝１〜Ｎまでの平面データを得るためである。
次に、Ｓ１４において、上述したＳ６で保存された特定平面Ａ１、ｊの平面データ（距離ｄ１、ｊ、傾きｎ１、ｊ）を読み出す。 When the processes of S9 to S11 are performed up to N which is the number of divisions, the process proceeds to S13, and the numerical parameter i of division in the crossing direction in the road surface is returned to 1. This is to obtain plane data from i = 1 to N again in the next region in the vehicle traveling direction.
Next, in S14, the plane data (distance d1, j, inclination n1, j) of the specific plane A1, j stored in S6 described above is read.

次に、Ｓ１５において、車両進行方向の分割の数値パラメータｊがＭＳであるか否かを判定する。ＭＳは、車両進行方向（縦方向）の分割数Ｍよりも小さい値であり、それ以上の繰り返しの平面データの推定を行うと路面検出の精度が低下するものとして設定された値である。
Ｓ１５において、ｊ＝ＭＳと判定された場合には、Ｓ１６に進み、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ１２）」による平面データの推定を行わず、上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」により、平面１、ｊの平面データ（位置ｄ１、ｊ＋１、傾きｎ１、ｊ＋１）を検出すると共に保存する。次に、Ｓ１７において、ＭＳ＋ＭＳをＭＳと設定する。 Next, in S15, it is determined whether or not the numerical parameter j for division in the vehicle traveling direction is MS. MS is a value that is smaller than the division number M in the vehicle traveling direction (vertical direction), and is a value that is set to reduce the accuracy of road surface detection when more repeated plane data is estimated.
If it is determined in step S15 that j = MS, the process proceeds to step S16, and the above-described “inclination change of the joint portion between two planes in two predetermined planes (δ12)” is not estimated, and the above-described plane data is not estimated. The plane data (position d1, j + 1, inclination n1, j + 1) of the planes 1 and j are detected and saved by the “road area detection process for obtaining the distance d from the vehicle to the specific plane and the attitude n of the specific plane”. To do. Next, in S17, MS + MS is set as MS.

このようなＳ１５乃至Ｓ１７の処理により、隣接平面定数算出手段（上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」による平面データの推定）による隣接平面の平面定数の算出が数回（ＭＳ回）行われたとき、その次には、再度、特定平面算出手段（上述した「車両から特定平面までの距離ｄ及び特定平面の姿勢ｎを求めるための道路領域検出処理」）により平面定数を算出し、その後順次、隣接平面定数算出手段による特定平面の算出を行うようにしているので、隣接平面定数算出手段を複数回行うことによる累積誤差を小さくして、路面を正確に検出するようにすることが出来る。 By such processing of S15 to S17, the plane constant of the adjacent plane by the adjacent plane constant calculation means (estimation of plane data by the above-mentioned “gradient change (δ) of the joint portion between two planes in two predetermined planes)” described above. Is calculated several times (MS times), then, again, the specific plane calculation means (the above-described “distance d from the vehicle to the specific plane and road area detection for obtaining the attitude n of the specific plane” Since the plane constant is calculated by the processing “), and then the specific plane is calculated by the adjacent plane constant calculating means sequentially, the accumulated error due to performing the adjacent plane constant calculating means a plurality of times is reduced, and the road surface is reduced. Can be detected accurately.

Ｓ１５において、ｊ＝ＭＳと判定さない場合には、Ｓ１８において、特定平面つなぎ目部勾配変化（δ）算出部３６或いは隣接平面つなぎ目部勾配変化（δ）算出部４０において、上述した「所定の２つの平面での平面どうしのつなぎ目部の勾配変化（δ）」により平面Ａｉ、ｊの路面横断方向のつなぎ目部の勾配変化δ１、ｊを検出する。次に、Ｓ１９において、隣接平面平面定数推定部３８、４２、４４・・・Ｎにより、路面横断方向の隣接領域Ａ１、ｊ＋１の平面データ（位置ｄ１、ｊ＋１、傾き１、ｊ＋１）を算出して保存する。そして、Ｓ２０において、車両進行方向の分割の数値パラメータｊに１を加え（ｊ＝ｊ＋１）、Ｓ２１でｊが、車両進行方向の分割数Ｍより大きいか否かを判定し、以下Ｓ７乃至Ｓ２０の処理を繰り返すことにより、Ｓ４で分割した全ての領域（ｉ＝１〜Ｎ、ｊ＝１〜Ｍ）について、路面データ（平面定数）を算出或いは推定することが出来る。 If it is not determined in step S15 that j = MS, the specific plane joint slope change (δ) calculation unit 36 or the adjacent plane joint slope change (δ) calculation unit 40 in S18 described above “predetermined 2 The slope change δ1, j of the joint portion in the crossing direction of the road surface of the plane Ai, j is detected by “the slope change (δ) of the joint portion between the two planes”. Next, in S19, the adjacent plane plane constant estimation units 38, 42, 44... N calculate plane data (positions d1, j + 1, inclination 1, j + 1) of the adjacent areas A1, j + 1 in the road crossing direction. save. In S20, 1 is added to the numerical parameter j of the vehicle traveling direction division (j = j + 1). In S21, it is determined whether or not j is larger than the number M of divisions in the vehicle traveling direction. By repeating the processing, road surface data (plane constant) can be calculated or estimated for all the regions (i = 1 to N, j = 1 to M) divided in S4.

以上、本発明の実施形態によれば、撮像される路面画像の路面が複数の平面に分割され、これらの分割された平面のうちいずれかが特定平面として特定され、ステレオカメラ４で撮像されたそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出され、そして、この特定平面に隣接する平面の平面定数が特定平面とその隣接平面との境界部の勾配変化から推定されるようになっている。このように、撮像された路面を複数に分割したうちの一つについて平面定数（本実施形態では、車両からの距離及び路面の傾き）、他の隣接する面はこの算出した平面定数を基に境界部の勾配変化を考慮して算出されている。ここで、ステレオカメラ４で撮像されたそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出される方法は、ＥＣＵ６による処理負担が大きい。一方、或る平面間の境界部の勾配変化を算出する方法のＥＣＵによる処理負担は小さい。そして、本発明の実施形態では、分割した複数の平面のうちの１つの平面定数をこの処理負担が大きい算出手段により算出した後、その特定平面に隣接する隣接平面及びこのような隣接平面にさらに隣接する次なる隣接平面の平面定数が、処理負担が小さい手段により得られる勾配変化から算出されている。従って、広い範囲にわたる路面検出の処理負担が軽減される。また、ステレオカメラ４のそれぞれの路面画像にて探索された互いの対応点が検出されると共に射影変換により特定平面を規定する平面定数が算出され、この特定平面の平面定数を基に隣接平面の平面定数が推定されるようになっているので、本発明の実施形態によれば、路面の車両からの距離及び路面の傾斜を正確に検出することが出来る。これらの結果、簡易な処理により路面を正確に検出することが出来る。 As described above, according to the embodiment of the present invention, the road surface of the road surface image to be captured is divided into a plurality of planes, and any one of these divided planes is specified as the specific plane and captured by the stereo camera 4. Corresponding points searched for in each road surface image are detected, and a plane constant defining a specific plane is calculated by projective transformation, and the plane constant of the plane adjacent to this specific plane is the specific plane and its adjacent It is estimated from the gradient change at the boundary with the plane. In this way, the plane constant (one of the distances from the vehicle and the inclination of the road surface in this embodiment) of one of the imaged road surfaces divided into a plurality, and the other adjacent surfaces are based on the calculated plane constants. It is calculated in consideration of the gradient change at the boundary. Here, the method in which the corresponding points searched for in the respective road surface images captured by the stereo camera 4 are detected and the plane constant defining the specific plane by the projective transformation is calculated requires a processing burden on the ECU 6. large. On the other hand, the processing load on the ECU of the method of calculating the gradient change at the boundary between certain planes is small. In the embodiment of the present invention, after calculating the plane constant of one of the plurality of divided planes by the calculation means having a large processing burden, an adjacent plane adjacent to the specific plane and such an adjacent plane are further added. The plane constant of the adjacent next adjacent plane is calculated from the gradient change obtained by means with a small processing load. Therefore, the processing load for road surface detection over a wide range is reduced. In addition, corresponding points searched for in the respective road surface images of the stereo camera 4 are detected, and a plane constant defining a specific plane is calculated by projective transformation. Based on the plane constant of the specific plane, the adjacent plane is calculated. Since the plane constant is estimated, according to the embodiment of the present invention, the distance of the road surface from the vehicle and the inclination of the road surface can be accurately detected. As a result, the road surface can be accurately detected by simple processing.

また、撮像された路面は、車両進行方向の縦方向に分割されると共に路面の横断方向に分割され、特定平面及び隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定されるので、路面の車両からの距離ｄ及び傾きｎを簡易且つ正確に検出することが出来る。 Further, the imaged road surface is divided in the longitudinal direction of the vehicle traveling direction and in the transverse direction of the road surface, and the plane constants of the specific plane and the adjacent plane are defined by the distance d from the vehicle and the inclination n. Therefore, the distance d and the slope n from the vehicle on the road surface can be detected easily and accurately.

本発明の実施形態による車両用走行路面検出装置が適用される車両の概念図である。1 is a conceptual diagram of a vehicle to which a vehicle road surface detection device according to an embodiment of the present invention is applied. 本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理フローを示すフローチャートである。It is a flowchart which shows the processing flow of the road area detection process used for the traveling road surface detection apparatus for vehicles by embodiment of this invention. 本発明の実施形態による車両用走行路面検出装置に用いられる道路領域検出処理の処理画像の例を示す概念図である。It is a conceptual diagram which shows the example of the process image of the road area detection process used for the traveling road surface detection apparatus for vehicles by embodiment of this invention. 射影変換に用いる左右のカメラのそれぞれの対応点の例を示す図である。It is a figure which shows the example of each corresponding point of the right and left camera used for projective transformation. 所定の２つの平面でのつなぎ目部及び左右画像対応点を示す路面画像の例を示す図である。It is a figure which shows the example of the road surface image which shows the joint part and left-right image corresponding point in two predetermined planes. 所定の２つの平面でのつなぎ目部での勾配変化を算出するための特定平面の画像と座標ｘとを示す図である。It is a figure which shows the image and coordinate x of the specific plane for calculating the gradient change in the joint part in two predetermined planes. 位置ｘにおける距離画像縦断面図（ａ）及び距離画像における距離データ点を示す図である。It is the distance image longitudinal cross-sectional view (a) in the position x, and the figure which shows the distance data point in a distance image. 車両及びこの車両の進行方向である縦方向及び路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。It is a conceptual diagram of the road surface division | segmentation which each divided | segmented the road surface in the vertical direction which is a vehicle and the advancing direction of this vehicle, and the cross direction of a road surface. 図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図である。It is a conceptual diagram for demonstrating how to obtain | require the plane constant of each division area at the time of road surface division | segmentation like FIG. 車両及びこの車両の前方の路面の横断方向にそれぞれ路面を分割した路面分割の概念図である。It is a conceptual diagram of the road surface division | segmentation which each divided | segmented the road surface in the cross direction of the vehicle and the road surface ahead of this vehicle. 図８のように路面分割した場合のそれぞれの分割領域の平面定数の求め方を説明するための概念図である。It is a conceptual diagram for demonstrating how to obtain | require the plane constant of each division area at the time of road surface division | segmentation like FIG. 本発明の実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。It is a block diagram which shows the processing content in the traveling road surface detection apparatus for vehicles by embodiment of this invention. 本発明の実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。It is a flowchart which is the processing content in the traveling road surface detection apparatus for vehicles by embodiment of this invention.

符号の説明Explanation of symbols

１車両
４ステレオカメラ
６ＥＣＵ 1 vehicle 4 stereo camera 6 ECU

Claims

走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、
走行路面を撮像する第１撮像手段と、
この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、
撮像される路面画像から路面を複数の平面に分割する路面分割手段と、
これらの分割された平面のうちいずれかを特定平面として特定する分割平面特定手段と、
上記第１撮像手段及び上記第２撮像手段で撮像されたそれぞれの路面画像にて探索された互いの対応点を検出すると共に射影変換により上記特定平面を規定する平面定数を算出する特定平面定数算出手段と、
上記特定平面に隣接する平面の平面定数を上記特定平面とその隣接平面との境界部の勾配変化から推定する隣接平面定数推定手段と、
上記特定平面算出手段により算出された平面定数と、上記隣接平面定数推定手段により推定された平面定数とにより所定の広い領域の路面の勾配を推定する路面勾配推定手段と、
を有することを特徴とする車両用走行路面検出装置。 A vehicle road surface detection device for detecting a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging a road surface,
First imaging means for imaging a traveling road surface;
Second imaging means for imaging the traveling road surface so as to obtain a road surface image at least partly overlapping with the road surface image captured by the first imaging means;
Road surface dividing means for dividing the road surface into a plurality of planes from the imaged road surface image;
A divided plane specifying means for specifying any of these divided planes as a specific plane;
Specific plane constant calculation for detecting a corresponding point searched for in each road surface image picked up by the first imaging means and the second imaging means and calculating a plane constant defining the specific plane by projective transformation Means,
An adjacent plane constant estimating means for estimating a plane constant of a plane adjacent to the specific plane from a gradient change of a boundary portion between the specific plane and the adjacent plane;
A road surface gradient estimating unit that estimates a road surface gradient of a predetermined wide area from the plane constant calculated by the specific plane calculating unit and the plane constant estimated by the adjacent plane constant estimating unit;
A vehicle road surface detection device characterized by comprising:

上記路面分割手段は、上記撮像される路面画像の路面を車両進行方向の縦方向に分割する請求項１に記載の車両用走行路面検出装置。 The vehicle road surface detection device according to claim 1, wherein the road surface dividing unit divides a road surface of the captured road surface image in a vertical direction of a vehicle traveling direction.

上記路面分割手段は、上記撮像される路面画像の路面を路面の横断方向に分割する請求項１又は請求項２に記載の車両用走行路面検出装置。 The vehicle road surface detection device according to claim 1, wherein the road surface dividing unit divides a road surface of the picked-up road surface image in a transverse direction of the road surface.

上記特定平面及び上記隣接平面のそれぞれの平面定数は、車両からの距離ｄ及び傾きｎにより規定される請求項１乃至３に記載の車両用走行路面検出装置。 The vehicle road surface detection device according to any one of claims 1 to 3, wherein the plane constants of the specific plane and the adjacent plane are defined by a distance d from the vehicle and an inclination n.

上記隣接平面定数算出手段は、上記特定平面の車両からの距離ｄ及び傾きｎと、その特定平面と隣接平面との境界部の勾配変化δにより、隣接平面の平面定数を推定する請求項１乃至４に記載の車両用走行路面検出装置。 The adjacent plane constant calculating means estimates the plane constant of the adjacent plane based on the distance d and the inclination n from the vehicle of the specific plane and the gradient change δ at the boundary between the specific plane and the adjacent plane. 5. A vehicle road surface detection device according to 4.

上記特定平面定数算出手段により算出される平面定数の路面の横断方向の傾斜ｎ’が所定値以下のとき、路面の横断方向に分割された領域の上記平面定数は互いに同じものとする請求項１乃至５のいずれか１項に記載の車両用走行路面検出装置。 2. The plane constants of regions divided in the transverse direction of the road surface are the same when the slope n ′ in the transverse direction of the road surface of the plane constant calculated by the specific plane constant calculating means is equal to or less than a predetermined value. The vehicle road surface detection device according to any one of claims 1 to 5.

上記隣接平面定数算出手段により上記隣接平面の上記平面定数の算出が数回行われたとき、その次には、再度上記特定平面算出手段により平面定数を算出し、その後順次上記隣接平面定数算出手段による特定平面の算出を行う請求項１乃至６のいずれか１項に記載の車両用走行路面検出装置。 When the plane constant of the adjacent plane is calculated several times by the adjacent plane constant calculating means, then the plane constant is calculated again by the specific plane calculating means, and then the adjacent plane constant calculating means sequentially. The traveling road surface detection device for a vehicle according to any one of claims 1 to 6, wherein a specific plane is calculated by using a vehicle.