JP2009139325A - Travel road surface detecting apparatus for vehicle - Google Patents
Travel road surface detecting apparatus for vehicle Download PDFInfo
- Publication number
- JP2009139325A JP2009139325A JP2007318568A JP2007318568A JP2009139325A JP 2009139325 A JP2009139325 A JP 2009139325A JP 2007318568 A JP2007318568 A JP 2007318568A JP 2007318568 A JP2007318568 A JP 2007318568A JP 2009139325 A JP2009139325 A JP 2009139325A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- vehicle
- gradient
- specific area
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両用走行路面検出装置に係り、特に、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置に関する。 The present invention relates to a vehicular traveling road surface detection device, and more particularly to a vehicular traveling road surface detection device that detects a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging the traveling road surface.
従来、特許文献１に示すように、ステレオカメラにより得られる基準の画像を他方のカメラ視点に画像変換し、その変換画像を他方のカメラ画像とにより走行路面の平面パラメータを算出する平面検出装置が知られている。
また、特許文献２に示すように、前方の道路の勾配角を検出することが出来る前方道路の勾配検出方法が知られている。
Conventionally, as shown in Patent Document 1, a plane detection device that converts a reference image obtained by a stereo camera to the other camera viewpoint and calculates a plane parameter of a traveling road surface from the converted image with the other camera image is provided. Are known.
Further, as shown in Patent Document 2, a method for detecting the gradient of a road ahead is known that can detect the slope angle of the road ahead.
しかしながら、上述したような装置或いは方法では、演算処理の負担が非常に大きく、特に、複数の傾斜変化がある路面については処理しきれない場合があった。また、単純な、例えば２つの平面同士の勾配変化を求めることが出来るものの、様々な傾斜変化がある場合に正確に路面までの距離や傾斜を検出することが出来ないものである。さらに、例えば白線上の一点を捉えてその一点の位置変化を時間的に追って路面を検出するのでは、処理時間が多くかかってしまうものであった。 However, in the apparatus or method as described above, the burden of the arithmetic processing is very large, and in particular, there are cases where the road surface having a plurality of inclination changes cannot be processed. In addition, a simple change in the gradient between two planes, for example, can be obtained, but when there are various changes in the inclination, the distance to the road surface and the inclination cannot be detected accurately. Furthermore, for example, if a point on the white line is captured and the road surface is detected by following the position change of the point in time, it takes a lot of processing time.
そこで、本発明は、上述した従来技術の問題点を解決するためになされたものであり、簡易な処理により路面を正確に検出することが出来る車両用走行路面検出装置を提供することを目的としている。 Accordingly, the present invention has been made to solve the above-described problems of the prior art, and an object thereof is to provide a vehicle road surface detection device that can accurately detect a road surface by simple processing. Yes.
上記の目的を達成するために本発明による車両用走行路面検出装置は、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出する車両用走行路面検出装置であって、走行路面を撮像する第１撮像手段と、この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、撮像された路面から、所定の領域にある複数のテクスチャを検出し、この複数のテクスチャのそれぞれ少なくとも上下に離間した２点の位置を検出する位置検出手段と、複数のテクスチャのそれぞれの２点の位置から、複数のテクスチャが存在する所定の広い領域の路面の勾配を推定する路面勾配推定手段と、を有することを特徴としている。
このように構成された本発明においては、撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、この２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定するので、検出遅れが少なく、少ない処理負担で路面勾配を検出することが出来る。
In order to achieve the above object, a vehicle road surface detection device according to the present invention is a vehicle road surface detection device for detecting a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging the road surface. A first image pickup means for picking up the road, a second image pickup means for picking up the road surface so as to obtain a road surface image that overlaps at least a part of the road surface image picked up by the first image pickup means, and from the picked-up road surface Detecting a plurality of textures in a predetermined region, detecting a position of two points separated from each other at least in the vertical direction of the plurality of textures, and a plurality of positions from the positions of the two points of the plurality of textures. Road surface gradient estimation means for estimating the gradient of the road surface in a predetermined wide area where the texture exists.
In the present invention configured as described above, a texture in a predetermined area is detected from the imaged road surface, and at least two positions separated from each other at the top and bottom of the texture are detected. From the positions of the two points, Since the gradient of the road surface over a predetermined wide area where the texture exists is estimated, the detection delay is small, and the road surface gradient can be detected with a small processing load.
また、本発明において、好ましくは、２点の位置は、車両からの距離及び車両からの高さで表されるので、より簡易に路面勾配を検出することが出来る。
また、本発明において、好ましくは、テクスチャは白線であるので、より簡易に路面勾配を検出することが出来る。
In the present invention, preferably, the positions of the two points are represented by the distance from the vehicle and the height from the vehicle, so that the road surface gradient can be detected more easily.
In the present invention, the texture is preferably a white line, so that the road surface gradient can be detected more easily.
また、本発明において、好ましくは、テクスチャは複数存在し、路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定する。
このように構成された本発明においては、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
In the present invention, it is preferable that a plurality of textures exist, and the road surface gradient estimation means detects a gradient straight line obtained by connecting the positions of two points of each texture for each texture, and each such texture. The slope of the road surface is estimated from a straight line obtained by connecting a plurality of gradient straight lines with the intersection of the slope straight lines as a folding point.
In the present invention configured as described above, the road surface gradient can be detected with higher accuracy while the processing load is small.
また、本発明において、好ましくは、さらに、撮像される路面画像から路面を複数の平面に分割する路面分割手段を有し、テクスチャは、分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定する。
このように構成された本発明においては、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。
In the present invention, it is preferable to further include a road surface dividing unit that divides the road surface into a plurality of planes from the captured road surface image, and one texture is detected for each of the plurality of divided planes. The road surface gradient estimation means estimates the road surface gradient of a predetermined wide area from the road surface gradients obtained in the respective divided planes.
In the present invention configured as described above, the road surface gradient can be detected with higher accuracy while the processing load is small.
また、本発明において、好ましくは、さらに、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定する特定領域設定手段と、この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定する特定領域勾配推定手段と、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する走行路面設定手段と、を有する。 In the present invention, preferably, a specific area setting means for setting a specific area that is a predetermined distance away from the vehicle on the imaged road surface as the specific area, and in the specific area, the texture existing in the specific area A specific area gradient estimating means for connecting the positions of two points to estimate the gradient of the specific area, a specific area, and at least one specific area set in the past before the specific area after a predetermined time And a traveling road surface setting unit that combines and sets the traveling road surface according to the amount of movement of the vehicle in time.
ｓ このように構成された本発明においては、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する。従って、例えば、数十ｍ先のような特定領域の画像処理のみで、特定領域から車両直前までの路面の勾配を検出することが出来、処理負担を軽減することが出来る。また、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域とを所定時間における車両の移動量に応じて結合して走行路面として設定するので、路面勾配の検出も正確なものとなる。 s In the present invention configured as described above, a specific area that is a predetermined distance away from the vehicle on the imaged road surface is set as the specific area, and the positions of two points of the texture existing in the specific area are connected. Estimate the gradient of the area, and combine the specific area and at least one specific area set in the past before this specific area after a predetermined time according to the amount of movement of the vehicle in the predetermined time as a traveling road surface Set. Therefore, for example, the road gradient from the specific area to immediately before the vehicle can be detected only by image processing of the specific area such as several tens of meters ahead, and the processing load can be reduced. In addition, since the specific area and at least one specific area set in the past before this specific area after a predetermined time are combined according to the amount of movement of the vehicle in the predetermined time and set as the road surface, the road surface gradient Detection is also accurate.
また、本発明において、好ましくは、車両の移動量は、撮像された画像中の所定の静止物の位置関係を基準に決定される。
このように構成された本発明においては、車両の移動量を、静止物を利用した高精度な位置補正により決定することが出来るので、より精度良く路面勾配を検出することが出来る。
In the present invention, preferably, the moving amount of the vehicle is determined based on the positional relationship of a predetermined stationary object in the captured image.
In the present invention configured as described above, the amount of movement of the vehicle can be determined by highly accurate position correction using a stationary object, so that the road surface gradient can be detected with higher accuracy.
本発明による車両用走行路面検出装置によれば、簡易な処理により路面を正確に検出することが出来る。 According to the vehicular traveling road surface detection device of the present invention, the road surface can be accurately detected by simple processing.
以下、本発明の実施形態を添付図面を参照して説明する。
先ず、本発明の第１乃至第３実施形態による車両用走行路面検出装置が適用される車両及び路面の車両からの距離及び高さを検出する路面状態検出方法を説明する。図１は、本発明の第１乃至第３実施形態による車両用走行路面検出装置が適用される車両の概念図であり、図２は、ＥＣＵの対応点検出部による対応点探索に用いられるＡrea-based matching手法の説明図であり、図３は、ＥＣＵの対応点検出部により対応点として検出された画素を、該対応点の前方距離情報に応じた濃度で表示して視覚化した距離画像であり（ａ）、左側カメラ画像に対して、ＥＣＵの輝度判定領域設定部により設定される輝度判定領域及び乾湿判定領域設定部により設定される乾湿判定領域を示す図（ｂ）である。図４は、ＥＣＵの対応点検出部により検出された対応点を、縦軸が各対応点の画像面上のｙ座標とされ且つ横軸が各対応点の有する前方距離情報に対応した車両前方距離とされる座標系にプロットした分布図であり、図５は、ＥＣＵの路面判定部にて求められる対応点の分布を示す分布図であって、図４の下限ラインに対して所定距離隔てたＰＬ線を含む紙面に垂直な平面内に位置する対応点の密度を、予め設定された車両前方距離範囲毎に車幅方向の各位置範囲において算出してその大きさに応じた濃度で表示した分布図である。
Embodiments of the present invention will be described below with reference to the accompanying drawings.
First, a description will be given of a vehicle to which the vehicle traveling road surface detection device according to the first to third embodiments of the present invention is applied and a road surface state detection method for detecting the distance and height of the road surface from the vehicle. FIG. 1 is a conceptual diagram of a vehicle to which a vehicle road surface detection device according to first to third embodiments of the present invention is applied. FIG. 2 is an area used for corresponding point search by a corresponding point detection unit of an ECU. FIG. 3 is an explanatory diagram of the -based matching method, and FIG. 3 is a distance image that is visualized by displaying pixels detected as corresponding points by the corresponding point detection unit of the ECU at a density according to forward distance information of the corresponding points. (A) is a diagram (b) showing the luminance determination area set by the luminance determination area setting unit of the ECU and the dry / humidity determination area set by the dry / humidity determination area setting unit for the left camera image. FIG. 4 shows the corresponding points detected by the corresponding point detection unit of the ECU, with the vertical axis representing the y coordinate on the image plane of each corresponding point and the horizontal axis corresponding to the forward distance information of each corresponding point. FIG. 5 is a distribution diagram plotted in a coordinate system of distance, and FIG. 5 is a distribution diagram showing the distribution of corresponding points obtained by the road surface determination unit of the ECU, and is separated from the lower limit line of FIG. 4 by a predetermined distance. The density of corresponding points located in a plane perpendicular to the paper surface including the PL line is calculated in each position range in the vehicle width direction for each preset vehicle front distance range and displayed at a density corresponding to the size. FIG.
先ず、図１に示すように、車両１は、フロントウィンドウ２の上方に設置されたステレオカメラ４と、ＥＣＵ処理装置６とを有する。このステレオカメラ４によりステレオ画像が得られる。 First, as shown in FIG. 1, the vehicle 1 includes a stereo camera 4 installed above the front window 2 and an ECU processing device 6. A stereo image is obtained by the stereo camera 4.
次に、路面状態検出方法について説明する。本実施形態による路面状態検出方法によれば、後述する白線の所定の２点の距離と高さの検出は通常のステレオ視で行い、例えば、左右カメラの画像中の高さ方向位置から高さを求め、左右カメラの対応点を探索し、これらの対応点の視差から三角測量の原理より距離を求める。 Next, a road surface state detection method will be described. According to the road surface state detection method according to the present embodiment, the distance and height of two predetermined white lines described later are detected by normal stereo vision, for example, the height from the position in the height direction in the left and right camera images. The corresponding points of the left and right cameras are searched, and the distance is obtained from the parallax of these corresponding points by the principle of triangulation.
より詳細には、左右のカメラ画像ＧＬ，ＧＲ間で互いに対応付けられる対応点を、公知の方法であるArea-based matching手法に基づいて行う。Area-based matching手法とは、一方の画像のある点の対応点を、他方の画像から探す際にその点の回りの局所的な輝度値（濃度）パターンを手がかりに探索しようとするものである。具体的には、対応点検出は、図２に示すように、左側カメラ画像ＧＬの一の画素回りに３×３ピクセルのウィンドを設定すると共にウィンドに囲まれた画像をテンプレート画像ＧＴとして、右側カメラ画像ＧＲのエピポーラ（epipolar line）線ＥＬ上に設定した探索範囲ＧＳ内でマッチングを行う。本実施形態では、このマッチング処理は、左側カメラ画像ＧＬの全画素に対してそれぞれ実行され、このマッチングに使用するアルゴリズムとしては、ＳＡＤアルゴリズム（Sum of Absolute Difference）を採用している。すなわち、対応点検出により、左側カメラ画像ＧＬに設定されたテンプレート画像ＧＴと、マッチングを行う右側カメラ画像ＧＲ内の画像との間で対応する画素間の輝度差の合計値（ＳＡＤ値）を次式（１）により算出して、この合計値が所定値以下である場合には対応点が検出されたものとして、その画像面上での座標を記憶する。そうして、この各対応点の座標情報を基に領域内に含まれる対応点の数を算出する。尚、マッチングに使用するアルゴリズムは、ＳＡＤアルゴリズムに限ったものではなく、例えば、ＳＳＤ（Sum of Squared Difference)アルゴリズムや、ＮＣＣ（Normalized Cross Correlation）アルゴリズムを使用するようにしてもよい。 More specifically, corresponding points that are associated with each other between the left and right camera images GL and GR are performed based on an area-based matching method that is a known method. In the area-based matching method, when searching for a corresponding point of a point in one image from the other image, a local luminance value (density) pattern around that point is searched for. . Specifically, as shown in FIG. 2, the corresponding point detection is performed by setting a 3 × 3 pixel window around one pixel of the left camera image GL and using the image surrounded by the window as a template image GT. Matching is performed within the search range GS set on the epipolar line EL of the camera image GR. In the present embodiment, this matching process is performed on all the pixels of the left camera image GL, and an SAD algorithm (Sum of Absolute Difference) is adopted as an algorithm used for this matching. That is, by detecting corresponding points, a total value (SAD value) of luminance differences between corresponding pixels between the template image GT set in the left camera image GL and the image in the right camera image GR to be matched is calculated. Calculated by equation (1), if the total value is less than or equal to a predetermined value, the coordinates on the image plane are stored as the corresponding points are detected. Then, the number of corresponding points included in the region is calculated based on the coordinate information of each corresponding point. The algorithm used for matching is not limited to the SAD algorithm, and for example, an SSD (Sum of Squared Difference) algorithm or an NCC (Normalized Cross Correlation) algorithm may be used.
ＭＲ：右側画像の画素の輝度値
次に、算出された輝度分布を基に左側カメラ画像ＧＬの領域内に写し出された被撮像物が走行路面か否かを判定する。具体的には、路面判定処理は、例えば以下のようにして行われる。まず、検出された対応点の、左右のカメラ画像ＧＬ，ＧＲ間での位置ずれ量（視差）を基に三角測量の原理によって距離情報を求める処理を行なって、各対応点の３次元の分布、つまり各対応点の車幅方向の位置情報及び車両からの前方距離情報を表す距離画像データ（図３（ａ）及び図４参照）を生成する。そして、この距離画像データを基に、車幅方向中央位置（左側カメラ画像ＧＬのｘ方向の中央の画素列に対応する位置）に含まれる対応点を、横軸を車両前方距離とし且つ縦軸を画像面上のｙ座標とするグラフにプロットしてその分布図（図５参照）を作成する。そうして、作成した対応点分布図を基に、走行路面の地表面に対応する下限ラインＵＬを求める。尚、図４では、被撮像物が車両前方を走行する先行車両である場合の対応点分布を示していて、先行車両に相当する部分がピーク部Ｖとして現れている。そして更に、特定した下限ラインと所定距離（画像面上での距離）を隔てた平行ラインＰＬを求めた上で、該平行ラインＰＬを含む平面内（紙面に垂直な平面内）に位置する対応点の密度分布を求める。 Next, based on the calculated luminance distribution, it is determined whether or not the object to be imaged projected in the area of the left camera image GL is a traveling road surface. Specifically, the road surface determination process is performed as follows, for example. First, a process for obtaining distance information by the principle of triangulation based on the positional deviation amount (parallax) between the left and right camera images GL and GR of the detected corresponding points is performed, and the three-dimensional distribution of each corresponding point That is, the distance image data (refer to FIG. 3A and FIG. 4) representing the position information of each corresponding point in the vehicle width direction and the forward distance information from the vehicle is generated. Then, based on the distance image data, the corresponding point included in the center position in the vehicle width direction (position corresponding to the center pixel row in the x direction of the left camera image GL) Is plotted on a graph with the y coordinate on the image plane to create a distribution map (see FIG. 5). Then, the lower limit line UL corresponding to the ground surface of the traveling road surface is obtained based on the created corresponding point distribution map. FIG. 4 shows the corresponding point distribution when the object to be imaged is a preceding vehicle traveling in front of the vehicle, and a portion corresponding to the preceding vehicle appears as a peak portion V. Further, after obtaining a parallel line PL that is separated from the specified lower limit line by a predetermined distance (distance on the image plane), the correspondence is located in a plane including the parallel line PL (in a plane perpendicular to the paper surface). Find the density distribution of points.
具体的には、この対応点密度を予め設定した車両前方距離範囲Ｄ１乃至Ｄ４毎（車両前方距離毎）に車幅方向の各位置（左側カメラ画像の各ｘ座標）にて算出する。そして、算出した対応点密度が図５に示すように車幅方向に一様になっている場合（例えば、各車両前方距離範囲Ｄ１乃至Ｄ４における対応点密度の車幅方向の変化率が全て所定値以下になっている場合）には、被撮像物が走行路面であると判定する一方、対応点密度が車幅方向に一様でない場合には、被撮像物が走行路面ではない（例えば先行車両や障害物等である）と判定する。 Specifically, the corresponding point density is calculated at each position in the vehicle width direction (each x coordinate of the left camera image) for each of the vehicle front distance ranges D1 to D4 (for each vehicle front distance) set in advance. When the calculated corresponding point density is uniform in the vehicle width direction as shown in FIG. 5 (for example, the rate of change in the vehicle width direction of the corresponding point density in each of the vehicle front distance ranges D1 to D4 is all predetermined. If the imaged object is not a traveling road surface, the imaged object is not a traveling road surface. Vehicle or obstacle).
次に、図６乃至図８により、本発明の第１実施形態による車両用走行路面検出装置の処理の概念を説明する。
図６は、車両と車両の進行方向の路面上のテクスチャを示す概念図であり、図７は、車両から見える路面、テクスチャ及び各テクスチャに設定された２点の位置を示す概念図であり、図８は、本発明の第１実施形態の路面検出装置により得られた各テクスチャによる路面の直線及び交点を示す図である。
Next, the concept of the process of the vehicle road surface detection device according to the first embodiment of the present invention will be described with reference to FIGS.
FIG. 6 is a conceptual diagram showing the vehicle and the texture on the road surface in the traveling direction of the vehicle, and FIG. 7 is a conceptual diagram showing the road surface visible from the vehicle, the texture, and the positions of the two points set for each texture, FIG. 8 is a diagram showing road straight lines and intersections with the textures obtained by the road surface detection apparatus according to the first embodiment of the present invention.
本発明の第１実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面上の白線などの複数のテクスチャ内の２点を検出し、その２点を結び且つ前後に延長することで、勾配直線及び交点を求め、それらを路面と推定することで路面の勾配を検出するものである。 The first embodiment of the present invention detects two points in a plurality of textures such as white lines on the road surface, instead of obtaining the distance from the host vehicle and the inclination of the surface as in the prior art. By connecting points and extending back and forth, gradient straight lines and intersections are obtained, and by estimating these as road surfaces, the gradient of the road surface is detected.
先ず、図６に示すように、車両１の進行方向の路面上には、テクスチャとして白線が描かれている。このような路面をステレオカメラ４により撮像して、図７に示すような画像が得られる。図７において、各白線について、Ｐ１１及びＰ１２、Ｐ２１及びＰ２２など、最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、図８に示すように、勾配直線Ｌ１、Ｌ２・・・が得られる。そして、それらの各勾配直線の交点として、Ｓ１、Ｓ２・・・が得られる。そのようなテクスチャの勾配直線（Ｌ１、Ｌ２・・・）の交点（Ｓ１、Ｓ２・・・）を折り点として複数の勾配直線（Ｌ１、Ｌ２・・・）を互いに連結して得られる直線から路面の勾配が推定される。 First, as shown in FIG. 6, a white line is drawn as a texture on the road surface in the traveling direction of the vehicle 1. Such a road surface is imaged by the stereo camera 4 to obtain an image as shown in FIG. In FIG. 7, for each white line, two points on the near side and the farthest side such as P11 and P12, P21 and P22 are detected. By connecting these two points and extending back and forth, gradient straight lines L1, L2,... Are obtained as shown in FIG. Then, S1, S2,... Are obtained as intersections of these gradient straight lines. From the straight lines obtained by connecting a plurality of gradient straight lines (L1, L2...) With the intersections (S1, S2...) Of such texture gradient straight lines (L1, L2. The slope of the road surface is estimated.
次に、図９により、ＥＣＵによる処理内容をブロック図により説明する。図９は、本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図９に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）２０及び画像記憶部（左）２２で記憶する。路面領域判定部２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この路面領域判定部２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
Next, referring to FIG. 9, the processing contents by the ECU will be described with reference to a block diagram. FIG. 9 is a block diagram showing processing contents in the vehicle road surface detection apparatus according to the first embodiment of the present invention.
As shown in FIG. 9, the ECU 6 stores the road surface image captured by the stereo camera 4 in the image storage unit (right) 20 and the image storage unit (left) 22. The road surface area determination unit 24 determines a road surface area based on the stored information on the road surface image. The road surface area determination unit 24 determines a road surface area with respect to a preset traveling direction as a road surface area, or detects a white line or a road shoulder and determines it as a road surface area.
次に、白線検出部２６において、ステレオカメラ４で得られた画像から路面上の白線を検出する。次に、対応点探索部２８では、白線検出部２６で検出された白線のそれぞれについて、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。
次に、距離高さ算出部３０では、上述した図３乃至図６による路面状態検出方法により、対応点探索部２８により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
Next, the white line detector 26 detects a white line on the road surface from the image obtained by the stereo camera 4. Next, in the corresponding point search unit 28, for each of the white lines detected by the white line detection unit 26, two points (an upper end portion and a lower end portion on the image) of an end portion on the most front side and an end portion on the farthest side are obtained. Search as a corresponding point.
Next, in the distance height calculation unit 30, the distances and heights (Pi1: distance di1, di) of the two points Pi1 and Pi2 searched by the corresponding point search unit 28 by the road surface state detection method shown in FIGS. 3 to 6 described above. Height hi1) and (Pi2: distance di2, height hi2) are calculated.
次に、白線勾配算出部３２により、対応点探索部２８により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。次に、白線連結処理部３４において、白線勾配算出部３２により求められた直線を上下（前後）に延ばし、それらの直線の交点（Ｓ１、Ｓ２・・・）を求めると共に直線同士を連結する。
次に、走行路面勾配検出部３６により、白線勾配算出部３２及び白線連結処理部３４により得られた直線のつながりにより、走行路面の勾配を検出する（図８参照）。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
Next, a straight line (L1, L2,...) Connecting two points searched by the corresponding point search unit 28 is obtained by the white line gradient calculating unit 32, and the gradient of each white line is calculated from the straight line. Next, in the white line connection processing unit 34, the straight lines obtained by the white line gradient calculating unit 32 are extended vertically (back and forth) to obtain intersections (S1, S2,...) Of these straight lines and connect the straight lines.
Next, the traveling road surface gradient detecting unit 36 detects the gradient of the traveling road surface from the straight line obtained by the white line gradient calculating unit 32 and the white line connection processing unit 34 (see FIG. 8).
Then, the safety system 8, the transmission system (AT) 9, and the engine system (ENG) 10 are controlled using the detected road surface gradient information.
次に、図１０及び図１１により、本発明の第１実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１０は、本発明の第１実施形態による車両用走行路面検出装置における処理内容を示すフローチャートであり、図１１は、本発明の第１実施形態の白線による路面傾斜算出内容を示すフローチャートである。Ｓは、各ステップを示す。 Next, with reference to FIG. 10 and FIG. 11, a flowchart which is a processing content in the vehicle road surface detection device according to the first embodiment of the present invention will be described. FIG. 10 is a flowchart showing the processing contents in the vehicular traveling road surface detection apparatus according to the first embodiment of the present invention, and FIG. 11 is a flowchart showing the road surface inclination calculation contents by the white line of the first embodiment of the present invention. . S indicates each step.
図１０に示すように、Ｓ１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ２において、ステレオカメラ４により撮像されたデータが画像記憶部２０、２２に記憶される。次に、Ｓ３において、路面領域判定部２４により、走行路面となる対象領域が抽出される。次に、Ｓ４において、白線検出部２６により白線が検出される。この白線検出処理では、軌道変化（輝度の微分）が所定値以上のときに白線と判定する。次にＳ５において、白線勾配算出部３２により白線による路面傾斜が算出され、Ｓ６において、白線連結処理部３４により各傾斜直線（Ｌ１、Ｌ２・・・）が連結される。 As shown in FIG. 10, in S1, various parameters are initialized. Here, i = 0. Next, in S <b> 2, data captured by the stereo camera 4 is stored in the image storage units 20 and 22. Next, in S <b> 3, the road surface area determination unit 24 extracts a target area to be a traveling road surface. Next, in S4, the white line detection unit 26 detects a white line. In this white line detection process, a white line is determined when the change in the trajectory (luminance differentiation) is equal to or greater than a predetermined value. Next, in S5, the road slope due to the white line is calculated by the white line gradient calculation unit 32, and in S6, the slope straight lines (L1, L2,...) Are connected by the white line connection processing unit.
図１１に示すように、白線勾配算出部３２による白線による路面傾斜の算出では、Ｓ１０において、対応点探索部２８により、各白線内の上下（前後）に離間する２点Ｐｉ１、Ｐｉ２の対応点を探索する。次に、Ｓ１１において、距離高さ算出部３０において、上述した図３乃至図６による路面状態検出方法により、対応点探索部２８により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。ここでは、ステレオカメラ４の左右の画像の対応点を検出し、それらの対応点の視差角より、距離ｄｉ、高さｈｉを算出する。 As shown in FIG. 11, in the calculation of the road surface inclination by the white line by the white line gradient calculation unit 32, in S10, the corresponding point search unit 28 causes the corresponding points of the two points Pi1 and Pi2 spaced apart vertically (front and rear) in each white line. Explore. Next, in S11, the distance and height (Pi1: Pi1: Pi2) of the two points Pi1 and Pi2 searched by the corresponding point search unit 28 in the distance height calculation unit 30 by the road surface state detection method shown in FIGS. 3 to 6 described above. Distance di1, height hi1), (Pi2: distance di2, height hi2) are calculated. Here, corresponding points of the left and right images of the stereo camera 4 are detected, and the distance di and the height hi are calculated from the parallax angles of these corresponding points.
次に、Ｓ１２において、白線勾配算出部３２により、対応点探索部２８により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。 Next, in S12, the white line gradient calculation unit 32 obtains straight lines (L1, L2,...) Connecting the two points searched by the corresponding point search unit 28, and the gradient of each white line is calculated from the straight lines.
次に、図１２乃至図１４により、本発明の第２実施形態による車両用走行路面検出装置の処理の概念を説明する。
図１２は、車両と車両の進行方向の路面上のテクスチャと路面の各分割領域を示す概念図であり、図１３は、車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の各分割領域を示す図であり、図１４は、本発明の第２実施形態の路面検出装置により得られた各分割領域における路面の直線及び交点を示す図である。
Next, the concept of the process of the vehicle road surface detection device according to the second embodiment of the present invention will be described with reference to FIGS.
FIG. 12 is a conceptual diagram showing the vehicle and the texture on the road surface in the traveling direction of the vehicle and each divided area of the road surface. FIG. 13 shows the road surface and texture that can be seen from the vehicle, the positions of the two points set for each texture, and FIG. 14 is a diagram illustrating road surface straight lines and intersections in each divided region obtained by the road surface detection device according to the second embodiment of the present invention.
本発明の第２実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、路面を車両進行方向に複数に分割した領域を設定し、それらの設定された各領域毎に、路面上の白線などの複数のテクスチャから２点を検出し、その２点を結び且つ前後に延長することで、勾配直線及び交点を求め、それらを路面と推定することで路面の勾配を検出するものである。 The second embodiment of the present invention does not calculate the distance from the host vehicle and the inclination of the surface of the entire road surface as in the prior art, but sets a region in which the road surface is divided into a plurality of directions in the vehicle traveling direction. For each region, two points are detected from a plurality of textures such as white lines on the road surface, and the two points are connected and extended back and forth to obtain gradient straight lines and intersections, and by estimating them as road surfaces It detects the slope of the road surface.
先ず、図１２に示すように、車両１の進行方向の路面上には、テクスチャとして白線が描かれている。このような路面をステレオカメラ４により撮像して、図１３に示すような画像が得られる。また、図１２及び図１３に示すように、路面は、Ａ１〜Ａ４と複数の領域に分割されている。 First, as shown in FIG. 12, a white line is drawn as a texture on the road surface in the traveling direction of the vehicle 1. Such a road surface is imaged by the stereo camera 4, and an image as shown in FIG. 13 is obtained. Moreover, as shown in FIG.12 and FIG.13, the road surface is divided | segmented into A1-A4 and a some area | region.
図１３において、各分割領域Ａ１〜Ａ４毎に、１つの白線が特定され、その特定された白線について、Ｐ１１及びＰ１２、Ｐ２１及びＰ２２など、最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、図８に示すように、各分割領域Ａ１〜Ａ４毎に勾配直線Ｌ１、Ｌ２・・・が得られる。そして、それらの各勾配直線の交点として、Ｓ１、Ｓ２・・・が得られる。そのようなテクスチャの勾配直線（Ｌ１、Ｌ２・・・）の交点（Ｓ１、Ｓ２・・・）を折り点として複数の勾配直線（Ｌ１、Ｌ２・・・）を互いに連結して得られる直線から路面の勾配が推定される。 In FIG. 13, one white line is specified for each of the divided areas A1 to A4, and two points on the front side and the farthest side such as P11 and P12, P21 and P22 are detected for the specified white line. By connecting these two points and extending back and forth, gradient straight lines L1, L2,... Are obtained for each of the divided regions A1 to A4 as shown in FIG. Then, S1, S2,... Are obtained as intersections of these gradient straight lines. From the straight lines obtained by connecting a plurality of gradient straight lines (L1, L2...) With the intersections (S1, S2...) Of such texture gradient straight lines (L1, L2. The slope of the road surface is estimated.
次に、図１５により、ＥＣＵによる処理内容をブロック図により説明する。図１５は、本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すブロック図である。
図１５に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、画像記憶部（右）１２０及び画像記憶部（左）１２２で記憶する。路面領域判定部１２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この路面領域判定部１２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
Next, referring to FIG. 15, processing contents by the ECU will be described with reference to a block diagram. FIG. 15 is a block diagram showing processing contents in the vehicle road surface detection device according to the second embodiment of the present invention.
As shown in FIG. 15, the ECU 6 stores the road surface image captured by the stereo camera 4 in the image storage unit (right) 120 and the image storage unit (left) 122. The road surface area determination unit 124 determines the road surface area based on the stored information on the road surface image. The road surface area determination unit 124 determines a road surface area with respect to a preset traveling direction as a road surface area, or detects a white line or a road shoulder and determines it as a road surface area.
次に、路面分割処理部１２６により、路面が複数に分割される。この路面分割処理部１２６においては、予め所定の基準で分割の仕方を定めた路面分割データ１２８のデータを基に、路面領域判定部１２４で判定された路面を分割する。例えば、図１２のように分割する。
次に、白線検出部１３０において、路面分割処理部１２６により分割された領域Ａ１〜Ａ４毎に、ステレオカメラ４で得られた画像から路面上の白線を１つづつ検出する。次に、対応点探索部１３２では、白線検出部１３０で検出された白線のそれぞれについて、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。
Next, the road surface division processing unit 126 divides the road surface into a plurality of pieces. The road surface division processing unit 126 divides the road surface determined by the road surface area determination unit 124 based on the data of the road surface division data 128 in which a division method is determined in advance based on a predetermined reference. For example, it is divided as shown in FIG.
Next, the white line detection unit 130 detects one white line on the road surface one by one from the image obtained by the stereo camera 4 for each of the areas A1 to A4 divided by the road surface division processing unit 126. Next, in the corresponding point search unit 132, for each of the white lines detected by the white line detection unit 130, two points (an upper end portion and a lower end portion on the image) of an end portion on the front side and an end portion on the farthest side are obtained. Search as a corresponding point.
次に、距離高さ算出部１３４では、上述した図３乃至図６による路面状態検出方法により、対応点探索部１３２により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
次に、白線勾配算出部１３６により、対応点探索部１３２により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。次に、白線連結処理部１３８において、白線勾配算出部３２により求められた直線を延ばし、それらの直線の交点（Ｓ１、Ｓ２・・・）を求めると共に直線同士を連結する。
Next, in the distance height calculation unit 134, the distances and heights of the two points Pi1 and Pi2 searched by the corresponding point search unit 132 by the road surface state detection method shown in FIGS. 3 to 6 (Pi1: distance di1, Height hi1) and (Pi2: distance di2, height hi2) are calculated.
Next, a straight line (L1, L2,...) Connecting two points searched by the corresponding point search unit 132 is obtained by the white line gradient calculating unit 136, and the gradient of each white line is calculated from the straight line. Next, in the white line connection processing unit 138, the straight lines obtained by the white line gradient calculating unit 32 are extended to obtain intersections (S1, S2,...) Of these straight lines and connect the straight lines.
次に、走行路面勾配検出部１４０により、白線勾配算出部１３６及び白線連結処理部１３８により得られた直線のつながりにより、走行路面の勾配を検出する（図１４参照）。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
Next, the traveling road surface gradient detection unit 140 detects the gradient of the traveling road surface from the straight line obtained by the white line gradient calculation unit 136 and the white line connection processing unit 138 (see FIG. 14).
Then, the safety system 8, the transmission system (AT) 9, and the engine system (ENG) 10 are controlled using the detected road surface gradient information.
次に、図１６により、本発明の第２実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図１６は、本発明の第２実施形態による車両用走行路面検出装置における処理内容を示すフローチャートである。Ｓは、各ステップを示す。 Next, with reference to FIG. 16, a flowchart as processing contents in the vehicle road surface detection device according to the second embodiment of the present invention will be described. FIG. 16 is a flowchart showing the processing contents in the vehicle road surface detection apparatus according to the second embodiment of the present invention. S indicates each step.
図１６に示すように、Ｓ２１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ２２において、ステレオカメラ４により撮像されたデータが画像記憶部１２０、１２２に記憶される。次に、Ｓ２３において、路面領域判定部１２４により、走行路面となる対象領域が抽出される。次に、Ｓ２４において、路面分割処理部１２６により、路面を複数に分割する。ここでは、予め所定の基準で分割の仕方を定めた路面分割データ１２８のデータを基に、路面領域判定部１２４で判定された路面を分割する。例えば、図１２のように分割する。次に、Ｓ２５において、白線検出部１３０により白線が検出される。この白線検出処理では、軌道変化（輝度の微分）が所定値以上のときに白線と判定する。次にＳ２６において、白線勾配算出部１３６により白線による路面傾斜が算出され、Ｓ２７において、白線連結処理部１３８により各傾斜直線（Ｌ１、Ｌ２・・・）が連結される。 As shown in FIG. 16, in S21, various parameters are initialized. Here, i = 0. Next, in S 22, data captured by the stereo camera 4 is stored in the image storage units 120 and 122. Next, in S <b> 23, the road area determination unit 124 extracts a target area that becomes a traveling road surface. Next, in S24, the road surface division processing unit 126 divides the road surface into a plurality of pieces. Here, the road surface determined by the road surface area determination unit 124 is divided based on the data of the road surface division data 128 in which the division method is determined in advance based on a predetermined reference. For example, it is divided as shown in FIG. Next, in S25, the white line detection unit 130 detects a white line. In this white line detection process, a white line is determined when the orbital change (luminance differentiation) is greater than or equal to a predetermined value. Next, in S26, the road slope due to the white line is calculated by the white line gradient calculating unit 136, and in S27, the inclined straight lines (L1, L2,...) Are connected by the white line connection processing unit 138.
Ｓ２６に示す白線による路面勾配算出では、対応点探索部１３２により、各白線内の上下（前後）に離間する２点Ｐｉ１、Ｐｉ２の対応点を探索する。次に、距離高さ算出部１３４において、上述した図３乃至図６による路面状態検出方法により、対応点探索部１３２により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。ここでは、ステレオカメラ４の左右の画像の対応点を検出し、それらの対応点の視差角より、距離ｄｉ、高さｈｉを算出する。次に、白線勾配算出部１３６により、対応点探索部１３２により探索された２点を結んだ直線（Ｌ１、Ｌ２・・・）を求め、この直線により各白線の勾配を算出する。 In the road surface gradient calculation by the white line shown in S26, the corresponding point search unit 132 searches for the corresponding points of the two points Pi1 and Pi2 that are separated vertically (front and rear) in each white line. Next, in the distance height calculation unit 134, the distances and heights of the two points Pi1 and Pi2 searched by the corresponding point search unit 132 by the road surface state detection method shown in FIGS. 3 to 6 (Pi1: distance di1, Height hi1) and (Pi2: distance di2, height hi2) are calculated. Here, corresponding points of the left and right images of the stereo camera 4 are detected, and the distance di and the height hi are calculated from the parallax angles of these corresponding points. Next, a straight line (L1, L2,...) Connecting two points searched by the corresponding point search unit 132 is obtained by the white line gradient calculating unit 136, and the gradient of each white line is calculated from the straight line.
次に、図１７乃至図２０により、本発明の第２実施形態による車両用走行路面検出装置の処理の概念を説明する。図１７は、車両の進行方向の前方に設定した画像処理を行う特定領域及びテクスチャを示す概念図であり、図１８は、車両から見える路面、テクスチャ、各テクスチャに設定された２点の位置及び路面の特定領域を示す図であり、図１９は、それぞれ所定時間前において勾配が決定された特定領域の位置（ａ、ｃ、ｅ）と、それらの過去の特定領域の位置が現在の位置に補正された位置（ｂ、ｄ、ｆ）と、現在における特定領域の位置（ｇ）とを示す概念図であり、図２０は、本発明の第３実施形態の路面検出装置により得られた特定領域及び過去の特定領域で算出された勾配を結合して得られる路面の直線及び交点を示す図である。 Next, with reference to FIGS. 17 to 20, the concept of processing of the vehicle road surface detection device according to the second embodiment of the present invention will be described. FIG. 17 is a conceptual diagram showing a specific area and texture for image processing set in front of the vehicle traveling direction. FIG. 18 shows a road surface and texture that can be seen from the vehicle, positions of two points set for each texture, and FIG. 19 is a diagram showing specific areas on the road surface, and FIG. 19 shows the positions (a, c, e) of the specific areas where the gradients are determined a predetermined time ago, and the positions of the specific areas in the past are the current positions. FIG. 20 is a conceptual diagram showing a corrected position (b, d, f) and a current position (g) of a specific region, and FIG. 20 shows a specific obtained by the road surface detection device according to the third embodiment of the present invention. It is a figure which shows the straight line and intersection of the road surface obtained by combining the gradient calculated in the area and the past specific area.
本発明の第３実施形態は、従来のように路面全体の自車両からの距離や面の傾きを求めるのではなく、例えば数十ｍ先に所定の特定領域を設定してその特定領域の距離及び傾きを求め、車両が進行することにより路面が刻々と変化するとき、その特定領域の距離及び傾きの情報を時系列的に結合して、特定平面を含む特定平面より手前の路面の勾配を検出するものである。 The third embodiment of the present invention does not calculate the distance from the host vehicle or the inclination of the surface of the entire road surface as in the past, but sets a predetermined specific area, for example, several tens of meters away, and the distance of the specific area When the road surface changes every moment as the vehicle travels, information on the distance and inclination of the specific area is combined in time series to obtain the slope of the road surface before the specific plane including the specific plane. It is to detect.
先ず、図１７に示すように、本発明の実施形態では、車両の進行方向前方の数十ｍ先における所定の領域の路面を、特定領域（特定平面）として決定し、上述した図３乃至図６による路面状態検出方法により、この特定領域の車両からの距離ｄ及び高さｈを算出する。 First, as shown in FIG. 17, in the embodiment of the present invention, the road surface of a predetermined area at several tens of meters ahead in the traveling direction of the vehicle is determined as a specific area (specific plane), and the above-described FIG. 3 to FIG. 6 is used to calculate the distance d and the height h from the vehicle in this specific area.
図１８において、数十ｍ先に存在する特定領域において、１つの白線が特定され、その特定された白線について、Ｐ１１及びＰ１２という、白線の最も手前側及び最も遠方側の２点を検出する。このような２点を結び且つ前後に延長することで、その特定領域における勾配が検出される。 In FIG. 18, one white line is specified in a specific area existing several tens of meters ahead, and for the specified white line, two points on the front side and the farthest side of the white line, P11 and P12, are detected. By connecting these two points and extending back and forth, the gradient in the specific region is detected.
次に、図１９（ｈ）に示すように、現在の路面状態Ａ、Ｂ、Ｃ、Ｄにおける各路面勾配をどのように決定するかを説明する。
先ず、図１９（ａ）に示すように、３ΔＴ秒前には、静止物ｂ及び特定領域Ａが存在する。そして、現在では、図１９（ｂ）に示すように、３ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ａ））に特定した特定領域Ａが所定距離だけ車両側に近づいていることが特定される。
Next, as shown in FIG. 19 (h), how to determine each road surface gradient in the current road surface conditions A, B, C, and D will be described.
First, as shown in FIG. 19A, the stationary object b and the specific area A exist 3 seconds before the time. At present, as shown in FIG. 19B, at the present time after 3 ΔT seconds, the specific area A specified in the past (FIG. 19A) is a predetermined distance based on the movement amount of the stationary object b. Only the vehicle side is identified.
同様に、図１９（ｃ）に示すように、２ΔＴ秒前には、静止物ｂ及び特定領域Ｂが存在する。そして、現在では、図１９（ｄ）に示すように、２ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ｃ））に特定した特定領域Ｂが所定距離だけ車両側に近づいていることが特定される。 Similarly, as shown in FIG. 19 (c), the stationary object b and the specific area B exist 2 seconds before. At present, as shown in FIG. 19D, at the present time after 2ΔT seconds, the specific area B specified in the past (FIG. 19C) is a predetermined distance based on the moving amount of the stationary object b. Only the vehicle side is identified.
同様に、図１９（ｅ）に示すように、ΔＴ秒前には、静止物ｂ及び特定領域Ｃが存在する。そして、現在では、図１９（ｆ）に示すように、ΔＴ秒後の現在では、静止物ｂの移動量をもとに、過去（図１９（ｅ））に特定した特定領域ｃが所定距離だけ車両側に近づいていることが特定される。
そして、現在では、図１９（ｇ）に示すように、特定領域Ｄが存在する。
Similarly, as shown in FIG. 19E, a stationary object b and a specific region C exist before ΔT seconds. At present, as shown in FIG. 19 (f), at the present time after ΔT seconds, the specific area c specified in the past (FIG. 19 (e)) based on the moving amount of the stationary object b is a predetermined distance. Only the vehicle side is identified.
And now, as shown in FIG.19 (g), the specific area | region D exists.
これらのことから、図１９（ｈ）に示すように、３ΔＴ秒前に勾配が決定された領域Ａ、２ΔＴ秒前に勾配が決定された領域Ｂ、ΔＴ秒前に勾配が決定された領域Ｃ、及び、現在の領域Ｄが、結合された状態として得られる。それぞれの領域Ａ〜Ｄの勾配は、それぞれ、３ΔＴ秒前、２ΔＴ秒前、ΔＴ秒前及び現在で特定されているので、車両の進行方向の広い領域の道路状態（勾配など）を把握することが出来るのである。例えば、図２０に示すように、３ΔＴ秒前に特定されたＰ１１及びＰ１２、２ΔＴ秒前に特定されたＰ２１及びＰ２２、ΔＴ秒前に特定されたＰ３１及びＰ３２、現在、特定領域として特定されたＰ４１及びＰ４２により、それぞれ、直線Ｌ１、Ｌ２、Ｌ３、Ｌ４が決定され、それらの直線と、交点Ｓ１、Ｓ２、Ｓ３とにより、路面勾配が求められる。 From these, as shown in FIG. 19 (h), the region A in which the gradient is determined 3ΔT seconds ago, the region B in which the gradient is determined 2ΔT seconds ago, and the region C in which the gradient is determined ΔT seconds ago , And the current region D is obtained as a combined state. Since the slopes of the respective areas A to D are specified 3ΔT seconds ago, 2ΔT seconds ago, ΔT seconds ago, and the present time, the road conditions (gradients, etc.) in a wide area in the traveling direction of the vehicle should be grasped. Is possible. For example, as shown in FIG. 20, P11 and P12 identified 3ΔT seconds ago, P21 and P22 identified 2ΔT seconds ago, P31 and P32 identified ΔT seconds ago, currently identified as a specific region The straight lines L1, L2, L3, and L4 are determined by P41 and P42, respectively, and the road surface gradient is obtained from these straight lines and the intersections S1, S2, and S3.
次に、図２１乃至図２３により、ＥＣＵによる処理内容をブロック図により説明する。図２１は、本発明の第３実施形態による車両用走行路面検出装置における処理内容を示すブロック図であり、図２２は、オプティカルフロー処理の内容を示す概念図であり、図２３は、位置補正の処理内容を示すフローチャートである。
図２１に示すように、ＥＣＵ６は、ステレオカメラ４により撮像された路面画像を、ΔＴ毎に、画像記憶部（右）２２０及び画像記憶部（左）２２２で記憶する。路面領域判定部２２４では、これらの記憶された路面画像の情報を基に路面領域を判定する。この判定部２２４では、予め設定された進行方向に対する路面の領域を路面領域として判定するか、或いは、白線や路肩を検出して路面領域として判定する。
Next, the processing contents by the ECU will be described with reference to block diagrams with reference to FIGS. FIG. 21 is a block diagram showing the processing contents in the vehicle road surface detection device according to the third embodiment of the present invention, FIG. 22 is a conceptual diagram showing the contents of the optical flow processing, and FIG. 23 is the position correction. It is a flowchart which shows the processing content of.
As shown in FIG. 21, the ECU 6 stores the road surface image captured by the stereo camera 4 in the image storage unit (right) 220 and the image storage unit (left) 222 for each ΔT. The road surface area determination unit 224 determines a road surface area based on the information of the stored road surface image. In this determination unit 224, a road surface area with respect to a preset traveling direction is determined as a road surface area, or a white line or a road shoulder is detected and determined as a road surface area.
次に、画像処理領域（特定領域、特定平面）設定部２２６では、路面の車両からの距離ｄ及び高さｈを検出する特定領域を数十ｍ前方側に設定する。次に、白線検出部２２８において、画像処理領域設定部２２６で設定された特定領域で、ステレオカメラ４で得られた画像から路面上の白線を１つ検出する。次に、対応点探索部２３０では、白線検出部２２８で検出された白線について、最も手前側の端部と最も遠方の端部の２点（画像上では、上端部と下端部）を対応点として探索する。 Next, the image processing area (specific area, specific plane) setting unit 226 sets a specific area for detecting the distance d and height h from the vehicle on the road surface to the front side of several tens of meters. Next, the white line detection unit 228 detects one white line on the road surface from the image obtained by the stereo camera 4 in the specific region set by the image processing region setting unit 226. Next, in the corresponding point search unit 230, two points (the upper end portion and the lower end portion on the image) corresponding to the white line detected by the white line detecting unit 228, that is, the end on the most front side and the end on the farthest side are corresponding points. Explore as.
次に、距離高さ算出部２３２では、上述した図３乃至図６による路面状態検出方法により、対応点探索部２３０により探索された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）を算出する。
白線勾配及び静止物位置算出部２３４では、距離高さ算出部２３２で算出された２点Ｐｉ１、Ｐｉ２の距離及び高さ（Ｐｉ１：距離ｄｉ１、高さｈｉ１）、（Ｐｉ２：距離ｄｉ２、高さｈｉ２）から、白線の勾配及び静止物ｂとの相対距離を算出する。この白線勾配及び静止物位置算出部２３４で算出された特定領域の勾配及び車両と静止物ｂとの相対距離は、特定領域勾配記憶部２３６に、ΔＴ毎に記憶される。
Next, in the distance height calculation unit 232, the distance and height of the two points Pi1 and Pi2 searched by the corresponding point search unit 230 by the road surface state detection method shown in FIGS. 3 to 6 (Pi1: distance di1, Height hi1) and (Pi2: distance di2, height hi2) are calculated.
In the white line gradient and stationary object position calculation unit 234, the distance and height of the two points Pi1 and Pi2 calculated by the distance height calculation unit 232 (Pi1: distance di1, height hi1), (Pi2: distance di2, height) From hi2), the gradient of the white line and the relative distance to the stationary object b are calculated. The white line gradient and the gradient of the specific area calculated by the stationary object position calculation unit 234 and the relative distance between the vehicle and the stationary object b are stored in the specific area gradient storage unit 236 for each ΔT.
一方、特定領域の移動量（例えば、図１９（ｂ）、（ｄ）、（ｆ）参照）を正確に算出するために、静止物検出部（オプティカルフロー処理部）２４０及び位置補正部２４２での処理を行う。
具体的には、静止物検出部（オプティカルフロー処理部）２４０では、図２２に示すように、Ｔにおける画像と、Ｔ＋ΔＴにおける画像とをマッチング処理し、静止物ｂの移動ベクトルを算出する。
On the other hand, in order to accurately calculate the movement amount of the specific area (see, for example, FIGS. 19B, 19D, and 19F), the stationary object detection unit (optical flow processing unit) 240 and the position correction unit 242 Perform the process.
Specifically, as shown in FIG. 22, the stationary object detection unit (optical flow processing unit) 240 performs a matching process on the image at T and the image at T + ΔT, and calculates the movement vector of the stationary object b.
そして、位置補正部２４２では、図２３に示すように、先ず、Ｓ３１において静止物ｂの位置変化（オプティカルフローにより得られる移動ベクトル）により自車両の移動量を算出し、次に、Ｓ３２において、自車両の移動量により、前フレーム画像（例えば、図１９（ａ））が、今フレーム画像（例えば、図１９（ｂ））で表される領域を算出する。次に、Ｓ３３において、マッチング処理により前フレーム画像と今フレーム画像との位置を特定する。 Then, as shown in FIG. 23, the position correction unit 242 first calculates the amount of movement of the host vehicle based on the position change of the stationary object b (movement vector obtained by optical flow) in S31, and then in S32 Based on the amount of movement of the host vehicle, the area where the previous frame image (for example, FIG. 19A) is represented by the current frame image (for example, FIG. 19B) is calculated. Next, in S33, the positions of the previous frame image and the current frame image are specified by matching processing.
次に、各白線の連結処理部２４４では、図２０に示すような、各直線Ｌ１、Ｌ２、Ｌ３、Ｌ４を各交点Ｓ１、Ｓ２、Ｓ３で結ぶ連結処理を行う。
次に、走行路面勾配検出部２４６では、白線勾配及び静止物位置算出部２３４から得られる現在の特定平面の勾配（例えば、図１９（ｇ））の情報と、特定領域勾配記憶部２３６に記憶された過去の特定平面（例えば、図１９（ａ）、（ｃ）、（ｅ））の情報を位置補正部２４２により移動量が補正された情報（例えば、図１９（ｂ）、（ｄ）、（ｆ））により、図１９（ｈ）で示すような、車両前方の広い領域の道路状態（距離ｄ、傾きｎ）を検出するようになっている。
そして、この検出された路面勾配の情報を利用して、安全システム８、変速システム（ＡＴ）９、エンジンシステム（ＥＮＧ）１０の制御が行われる。
Next, the white line connection processing unit 244 performs a connection process for connecting the straight lines L1, L2, L3, and L4 at the intersections S1, S2, and S3 as shown in FIG.
Next, the traveling road surface gradient detection unit 246 stores information on the current specific plane gradient (for example, FIG. 19G) obtained from the white line gradient and stationary object position calculation unit 234 and the specific region gradient storage unit 236. Information obtained by correcting the movement amount of the past specific plane (for example, FIGS. 19A, 19C, and 19E) by the position correction unit 242 (for example, FIGS. 19B and 19D). , (F)), the road condition (distance d, slope n) in a wide area in front of the vehicle as shown in FIG. 19 (h) is detected.
Then, the safety system 8, the transmission system (AT) 9, and the engine system (ENG) 10 are controlled using the detected road surface gradient information.
次に、図２４により、本発明の第３実施形態による車両用走行路面検出装置における処理内容であるフローチャートについて説明する。図２４は、本発明の第３実施形態による車両用走行路面検出装置における処理内容であるフローチャートである。Ｓは、各ステップを示す。
図２４に示すように、Ｓ４１では、各種パラメータのイニシャライズ処置が行われる。ここでは、ｉ＝０とされる。次に、Ｓ４２において、ステレオカメラ４により撮像されたデータが画像記憶部２２０、２２２に記憶される。次に、Ｓ４３において、路面領域判定部２２４により、走行路面となる対象領域が抽出され、さらに、Ｓ４４において、画像処理領域設定部２２６で画像処理する特定領域を設定する。この特定領域は、車速に応じて、例えば、高速時には遠方に設定し、低速時には近方に設定するようにしても良い。また、特定領域の広さを遠方時には小さく、近方時には広くするようにしても良い。
Next, with reference to FIG. 24, a flowchart that is a processing content in the vehicle road surface detection device according to the third embodiment of the present invention will be described. FIG. 24 is a flowchart showing the contents of processing in the vehicle road surface detection apparatus according to the third embodiment of the present invention. S indicates each step.
As shown in FIG. 24, in S41, various parameters are initialized. Here, i = 0. Next, in S <b> 42, data captured by the stereo camera 4 is stored in the image storage units 220 and 222. Next, in S43, the road surface area determination unit 224 extracts a target area to be a traveling road surface, and in S44, the image processing area setting unit 226 sets a specific area for image processing. Depending on the vehicle speed, this specific area may be set to a far distance at a high speed and close to a low speed, for example. In addition, the area of the specific area may be small at a distance and wide at a near distance.
次に、Ｓ４５において、静止物検出部（オプティカルフロー処理部）３４により、静止物ｂの抽出及びオプティカルフローによる移動ベクトルの算出が行われる。次に、Ｓ４６において、白線検出部２２８により白線が検出され、Ｓ４７で、白線勾配及び静止物位置算出部２３４により、特定領域の車両からの距離ｄ及び高さｈが検出されると共に、特定領域勾配記憶部２３６に記憶される。 Next, in S45, the stationary object detection unit (optical flow processing unit) 34 extracts the stationary object b and calculates a movement vector based on the optical flow. Next, in S46, the white line is detected by the white line detector 228, and in S47, the distance d and the height h from the vehicle in the specific area are detected by the white line gradient and stationary object position calculator 234, and the specific area It is stored in the gradient storage unit 236.
次に、Ｓ４８において、特定領域勾配記憶部２３６に記憶された、各時刻Ｔｉ−１、Ｔｉ−２、Ｔ０における特定領域勾配を読み込む。次に、Ｓ４９において、Ｓ４８で読み込まれた勾配を、静止物検出部（オプティカルフロー処理部）２４０及び位置補正部２４２により処理された静止物ｂの移動量（自車両との相対距離（（ｘｉ、ｙｉ））で表される）により、補正する。 Next, in S48, the specific area gradient at each time Ti-1, Ti-2, T0 stored in the specific area gradient storage unit 236 is read. Next, in S49, the gradient read in S48 is used to calculate the movement amount of the stationary object b processed by the stationary object detection unit (optical flow processing unit) 240 and the position correction unit 242 (relative distance to the host vehicle ((xi)). , Yi))) and the correction is performed.
次に、Ｓ５０において、Ｓ４８及びＳ４９の処理で得られたデータにより、路面勾配（例えば、図１９（ｈ））を算出する。次に、Ｓ５１において、特定領域の平面Ａの時刻Ｔｉでの勾配（位置ｄｉ、ｎｉ）及び静止物ｂとの相対距離（ｘｉ、ｙｉ）を、特定領域勾配記憶部３２に記憶させる。次に、Ｓ５２において、ｉ＝ｉ＋１として次の処理に進む。 Next, in S50, a road surface gradient (for example, FIG. 19 (h)) is calculated from the data obtained in the processes of S48 and S49. Next, in S <b> 51, the gradient (position di, ni) at the time Ti of the plane A of the specific area and the relative distance (xi, yi) to the stationary object b are stored in the specific area gradient storage unit 32. Next, in S52, i = i + 1 and the process proceeds to the next process.
以上、本発明の第１乃至第３実施形態によれば、走行路面を撮像した路面画像から所定の広い路面領域における路面傾斜を検出するために、走行路面を撮像するステレオカメラ４により撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定する。このように、撮像された路面から、所定の領域にあるテクスチャを検出し、このテクスチャの少なくとも上下に離間した２点の位置を検出し、この２点の位置から、テクスチャが存在する所定の広い領域の路面の勾配を推定するので、検出遅れが少なく、少ない処理負担で路面勾配を検出することが出来る。 As described above, according to the first to third embodiments of the present invention, in order to detect the road surface inclination in the predetermined wide road surface area from the road surface image obtained by imaging the traveling road surface, the image is captured by the stereo camera 4 that images the traveling road surface. The texture in a predetermined area is detected from the road surface, the positions of at least two points separated from each other at the top and bottom of this texture are detected, and the gradient of the road surface in the predetermined wide area where the texture exists is estimated from the two points. . In this way, a texture in a predetermined area is detected from the picked-up road surface, positions of at least two points separated from each other at the top and bottom of the texture are detected, and a predetermined wide area where the texture exists is detected from the positions of the two points. Since the road surface gradient in the region is estimated, the detection delay is small, and the road surface gradient can be detected with a small processing load.
また、本発明の第１乃至第３実施形態によれば、２点の位置は、車両からの距離及び車両からの高さで表されるので、より簡易に路面勾配を検出することが出来る。さらに、テクスチャは白線であるので、より簡易に路面勾配を検出することが出来る。 Further, according to the first to third embodiments of the present invention, the position of the two points is represented by the distance from the vehicle and the height from the vehicle, so that the road surface gradient can be detected more easily. Furthermore, since the texture is a white line, the road surface gradient can be detected more easily.
また、本発明の第１乃至第３実施形態によれば、テクスチャは複数存在し、路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定するので、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。 According to the first to third embodiments of the present invention, there are a plurality of textures, and the road surface gradient estimation means detects a gradient straight line obtained by connecting the positions of two points of the texture for each texture. At the same time, the road surface gradient is estimated from straight lines obtained by connecting multiple gradient straight lines to each other at the intersection of the gradient straight lines of each texture. I can do it.
また、本発明の第２実施形態によれば、さらに、撮像される路面画像から路面を複数の平面に分割する路面分割手段を有し、テクスチャは、分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定するので、処理負担が少ない一方、より精度良く路面勾配を検出することが出来る。 In addition, according to the second embodiment of the present invention, there is further provided road surface dividing means for dividing the road surface into a plurality of planes from the captured road surface image, and one texture is detected for each of the plurality of divided planes. At the same time, the gradient of the divided road surface is estimated from the positions of the two points, and the road surface gradient estimation means estimates the gradient of the road surface in a predetermined wide area from the gradient of the road surface obtained in each divided plane. Therefore, the road surface gradient can be detected with higher accuracy while reducing the processing load.
また、本発明の第３実施形態によれば、さらに、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定するので、撮像された路面の車両から所定距離離れた特定の領域を特定領域として設定し、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定し、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を所定時間における車両の移動量に応じて結合して走行路面として設定する。従って、例えば、数十ｍ先のような特定領域の画像処理のみで、特定領域から車両直前までの路面の勾配を検出することが出来、処理負担を軽減することが出来る。また、特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域とを所定時間における車両の移動量に応じて結合して走行路面として設定するので、路面勾配の検出も正確なものとなる。 Further, according to the third embodiment of the present invention, a specific area that is a predetermined distance away from the vehicle on the imaged road surface is set as the specific area, and in this specific area, the texture 2 existing in this specific area is set. The gradient of this specific area is estimated by connecting the positions of the points, and the specific area and at least one specific area set in the past before this specific area after a predetermined time are used as the amount of vehicle movement in the predetermined time. Therefore, a specific area that is a predetermined distance away from the vehicle on the imaged road surface is set as the specific area, and the two positions of the texture existing in the specific area are connected to specify the specific road area. The gradient of the area is estimated, and the specific area and at least one specific area set in the past before the specific area after a predetermined time are moved by the vehicle in the predetermined time. Depending combine to set as the traveling road surface. Therefore, for example, the road gradient from the specific area to immediately before the vehicle can be detected only by image processing of the specific area such as several tens of meters ahead, and the processing load can be reduced. In addition, since the specific area and at least one specific area set in the past before this specific area after a predetermined time are combined according to the amount of movement of the vehicle in the predetermined time and set as the road surface, the road surface gradient Detection is also accurate.
また、本発明において、好ましくは、車両の移動量は、撮像された画像中の所定の静止物の位置関係を基準に決定されるので、車両の移動量を、静止物を利用した高精度な位置補正により決定することが出来るので、より精度良く路面勾配を検出することが出来る。 In the present invention, preferably, the amount of movement of the vehicle is determined based on the positional relationship of a predetermined stationary object in the captured image. Therefore, the amount of movement of the vehicle is determined with high accuracy using a stationary object. Since it can be determined by position correction, the road surface gradient can be detected with higher accuracy.
１ 車両
４ ステレオカメラ
６ ＥＣＵ
1 vehicle 4 stereo camera 6 ECU
Claims (7)
走行路面を撮像する第１撮像手段と、
この第１撮像手段により撮像された路面画像と少なくとも１部が重複する路面画像が得られるように走行路面を撮像する第２撮像手段と、
撮像された路面から、所定の領域にある複数のテクスチャを検出し、この複数のテクスチャのそれぞれ少なくとも上下に離間した２点の位置を検出する位置検出手段と、
上記複数のテクスチャのそれぞれの２点の位置から、上記複数のテクスチャが存在する所定の広い領域の路面の勾配を推定する路面勾配推定手段と、
を有することを特徴とする車両用走行路面検出装置。 A vehicle road surface detection device for detecting a road surface inclination in a predetermined wide road surface region from a road surface image obtained by imaging a road surface,
First imaging means for imaging a traveling road surface;
Second imaging means for imaging the traveling road surface so as to obtain a road surface image at least partly overlapping with the road surface image captured by the first imaging means;
Position detection means for detecting a plurality of textures in a predetermined region from the imaged road surface, and detecting positions of two points separated from each other at least vertically in the plurality of textures;
Road surface gradient estimation means for estimating a road surface gradient of a predetermined wide area where the plurality of textures exist from the position of each of the two points of the plurality of textures;
A vehicle road surface detection device characterized by comprising:
上記路面勾配推定手段は、各々のテクスチャ毎にそのテクスチャの２点の位置を結んで得られる勾配直線を検出すると共にそのような各々のテクスチャの勾配直線の交点を折り点として複数の勾配直線を互いに連結して得られる直線から路面の勾配を推定する請求項１乃至３に記載の車両用走行路面検出装置。 There are multiple above textures,
The road surface gradient estimation means detects a gradient line obtained by connecting the positions of two points of the texture for each texture, and uses a plurality of gradient lines as intersections of the gradient lines of the textures. The vehicle road surface detection device according to any one of claims 1 to 3, wherein the road surface gradient is estimated from straight lines obtained by being connected to each other.
上記テクスチャは、上記分割された複数の平面毎に一つ検出されると共にその２点の位置からその分割された路面の勾配を推定し、
上記路面勾配推定手段は、それぞれの分割された平面において得られる路面の勾配から所定の広い領域の路面の勾配を推定する請求項１乃至４のいずれか１項に記載の車両用走行路面検出装置。 Furthermore, it has road surface dividing means for dividing the road surface into a plurality of planes from the road surface image to be captured
The texture is detected for each of the plurality of divided planes, and the gradient of the divided road surface is estimated from the positions of the two points.
The vehicular road surface detection device according to any one of claims 1 to 4, wherein the road surface gradient estimation means estimates a road surface gradient in a predetermined wide area from a road surface gradient obtained in each divided plane. .
この特定領域において、この特定領域に存在するテクスチャの２点の位置を結んでこの特定領域の勾配を推定する特定領域勾配推定手段と、
上記特定領域と、所定時間後におけるこの特定領域より手前の過去に設定された少なくとも１つの特定領域と、を上記所定時間における車両の移動量に応じて結合して走行路面として設定する走行路面設定手段と、
を有する請求項１乃至４に記載の車両用走行路面検出装置。 Furthermore, a specific area setting means for setting a specific area that is a predetermined distance away from the vehicle on the imaged road surface as the specific area;
In this specific area, a specific area gradient estimation unit that estimates the gradient of the specific area by connecting the positions of two points of the texture existing in the specific area;
Driving road surface setting in which the specific area and at least one specific area set in the past before the specific area after a predetermined time are combined and set as a road surface according to the amount of movement of the vehicle at the predetermined time Means,
The vehicle road surface detection device according to claim 1, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007318568A JP2009139325A (en) | 2007-12-10 | 2007-12-10 | Travel road surface detecting apparatus for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007318568A JP2009139325A (en) | 2007-12-10 | 2007-12-10 | Travel road surface detecting apparatus for vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009139325A true JP2009139325A (en) | 2009-06-25 |
Family
ID=40870060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007318568A Pending JP2009139325A (en) | 2007-12-10 | 2007-12-10 | Travel road surface detecting apparatus for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009139325A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012255703A (en) * | 2011-06-08 | 2012-12-27 | Isuzu Motors Ltd | Road gradient estimation apparatus |
| JP2013196401A (en) * | 2012-03-21 | 2013-09-30 | Hitachi Automotive Systems Ltd | Road environment recognizing apparatus |
| JP2016200397A (en) * | 2015-04-07 | 2016-12-01 | 株式会社ネクスコ・エンジニアリング北海道 | Road surface profile correction program and road surface profile correction device |
| JP2016205887A (en) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | Road surface gradient detection device |
| DE102016110461A1 (en) * | 2016-06-07 | 2017-12-07 | Connaught Electronics Ltd. | Method for detecting an inclination in a roadway for a motor vehicle, driver assistance system and motor vehicle |
| JP2021523496A (en) * | 2018-11-19 | 2021-09-02 | 炬星科技（深▲せん▼）有限公司Ｓｙｒｉｕｓ Ｒｏｂｏｔｉｃｓ Ｃｏ．， Ｌｔｄ． | Robot sensor placement system |
| US11970184B2 (en) | 2021-01-28 | 2024-04-30 | Hanwha Aerospace Co., Ltd. | Driving apparatus and driving controlling method |
-
2007
- 2007-12-10 JP JP2007318568A patent/JP2009139325A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012255703A (en) * | 2011-06-08 | 2012-12-27 | Isuzu Motors Ltd | Road gradient estimation apparatus |
| JP2013196401A (en) * | 2012-03-21 | 2013-09-30 | Hitachi Automotive Systems Ltd | Road environment recognizing apparatus |
| JP2016200397A (en) * | 2015-04-07 | 2016-12-01 | 株式会社ネクスコ・エンジニアリング北海道 | Road surface profile correction program and road surface profile correction device |
| JP2016205887A (en) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | Road surface gradient detection device |
| DE102016110461A1 (en) * | 2016-06-07 | 2017-12-07 | Connaught Electronics Ltd. | Method for detecting an inclination in a roadway for a motor vehicle, driver assistance system and motor vehicle |
| EP3255383A1 (en) * | 2016-06-07 | 2017-12-13 | Connaught Electronics Ltd. | Method for recognizing an inclination in a roadway for a motor vehicle, driver assistance system as well as motor vehicle |
| JP2021523496A (en) * | 2018-11-19 | 2021-09-02 | 炬星科技（深▲せん▼）有限公司Ｓｙｒｉｕｓ Ｒｏｂｏｔｉｃｓ Ｃｏ．， Ｌｔｄ． | Robot sensor placement system |
| US11970184B2 (en) | 2021-01-28 | 2024-04-30 | Hanwha Aerospace Co., Ltd. | Driving apparatus and driving controlling method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
| JP4956452B2 (en) | Vehicle environment recognition device | |
| JP6171593B2 (en) | Object tracking method and system from parallax map | |
| EP2757524B1 (en) | Depth sensing method and system for autonomous vehicles | |
| US20090041337A1 (en) | Image processing apparatus and method | |
| JP2009139325A (en) | Travel road surface detecting apparatus for vehicle | |
| EP3176013A1 (en) | Predictive suspension control for a vehicle using a stereo camera sensor | |
| JP2007263669A (en) | Three-dimensional coordinates acquisition system | |
| JP6743171B2 (en) | METHOD, COMPUTER DEVICE, DRIVER ASSISTING SYSTEM, AND MOTOR VEHICLE FOR DETECTION OF OBJECTS AROUND A ROAD OF A MOTOR VEHICLE | |
| CN106461403A (en) | Object detection device and object detection method | |
| US10984555B2 (en) | Object detection device and vehicle | |
| JP2012127896A (en) | Mobile object position measurement device | |
| US20210042945A1 (en) | Stereo camera device | |
| US8941732B2 (en) | Three-dimensional measuring method | |
| JP7145770B2 (en) | Inter-Vehicle Distance Measuring Device, Error Model Generating Device, Learning Model Generating Device, Methods and Programs Therefor | |
| JP4067340B2 (en) | Object recognition device and object recognition method | |
| JP2016004446A (en) | Motion estimation device | |
| JP2008309519A (en) | Object detection device using image processing | |
| JP6044084B2 (en) | Moving object position and orientation estimation apparatus and method | |
| JP3956817B2 (en) | Displacement data extraction method and object detection apparatus | |
| JP2015079388A (en) | Inter-vehicle distance measurement apparatus, inter-vehicle distance measurement method, and program | |
| CN111316322A (en) | Road surface area detection device | |
| JP7134780B2 (en) | stereo camera device | |
| JP2004038760A (en) | Traveling lane recognition device for vehicle | |
| JP2005301892A (en) | Lane recognition device by a plurality of cameras |