JP6668740B2 - Road surface estimation device - Google Patents

Road surface estimation device Download PDF

Info

Publication number
JP6668740B2
JP6668740B2 JP2015249317A JP2015249317A JP6668740B2 JP 6668740 B2 JP6668740 B2 JP 6668740B2 JP 2015249317 A JP2015249317 A JP 2015249317A JP 2015249317 A JP2015249317 A JP 2015249317A JP 6668740 B2 JP6668740 B2 JP 6668740B2
Authority
JP
Japan
Prior art keywords
road surface
predetermined value
unit
plane
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015249317A
Other languages
Japanese (ja)
Other versions
JP2017117038A (en
Inventor
宣浩 林田
宣浩 林田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2015249317A priority Critical patent/JP6668740B2/en
Publication of JP2017117038A publication Critical patent/JP2017117038A/en
Application granted granted Critical
Publication of JP6668740B2 publication Critical patent/JP6668740B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Description

本発明は、車両に設けられたカメラを用いて撮像された画像に基づいて道路面の位置を推定する道路面推定装置に関する。   The present invention relates to a road surface estimation device that estimates a position of a road surface based on an image captured using a camera provided in a vehicle.

従来、車両に搭載されたカメラにより撮像された撮像画像を解析することにより、車両が走行する道路上の障害物を検出する方法が知られている。障害物の検出精度を向上させるために、撮影画像における道路面の位置を高い精度で検出することが求められる。特許文献１には、複数のレンズを有するステレオカメラを用いて撮像された左画像と右画像における特定の点のずれ量が、画像上の上下方向の座標値に対して一次直線の関係にあることに着目して、道路面の位置を特定する技術が開示されている。   2. Description of the Related Art Conventionally, there has been known a method of detecting an obstacle on a road on which a vehicle travels by analyzing a captured image captured by a camera mounted on the vehicle. In order to improve the detection accuracy of obstacles, it is required to detect the position of a road surface in a captured image with high accuracy. Patent Document 1 discloses that a shift amount of a specific point between a left image and a right image captured using a stereo camera having a plurality of lenses has a linear relationship with a vertical coordinate value on the image. With this in mind, a technique for specifying the position of a road surface has been disclosed.

特開２００５−２４４６４号公報JP 2005-24464 A

従来の技術においては、ステレオカメラの撮像方向が道路面に対してほぼ平行になっており、ロール方向の傾斜が無視できる状態が想定されていた。しかしながら、実際の車両においては、ロール方向の揺れがあり、特に大型車両においては、ロール方向の揺れの影響が大きい。したがって、従来の技術を適用すると、道路面の位置の推定結果に誤差が生じやすいという問題があった。   In the prior art, it was assumed that the imaging direction of the stereo camera was substantially parallel to the road surface, and that the inclination in the roll direction could be ignored. However, in an actual vehicle, the roll direction swings, and particularly in a large vehicle, the influence of the roll direction swing is great. Therefore, when the conventional technique is applied, there is a problem that an error easily occurs in the estimation result of the position of the road surface.

そこで、本発明はこれらの点に鑑みてなされたものであり、道路面の位置の推定精度を向上させることを目的とする。   Then, this invention is made | formed in view of these points, and an object of this invention is to improve the estimation accuracy of the position of a road surface.

本発明においては、車両に搭載されたカメラを用いて撮像された複数の撮像画像に基づく距離画像を複数の分割領域に分割する分割手段と、前記複数の分割領域のうち、所定の平面度よりも平面に近い複数の平面領域を選択する選択手段と、前記複数の平面領域のうち、前記車両が走行する道路面の方向の初期設定方向に対して所定の範囲内の方向の複数の道路面候補領域を抽出する抽出手段と、前記複数の道路面候補領域に基づいて、前記車両が走行中の道路面の位置を特定する特定手段と、を有することを特徴とする道路面推定装置を提供する。   In the present invention, a dividing unit that divides a distance image based on a plurality of captured images captured by using a camera mounted on a vehicle into a plurality of divided regions, and among the plurality of divided regions, a predetermined flatness Selecting means for selecting a plurality of plane areas which are also close to a plane; and a plurality of road surfaces in a direction within a predetermined range with respect to an initial setting direction of a direction of a road surface on which the vehicle travels among the plurality of plane areas A road surface estimating apparatus comprising: an extracting unit that extracts a candidate region; and a specifying unit that specifies a position of a road surface on which the vehicle is traveling, based on the plurality of road surface candidate regions. I do.

このようにすることで、道路面推定装置は、ロール方向の揺れの影響をほとんど受けることなく、高い精度で道路面の位置を推定することができる。   In this way, the road surface estimation device can estimate the position of the road surface with high accuracy without being substantially affected by the roll direction sway.

上記の抽出手段が使用する前記初期設定方向は、例えば、前記カメラの俯角に基づいて定められる、傾斜していない道路面に前記車両が載置された状態における前記道路面の方向である。抽出手段が、このような初期設定方向を使用することで、特定手段は、道路面の方向に合っていない分割領域を除去した上で道路面の位置を特定することができるので、道路面の位置の推定精度が向上する。   The initial setting direction used by the extraction means is, for example, a direction of the road surface in a state where the vehicle is mounted on an unsloped road surface, which is determined based on a depression angle of the camera. Since the extracting means uses such an initial setting direction, the specifying means can specify the position of the road surface after removing the divided area not matching the direction of the road surface, and thus the position of the road surface can be specified. The position estimation accuracy is improved.

前記特定手段は、例えば、複数の道路面候補領域の夫々の重心点を特定し、特定した複数の前記重心点に基づいて、最小二乗法を用いて前記道路面を特定する。このようにすることで、特定手段は、道路面に凹凸がある場合であっても、道路面の平均的な方向を特定することができる。   The specifying means specifies, for example, the center of gravity of each of a plurality of road surface candidate areas, and specifies the road surface using a least squares method based on the specified plurality of center of gravity points. With this configuration, the specifying unit can specify the average direction of the road surface even when the road surface has irregularities.

前記特定手段は、前記道路面の方向を特定する前に、前記複数の重心点のうち、他の重心点からの距離が所定値以上の外れ点を除去してもよい。このようにすることで、ノイズの影響を抑制することができるので、道路面の推定精度が向上する。   The specifying means may remove outliers out of the plurality of center-of-gravity points whose distance from another center-of-gravity point is a predetermined value or more before specifying the direction of the road surface. By doing so, the influence of noise can be suppressed, so that the estimation accuracy of the road surface is improved.

前記選択手段は、前記複数の分割領域のそれぞれに含まれる複数の画素の三次元座標に基づいて、前記複数の画素のばらつきが第１所定値よりも大きい方向である第１方向、及び前記複数の画素のばらつきが第２所定値よりも大きい方向であり、かつ前記第１方向と直交する第２方向を特定し、前記第１方向及び前記第２方向と直交する第３方向における前記複数の画素のばらつきが、前記第１所定値及び前記第２所定値以下である第３所定値よりも小さい前記分割領域を、前記平面領域であるとして選択してもよい。このようにすることで、選択手段は、平面度が高い分割領域を選択することができる。   The selecting means includes: a first direction in which a variation of the plurality of pixels is greater than a first predetermined value, based on a three-dimensional coordinate of a plurality of pixels included in each of the plurality of divided regions; A second direction orthogonal to the first direction, and a direction in which the variation of pixels is greater than a second predetermined value, and the plurality of pixels in a third direction orthogonal to the first direction and the second direction are specified. The divided region having a pixel variation smaller than a third predetermined value that is equal to or less than the first predetermined value and the second predetermined value may be selected as the planar region. In this way, the selection unit can select a divided area having a high flatness.

本発明によれば、ロール方向の揺れの影響を受けにくくなり、高い精度で道路面の位置を推定することができるという効果を奏する。   ADVANTAGE OF THE INVENTION According to this invention, it becomes hard to be affected by the shaking of a roll direction, and it has the effect that the position of a road surface can be estimated with high precision.

障害物検出装置１の構成を示す図である。FIG. 2 is a diagram illustrating a configuration of an obstacle detection device 1. 道路面推定装置２０の構成を示す図である。FIG. 2 is a diagram illustrating a configuration of a road surface estimation device 20. 選択部２１３が平面領域を選択する方法を説明するための図である。FIG. 7 is a diagram for explaining a method in which a selection unit 213 selects a plane area. 道路面候補領域について説明するための図である。It is a figure for explaining a road surface candidate field. 道路面推定装置２０における処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure in the road surface estimation apparatus 20.

［障害物検出装置１の構成］
図１は、障害物検出装置１の構成を示す図である。
障害物検出装置１は、車両に搭載されたステレオカメラ１０を用いて走行中の道路が撮像された画像に基づいて、道路上の障害物を検出する装置である。障害物検出装置１は、障害物を検出すると、運転手に警告したり、自動的に車両を停止させたりする。 [Configuration of the obstacle detection device 1]
FIG. 1 is a diagram illustrating a configuration of the obstacle detection device 1.
The obstacle detection device 1 is a device that detects an obstacle on a road based on an image obtained by capturing an image of a running road using a stereo camera 10 mounted on a vehicle. When detecting an obstacle, the obstacle detection device 1 warns the driver or automatically stops the vehicle.

障害物検出装置１は、ステレオカメラ１０と、道路面推定装置２０と、障害物検出部３０とを有する。ステレオカメラ１０は、複数のレンズ及び複数の撮像手段を有している。撮像手段は、例えばＣＣＤ（Charge Coupled Device）である。   The obstacle detection device 1 includes a stereo camera 10, a road surface estimation device 20, and an obstacle detection unit 30. The stereo camera 10 has a plurality of lenses and a plurality of imaging units. The imaging means is, for example, a CCD (Charge Coupled Device).

ステレオカメラ１０は、右側の撮像手段により生成された右側撮像画像、及び左側の撮像手段により生成された左側撮像画像を道路面推定装置２０へと出力する。道路面推定装置２０は、ステレオカメラ１０から入力された複数の撮像画像データに基づいて、道路面の位置を推定する。障害物検出部３０は、道路面推定装置２０が推定した道路面に基づいて、道路面から突出した物体を、障害物として検出する。以下、道路面推定装置２０の構成について詳細に説明する。   The stereo camera 10 outputs the right-side captured image generated by the right-side imaging unit and the left-side captured image generated by the left-side imaging unit to the road surface estimation device 20. The road surface estimation device 20 estimates the position of the road surface based on a plurality of captured image data input from the stereo camera 10. The obstacle detection unit 30 detects an object protruding from the road surface as an obstacle based on the road surface estimated by the road surface estimation device 20. Hereinafter, the configuration of the road surface estimation device 20 will be described in detail.

［道路面推定装置２０の構成］
図２は、道路面推定装置２０の構成を示す図である。
道路面推定装置２０は、制御部２１及び記憶部２２を有する。制御部２１は、例えばＣＰＵである。記憶部２２は、例えばＲＯＭ及びＲＡＭにより構成されており、制御部２１により実行されるプログラム、及び制御部２１の処理に用いられる各種のデータを記憶する。 [Configuration of Road Surface Estimation Device 20]
FIG. 2 is a diagram illustrating a configuration of the road surface estimation device 20.
The road surface estimation device 20 includes a control unit 21 and a storage unit 22. The control unit 21 is, for example, a CPU. The storage unit 22 includes, for example, a ROM and a RAM, and stores a program executed by the control unit 21 and various data used for processing of the control unit 21.

制御部２１は、記憶部２２に格納されたプログラムを実行することにより、距離画像生成部２１１、分割部２１２、選択部２１３、抽出部２１４及び特定部２１５として機能する。   The control unit 21 functions as the distance image generation unit 211, the division unit 212, the selection unit 213, the extraction unit 214, and the identification unit 215 by executing the program stored in the storage unit 22.

距離画像生成部２１１は、ステレオカメラ１０から入力された右側撮像画像及び左側撮像画像に基づいて距離画像を生成する。距離画像生成部２１１は、まず、同じ時刻に生成された右側撮像画像に含まれる各画素と左側撮像画像に含まれる各画素とを比較し、視差の大きさを特定する。距離画像生成部２１１は、例えば、右側撮像画像に含まれる所定の画素ブロックが、左側撮像画像のどの位置に含まれているかを探索する。距離画像生成部２１１は、右側撮像画像に含まれる多数の画素ブロックに対して、このような探索処理を施すことにより、各ブロックに対応する視差の大きさを特定する。   The distance image generation unit 211 generates a distance image based on the right-side captured image and the left-side captured image input from the stereo camera 10. First, the distance image generation unit 211 compares each pixel included in the right-side captured image and each pixel included in the left-side captured image generated at the same time, and specifies the magnitude of parallax. The distance image generation unit 211 searches for, for example, where in the left captured image a predetermined pixel block included in the right captured image is included. The distance image generation unit 211 specifies the magnitude of parallax corresponding to each block by performing such a search process on a large number of pixel blocks included in the right-side captured image.

続いて、距離画像生成部２１１は、ステレオカメラ１０の右側のレンズと左側のレンズとの距離、及び特定した視差の大きさに基づいて、カメラ座標系の三次元座標を特定する。そして、距離画像生成部２１１は、特定した三次元座標に基づいて、各画素に対応する被写体までの距離を算出する。距離画像生成部２１１は、算出した距離に対応する色を画素ごとに付すことにより被写体までの距離を表す距離画像を生成する。なお、距離画像においては、距離画像生成部２１１が視差を検出することができなかった画素に対しては、視差を検出できなかったことを示す所定の色（例えば、黒色）が付されている。   Subsequently, the distance image generation unit 211 specifies three-dimensional coordinates in the camera coordinate system based on the distance between the right lens and the left lens of the stereo camera 10 and the specified magnitude of parallax. Then, the distance image generation unit 211 calculates the distance to the subject corresponding to each pixel based on the specified three-dimensional coordinates. The distance image generation unit 211 generates a distance image representing the distance to the subject by attaching a color corresponding to the calculated distance to each pixel. In the distance image, a predetermined color (for example, black) indicating that the parallax could not be detected is assigned to a pixel for which the distance image generation unit 211 could not detect parallax. .

分割部２１２は、距離画像生成部２１１が生成した距離画像を複数の分割領域に分割する。分割部２１２は、例えば、距離画像において、視差を検出することができた画素が含まれている領域を、複数の分割領域に分割する。分割領域の大きさは任意であり、例えば１０×１０ピクセルである。   The dividing unit 212 divides the distance image generated by the distance image generating unit 211 into a plurality of divided regions. The dividing unit 212 divides, for example, a region including a pixel for which parallax can be detected in the distance image into a plurality of divided regions. The size of the divided area is arbitrary, for example, 10 × 10 pixels.

図２は、距離画像の分割領域について説明するための図である。図２（ａ）は、ステレオカメラ１０が撮影した撮像画像に基づいて生成された距離画像を示している。図２（ｂ）は、距離画像において距離が示されている領域を、所定の大きさの複数の分割領域に分割した様子を示している。視差が検出された道路の境界線、車線境界線、樹木及び建物が写っている領域の画像が、分割領域に分割されている様子がわかる。   FIG. 2 is a diagram for describing a divided region of a distance image. FIG. 2A illustrates a distance image generated based on a captured image captured by the stereo camera 10. FIG. 2B shows a state in which a region indicating a distance in the distance image is divided into a plurality of divided regions having a predetermined size. It can be seen that the image of the area where the road boundary line, the lane boundary line, the tree, and the building in which the parallax is detected is divided into the divided areas.

選択部２１３は、複数の分割領域のうち、所定の平面度よりも平面に近い複数の平面領域を選択する。すなわち、選択部２１３は、画素が二次元平面上に分布していると考えられる分割領域を選択する。   The selection unit 213 selects a plurality of planar regions that are closer to a plane than a predetermined flatness from among the plurality of divided regions. That is, the selection unit 213 selects a divided region in which pixels are considered to be distributed on a two-dimensional plane.

選択部２１３は、各分割領域内の各画素の三次元座標に対して主成分分析を行い、第１主成分と第２主成分のベクトルの絶対値に対して第３主成分のベクトルの絶対値が極端に小さい場合に、その分割領域が平面をなしているとして選択する。選択部２１３は、この処理を全ての分割領域に対して実行する。   The selection unit 213 performs principal component analysis on the three-dimensional coordinates of each pixel in each divided region, and calculates the absolute value of the third principal component vector with respect to the absolute value of the first principal component and the second principal component vector. When the value is extremely small, it is determined that the divided area is a plane. The selection unit 213 performs this processing for all the divided areas.

具体的には、選択部２１３は、まず、複数の分割領域のそれぞれに含まれる複数の画素の三次元座標に基づいて、複数の画素のばらつきが第１所定値よりも大きい方向である第１方向を特定する。続いて、選択部２１３は、複数の画素のばらつきが第２所定値よりも大きい方向であり、かつ第１方向と直交する第２方向を特定する。第２所定値は、第１所定値以下の値である。そして、選択部２１３は、第１方向及び第２方向と直交する第３方向における複数の画素のばらつきが、第１所定値及び第２所定値以下である第３所定値よりも小さい分割領域を、平面領域であるとして選択する。   Specifically, the selection unit 213 first determines, based on the three-dimensional coordinates of a plurality of pixels included in each of the plurality of divided regions, a direction in which a variation in the plurality of pixels is larger than a first predetermined value. Specify the direction. Subsequently, the selection unit 213 specifies a second direction in which the variation of the plurality of pixels is greater than the second predetermined value and is orthogonal to the first direction. The second predetermined value is a value equal to or less than the first predetermined value. Then, the selection unit 213 determines a divided region in which the variation of the plurality of pixels in the third direction orthogonal to the first direction and the second direction is smaller than the third predetermined value that is equal to or less than the first predetermined value and the second predetermined value. , A plane area.

図３は、選択部２１３が平面領域を選択する方法を説明するための図である。図３における黒い点は、分割領域内の各画素に対応する座標を示している。図３（ａ）は、所定の平面度よりも平面に近い平面領域を示している。図３（ａ）における黒い点は、第１方向及び第２方向に分散しているが、第３方向にはほとんど分散していない。選択部２１３は、このような分割領域を平面領域として選択する。   FIG. 3 is a diagram for explaining a method in which the selection unit 213 selects a plane area. Black points in FIG. 3 indicate coordinates corresponding to each pixel in the divided area. FIG. 3A shows a plane area closer to a plane than a predetermined flatness. The black dots in FIG. 3A are dispersed in the first and second directions, but are hardly dispersed in the third direction. The selection unit 213 selects such a divided area as a plane area.

これに対して、図３（ｂ）においては、第３方向においても黒い点が分散している。選択部２１３は、このように、３つの方向に画素に対応する座標が分散している分割領域を、平面領域として選択しない。選択部２１３は、選択した平面領域を特定するための情報を抽出部２１４に対して出力する。   On the other hand, in FIG. 3B, black points are dispersed also in the third direction. The selection unit 213 does not select, as a planar area, a divided area in which coordinates corresponding to pixels are dispersed in three directions. The selection unit 213 outputs information for specifying the selected plane area to the extraction unit 214.

抽出部２１４は、選択部２１３が選択した複数の平面領域のうち、車両が走行する道路面の方向の初期設定方向に対して所定の範囲内の方向の複数の道路面候補領域を抽出する。初期設定方向は、例えば、ステレオカメラ１０が車両に設置された状態における俯角に基づいて定められる、傾斜していない道路面に車両が載置された状態における道路面の方向である。   The extraction unit 214 extracts a plurality of road surface candidate regions in a direction within a predetermined range with respect to the initial direction of the road surface on which the vehicle travels, from the plurality of plane regions selected by the selection unit 213. The initial setting direction is, for example, the direction of the road surface in a state where the vehicle is mounted on a non-inclined road surface, which is determined based on the depression angle when the stereo camera 10 is installed in the vehicle.

抽出部２１４は、例えば、選択部２１３が選択した複数の平面領域の夫々に対して、カメラ座標系における平面の方程式を算出する。抽出部２１４は、算出した平面方程式と、車両が水平な道路上にある場合にステレオカメラ１０が撮像した画像に基づいて算出される道路面の平面方程式とに基づいて、道路面の方向に近い平面領域を抽出する。このようにして、抽出部２１４は、複数の平面領域のうち、道路面の方向に近い方向の平面領域を、道路面候補領域として抽出する。   The extraction unit 214 calculates a plane equation in the camera coordinate system for each of the plurality of plane regions selected by the selection unit 213, for example. The extraction unit 214 is close to the direction of the road surface based on the calculated plane equation and the road plane equation calculated based on the image captured by the stereo camera 10 when the vehicle is on a horizontal road. Extract a planar area. In this way, the extraction unit 214 extracts a plane area in a direction closer to the direction of the road plane from among the plurality of plane areas as a road plane candidate area.

図４は、道路面候補領域について説明するための図である。図４（ａ）は、複数の平面領域のうち、道路面の方向の初期設定方向に対して所定の範囲内の方向の平面領域を示している。道路上の平面領域及び建物の屋上の平面領域が、道路面候補領域となっていることがわかる。抽出部２１４は、複数の平面領域のうち、例えば、道路面の方向の初期設定方向に対して、車両のロール角の最大値以内の方向の平面領域を、道路面候補領域として抽出する。このようにすることで、抽出部２１４は、発生し得るロールの大きさを考慮した上で、道路面の方向に近い方向の道路面候補領域を抽出することができる。   FIG. 4 is a diagram for explaining a road surface candidate area. FIG. 4A shows a plane area in a direction within a predetermined range with respect to an initial setting direction of a road surface direction among a plurality of plane areas. It can be seen that the plane area on the road and the plane area on the roof of the building are road surface candidate areas. The extraction unit 214 extracts, as a road surface candidate region, a plane region in a direction within the maximum value of the roll angle of the vehicle with respect to the initially set direction of the road surface direction, for example, among the plurality of plane regions. By doing so, the extraction unit 214 can extract a road surface candidate region in a direction close to the road surface direction, taking into account the size of the roll that can occur.

なお、抽出部２１４は、傾斜していない道路面に車両が載置された状態における道路面の位置に対して、所定の距離以上離れた位置の平面領域を、道路面候補領域として抽出しないものとしてもよい。例えば、図４（ａ）における建物の屋上の平面領域は、同路面から離れていると考えられるので、抽出部２１４は、建物の屋上の平面領域を道路面候補領域として抽出しないでもよい。   Note that the extraction unit 214 does not extract a plane area at a position separated by a predetermined distance or more from the position of the road surface in a state where the vehicle is mounted on an unsloped road surface as a road surface candidate area. It may be. For example, since the flat area on the roof of the building in FIG. 4A is considered to be distant from the same road surface, the extracting unit 214 may not extract the flat area on the roof of the building as a road surface candidate area.

図４（ｂ）は、複数の平面領域のうち、道路面の方向の初期設定方向に対して所定の範囲内に入っていない方向の平面領域を示している。樹木及び建物の壁面上の平面領域が図４（ｂ）に示されており、抽出部２１４は、道路面の方向とほぼ直交する方向であるこれらの平面領域を道路面候補領域として抽出しない。抽出部２１４は、道路面候補領域を特定する情報を特定部２１５に対して出力する。   FIG. 4B shows a plane area in a direction that does not fall within a predetermined range with respect to the initially set direction of the road surface direction among the plurality of plane areas. FIG. 4B shows plane regions on the wall surface of the tree and the building, and the extraction unit 214 does not extract these plane regions that are directions substantially orthogonal to the direction of the road surface as road surface candidate regions. The extracting unit 214 outputs information for specifying the road surface candidate area to the specifying unit 215.

特定部２１５は、複数の道路面候補領域に基づいて、車両が走行中の道路面を特定する。特定部２１５は、例えば、図４（ａ）に示した複数の道路面候補領域を用いて、道路面を特定する。具体的には、特定部２１５は、以下の手順で道路面を特定する。   The specifying unit 215 specifies a road surface on which the vehicle is traveling, based on the plurality of road surface candidate regions. The specifying unit 215 specifies a road surface using, for example, a plurality of road surface candidate regions illustrated in FIG. Specifically, the specifying unit 215 specifies a road surface in the following procedure.

特定部２１５は、まず、抽出部２１４が抽出した複数の道路面候補領域の夫々の重心点を特定する。続いて、特定部２１５は、特定した複数の重心点のうち、他の重心点からの距離が所定値以上となっている外れ点を除去することにより、ノイズの影響を低減する。特定部２１５は、例えばＲＡＮＳＡＣ（Random Sample Consensus）のアルゴリズムを用いて、外れ点を除去することができる。   The specifying unit 215 first specifies the center of gravity of each of the plurality of road surface candidate regions extracted by the extracting unit 214. Subsequently, the specifying unit 215 reduces the influence of noise by removing outliers whose distance from another barycenter point is equal to or more than a predetermined value among the specified barycenter points. The specifying unit 215 can remove the outlier using, for example, a RANSAC (Random Sample Consensus) algorithm.

特定部２１５は、外れ点を除去した後に残った複数の重心点に基づいて、例えば最小二乗法を用いて道路面を特定する。具体的には、特定部２１５は、複数の重心点のうち、最も多くの重心点が近傍領域に入る平面を道路面であるとする。   The specifying unit 215 specifies the road surface by using, for example, the least squares method, based on the plurality of centroid points remaining after removing the outliers. Specifically, the specifying unit 215 determines that a plane in which the most centroid point is in the vicinity area is the road surface.

［道路面推定装置２０における処理手順］
図５は、道路面推定装置２０における処理手順を示すフローチャートである。
まず、距離画像生成部２１１は、ステレオカメラ１０から取得した複数の撮像画像に基づいて、距離画像を生成する（Ｓ１１）。続いて、分割部２１２は、距離画像を所定の大きさの複数の分割領域に分割する（Ｓ１２）。 [Processing procedure in road surface estimation device 20]
FIG. 5 is a flowchart illustrating a processing procedure in the road surface estimation device 20.
First, the distance image generation unit 211 generates a distance image based on a plurality of captured images acquired from the stereo camera 10 (S11). Next, the dividing unit 212 divides the distance image into a plurality of divided areas having a predetermined size (S12).

続いて、選択部２１３は、一つの分割領域を選択し、選択した分割領域の平面度が所定値よりも大きいか否かを判定する（Ｓ１３）。選択部２１３が、Ｓ１３において、平面度が所定値よりも大きいと判定した場合（Ｓ１３においてＹｅｓ）、選択部２１３は、判定した分割領域を平面領域として選択する（Ｓ１４）。選択部２１３が、Ｓ２１３において、平面度が所定値以下であると判定した場合（Ｓ１３においてＮｏ）、選択部２１３は、Ｓ１４を実行することなくＳ１５に進む。   Subsequently, the selection unit 213 selects one divided region and determines whether or not the flatness of the selected divided region is larger than a predetermined value (S13). When the selecting unit 213 determines in S13 that the flatness is larger than the predetermined value (Yes in S13), the selecting unit 213 selects the determined divided region as a planar region (S14). When the selecting unit 213 determines in S213 that the flatness is equal to or smaller than the predetermined value (No in S13), the selecting unit 213 proceeds to S15 without executing S14.

選択部２１３は、全ての分割領域に対する平面領域であるか否かの判定が終了したか否かを判定し（Ｓ１５）、全ての分割領域に対する判定が終了していない場合（Ｓ１５においてＮｏ）、次の分割領域を選択して（Ｓ１６）、Ｓ１３に戻る。選択部２１３が、Ｓ１５において、全ての分割領域に対する判定が終了したと判定した場合（Ｓ１５においてＹｅｓ）、抽出部２１４が、道路面の方向に近い平面領域を抽出する（Ｓ１７）。   The selection unit 213 determines whether or not the determination as to whether or not it is a plane region with respect to all the divided regions is completed (S15), and if the determination with respect to all the divided regions is not completed (No in S15), The next divided area is selected (S16), and the process returns to S13. When the selecting unit 213 determines in S15 that the determination for all the divided regions has been completed (Yes in S15), the extracting unit 214 extracts a planar region close to the direction of the road surface (S17).

続いて、特定部２１５は、抽出部２１４が抽出した平面領域の重心点を特定する（Ｓ１８）。そして、特定部２１５は、特定した重心点のうち、他の重心点から大きく外れている外れ点を除去する（Ｓ１９）。その後、特定部２１５は、外れ点を除去した後の複数の重心点に基づいて、最小二乗法等の手法を用いて、道路面を特定する（Ｓ２０）。   Next, the specifying unit 215 specifies the center of gravity of the plane area extracted by the extracting unit 214 (S18). Then, the specifying unit 215 removes a deviated point that is significantly deviated from the other centroid points, from the specified centroid points (S19). After that, the specifying unit 215 specifies the road surface by using a method such as the least squares method based on the plurality of centroid points after removing the outliers (S20).

なお、上記の説明においては、特定部２１５が、外れ点を除去した後に最小二乗法を用いて道路面を特定する例について説明したが、これに限らない。特定部２１５は、外れ点を除去することなく、抽出部２１４が抽出した平面領域の全ての重心点を用いて道路面を特定してもよい。   In the above description, the example in which the specifying unit 215 specifies the road surface using the least squares method after removing outliers has been described, but the present invention is not limited to this. The specifying unit 215 may specify the road surface using all the centroid points of the plane area extracted by the extracting unit 214 without removing the outliers.

［本実施形態における効果］
以上説明したように、本実施形態に係る道路面推定装置２０は、距離画像を複数の分割領域に分割し、分割領域のうち平面度が大きい分割領域から、道路面の方向に近いと推定される分割領域を道路面候補領域として選択する。そして、道路面推定装置２０は、選択した複数の道路面候補領域の重心点に基づいて、道路面を特定する。このようにすることで、道路面推定装置２０は、ステレオカメラ１０から得られた各画素の三次元情報に基づいて道路面の方向を推定することができるので、任意の撮像画像を使用することが可能であるとともに、車両がロールした状態においても、高い精度で道路面の方向を推定することができる。 [Effects in the present embodiment]
As described above, the road surface estimation device 20 according to the present embodiment divides the range image into a plurality of divided regions, and estimates that the distance image is closer to the direction of the road surface from the divided regions having a large flatness among the divided regions. Is selected as a road surface candidate area. Then, the road surface estimation device 20 specifies the road surface based on the center of gravity of the selected plurality of road surface candidate regions. By doing so, the road surface estimating device 20 can estimate the direction of the road surface based on the three-dimensional information of each pixel obtained from the stereo camera 10, so that any captured image can be used. And the direction of the road surface can be estimated with high accuracy even when the vehicle is rolling.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。例えば、上記の説明においては、道路の画像を撮像する手段としてステレオカメラ１０を用いる場合について説明したが、これに限らない。障害物検出装置１は、任意の撮像手段を用いて撮像された画像を用いることができる。また、道路面推定装置２０は、一部の処理を、サーバ等の外部装置を用いて実行してもよい。   As described above, the present invention has been described using the embodiments, but the technical scope of the present invention is not limited to the scope described in the above embodiments. It is apparent to those skilled in the art that various changes or improvements can be made to the above embodiment. It is apparent from the description of the appended claims that embodiments with such changes or improvements can be included in the technical scope of the present invention. For example, in the above description, a case has been described in which the stereo camera 10 is used as a means for capturing an image of a road. The obstacle detection device 1 can use an image captured using an arbitrary imaging unit. In addition, the road surface estimation device 20 may execute a part of the process using an external device such as a server.

１ 障害物検出装置
１０ ステレオカメラ
２０ 道路面推定装置
２１ 制御部
２２ 記憶部
３０ 障害物検出部
２１１ 距離画像生成部
２１２ 分割部
２１３ 選択部
２１４ 抽出部
２１５ 特定部 1 Obstacle Detector 10 Stereo Camera 20 Road Estimation Device 21 Controller 22 Storage 30 Obstacle Detector 211 Distance Image Generator 212 Divider 213 Selector 214 Extractor 215 Identifier

Claims (4)

車両に搭載されたカメラを用いて撮像された複数の撮像画像に基づく距離画像を複数の分割領域に分割する分割手段と、
前記複数の分割領域のうち、所定の平面度よりも平面に近い複数の平面領域を選択する選択手段と、
前記複数の平面領域のうち、前記車両が走行する道路面の方向の初期設定方向に対して所定の範囲内の方向の複数の道路面候補領域を抽出する抽出手段と、
前記複数の道路面候補領域の夫々の重心点を特定し、特定した複数の前記重心点に基づいて、最小二乗法を用いて前記車両が走行中の道路面を特定する特定手段と、
を有することを特徴とする道路面推定装置。 A dividing unit that divides a distance image based on a plurality of captured images captured using a camera mounted on a vehicle into a plurality of divided regions,
Selecting means for selecting a plurality of planar areas closer to a plane than a predetermined flatness, among the plurality of divided areas,
Extracting means for extracting a plurality of road surface candidate regions in a direction within a predetermined range with respect to an initial setting direction of a direction of a road surface on which the vehicle travels, among the plurality of plane regions;
Identifying a center of gravity of each of the plurality of road surface candidate areas, based on the plurality of identified centers of gravity , identifying means for identifying a road surface on which the vehicle is traveling using a least squares method ,
A road surface estimating device comprising: 前記初期設定方向が、前記カメラの俯角に基づいて定められる、傾斜していない道路面に前記車両が載置された状態における前記道路面の方向であることを特徴とする、
請求項１に記載の道路面推定装置。 The initial setting direction is determined based on a depression angle of the camera, and is a direction of the road surface in a state where the vehicle is mounted on a road surface that is not inclined,
The road surface estimation device according to claim 1. 前記特定手段は、前記道路面を特定する前に、前記複数の重心点のうち、他の重心点からの距離が所定値以上の外れ点を除去することを特徴とする、
請求項１又は２に記載の道路面推定装置。 The identifying means, prior to identifying the road surface, of the plurality of center-of-gravity points, removes outliers whose distance from another center-of-gravity point is a predetermined value or more,
The road surface estimation device according to claim 1 . 前記選択手段は、前記複数の分割領域のそれぞれに含まれる複数の画素の三次元座標に基づいて、前記複数の画素のばらつきが第１所定値よりも大きい方向である第１方向、及び前記複数の画素のばらつきが第２所定値よりも大きい方向であり、かつ前記第１方向と直交する第２方向を特定し、前記第１方向及び前記第２方向と直交する第３方向における前記複数の画素のばらつきが、前記第１所定値及び前記第２所定値以下である第３所定値よりも小さい前記分割領域を、前記平面領域であるとして選択することを特徴とする、
請求項１から３のいずれか１項に記載の道路面推定装置。


The selecting means includes: a first direction in which a variation of the plurality of pixels is larger than a first predetermined value, based on three-dimensional coordinates of a plurality of pixels included in each of the plurality of divided regions; A second direction orthogonal to the first direction is specified, and the plurality of pixels in a third direction orthogonal to the first direction and the second direction are specified. The method is characterized in that the divided area in which the variation of pixels is smaller than a third predetermined value that is equal to or smaller than the first predetermined value and the second predetermined value is selected as the plane area,
The road surface estimation device according to any one of claims 1 to 3 .


JP2015249317A 2015-12-22 2015-12-22 Road surface estimation device Active JP6668740B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015249317A JP6668740B2 (en) 2015-12-22 2015-12-22 Road surface estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015249317A JP6668740B2 (en) 2015-12-22 2015-12-22 Road surface estimation device

Publications (2)

Publication Number Publication Date
JP2017117038A JP2017117038A (en) 2017-06-29
JP6668740B2 true JP6668740B2 (en) 2020-03-18

Family

ID=59234475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015249317A Active JP6668740B2 (en) 2015-12-22 2015-12-22 Road surface estimation device

Country Status (1)

Country Link
JP (1) JP6668740B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271944B (en) * 2018-09-27 2021-03-12 百度在线网络技术（北京）有限公司 Obstacle detection method, obstacle detection device, electronic apparatus, vehicle, and storage medium
JP7165630B2 (en) * 2019-07-24 2022-11-04 本田技研工業株式会社 Recognition system, vehicle control system, recognition method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3600378B2 (en) * 1996-07-24 2004-12-15 本田技研工業株式会社 Vehicle external recognition device
JP4193886B2 (en) * 2006-07-26 2008-12-10 トヨタ自動車株式会社 Image display device
JP5531474B2 (en) * 2008-12-12 2014-06-25 株式会社豊田中央研究所 Map generation device, runway estimation device, movable region estimation device, and program
JP5554453B2 (en) * 2011-09-30 2014-07-23 富士フイルム株式会社 Image processing apparatus and method
JP5820774B2 (en) * 2012-06-21 2015-11-24 株式会社豊田中央研究所 Road boundary estimation apparatus and program
JP6030405B2 (en) * 2012-10-25 2016-11-24 シャープ株式会社 Planar detection device and autonomous mobile device including the same

Also Published As

Publication number Publication date
JP2017117038A (en) 2017-06-29

Similar Documents

Publication Publication Date Title
US9771080B2 (en) Road surface gradient detection device
US9898669B2 (en) Traveling road surface detection device and traveling road surface detection method
KR102507248B1 (en) Egomotion estimation system and method thereof
EP3016071B1 (en) Estimating device and estimation method
JP5267596B2 (en) Moving body detection device
US20120133739A1 (en) Image processing apparatus
JP2017526082A (en) Non-transitory computer-readable medium encoded with computer program code for causing a motion estimation method, a moving body, and a processor to execute the motion estimation method
WO2013133129A1 (en) Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object
JP2010085240A (en) Image processing device for vehicle
US20170084048A1 (en) Measurement device and measurement method
JP6782192B2 (en) Object detection device, object detection method, and program
US10043106B2 (en) Corresponding point searching method and distance detection device
JP2018036898A5 (en) Image processing apparatus, image processing method, and program
JP6668740B2 (en) Road surface estimation device
JP2018503195A (en) Object detection method and object detection apparatus
US9836655B2 (en) Information processing apparatus, information processing method, and computer-readable medium
JP2010003253A (en) Motion estimation device
JP4696925B2 (en) Image processing device
US10356394B2 (en) Apparatus and method for measuring position of stereo camera
WO2014054124A1 (en) Road surface markings detection device and road surface markings detection method
JP2008003696A (en) Image processing apparatus and image processing method
KR101501531B1 (en) Stereo Vision-based Pedestrian Detection System and the method of
JP6601893B2 (en) Image processing apparatus, image processing method, and program
JP5293429B2 (en) Moving object detection apparatus and moving object detection method
JP7134780B2 (en) stereo camera device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6668740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150