JP2009026250A - Plane component detector, ground plane detector, and obstacle detector - Google Patents
Plane component detector, ground plane detector, and obstacle detector Download PDFInfo
- Publication number
- JP2009026250A JP2009026250A JP2007191477A JP2007191477A JP2009026250A JP 2009026250 A JP2009026250 A JP 2009026250A JP 2007191477 A JP2007191477 A JP 2007191477A JP 2007191477 A JP2007191477 A JP 2007191477A JP 2009026250 A JP2009026250 A JP 2009026250A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- stereo
- ground surface
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、地上面及び障害物を含む環境を複数カメラで撮影して得られたステレオ画像から、面成分を検出し、地上面及び障害物を検出する装置に関する。 The present invention relates to an apparatus for detecting surface components and obstacles from stereo images obtained by photographing an environment including the ground surface and obstacles with a plurality of cameras.
自動車等において、障害物との衝突の危険を運転者に警告する障害物警告システムが開発されている。このような障害物警告システムでは、障害物の検出のために、カメラやレーダといった車載のセンサを用いる。 In automobiles and the like, an obstacle warning system has been developed to warn the driver of the danger of collision with an obstacle. In such an obstacle warning system, an in-vehicle sensor such as a camera or a radar is used to detect an obstacle.
車載のセンサとして複数のカメラからなるステレオカメラを用いた場合には、各カメラ画像において同じ物体が撮像されている位置を特定して（この処理を「ステレオ対応付け」と呼ぶ）、撮像位置の違いである「視差」を算出する。この算出された視差を基に三角測量を行うことで、自車から物体までの距離を測定することができ、自車と衝突する可能性の高い障害物を検出することができる。 When a stereo camera composed of a plurality of cameras is used as an in-vehicle sensor, a position where the same object is imaged in each camera image is specified (this process is called “stereo matching”), The “parallax” that is the difference is calculated. By performing triangulation based on the calculated parallax, the distance from the own vehicle to the object can be measured, and an obstacle with a high possibility of colliding with the own vehicle can be detected.
車環境における障害物は地上面に接して存在するため、障害物検出の前処理として地上面検出を行い、検出された地上面の位置や形状の情報を利用することにより、障害物検出を高精度化することが可能となる。地上面検出の従来の装置としては、例えば特許文献１に記載されているものがある。
Obstacles in the vehicle environment exist in contact with the ground surface, so ground detection is performed as preprocessing for obstacle detection, and obstacle detection is enhanced by using information on the detected position and shape of the ground surface. It becomes possible to improve accuracy. As a conventional apparatus for detecting the ground surface, there is one described in
特許文献１記載の技術では、自車前方をステレオカメラで撮影して一対の画像データを取得し、画像データ対の視差に基づいて距離データを算出する。そして画像データを垂直方向の複数領域に分割して分割領域毎に白線を検出し、算出済み距離データを基に白線の３次元位置を求めることで、地上面を検出する。
このように従来の装置では、まず地上面上の特徴点や線分（白線など）を検出して、その特徴点までの距離計測や白線幅の計測によって地上面を検出する。しかしながら、特徴点の乏しい環境や白線の無い環境においては、地上面の検出を行うことができないという問題がある。 In this way, in the conventional apparatus, first, a feature point or a line segment (white line or the like) on the ground surface is detected, and the ground surface is detected by measuring a distance to the feature point or measuring a white line width. However, there is a problem that the ground surface cannot be detected in an environment with few feature points or an environment without white lines.
本発明は、かかる点に鑑みてなされたものであり、特徴点の乏しい面成分を検出できる面成分検出装置、地上面検出装置、及び障害物検出装置を提供することを目的とする。 This invention is made | formed in view of this point, and it aims at providing the surface component detection apparatus which can detect a surface component with few feature points, a ground surface detection apparatus, and an obstruction detection apparatus.
本発明の面成分検出装置は、所定物体の表面領域である面成分を複数カメラで撮影してステレオ画像を取得する画像取得部と、前記ステレオ画像におけるエピポーラ線に基づく１次元画像信号ごとにステレオ対応付けを行うことで、視差情報を算出する視差情報算出部と、前記視差情報を基に面成分を検出する面成分検出部とを具備する構成を採る。 The surface component detection apparatus according to the present invention includes an image acquisition unit that acquires a stereo image by capturing a surface component that is a surface region of a predetermined object with a plurality of cameras, and a stereo for each one-dimensional image signal based on an epipolar line in the stereo image. By performing the association, a configuration including a parallax information calculation unit that calculates parallax information and a surface component detection unit that detects a surface component based on the parallax information is adopted.
これにより、エピポーラ線上に等視差が存在する面成分において、ステレオ対応付けに必要な画像信号の情報量を適切に増加させることができるため、面成分に該当する視差を高精度に算出でき、面成分の検出を高精度に行うことが可能となる。 This makes it possible to appropriately increase the amount of information of the image signal necessary for stereo correspondence in the surface component where equi-parallax exists on the epipolar line, so that the parallax corresponding to the surface component can be calculated with high accuracy. Component detection can be performed with high accuracy.
また、ステレオカメラの光学中心を結ぶ線（基線）が地上面に平行となるようにステレオカメラを配置した場合、地上面の検出を高精度に行うことができる。さらに、地上面を検出することにより、地上面の位置より上方に存在する物体を障害物として検出することが可能となる。 Further, when the stereo camera is arranged so that the line (base line) connecting the optical centers of the stereo camera is parallel to the ground surface, the ground surface can be detected with high accuracy. Furthermore, by detecting the ground surface, it is possible to detect an object existing above the position of the ground surface as an obstacle.
本発明によれば、特徴点の乏しい面成分を検出できる。また、この面成分検出を用いることにより、特徴点や白線などの線分の無い地上面でも検出でき、地上面を用いた障害物検出が可能となる。 According to the present invention, a surface component having a poor feature point can be detected. Further, by using this surface component detection, it is possible to detect even the ground surface without line segments such as feature points and white lines, and obstacle detection using the ground surface becomes possible.
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（実施の形態１）
図１は、本発明の実施の形態１に係る障害物警告装置１００の概略構成を表すブロック図である。本実施の形態は、視差情報を基に所定物体の表面領域である面成分を検出する面成分検出装置を、車両に搭載される障害物警告装置に適用した例である。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of an obstacle warning device 100 according to
障害物警告装置１００は、画像取得部１１０、対応点探索部１２０、３次元復元部１３０、地上面検出部１４０、障害物検出部１５０、衝突判断部１６０、及び警告出力部１７０を有する。
The obstacle warning device 100 includes an
画像取得部１１０は、車両に搭載された２個のカメラを用いて地上面のステレオ画像を取得し、取得したステレオ画像の平行化処理を行う。２個のカメラは、地上面の画像をステレオ画像として取り込むカメラであり、例えば、車両のフロントガラスの上部の車室天井面前方、室内ミラー上部に設置される。この２個のカメラは、２個一組のモジュール構成でもよく、障害物警告装置１００と一体に設けられてもよい。２個のカメラは、撮影領域の視線方向が車両の進行方向に向き、かつ車両の幅方向、つまり車両の進行方向に向かって左右の方向（以下「左右方向」という）のステレオ画像を撮像する。本実施の形態では、車両の進行方向に対して左の撮影領域を撮影するカメラを基準カメラ、右の撮影領域を撮影するカメラを比較カメラとし、基準カメラと比較カメラを合わせてステレオカメラとする。基準カメラで撮影された画像を基準画像、比較カメラで撮影された画像を比較画像とし、基準画像と比較画像を合わせてステレオ画像とする。右のカメラを基準カメラとし、左のカメラを比較カメラとしてもよい。また、カメラの数は２個に限定されるものではなく、より多くのカメラを備えるように構成してもよい。
The
画像取得部１１０は、左右に配置した２個のカメラで同時刻に撮影を行い、車両の前方で撮影領域がオーバーラップした２枚１組の画像（ステレオ画像）を取得する処理を行う。
The
画像取得部１１０は、取得したステレオ画像の平行化処理を行う。平行化処理とは、撮影されたステレオ画像を平行カメラで撮影した画像に変換する処理である。
The
平行化処理を行うためには、必要なパラメータを予め求めておく必要がある。このパラメータの算出方法としては、形状が既知で特徴点の明確な対象物（例えばチェッカーボード）をステレオカメラで撮影し、各カメラにおける特徴点の検出結果を基にしてパラメータを生成する方法が一般的に知られている。ここでは、平行化処理に必要なパラメータの生成は、既に障害物警告装置１００の出荷前に行われ、障害物警告装置１００は、平行化処理に必要なパラメータを持っているものとする。 In order to perform the parallelization process, it is necessary to obtain necessary parameters in advance. As a method for calculating this parameter, a method is generally used in which an object having a known feature point and a clear feature point (for example, a checkerboard) is photographed with a stereo camera, and the parameter is generated based on the detection result of the feature point in each camera. Known. Here, it is assumed that the parameters necessary for the parallelization processing are already generated before the obstacle warning device 100 is shipped, and the obstacle warning device 100 has parameters necessary for the parallelization processing.
ここで、上記ステレオ画像の平行化処理は必ずしも必要ではなく、平行化処理を行わない構成としてもよい。この場合には、後段の対応点探索部１２０において、エピポーラ線に沿って１次元画像信号を切り出すように処理すればよい。
Here, the parallelization processing of the stereo image is not necessarily required, and the parallelization processing may be omitted. In this case, the corresponding
対応点探索部１２０は、画像取得部１１０にて取得されたステレオ画像における対応点を求める処理を行う。基準画像と比較画像において、同一物体が撮像された位置をステレオ対応付けにより求めて対応点を得る。対応点を求める際に、対応点探索部１２０は、ステレオ画像におけるエピポーラ線上の１次元画像信号ごとに、ステレオ対応付けを行う。ステレオ対応付けにより対応点を求める方法の詳細については後述する。
The corresponding
３次元復元部１３０は、対応点探索部１２０により算出された対応点情報から視差を求め、３次元空間において座標を持つ３次元点に変換する。３次元復元部１３０により算出された３次元点情報は、地上面検出部１４０と障害物検出部１５０に送られる。
The three-
地上面検出部１４０は、３次元復元部１３０により算出された３次元点情報を基に、地上面の検出を行う。
The ground
障害物検出部１５０は、３次元復元部１３０により算出された３次元点情報と、地上面検出部１４０によって検出された地上面情報とを基に、障害物の検出を行う。
The
衝突判断部１６０は、障害物検出部１５０の検出結果を基に、障害物警告装置１００を搭載した車両（以下単に「車両」という）と障害物との衝突の可能性を判断する。衝突判断部１６０は、障害物検出結果を時系列に保存しておき、障害物の位置の変化を解析することで、車両に対する障害物の相対速度を算出する。そしてこの相対速度が車両に接近する方向に対して所定の閾値以上の場合には、障害物と衝突する可能性があるとする判断結果を生成する。
The
警告出力部１７０は、衝突判断部１６０の判断結果を基に、運転者に対して警告を行う。
The
障害物警告装置１００は、マイクロプロセッサ等により構成され、図示しないＲＯＭ等の記憶媒体に格納された制御プログラムを実行して地上面検出動作を行う。障害物警告装置１００は、地上面の３次元点を複数検出することにより、地上面を検出する。地上面の３次元点は、地上面の各点のステレオ画像における視差と、ステレオカメラの焦点距離とから、三角測量の原理を用いて算出する。 The obstacle warning device 100 is configured by a microprocessor or the like, and performs a ground surface detection operation by executing a control program stored in a storage medium such as a ROM (not shown). The obstacle warning device 100 detects the ground surface by detecting a plurality of three-dimensional points on the ground surface. The three-dimensional point on the ground surface is calculated using the principle of triangulation from the parallax in the stereo image of each point on the ground surface and the focal length of the stereo camera.
以下、上述のように構成された障害物警告装置１００の動作について説明する。まず、本発明の基本的な考え方について説明する。 Hereinafter, the operation of the obstacle warning device 100 configured as described above will be described. First, the basic concept of the present invention will be described.
〔三角測量の原理〕
図２は、三角測量の原理を用いた３次元点算出の概要を示す図である。図２では物体（ここでは車両）の３次元位置を、左カメラ（基準カメラ）と右カメラ（比較カメラ）を用いて求める場合を例として説明する。
[Principles of triangulation]
FIG. 2 is a diagram showing an outline of three-dimensional point calculation using the principle of triangulation. In FIG. 2, a case where the three-dimensional position of an object (here, a vehicle) is obtained using a left camera (reference camera) and a right camera (comparison camera) will be described as an example.
左右カメラのそれぞれにおいて、物体の像は、レンズを介してＣＣＤセンサ等の撮像素子の撮像面で結像する。左右のカメラが平行ステレオの場合、左右カメラにおける物体の像の視差は、左右方向における像の位置のずれとして検出される。このずれ（視差）と左右のカメラの距離（基線長）、および焦点距離とから、三角測量の原理により、物体までの距離が求められる。具体的には、左右カメラの焦点距離に基線長を乗じた値を視差で除することにより、カメラから物体までの光軸方向における距離が算出される。また、距離以外の物体の３次元的な位置情報についても、撮像面における物体の像の位置、焦点距離、および視差から算出することが可能である。 In each of the left and right cameras, an object image is formed on the imaging surface of an imaging element such as a CCD sensor via a lens. When the left and right cameras are parallel stereo, the parallax of the object image in the left and right cameras is detected as a displacement of the image position in the left and right direction. From this shift (parallax), the distance between the left and right cameras (baseline length), and the focal length, the distance to the object is obtained by the principle of triangulation. Specifically, the distance in the optical axis direction from the camera to the object is calculated by dividing the value obtained by multiplying the focal length of the left and right cameras by the baseline length by the parallax. Further, the three-dimensional position information of the object other than the distance can be calculated from the position of the object image on the imaging surface, the focal length, and the parallax.
〔地上面検出方法〕
図３〜図５は、本実施例における地上面検出方法を説明する図である。図３は、車両の前方に見える風景の一例を、図４は、図３の風景を撮像したときのステレオ画像の一例をそれぞれ示す。図５は、図４のステレオ画像を例として、エピポーラ線上の１次元画像信号を用いた対応点検出の概要を説明する図である。図３〜図５において、５０１は面成分を検出する対象となる道路面、５０２１〜５０２３は道路面５０１を走行する車両、５０３は道路面５０１の側方の壁である。
[Ground surface detection method]
3-5 is a figure explaining the ground-surface detection method in a present Example. FIG. 3 shows an example of a landscape seen in front of the vehicle, and FIG. 4 shows an example of a stereo image when the landscape of FIG. 3 is captured. FIG. 5 is a diagram illustrating an outline of corresponding point detection using a one-dimensional image signal on an epipolar line, taking the stereo image of FIG. 4 as an example. 3 to 5,
図３の車両から見た風景に対して左右カメラは、図４に示す画像を撮影する。図４に示すように、左カメラ画像５００Ｌと右カメラ画像５００Ｒの双方に、道路面５０１、車両５０２１〜５０２３、壁５０３が写っている。左カメラ画像５００Ｌと右カメラ画像５００Ｒでは、車両５０２１〜５０２３と壁５０３の位置が異なっており、特に、手前側に位置する車両５０２ほど位置の違いが大きくなっている。
The left and right cameras capture the image shown in FIG. 4 with respect to the landscape viewed from the vehicle in FIG. As shown in FIG. 4, in both of the left camera image 500 L and the right camera image 500 R, the
左カメラ画像５００Ｌと右カメラ画像５００Ｒにおける像の位置の違いは、ステレオカメラにより近い物体ほど大きくなる。これは、物体までの距離と視差は反比例の関係にあるためである。ステレオカメラからの距離に応じて視差が異なるのは、上記車両５０２１〜５０２３に限らず地上面の各点についても同様である。地上面の各点について、視差が異なることが顕在化しないのは、地上面が一見して特徴がないように見えることに過ぎない。 Differences in the position of the image in the left camera image 500 L and the right camera image 500 R is larger as the object is closer to the stereo camera. This is because the distance to the object and the parallax are in inverse proportion. The reason why the parallax varies depending on the distance from the stereo camera is not limited to the above-described vehicles 502 1 to 502 3 , and is the same for each point on the ground surface. The fact that the difference in parallax does not become apparent at each point on the ground surface is merely that the ground surface appears to have no features at first glance.
車両などの障害物の場合、左右カメラの画像で対応する点を検出することは容易である。白線などの特徴点を有する地上面の場合も、分割領域毎の距離データを基に白線の３次元位置を求めることで比較的容易に検出できる。ところが、特徴点に乏しい地上面の場合、左右カメラの画像で対応する点を検出することは難しい。 In the case of an obstacle such as a vehicle, it is easy to detect corresponding points in the left and right camera images. Even on the ground surface having a feature point such as a white line, it can be detected relatively easily by obtaining the three-dimensional position of the white line based on the distance data for each divided region. However, in the case of a ground surface with few feature points, it is difficult to detect corresponding points in the images of the left and right cameras.
そこで、障害物警告装置１００は、地上面に平行にステレオカメラを配置したときにエピポーラ線上で等視差となる領域が地上面に存在することを利用し、ステレオ画像における地上面の対応点を検出する。 Therefore, the obstacle warning device 100 detects the corresponding point of the ground surface in the stereo image by utilizing the fact that a region having equi-parallax on the epipolar line exists on the ground surface when the stereo camera is arranged parallel to the ground surface. To do.
物体とステレオカメラの光学中心が張る平面をエピポーラ平面と呼ぶ。エピポーラ線は、エピポーラ平面とステレオカメラの画像面との交線として定義される。 A plane between the object and the optical center of the stereo camera is called an epipolar plane. The epipolar line is defined as a line of intersection between the epipolar plane and the image plane of the stereo camera.
道路面の多くは平面であり、起伏がある場合でも各地点の幅方向成分は平行となっている場合が多い。また、道路面上を走行する車両の左右方向は、通常、道路面の幅方向に対して平行である。つまり、車両の進行方向前方に見える道路面は、車両の左右方向に平行な成分を多く有する。また、エピポーラ平面は、常にステレオカメラの光学中心を結ぶ線を通過する。したがって、ステレオカメラの光学中心を結ぶ線が車両の左右方向に平行となるようにステレオカメラを配置した場合、エピポーラ平面と地上面との交線の多くは、ステレオカメラの光学中心を結ぶ線に平行となる。また、ステレオカメラの光学中心を結ぶ線に平行な直線上の各点の視差は等しくなる。 Many road surfaces are flat surfaces, and the width direction components at each point are often parallel even when there are undulations. Further, the left-right direction of the vehicle traveling on the road surface is usually parallel to the width direction of the road surface. That is, the road surface seen in front of the traveling direction of the vehicle has many components parallel to the left-right direction of the vehicle. The epipolar plane always passes through a line connecting the optical centers of the stereo cameras. Therefore, when the stereo camera is placed so that the line connecting the optical center of the stereo camera is parallel to the left-right direction of the vehicle, most of the intersection lines between the epipolar plane and the ground plane are the lines connecting the optical center of the stereo camera. Parallel. Moreover, the parallax of each point on the straight line parallel to the line connecting the optical centers of the stereo cameras is equal.
つまり、同一のエピポーラ平面に属するエピポーラ線上には、地上面の等視差となる領域の１次元画像が存在する可能性が高い。障害物警告装置１００は、エピポーラ線上に地上面の等視差となる領域の１次元画像が存在する可能性が高いことを利用し、ステレオ対応付けをエピポーラ線上の１次元画像信号ごとに行うことにより、地上面の各点の対応点を検出する。 That is, there is a high possibility that a one-dimensional image of an area having equal parallax on the ground surface exists on the epipolar line belonging to the same epipolar plane. The obstacle warning device 100 uses the fact that there is a high possibility that a one-dimensional image of a region having equal parallax on the ground surface exists on the epipolar line, and performs stereo association for each one-dimensional image signal on the epipolar line. The corresponding point of each point on the ground surface is detected.
障害物警告装置１００は、図５に示すように、左カメラ画像（基準画像）５００Ｌにおけるエピポーラ線５１０Ｌ上の１次元画像信号５２０Ｌと、右カメラ画像（比較画像）５００Ｒにおけるエピポーラ線５１０Ｒ上の１次元画像信号５２０Ｒとを抽出する。エピポーラ線５１０Ｌ、５１０Ｒは、同一のエピポーラ平面上に存在する線である。ここでは、左右カメラ画像それぞれの中心を基準として、同じサイズの１次元画像を切り出した例を図示している。
As shown in FIG. 5, the obstacle warning device 100 includes a one-dimensional image signal 520 L on the
ここで、１次元画像信号５２０Ｌ、５２０Ｒの各ピクセルを、それぞれ基準からの番号を添え字とする記号Ｐで表す。１次元画像信号５２０Ｌ、５２０Ｒのパターンを比較すると、例えば、１次元画像信号５２０Ｌにおける９番目〜１２番目のピクセルＰ９〜Ｐ１２は、１次元画像信号５２０Ｒにおける６番目〜９番目のピクセルＰ６〜Ｐ９に対応している。つまり、１次元画像信号５２０Ｌと１次元画像信号５２０Ｒでは、３ピクセル分、パターンの位置がずれていることがわかる。 Here, each pixel of the one-dimensional image signals 520 L and 520 R is represented by a symbol P with a number from the reference as a subscript. When the patterns of the one-dimensional image signals 520 L and 520 R are compared, for example, the ninth to twelfth pixels P 9 to P 12 in the one-dimensional image signal 520 L are sixth to ninth in the one-dimensional image signal 520 R. It corresponds to the pixel P 6 to P 9. That is, in the one-dimensional image signal 520 L and 1-dimensional image signal 520 R, 3 pixels, it can be seen that the shift position of the pattern.
障害物警告装置１００は、このようなパターンの位置の違いを検出することにより、地上面の視差を算出する。また、上記したように特徴点の少ない地上面であっても検出できるように、後述する１次元位相限定相関法を用いた１次元画像の比較を行う。その後、障害物警告装置１００は、視差が検出された部分の３次元位置を算出し、複数箇所の３次元位置から、地上面を検出する。 The obstacle warning device 100 calculates the parallax of the ground surface by detecting such a difference in the position of the pattern. Further, as described above, one-dimensional images are compared using a one-dimensional phase-only correlation method described later so that even the ground surface with few feature points can be detected. After that, the obstacle warning device 100 calculates the three-dimensional position of the part where the parallax is detected, and detects the ground surface from the three-dimensional positions of the plurality of places.
〔障害物警告装置１００の動作〕
図６は、障害物警告装置１００の動作を示すフローチャートであり、この動作はマイクロプロセッサにより実行される。
[Operation of Obstacle Warning Device 100]
FIG. 6 is a flowchart showing the operation of the obstacle warning device 100, and this operation is executed by the microprocessor.
ステップＳ１では、画像取得部１１０は、カメラを用いて前方画像を取得する。そして、取得した画像の平行化処理を行い、対応点探索部１２０に送る。
In step S1, the
ステップＳ２では、対応点探索部１２０は、画像取得部１１０にて取得された画像を基にステレオ対応付けを行い、対応点を算出する。そして、算出した対応点情報を、３次元復元部１３０に送る。
In step S <b> 2, the corresponding
ステップＳ３では、３次元復元部１３０は、対応点探索部１２０にて算出した対応点情報を基に視差を求め、３次元空間における座標を算出して３次元点を復元する。そして、復元された３次元点の情報を、地上面検出部１４０と障害物検出部１５０に送る。
In step S <b> 3, the three-
ステップＳ４では、地上面検出部１４０は、３次元復元部１３０にて算出された３次元点情報を基に、前述した地上面検出手順にて地上面を検出する。そして、検出した地上面の情報を、障害物検出部１５０に送る。
In step S <b> 4, the ground
ステップＳ５では、障害物検出部１５０は、３次元復元部１３０にて算出された３次元点情報と、地上面検出部１４０にて検出された地上面の情報を基に、障害物を検出する。そして、検出した障害物の情報を、衝突判断部１６０に送る。
In step S5, the
ステップＳ６では、衝突判断部１６０は、障害物検出部１５０にて検出された障害物の情報を基に、車両が障害物と衝突する可能性を判断する。そして、警告出力部１７０は、衝突判断部１６０の判断結果に応じて、運転者に危険警告を行う。
In step S <b> 6, the
マイクロプロセッサは、障害物警告装置１００の動作中、上記ステップＳ１〜Ｓ５の処理を、所定の周期で繰り返し実行する。 During the operation of the obstacle warning device 100, the microprocessor repeatedly executes the processes in steps S1 to S5 at a predetermined cycle.
次に、障害物警告装置１００の各部の動作について、詳細に説明する。 Next, the operation of each part of the obstacle warning device 100 will be described in detail.
〔画像取得部１１０の動作〕
画像取得部１１０は、車両に搭載されたカメラを用いて地上面のステレオ画像を取得し、取得したステレオ画像の平行化処理を行う。
[Operation of Image Acquisition Unit 110]
The
図７は、画像取得部１１０が実行するステレオ画像の平行化処理を説明する図である。図７（Ａ）は、平行化前のステレオ画像を示し、図７（Ｂ）は、平行化後のステレオ画像を示す。
FIG. 7 is a diagram for explaining the stereo image parallelization processing executed by the
平行化処理とは、図７に示すように、ステレオ画像における基準画像と比較画像について、それぞれのエピポーラ線が画像の水平座標軸に対して平行となるように幾何補正を行う処理である。平行化処理に必要なパラメータは、上記したように出荷前に生成される。 As shown in FIG. 7, the parallelization process is a process of performing geometric correction on the reference image and the comparison image in the stereo image so that the epipolar lines are parallel to the horizontal coordinate axis of the image. The parameters necessary for the parallelization process are generated before shipment as described above.
基準画像５００Ｌにおけるエピポーラ線５１０Ｌと基準画像５００Ｌにおけるエピポーラ線５１０Ｌは、同一のエピポーラ平面に属しているものとする。平行化前の基準画像５００Ｌにおけるエピポーラ線５１０Ｌと、平行化前の比較画像５００Ｒにおけるエピポーラ線５１０Ｒは、通常、図７（Ａ）に示すように、画像の水平座標軸に対して平行となっていない。
図７（Ｂ）に示すように、平行化後の基準画像５００Ｌにおけるエピポーラ線５１０Ｌと、平行化後の比較画像５００Ｒにおけるエピポーラ線５１０Ｒは、画像の水平座標軸に対して平行となる。画像取得部１１０は、平行化処理したステレオ画像を、対応点探索部１２０に送る。
As shown in FIG. 7 (B), and the
対応点探索部１２０は、エピポーラ線５１０Ｌ上の１次元画像信号ｆ（ｎ）と、エピポーラ線５１０Ｒ上の１次元画像信号ｇ（ｎ）を切り出し、基準点ｐに対応する対応点ｑを求める。したがって、平行化処理が行われることにより、対応点探索部１２０では、画像の水平方向に連続した画像信号を取得して１次元画像信号を容易に切り出すことが可能となる。
Corresponding
なお、上述したように、ステレオ画像の平行化処理は必ずしも必要ではなく、対応点探索部１２０では、図７（Ａ）に示すエピポーラ線に沿って１次元画像信号を切り出すようにしてもよい。
Note that, as described above, the stereo image parallelization process is not necessarily required, and the corresponding
〔対応点探索部１２０の動作〕
対応点探索部１２０は、図７（Ｂ）に示すように、基準点ｐを中心としたエピポーラ線５１０Ｌ上の１次元画像信号ｆ（ｎ）と、エピポーラ線５１０Ｒ上の１次元画像信号ｇ（ｎ）とを比較し、基準点ｐに対応する対応点ｑを求める。対応点探索部１２０は、基準点ｐに対応する対応点ｑの候補となる対応候補点ｑ’を中心として、１次元画像信号ｇ（ｎ）を切り出す。
[Operation of Corresponding Point Search Unit 120]
Corresponding
対応点探索部１２０の動作について具体的に説明する。まず、１次元位相限定相関法によるステレオ対応付け方法、階層探索と１次元位相限定相関法を用いた対応点探索、及び等視差情報の利用による対応点探索の高精度化について順次説明する。
The operation of the corresponding
なお、１次元位相限定相関法によるステレオ対応付け方法、及び、階層探索と１次元位相限定相関法を用いた対応点探索については、非特許文献１に記載の内容に基づいている。
Note that the stereo association method using the one-dimensional phase-only correlation method and the corresponding point search using the hierarchical search and the one-dimensional phase-only correlation method are based on the contents described in
[１次元位相限定相関法によるステレオ対応付け方法]
平行化された２枚の画像を基準画像及び比較画像としたとき、基準画像の基準点ｐに対応する比較画像の対応点ｑを見付ける方法を説明する。
[Stereo matching method using one-dimensional phase-only correlation method]
A method of finding the corresponding point q of the comparative image corresponding to the reference point p of the reference image when the two parallelized images are used as the reference image and the comparative image will be described.
図７（Ｂ）で説明したように、対応点探索部１２０は、平行化後の基準画像５００Ｌから、基準点ｐを中心とした１次元の画像信号を切り出し、ｆ（ｎ）とする。ここで、１次元画像信号ｆ（ｎ）はエピポーラ線５１０Ｌと同じ方向に有限の長さで切り出すものとする。同様に、対応点探索部１２０は、平行化後の比較画像５００Ｒから、探索する対応点ｑの候補となる点ｑ’を中心として１次元画像信号ｇ（ｎ）を切り出す。この１次元画像信号ｇ（ｎ）は基準点ｐに対応するエピポーラ線５１０Ｒ上に存在する。
As described in FIG. 7 (B), the corresponding
ここで、１次元画像信号の離散空間インデックスを便宜上、ｎ＝−Ｍ，・・・，Ｍとする。Ｍは正の整数であり、１次元画像信号の長さＮは、Ｎ＝２Ｍ＋１で与えられる。なお、ここでは、説明を簡単にするために離散空間のインデックスを正負対称に取り、かつ１次元画像信号の長さを奇数にしているが、これは本手法の構成において必須ではない。例えば、０以上の離散空間インデックスを用い、１次元画像信号の長さＮを任意の正の整数に設定するように一般化することが可能である。 Here, for convenience, the discrete space index of the one-dimensional image signal is set to n = −M,. M is a positive integer, and the length N of the one-dimensional image signal is given by N = 2M + 1. Here, in order to simplify the explanation, the index of the discrete space is taken to be positive / negative symmetrical and the length of the one-dimensional image signal is odd, but this is not essential in the configuration of the present technique. For example, it is possible to generalize so that the length N of the one-dimensional image signal is set to an arbitrary positive integer using a discrete space index of 0 or more.
なお、１次元画像信号ｆ（ｎ）とｇ（ｎ）は、必ずしも基準点ｐとその対応候補点ｑ’を厳密に中心として切り出す必要はなく、それらの上を通るように切り出せばよい。このとき、ｆ（ｎ）とｇ（ｎ）の１次元離散フーリエ変換を、それぞれ以下の式（１）、（２）で定義する。
上記ＷＮは、以下の式（３）で与える。
ここで、ＡＦ（ｋ）及びＡＧ（ｋ）はそれぞれ１次元画像信号ｆ（ｎ）及びｇ（ｎ）の振幅成分であり、θＦ（ｋ）及びθＧ（ｋ）はそれぞれの位相成分である。また、離散周波数のインデックスをｋ＝−Ｍ，・・・，Ｍとする。ここで、離散空間のインデックスｎと同様に、離散周波数ｋのインデックスの選び方にも自由度がある。このとき、合成位相スペクトルＲ（ｋ）を、以下の式（４）で与える。
上線が付されたＧ（ｋ）はＧ（ｋ）の複素共役を表し、θ（ｋ）＝θＦ（ｋ）−θＧ（ｋ）である。なお、Ｆ（ｋ）とＧ（ｋ）の複素共役との積が値「０」の場合は、式（４）の計算は不可能であり、計算上の工夫が必要である。しかし、実際のカメラで撮影された画像の場合、これは大きな問題にならない。 G (k) with an overline represents a complex conjugate of G (k), and θ (k) = θ F (k) −θ G (k). When the product of the complex conjugate of F (k) and G (k) is “0”, the calculation of Expression (4) is impossible, and a device for calculation is necessary. However, this is not a big problem for images taken with an actual camera.
ｆ（ｎ）とｇ（ｎ）の１次元位相限定相関関数ｒ（ｎ）を、合成位相スペクトルＲ（ｋ）の１次元逆離散フーリエ変換として、以下の式（５）のように定義する。ここで、ｎ＝−Ｍ，・・・，Ｍである。
次に、切り出した１次元画像信号ｆ（ｎ）とｇ（ｎ）が、互いに微小移動した関係にある場合を考える。つまり、このｆ（ｎ）とｇ（ｎ）に含まれる位置ずれ量を、サブピクセル分解能で推定する問題を考える。 Next, consider a case where the cut-out one-dimensional image signals f (n) and g (n) are in a relationship of minute movement with respect to each other. That is, consider the problem of estimating the amount of displacement included in f (n) and g (n) with subpixel resolution.
ここで、ｆｃ（ｘ）を、連続空間変数ｘの上で定義された１次元画像信号とする。これを実数値δだけ微小移動した１次元画像信号は、ｆｃ（ｘ−δ）と表される。このとき、ｆ（ｎ）とｇ（ｎ）が、ｆｃ（ｘ）及びｆｃ（ｘ−δ）を適当な空間サンプリング間隔Ｔでサンプリングしたものであると仮定する。つまりｆ（ｎ）とｇ（ｎ）を、それぞれ以下の式（６）、（７）で定義する。
以下、簡単のためにＴ＝１とする。このとき実数値の移動量δについて、サンプリング間隔を越える分解能で検出する方法を示す。 Hereinafter, T = 1 is set for simplicity. At this time, a method of detecting the real value movement amount δ with a resolution exceeding the sampling interval is shown.
まず、δが小さい場合、ｆ（ｎ）とｇ（ｎ）の１次元離散フーリエ変換Ｆ（ｋ）とＧ（ｋ）に関して、以下の式（８）に示す近似が成り立つ。
式（８）が近似であるのは、連続時間信号と離散時間信号に対するフーリエ変換の性質の違いに起因する。このとき、Ｆ（ｋ）とＧ（ｋ）の合成位相スペクトルＲ（ｋ）及び１次元位相限定相関関数ｒ（ｎ）は、それぞれ以下の式（９）、（１０）で与えられる。
ここで、α＝１、ｎ＝−Ｍ，・・・，Ｍである。式（１０）は１次元画像信号がδだけ位置ずれした場合における１次元位相限定相関関数の一般形を表している。αは相関値のピークの高さを表現するために導入されたパラメータであり、画像にノイズが加わると、αの値が減少することが実験で確認されているため、実際にはα≦１となる。 Here, α = 1, n = −M,. Expression (10) represents a general form of the one-dimensional phase-only correlation function when the one-dimensional image signal is displaced by δ. α is a parameter introduced to express the peak height of the correlation value, and it has been experimentally confirmed that the value of α decreases when noise is added to the image. It becomes.
δが整数の場合、式（１０）はデルタ関数となり、そのピークはｎ＝−δに位置し、ピークの高さはαとなる。実際の１次元位相限定相関関数ｒ（ｎ）の計算値から、このピークの位置を検出することにより、切り出した１次元画像信号ｆ（ｎ）とｇ（ｎ）の位置ずれδを検出することができる。つまり、１次元画像信号ｆ（ｎ）における基準点ｐに対して、１次元画像信号ｇ（ｎ）におけるその対応点ｑは、対応候補点ｑ’とδを用いて、以下の式（１１）のように求めることができる。
ここで、式（１１）において、ｑ及びｑ’は、直交座標系の位置ベクトルとして表現されているものとする。なお、その際、位置ずれδの方向を水平方向、つまりベクトル（１，０）の方向にとっている。 Here, in Equation (11), q and q ′ are expressed as position vectors in an orthogonal coordinate system. At that time, the direction of the positional deviation δ is set to the horizontal direction, that is, the direction of the vector (1, 0).
[１次元位相限定相関法によるステレオ対応付け方法の高精度化]
次に、上記基本手法を基にして、それを発展させ、切り出した１次元画像信号ｆ（ｎ）とｇ（ｎ）の間の位置ずれ量δを高精度に推定する手法について説明する。
[Improvement of stereo matching method using one-dimensional phase-only correlation method]
Next, based on the above basic method, a method for developing it and estimating the positional deviation amount δ between the cut out one-dimensional image signals f (n) and g (n) with high accuracy will be described.
Ａ．位置ずれ量をサブピクセル精度で推定するための関数フィッティング手法
一般に、位置ずれ量δは実数値をとり、１次元位相限定相関関数のピーク座標はサンプリング格子点の間に存在するため、正確に位置ずれ量δを推定することが困難になる。そこで、１次元位相限定相関関数のピーク形状のモデルが式（１０）の右辺の関数で表わされることを考慮し、この関数そのもの、または、式（１０）の右辺を近似的に表現する適当な関数（例えば、２次関数など）を、実際に計算された１次元位相限定相関関数の数値データに対してフィッティングすることによって、画像のピクセル間に存在するピークの位置を推定することができる。一般に、（及び必要に応じてα）が推定されるパラメータとなる。
A. Function fitting method for estimating the amount of displacement with subpixel accuracy Generally, the amount of displacement δ is a real value, and the peak coordinates of the one-dimensional phase-only correlation function exist between sampling grid points. It becomes difficult to estimate the shift amount δ. Therefore, considering that the model of the peak shape of the one-dimensional phase-only correlation function is represented by the function on the right side of Expression (10), this function itself or an appropriate expression for approximately expressing the right side of Expression (10) is used. By fitting a function (for example, a quadratic function) to the numerical data of the actually calculated one-dimensional phase-only correlation function, the position of the peak existing between the pixels of the image can be estimated. In general, (and α if necessary) is an estimated parameter.
Ｂ．離散フーリエ変換における不連続性を低減するための窓関数の適用
１次元離散フーリエ変換は信号が循環することを仮定するため、端点での信号の不連続性が問題となる。この不連続性の影響を低減するため、入力された１次元画像信号ｆ（ｎ）及びｇ（ｎ）に対して適当な窓関数（ハニング窓、ガウス窓など）を適用することが高精度化を実現する上で重要である。例えば，窓関数の一例としては，以下の式（１２）に示すようなハニング窓が挙げられる
Ｃ．スペクトル重み付け関数の適用
一般に、自然画像の場合、そのエネルギーは低周波成分に集中し、高周波成分のエネルギーは相対的に小さいことが知られている。このため、エイリアシング、ぼけ、雑音、歪みなどの影響により高周波成分に外乱が加わると、画像の高周波成分のＳ／Ｎ比が大幅に劣化する。そこで、信頼性の低い高周波成分の影響を抑制するためにスペクトル重み付け関数を適用する。
C. Application of Spectral Weighting Function In general, in the case of a natural image, it is known that the energy concentrates on a low frequency component and the energy of the high frequency component is relatively small. For this reason, when a disturbance is added to the high frequency component due to the effects of aliasing, blurring, noise, distortion, etc., the S / N ratio of the high frequency component of the image is significantly deteriorated. Therefore, a spectrum weighting function is applied to suppress the influence of high-frequency components with low reliability.
具体的には、任意の特性を持つスペクトル重み付け関数Ｈ（ｋ）を合成位相スペクトルＲ（ｋ）に乗じることにより、周波数成分ごとに重み付けを行う。なお、通常は、低域通過型のスペクトル重み付け関数（方形フィルタ、ガウスフィルタなど）を適用し、信頼性の低い高周波成分の除去を行うと効果的である。 Specifically, weighting is performed for each frequency component by multiplying the composite phase spectrum R (k) by a spectrum weighting function H (k) having arbitrary characteristics. In general, it is effective to apply a low-pass spectrum weighting function (such as a square filter or a Gaussian filter) to remove high-reliability high-frequency components.
スペクトル重み付け関数Ｈ（ｋ）を用いる場合、１次元位相限定相関関数ｒ（ｎ）はＨ（ｋ）・Ｒ（ｋ）の１次元逆離散フーリエ変換として定義されるため、そのピーク形状のモデルが式（１０）とは異なる。そこで、Ｈ（ｋ）に応じて異なるピーク形状のモデルを用いる必要がある。その場合も、基本的には本実施の形態で説明する各種の手法が適用可能である。例えば，スペクトル重み付け関数Ｈ（ｋ）の一例としては，以下の式（１３）のようなガウス関数が挙げられる。
Ｄ．複数の１次元画像信号の利用による高信頼化
これまで、基準画像における基準点ｐを中心として抽出した１次元画像信号ｆ（ｎ）と比較画像における対応候補点ｑ’を中心として抽出した１次元画像信号ｇ（ｎ）を用いて、その位置ずれ量δを推定することにより、真の対応点ｑを求める手法について示してきた。しかし、実際に撮影した画像を用いた場合、一組の１次元画像信号を用いただけでは、高い信頼性でピークの位置を判定することはきわめて難しい。
D. High reliability by using a plurality of one-dimensional image signals Up to now, a one-dimensional image centered on the one-dimensional image signal f (n) extracted around the reference point p in the reference image and the corresponding candidate point q ′ in the comparison image. A method for obtaining the true corresponding point q by estimating the positional deviation amount δ using the image signal g (n) has been shown. However, when an actually captured image is used, it is extremely difficult to determine the peak position with high reliability only by using a set of one-dimensional image signals.
そこで、以下、複数の１次元画像信号の組を対応点ｑの近傍から抽出し、それらの相関計算の結果を統合することによって、より信頼性の高いピーク位置の推定を行う方法について説明する。 Therefore, a method of estimating a peak position with higher reliability by extracting a set of a plurality of one-dimensional image signals from the vicinity of the corresponding point q and integrating the results of the correlation calculation will be described below.
図８は、複数の１次元画像信号の組の選び方の一例を示す図である。 FIG. 8 is a diagram illustrating an example of how to select a set of a plurality of one-dimensional image signals.
図８に示すように、まず、対応点探索部１２０は、基準画像の基準点ｐの周辺からＢ個の１次元画像信号ｆｉ（ｎ）（ｉ＝１，２，・・・，Ｂ）を抽出する。一方、比較画像の点ｑ’の周辺の対応する位置からも、Ｂ個の１次元画像信号ｇｉ（ｎ）（ｉ＝１，２，・・・，Ｂ）を抽出する。図８に示す例ではＢ＝５としており、ｐとｑ’の周辺から規則正しい配置で、１次元画像信号ｆｉ（ｎ）とｇｉ（ｎ）をそれぞれ５つずつ抽出している。これらの５つの１次元画像信号の対から位置ずれ量δを高精度に推定することによって、基準点ｐに対応する真の対応点ｑを求めることができる。
As illustrated in FIG. 8, first, the corresponding
１次元画像信号ｆｉ（ｎ）とｇｉ（ｎ）の１次元位相限定相関関数を、以下、ｒｉ（ｎ）と表記し、ｉ＝１，２，・・・，Ｂである。これらＢ個の１次元位相限定相関関数ｒｉ（ｎ）の重み付き平均として、累積位相限定相関関数ｒａｌｌ（ｎ）を以下の式（１４）のように定義する。
ここで、ｗｉはｒｉ（ｎ）に付随する重み係数であり、任意の定数に選ぶことができる。このように定義されたｒａｌｌ（ｎ）は重み付き平均化された１次元位相限定相関関数である。ｒｉ（ｎ）及びｒａｌｌ（ｎ）に対して、基本的にこれまでに説明した全ての高精度化手法を適用することができる。つまり、これまでに説明した単一の１次元位相限定相関関数ｒｉ（ｎ）を用いた手法は、容易にｒｉ（ｎ）及びｒａｌｌ（ｎ）を用いるように拡張することが可能である。 Here, w i is a weighting factor associated with r i (n), and can be selected as an arbitrary constant. R all (n) defined in this way is a weighted averaged one-dimensional phase-only correlation function. Basically, all of the high accuracy techniques described so far can be applied to r i (n) and r all (n). That is, the method using the single one-dimensional phase-only correlation function r i (n) described so far can be easily extended to use r i (n) and r all (n). is there.
なお、計算量を減少させる手法として次のようなことが考えられる。１次元画像信号ｆｉ（ｎ）とｇｉ（ｎ）の合成位相スペクトルをＲｉ（ｋ）と表記し、累積合成位相スペクトルＲａｌｌ（ｋ）を、以下の式（１５）で定義する。
このとき、ｒａｌｌ（ｎ）はＲａｌｌ（ｋ）の１次元逆離散フーリエ変換であるため、あらかじめＲａｌｌ（ｋ）を計算してから、これを１次元逆離散フーリエ変換してｒａｌｌ（ｎ）を計算することができる。Ｂが大きい場合は、この計算法は、Ｒｉ（ｋ）をｒｉ（ｎ）に個別に１次元逆離散フーリエ変換するよりも計算量が少ない。 At this time, since r all (n) is one-dimensional inverse discrete Fourier transform of R all (k), previously R all from the Get (k), which was one-dimensional inverse discrete Fourier transform r all ( n) can be calculated. When B is large, this calculation method has a smaller amount of calculation than the one-dimensional inverse discrete Fourier transform of R i (k) to r i (n) individually.
対応点探索部１２０は、以上説明した手法Ａ〜Ｄのいずれかを用いることによって、または用途に応じて手法Ａ〜Ｄを組み合わせて用いることによって、対応点を探索し、１次元画像信号ｆ（ｎ）とｇ（ｎ）の間の位置ずれ量δを推定する。
The corresponding
[階層探索と１次元位相限定相関法を用いた対応点探索]
上記ステレオ対応付け処理では、探索範囲内の対応候補点ｑ’の付近に真の対応点ｑが存在すると暗に仮定してきた。この仮定を常に成立させるために、１次元位相限定相関法による対応付けと粗密戦略に基づく階層探索とを組み合わせる。このアルゴリズムによって、基準画像の全域にわたって基準点ｐを変化させながら、対応点ｑを探索することによって、基準画像と比較画像の全体についてステレオ対応付けを行うことができる。
[Search for corresponding points using hierarchical search and one-dimensional phase-only correlation method]
In the stereo association process, it has been implicitly assumed that the true corresponding point q exists in the vicinity of the corresponding candidate point q ′ within the search range. In order to always hold this assumption, the association by the one-dimensional phase-only correlation method and the hierarchical search based on the coarse / fine strategy are combined. With this algorithm, by searching for the corresponding point q while changing the reference point p over the entire area of the reference image, stereo matching can be performed for the entire reference image and comparison image.
図９は、１次元位相限定相関法による対応付けと階層探索との組み合わせによる対応点探索処理を示す図である。ここでは、３段階の解像度の画像を用いて対応点探索を行う場合を例として説明する。図９において、上段は低解像度のステレオ画像、中段は中解像度のステレオ画像、下段は原画像など高解像度のステレオ画像である。また、１次元画像信号の切り出しサイズを一定とし、１次元画像信号の切り出しサイズを揃えた大きさで各解像度の画像を示している。 FIG. 9 is a diagram illustrating a corresponding point search process based on a combination of the association by the one-dimensional phase-only correlation method and the hierarchical search. Here, a case where a corresponding point search is performed using an image having three levels of resolution will be described as an example. In FIG. 9, the upper row is a low-resolution stereo image, the middle row is a medium-resolution stereo image, and the lower row is a high-resolution stereo image such as an original image. In addition, the image of each resolution is shown in a size in which the cut-out size of the one-dimensional image signal is constant and the cut-out size of the one-dimensional image signal is uniform.
まず、低解像度の左右カメラ画像５００Ｌ１、５００Ｒ１で、対応候補点ｑ’を基準点ｐと同一として、エピポーラ線５１０上に１次元画像信号５２０Ｌ１、５２０Ｒ１の切り出し位置を設定する。このとき、真の対応点ｑが、右カメラ画像５００Ｒ１の１次元画像信号５２０Ｒ１に含まれるように、低解像度の左右カメラ画像５００Ｌ１、５００Ｒ１の解像度を十分に低く設定する。そして、図５で説明したように、１次元画像信号５２０Ｌ１、５２０Ｒ１の位置のずれを判別し、対応候補点ｑ’を更新する。
First, in the low-resolution left and right camera images 500 L1 and 500 R1 , the corresponding candidate point q ′ is the same as the reference point p, and the cut-out positions of the one-dimensional image signals 520 L1 and 520 R1 are set on the
次に、中解像度の左右カメラ画像５００Ｌ２、５００Ｒ２で、エピポーラ線５１０上に１次元画像信号５２０Ｌ２、５２０Ｒ２の切り出し位置を設定する。このとき、低解像度の左右カメラ画像５００Ｌ１、５００Ｒ１に基づいて設定された対応候補点ｑ’を中心として、右カメラ画像５００Ｒ２における１次元画像信号５２０Ｒ２の位置を設定する。そして同様に、１次元画像信号５２０Ｌ２、５２０Ｒ２のパターンを比較して何ピクセルずれているかを判別し、対応候補点ｑ’を更新する。
Next, the cut-out positions of the one-dimensional image signals 520 L2 and 520 R2 are set on the
さらに、高解像度の左右カメラ画像５００Ｌ３、５００Ｒ３で、同様に中解像度の左右カメラ画像５００Ｌ２、５００Ｒ２に基づいて設定された対応候補点ｑ’を中心として、右カメラ画像５００Ｒ３における１次元画像信号５２０Ｒ３の位置を設定する。そして、１次元画像信号５２０Ｌ３、５２０Ｒ３のパターンを比較して何ピクセルずれているかを判別し、対応点ｑを求める。 Furthermore, a high-resolution left and right camera image 500 L3, 500 R3, around the set based on the medium-resolution left and right camera image 500 L2, 500 R2 similarly corresponding candidate point q ', 1 in the right camera image 500 R3 The position of the dimensional image signal 520 R3 is set. Then, the patterns of the one-dimensional image signals 520 L3 and 520 R3 are compared to determine how many pixels are shifted, and the corresponding point q is obtained.
このように、基準画像及び比較画像のそれぞれについて、解像度を段階的に低下させた複数の低解像度画像を準備して、低い解像度から順に階層探索することにより、画像に対する相対的な探索の範囲を階層ごとに変更する。これにより、高い解像度の画像において対応点探索の範囲を絞り込むことができ、演算量を低減することができる。 In this way, for each of the reference image and the comparative image, a plurality of low-resolution images whose resolution is gradually reduced are prepared, and a hierarchical search is performed in order from the lowest resolution, so that the relative search range with respect to the images can be reduced. Change for each hierarchy. Thereby, the range of corresponding point search can be narrowed down in a high-resolution image, and the amount of calculation can be reduced.
但し、多重解像度画像を用いることは必須ではなく、単純に、原画像上で探索範囲を段階的に変更（徐々に縮小）しつつ階層探索することによって、対応点ｑの候補位置を絞っていくことも可能である。 However, it is not essential to use a multi-resolution image, and the candidate position of the corresponding point q is narrowed down by simply performing a hierarchical search while gradually changing (gradually reducing) the search range on the original image. It is also possible.
以下に、多重解像度画像を用いた場合の対応点探索アルゴリズムを示す。ここで、基準画像における基準点及び基準点の座標ベクトルをｐ、比較画像における対応点及び対応点の座標ベクトルをｑと示す。 The corresponding point search algorithm when a multi-resolution image is used is shown below. Here, the reference point and the coordinate vector of the reference point in the reference image are denoted by p, and the corresponding point and the coordinate vector of the corresponding point in the comparison image are denoted by q.
図１０及び図１１は、本実施形態の対応点探索部１２０における、階層探索と１次元位相限定相関法を用いた対応点探索の動作フローチャートである。
10 and 11 are operation flowcharts of corresponding point search using the hierarchical search and the one-dimensional phase-only correlation method in the corresponding
ステップＳ２１では、対応点探索部１２０は、多重解像度画像を生成する。ここで、上位階層を低解像度画像、下位階層を高解像度画像とし、最下位の階層を原画像とする。なお、以下では、基準点ｐ、対応点ｑ、対応候補点ｑ’は、全て原画像（基準画像及び比較画像）に換算した画像座標系上の位置ベクトルで表現されているものとする。つまり、上位階層の低解像度画像においては、その点の位置を原画像の座標系に換算して表示するものとする。また、基準画像及び比較画像は共通の画像座標系上で定義されているものとする。
In step S21, the corresponding
ステップＳ２２では、対応点探索部１２０は、最も解像度の低い最上位階層において、対応候補点の初期値をｑ’←ｐとして探索を開始する。つまり、この仮定が成り立つために十分な階層の数を設定するものとする。現在の探索階層を最上位階層に設定する。
In step S <b> 22, the corresponding
ステップＳ２３では、対応点探索部１２０は、現在の探索階層において、基準点ｐを中心として基準画像からエピポーラ線に平行な１次元画像信号を抽出し、対応候補点ｑ’を中心として基準画像に対応する比較画像からエピポーラ線に平行な１次元画像信号を抽出する。図７で説明したように、対応候補点ｑ’は、基準点ｐと同一のエピポーラ平面に属するものである。
In step S23, the corresponding
ステップＳ２４では、対応点探索部１２０は、１次元位相限定相関法を用いて、１次元画像信号の位置ずれ量δ高精度に推定する。
In step S24, the corresponding
ステップＳ２５では、対応点探索部１２０は、この位置ずれ量δを基にして、以下の式（１６）により対応候補点ｑ’を更新する。
この式（１６）は、真の対応点を求める式（１１）に対応する。 This equation (16) corresponds to equation (11) for obtaining a true corresponding point.
ステップＳ２６では、対応点探索部１２０は、現在の探索階層が最下位階層（原画像階層）の場合は、ステップＳ２７に進み、最下位階層ではない場合は、現在の探索階層を、ひとつ下の階層に設定し、ステップＳ２３に戻る。
In step S26, if the current search hierarchy is the lowest hierarchy (original image hierarchy), the corresponding
ステップＳ２７では、対応点探索部１２０は、最下位階層（原画像階層）において、基準点ｐ及び対応候補点ｑ’を中心としてエピポーラ線に平行な１次元画像信号をサブピクセル精度で抽出する。
In step S <b> 27, the corresponding
ステップＳ２８では、対応点探索部１２０は、１次元位相限定相関法を用いて、１次元画像信号の位置ずれ量δを高精度に推定する。
In step S28, the corresponding
ステップＳ２９では、対応点探索部１２０は、推定した位置ずれ量δを基にして、以下の式（１７）により対応候補点ｑ’を更新する。
ステップＳ３０では、対応点探索部１２０は、位置ずれ量δが微小な値に収束したかどうかを判定する。位置ずれ量δが微小な値に収束しない場合には、ステップＳ２７に戻り、収束した場合には、ステップＳ３１に進む。
In step S30, the corresponding
ステップＳ３１では、対応点探索部１２０は、相関計算におけるピークの値αが小さいか否かを、例えば所定の閾値との比較により判別する。そして、値αが小さい場合は、「対応点なし」を出力して終了し、小さくない場合は、ｑ←ｑ’として、対応点ｑを出力する。つまり、対応候補点ｑ’を用いて対応点ｑを求める。そして、一連の処理を終了する。
In step S31, the corresponding
このように、低階層で求めたステレオ対応付け位置を基に高階層におけるステレオ対応付けの初期位置を決定して階層探索を行うことにより、初期位置取得までの演算処理量を大幅に低減することができ、最下位階層であらゆる点を対応候補点ｑ’として探索を行う場合に比べて演算処理を少なくすることができる。これにより、対応点の位置の予測が難しい場合でも、高精度かつ高速に対応点を探索できる。 In this way, by determining the initial position of stereo correspondence in the higher hierarchy based on the stereo correspondence position obtained in the lower hierarchy and performing a hierarchical search, the amount of calculation processing until the initial position acquisition is greatly reduced. As compared with the case where every point is searched as the corresponding candidate point q ′ in the lowest hierarchy, the arithmetic processing can be reduced. Thereby, even when it is difficult to predict the position of the corresponding point, the corresponding point can be searched with high accuracy and high speed.
[等視差情報の利用による対応点探索の高精度化]
以下、対応点近傍の等視差領域から複数の１次元画像信号の組を抽出し、それらの１次元位相限定相関法によるステレオ対応付けの結果を統計処理することによって、より高精度に位置ずれ量を推定する方法を説明する。
[High accuracy of corresponding point search by using equiparallax information]
Hereinafter, by extracting a set of a plurality of one-dimensional image signals from equal parallax regions in the vicinity of the corresponding points and statistically processing the stereo correspondence results by the one-dimensional phase-only correlation method, the amount of positional deviation is more accurately A method of estimating the will be described.
この方法の入力として必要となる近似的な対応点は、上記の階層探索と１次元位相限定相関法を用いた方法以外の方法で求めてもよい。以下、基準画像における基準点及び基準点の座標ベクトルをｐ、比較画像における近似的な対応点及び近似的な対応点の座標ベクトルをｑチルダ、比較画像における対応点及び対応点の座標ベクトルをｑとそれぞれ示す。基準画像の基準点ｐと比較画像の近似的な対応点ｑチルダの視差ベクトルを、ｄチルダと示す。 Approximate corresponding points required as input of this method may be obtained by a method other than the method using the hierarchical search and the one-dimensional phase-only correlation method. Hereinafter, the reference point in the reference image and the coordinate vector of the reference point are p, the approximate corresponding point in the comparison image and the coordinate vector of the approximate corresponding point are q tilde, and the coordinate vector of the corresponding point and the corresponding point in the comparison image is q. Respectively. The parallax vector between the reference point p of the reference image and the approximate corresponding point q tilde of the comparison image is denoted as d tilde.
図１２は、対応点探索部１２０における、等視差情報の利用による対応点探索の高精度化の動作フローチャートである。
FIG. 12 is an operation flowchart for increasing the accuracy of the corresponding point search by using the equivalent parallax information in the corresponding
ステップＳ４１では、対応点探索部１２０は、以下の式（１８）を用いて、基準点ｐと近似的な対応点ｑチルダの間の視差ｄチルダを算出する。
ステップＳ４２では、対応点探索部１２０は、基準画像及び比較画像において、ｄチルダに等しい視差を持つ領域を、それぞれ基準画像の等視差領域及び比較画像の等視差領域として抽出する。
In step S42, the corresponding
ステップＳ４３では、対応点探索部１２０は、基準画像の等視差領域、及び比較画像の等視差領域から、複数の１次元画像信号の組を抽出する。
In step S43, the corresponding
ステップＳ４４では、対応点探索部１２０は、抽出した複数の対応する１次元画像信号の組から、１次元位相限定相関法を用いて、位置ずれ量δを高精度に推定する。
In step S44, the corresponding
ステップＳ４５では、対応点探索部１２０は、推定した位置ずれ量δを基にして、比較画像における対応点ｑを以下の式（１９）のように求め、一連の処理を終了する。
このようにして、対応点探索部１２０では、基準点ごとに対応点が算出される。なお、対応点探索部１２０は、階層探索と１次元位相限定相関法を用いた対応点探索、及び等視差情報の利用による対応点探索の高精度化は、必ずしも実行しなくてもよい。
In this way, the corresponding
通常、地上面と交差するエピポーラ平面は複数存在する。対応点探索部１２０は、上記手法を用いて、複数の基準点について対応点ｑを算出する。例えば、対応点探索部１２０は、平行化された基準画像において、水平軸方向にａＸ個、垂直軸方向にａＹ個の格子状に基準点ｐを設定し、対応点ｑを算出する。対応点探索部１２０にて算出された各対応点ｑの座標ベクトルは、それぞれの基準点ｐの座標ベクトルと対応付けられた状態で、対応点情報として、３次元復元部１３０に送られる。
Usually, there are a plurality of epipolar planes intersecting the ground surface. The corresponding
なお、対応点探索に用いる１次元画像信号の切り出しサイズを、画像垂直軸に沿って可変にしてもよい。例えば、画像の下から上へと徐々に切り出しサイズが小さくなるように設定してもよい。 Note that the cut-out size of the one-dimensional image signal used for the corresponding point search may be variable along the image vertical axis. For example, the cutout size may be set to gradually decrease from the bottom to the top of the image.
また、前回の視差情報算出結果を基に、１次元画像信号の処理を切り替えてもよい。例えば、前回算出した視差情報を初期値として、今回の視差情報を求めるようにすることで、計算時間の削減が期待できる。 Further, the processing of the one-dimensional image signal may be switched based on the previous parallax information calculation result. For example, by calculating the current parallax information using the previously calculated parallax information as an initial value, a reduction in calculation time can be expected.
また、１次元画像信号の切り出しサイズを決定するために、予め他の方法で大まかな距離を求めるようにしてもよい。他の方法で求めた距離を初期値として、今回の視差情報を求めるようにすることで、計算時間の削減が期待できる。 In order to determine the cut-out size of the one-dimensional image signal, a rough distance may be obtained in advance by another method. By calculating the current disparity information using the distance obtained by another method as an initial value, a reduction in calculation time can be expected.
以上、対応点探索部１２０による１次元画像信号の抽出及び１次元位相限定相関法を用いた１次元画像信号のステレオ対応付けについて説明した。再び図１に戻り、３次元復元部１３０の動作について説明する。
Heretofore, the extraction of the one-dimensional image signal by the corresponding
〔３次元復元部１３０の動作〕
３次元復元部１３０は、対応点探索部１２０にて算出された対応点情報から視差を求め、３次元空間において座標を持つ３次元点に変換する処理を行う。３次元復元部１３０は、対応点探索部１２０において算出されたステレオ画像の対応点情報及びカメラ校正情報を基にして、３次元空間の位置情報（カメラからの距離情報）を計算する。３次元復元の処理内容を以下に示す。
[Operation of the three-dimensional restoration unit 130]
The three-
ここで、基準画像における基準点をｐ、基準点ｐの座標ベクトルをｐ＝（ｕｐ，ｖｐ）とする。比較画像における対応点をｑ、対応点ｑの座標ベクトルをｑ＝（ｕｑ，ｖｐ）とする。ステレオカメラの焦点距離をｆ、ステレオカメラの基線長をｂとする。また、３次元点（基準画像のカメラ座標系を基準とした３次元の座標ベクトル）を（Ｘ，Ｙ，Ｚ）とする。 Here, the reference point in the reference image p, the coordinate vector of the reference point p p = (u p, v p) and. Assume that the corresponding point in the comparison image is q and the coordinate vector of the corresponding point q is q = (u q , v p ). Let f be the focal length of the stereo camera and b be the baseline length of the stereo camera. A three-dimensional point (a three-dimensional coordinate vector based on the camera coordinate system of the reference image) is defined as (X, Y, Z).
まず、３次元復元部１３０は、以下の式（２０）を用いて、基準点ｐと対応点ｑの間の視差ｕｄを算出する。
次いで、３次元復元部１３０は、視差ｕｄ、焦点距離ｆ、基線長ｂを用いて、以下の式（２１）〜（２３）により、３次元点の位置（Ｘ，Ｙ，Ｚ）を計算する。
このように、基準点ｐごとに３次元復元部１３０で算出された３次元点の位置（Ｘ，Ｙ，Ｚ）は、３次元点情報として、地上面検出部１４０と障害物検出部１５０に送られる。
As described above, the position (X, Y, Z) of the three-dimensional point calculated by the three-
なお、３次元復元部１３０は、３次元点の位置（Ｘ，Ｙ，Ｚ）まで求めず、視差ｄだけを求めるようにしてもよい。その場合、以降の処理部（地上面検出部１４０など）は、３次元点情報ではなく、視差情報を用いて各処理を行うような構成にする必要がある。３次元点情報と視差情報は式（２１）〜（２３）で容易に変換可能であるため、適宜置き換えることで各処理を実施可能である。また、平行化処理を行わない場合においては、カメラの内部パラメータ（焦点距離、アスペクト比など）および外部パラメータ（回転成分、並進成分）を用いて、３次元復元を行うことが可能である。
Note that the three-
〔地上面検出部１４０の動作〕
地上面検出部１４０は、３次元復元部１３０にて算出された３次元点情報を基に、その連続性を判定することで、地上面の検出を行う。
[Operation of Ground Surface Detection Unit 140]
The ground
地上面検出部１４０は、画像の垂直座標における最下点（またはそれに準ずる位置）を地上面であるとし、画像の最下点で算出される３次元点を地上面検出の初期値として、上方へと順に３次元点の変化量を調べる。そして、変化量がある一定以下である場合に、地上面が続いていると判定することで、地上面の検出を行う。
The ground
図１３は、３次元復元部１３０の動作を説明するための概略図であり、図１４は、地上面検出部１４０の動作を示すフローチャートである。図１３と図１４を参照して、地上面検出部１４０の動作について説明する。
FIG. 13 is a schematic diagram for explaining the operation of the three-
図１３の左側に示すように、３次元復元部１３０により、ステレオ画像から格子状に設定された基準点ｐについて、３次元情報または視差情報が算出されるものとする。図１３の右側には、各基準点ｐに対応して算出された３次元位置の一例を、ステレオカメラからの距離情報の分布図として示す。例えば、上記したように、３次元復元部１３０では、水平軸方向にａＸ個、垂直軸方向にａＹ個の３次元点の位置（Ｘｋ１，ｋ２，Ｙｋ１，ｋ２，Ｚｋ１，ｋ２）、または視差情報が算出される。ここで、水平位置のインデックスをｋ１=０、・・・、ａＸ−１とし、垂直位置のインデックスをｋ２=０、・・・、ａｙ−１とする。また，Ｘｋ１，ｋ２はカメラの水平方向の座標軸の値であることを示し、Ｙｋ１，ｋ２はカメラの垂直方向の座標軸の値であることを示し、Ｚｋ１，ｋ２はカメラの奥行き方向の座標軸の値であることを示す。
As shown on the left side of FIG. 13, it is assumed that the three-
ステップＳ６１では、地上面検出部１４０は、基準画面の端から順に地上面を求めるために、水平位置の初期値をｋ１＝０とする。
In step S61, the ground
ステップＳ６２では、地上面検出部１４０は、画面の最下点は地上面であるとして、ｋ２＝０における視差δｋ１，０を地上面の視差とする。そしてｋ２＝ｋ２＋１とし、処理の対象を垂直方向へ１つ移動する。
In step S62, the ground
ステップＳ６３では、地上面検出部１４０は、視差の値に対応する値であるＺｋ１，ｋ２の変化量ΔＺｋ１，ｋ２（＝｜Ｚｋ１，ｋ２−１−Ｚｋ１，ｋ２｜）が、あらかじめ定めた閾値以下である場合には、現在の位置ｋ１，ｋ２の視差が地上面の視差であると判定する。そうでない場合には、現在の位置ｋ１，ｋ２の視差は地上面の視差ではない（障害物の視差である）と判定する。ここで、例えば、最下点と次の点とのＺの変化量ΔＺｋ１，１（＝｜Ｚｋ１，０−Ｚｋ１，１｜）に基づいて、閾値を決定するようにしてもよい。また、１つ前の変化量ΔＺｋ１，ｋ２−１と変化量ΔＺｋ１，ｋ２との差分を、あらかじめ定めた閾値と比較するようにしてもよい。この場合には、ΔＺｋ１，ｋ２＝Ｚｋ１，ｋ２−１−Ｚｋ１，ｋ２とする。
In step S63, the ground
ステップＳ６４では、地上面検出部１４０は、ｋ２＝ｋ２＋１とし、ｋ２＜ａＸであるか否かを判別する。地上面検出部１４０は、ｋ２＜ａＸである場合は（Ｓ６４：ＹＥＳ）、ステップＳ６３に戻って処理を繰り返し、ｋ２＜ａＸではない場合には（Ｓ６４：ＮＯ）、ステップＳ６５に進む。
In step S64, the ground
ステップＳ６５では、地上面検出部１４０は、ｋ１＝ｋ１＋１とし、ｋ１＜ａＹであるか否かを判別する。地上面検出部１４０は、ｋ１＜ａＹである場合は（Ｓ６５：ＹＥＳ）、ステップＳ６２に戻って処理を繰り返し、ｋ１＜ａＹではない場合には（Ｓ６５：ＮＯ）、ステップＳ６６に進む。
In step S65, the ground
このようにして、ａＸ個×ａＹ個の基準点ｐの全てに対して、基準画面の端から順に、垂直方向における３次元点情報の連続性の判別結果が得られる。 Thus, for all of a X number × a Y-number of reference points p, in this order from the end of the reference screen, continuity of the discrimination result of the three-dimensional point information in the vertical direction is obtained.
そして、ステップＳ６６では、地上面検出部１４０は、判別結果から得られた地上面の３次元位置を出力し、一連の処理を終了する。
In step S66, the ground
上記の処理により、地上面検出部１４０において地上面の検出が行われる。地上面が曲面であっても、３次元点情報は連続性を有する。したがって、曲面の地上面でも検出することができる。地上面検出部１４０にて検出された地上面情報は、障害物検出部１５０に送られる。
Through the above processing, the ground
なお、地上面の検出方法はこれに限定されることなく、３次元点の連続性を判定する他の方法であっても構わない。また、地上面検出部１４０は、例えば、検出された地上面の３次元位置の全てを含む、所定の距離までの連続した地上面の３次元モデルを求め、これを地上面情報として出力してもよい。
Note that the method for detecting the ground surface is not limited to this, and may be another method for determining the continuity of three-dimensional points. Further, the ground
〔障害物検出部１５０の動作〕
障害物検出部１５０は、３次元復元部１３０にて算出された３次元点情報と、地上面検出部１４０にて検出された地上面情報とを基に障害物の検出を行う。
[Operation of Obstacle Detection Unit 150]
The
具体的には、障害物検出部１５０は、地上面情報を用いて、地上面の位置より上方に存在する３次元点を障害物候補の点として抽出する。物体が存在する位置には３次元点が集中するため、障害物候補の点のうち高密度となっている部分を切り出すことで、障害物を検出することができる。
Specifically, the
なお、他の車両や人などの物体は、通常、道路面の幅方向に平行な面成分に乏しいため、地上面検出で行ったような１次元画像信号の対応付けによる対応点探索には不向きである。したがって、障害物警告装置１００は、障害物候補の対応点探索のために、２次元画像のパターンマッチングなど、従来の手法を用いて対応点を探索する手段を備えてもよい。 In addition, since objects such as other vehicles and people are usually poor in surface components parallel to the width direction of the road surface, they are not suitable for searching for corresponding points by matching one-dimensional image signals as performed in the ground surface detection. It is. Therefore, the obstacle warning device 100 may include means for searching for corresponding points using a conventional method such as pattern matching of a two-dimensional image in order to search for corresponding points of obstacle candidates.
障害物検出部１５０にて検出された障害物の３次元点は、障害物情報として、衝突判断部１６０に送られる。
The three-dimensional point of the obstacle detected by the
なお、地上面検出部１４０は、例えば、検出された３次元点から障害物の３次元モデルを構築し、これを障害物情報として出力してもよい。
For example, the ground
〔衝突判断部１６０の動作〕
衝突判断部１６０は、障害物検出部１５０の検出結果を基に、車両と障害物との衝突の可能性を判断する。衝突判断部１６０は、障害物検出部１５０から出力される障害物検出結果を時系列に保存しておき、障害物の位置の変化を解析することで、車両に対する障害物の車両に対する相対速度を算出する。そしてこの相対速度が車両に接近する方向に対してある閾値以上に大きい場合には、障害物と衝突する可能性があるとする判断結果を生成する。
[Operation of Collision Determination Unit 160]
The
なお、障害物の種類に応じて、異なる閾値を設定してもよい。この場合、衝突判断部１６０は、障害物の大きさや形状などから障害物の種類を判別し、該当する閾値との比較を行う。これにより、障害物の種類に応じてより的確な判断結果を出力することができる。
Different threshold values may be set according to the type of obstacle. In this case, the
衝突判断部１６０にて生成された判断結果は、警告出力部１７０に送られる。
The determination result generated by the
〔警告出力部１７０の動作〕
警告出力部１７０は、衝突判断部１６０の判断結果を基に、運転者に対して警告を行う。警告内容の出力方法は、音声以外にも映像や画像など何れであっても構わない。また、その他の例えばハンドルや座席を振動させるような方法であっても構わない。
[Operation of Warning Output Unit 170]
The
なお、衝突判断部１６０から障害物の相対速度や種類を受信し、障害物の相対速度や種類に応じて、警告の種類や程度を変えるようにしてもよい。これにより、危険度や状況に応じた警告を行うことができる。例えば、障害物の相対速度が低い場合には小さめの音声で警告を行い、高い場合には大きめの音声で警告を行うことができ、運転の快適さをできるだけ確保しながら、衝突の防止を図ることができる。
Note that the relative speed and type of the obstacle may be received from the
このように、本実施の形態によれば、地上面に平行にステレオカメラを配置したときにエピポーラ線上で等視差となる領域が地上面に存在することに着目し、ステレオ画像におけるエピポーラ線上の１次元画像信号ごとにステレオ対応付けを行い、視差情報を算出するようにした。具体的には、地上面の等視差となる領域を左右カメラ画像のそれぞれから１次元画像信号として切り出し、１次元位相限定相関法を用いて１次元画像信号を比較することにより、視差情報を算出するようにした。これにより、特徴点の少ない地上面であっても、視差情報を容易に算出することができ、算出が容易なことから、地上面を検出するためのステレオ対応付けに必要な画像信号の情報量を適切に増加させることができる。したがって、少ない演算処理で、高精度に地上面を検出することができる。 As described above, according to the present embodiment, when a stereo camera is arranged in parallel to the ground surface, attention is paid to the fact that there is a region on the ground surface that is equi-parallax on the epipolar line, and 1 on the epipolar line in the stereo image is displayed. Stereo matching is performed for each dimensional image signal, and parallax information is calculated. Specifically, parallax information is calculated by cutting out a region of equal parallax on the ground surface from each of the left and right camera images as a one-dimensional image signal and comparing the one-dimensional image signal using the one-dimensional phase-only correlation method. I tried to do it. As a result, the parallax information can be easily calculated even on the ground surface with few feature points, and since the calculation is easy, the information amount of the image signal necessary for stereo matching for detecting the ground surface Can be increased appropriately. Therefore, it is possible to detect the ground surface with high accuracy with a small amount of arithmetic processing.
特に、１次元位相限定相関法を用いて１次元画像のステレオ対応付けを行うので、特徴点の少ない地上面であっても、視差情報を高精度に算出することができる。また、階層探索や、等視差情報の利用と組み合わせる。これにより、視差情報をさらに高精度に算出できる。 In particular, since one-dimensional image stereo matching is performed using the one-dimensional phase-only correlation method, disparity information can be calculated with high accuracy even on the ground surface with few feature points. Further, it is combined with hierarchical search and use of equiparallax information. Thereby, parallax information can be calculated with higher accuracy.
また、地上面を検出し、地上面よりも上方に存在する物体を障害物として検出するので、地上面を障害物として検出するのを防ぐことができ、誤った警告を低減することができる。 In addition, since the ground surface is detected and an object that exists above the ground surface is detected as an obstacle, it is possible to prevent the ground surface from being detected as an obstacle and to reduce false warnings.
なお、既に検出された範囲の地上面の３次元位置と、車両の走行速度から、車両に対する地上面の相対的な移動、または地上面に対する車両の相対的な移動を検出するようにしてもよい。この場合、地上面の検出処理を、既に検出された部分については省略し、移動に伴って新たにステレオ画像上に現れた部分に対してのみ行えばよい。これにより、演算負荷を軽減することが可能となる。 The relative movement of the ground surface relative to the vehicle or the relative movement of the vehicle relative to the ground surface may be detected from the three-dimensional position of the ground surface within the already detected range and the traveling speed of the vehicle. . In this case, the detection process of the ground surface may be omitted for the already detected part, and only performed on the part newly appearing on the stereo image as it moves. As a result, the calculation load can be reduced.
また、地上面として検出した面の、車両の進行方向に対する角度を算出し、角度によって検出した面が道路面であるか否かを判別して、道路面ではない場合には警告を行うようにしてもよい。これにより、進行方向に壁や道路ではない斜面がある場合に、壁への衝突や斜面への乗り上げなどを防止することができる。 Also, the angle of the surface detected as the ground surface with respect to the traveling direction of the vehicle is calculated, it is determined whether the surface detected by the angle is a road surface, and a warning is issued if it is not a road surface. May be. As a result, when there is a slope that is not a wall or road in the traveling direction, it is possible to prevent a collision with the wall or climbing onto the slope.
また、基準カメラの視線方向と比較カメラの視線方向は、必ずしも平行でなくてもよく、チェッカーボード等を用いて、エピポーラ線の平行化処理のための適切なパラメータを設定するようにすればよい。 Further, the line-of-sight direction of the reference camera and the line-of-sight direction of the comparative camera do not necessarily have to be parallel, and an appropriate parameter for epipolar line parallelization processing may be set using a checkerboard or the like. .
また、地上面は下側にのみ存在し、車両により近い領域ほど画面の下端に近い位置で撮像されることから、より下側に位置する画像部分から検出された情報を優先させて地上面の検出を行うことや、上側に位置する画像部分を地上面検出の対象外としてもよい。これにより、地上面検出や障害物検出において不必要な対応点探索や３次元位置算出を省くことができ、処理負荷を軽減できる。 In addition, the ground surface exists only on the lower side, and the region closer to the vehicle is imaged at a position closer to the lower end of the screen. Therefore, priority is given to the information detected from the image portion located on the lower side. Detection may be performed, or the image portion located on the upper side may be excluded from the ground surface detection target. Thereby, unnecessary corresponding point search and three-dimensional position calculation in the ground surface detection and obstacle detection can be omitted, and the processing load can be reduced.
また、地上面が特定の形状に近似していると仮定して、地上面の検出を行ってもよい。この場合、より少ない３次元点から地上面を検出できる。例えば、地上面が平面に近似していると仮定した場合には、３点の基準点における１次元画像のステレオ対応付けによって地上面を検出できる。 Further, the ground surface may be detected on the assumption that the ground surface approximates a specific shape. In this case, the ground surface can be detected from fewer three-dimensional points. For example, when it is assumed that the ground surface approximates a plane, the ground surface can be detected by stereo matching of one-dimensional images at three reference points.
また、例えば、車両の直下の地上面からのステレオカメラの高さをあらかじめ記憶しておき、ステレオカメラの垂線と地上面との交点を地上面が通るものとして、地上面の検出を行ってもよい。この場合には、最小で１組のエピポーラ線における１次元画像のステレオ対応付けによって地上面を検出できる。 Further, for example, the height of the stereo camera from the ground surface directly below the vehicle is stored in advance, and the ground surface is detected on the assumption that the ground surface passes through the intersection of the perpendicular line of the stereo camera and the ground surface. Good. In this case, the ground surface can be detected by stereo matching of one-dimensional images with a pair of epipolar lines at a minimum.
（実施の形態２）
実施の形態１では、ステレオカメラを車両の左右方向に配置することにより、地上面を検出するようにした。本実施の形態では、さらに壁面など車両の上下方向に平行な面成分を障害物として検出する。以下、説明の簡便化のため、車両の左右方向は水平であり、車両の上下方向は左右方向及び車両の進行方向を含む平面に対して垂直であるものとして説明を行う。
(Embodiment 2)
In the first embodiment, the ground surface is detected by arranging the stereo cameras in the left-right direction of the vehicle. In the present embodiment, a surface component parallel to the vertical direction of the vehicle such as a wall surface is further detected as an obstacle. Hereinafter, for the sake of simplicity of explanation, the description will be made on the assumption that the left-right direction of the vehicle is horizontal, and the up-down direction of the vehicle is perpendicular to the plane including the left-right direction and the traveling direction of the vehicle.
例えば、高速道路の防音壁は特徴点が乏しく、地上面と同様、ステレオカメラの画像で対応する点を検出することが難しい。そこで、本実施の形態では、垂直方向に２個のカメラ（上下カメラ）を並べて配置した場合、エピポーラ平面と壁面との交線が垂直方向となること、つまり、同一のエピポーラ平面に属するエピポーラ線上に等視差となる壁面領域の１次元画像が存在する可能性が高いことを利用して、壁面を検出する。より具体的には、本実施の形態に係る障害物警告装置は、上下カメラにおけるステレオ対応付けをエピポーラ線上の１次元画像信号ごとに行うことにより、壁面の各点の対応点を効率良く検出する。 For example, a noise barrier on a highway has few feature points, and it is difficult to detect corresponding points in an image of a stereo camera, like the ground surface. Therefore, in the present embodiment, when two cameras (upper and lower cameras) are arranged side by side in the vertical direction, the line of intersection between the epipolar plane and the wall surface is vertical, that is, on the epipolar line belonging to the same epipolar plane. The wall surface is detected by utilizing the fact that there is a high possibility that a one-dimensional image of the wall surface area having the same parallax exists. More specifically, the obstacle warning device according to the present embodiment efficiently detects the corresponding point of each point on the wall surface by performing stereo correspondence in the upper and lower cameras for each one-dimensional image signal on the epipolar line. .
図１５は、本発明の実施の形態２に係る障害物警告装置２００の概略構成を表すブロック図である。障害物警告装置２００は、水平ステレオ画像取得部２１１、垂直ステレオ画像取得部２１２、対応点探索部２２０、３次元復元部２３０、地上面検出部２４０、障害物検出部２５０、衝突判断部２６０、及び警告出力部２７０を有する。
FIG. 15 is a block diagram illustrating a schematic configuration of the obstacle warning device 200 according to Embodiment 2 of the present invention. The obstacle warning device 200 includes a horizontal stereo
地上面検出部２４０、衝突判断部２６０、及び警告出力部２７０は、それぞれ実施の形態１の地上面検出部１４０、衝突判断部１６０、及び警告出力部１７０と同様の処理内容であり、これらについての説明を省略する。
The ground
水平ステレオ画像取得部２１１は、画像取得部１１０と同様であり、水平方向に２個のカメラでステレオ画像を取得し、エピポーラ線が画像の水平座標軸と平行になるように平行化処理を行った後に、画像を対応点探索部２２０に送る。
The horizontal stereo
垂直ステレオ画像取得部２１２は、垂直方向に配置された２個のカメラ（上下カメラ）でステレオ画像を取得し、エピポーラ線が画像の垂直座標軸と平行になるように平行化処理を行った後に、画像を対応点探索部２２０に送る。なお、垂直方向に配置された２個のカメラのいずれかは、水平方向に配置した２個のカメラのいずれかを兼ねてもよい。
The vertical stereo
対応点探索部２２０は、水平ステレオ画像取得部２１１と垂直ステレオ画像取得部２１２のそれぞれのステレオ画像に対して、実施の形態１の対応点探索部１２０と同様の対応点探索処理を行う。
The corresponding
対応点探索部２２０による地上面の対応点の探索は、実施の形態１で説明した手法を用いる。また、対応点探索部２２０による壁面の対応点の探索は、実施の形態１で説明した地上面の対応点の探索の手法を、左右方向を上下方向に置き換えて用いる。つまり、上下カメラにおいて、同一のエピポーラ平面に属するエピポーラ線上の１次元画像信号の視差を、１次元位相限定相関法を用いて求める。但し、下側にのみ存在する地上面とは異なり、壁面は左側と右側に存在する可能性があるため、画面の左端に近い領域と右端に近い領域の両方を、壁面検出の対象とすることが望ましい。また、トンネル内の分岐箇所などを考慮する場合、さらに、車両の進行方向である画面の中央に近い領域を壁面検出の対象とすることが望ましい。
The search for corresponding points on the ground surface by the corresponding
対応点探索部２２０は、水平ステレオ画像取得部２１１のステレオ画像から算出した対応点情報（水平対応点情報とする）と、垂直ステレオ画像取得部２１２のステレオ画像から算出した対応点情報（垂直対応点情報とする）とを、３次元復元部２３０に送る。
The corresponding
３次元復元部２３０は、水平対応点情報と垂直対応点情報をそれぞれに対応する３次元点（水平３次元点及び垂直３次元点とする）に復元し、水平３次元点情報を地上面検出部２４０へ、そして垂直３次元点による３次元点を障害物検出部２５０へ、それぞれ送る。
The three-
障害物検出部２５０は、実施の形態１で説明した手法を用い、地上面の左右方向を上下方向に置き換えて、地上面の面成分の検出と同様に垂直３次元点情報を基に壁面の面成分を検出する。上記したように衝突の危険性がより高い壁面領域の画像は、画面の左端、右側、及び中央に存在する可能性が高い。したがって、画面の左端、右側、及び中央を３次元点の連続性判定の基点とすることが望ましい。
The
そして、障害物検出部２５０は、地上面情報を基に、地上面よりも上方に存在する壁面の面成分、または地上面として検出された面と同じ位置に存在する壁面の面成分を、障害物として検出する。
Then, the
このように、本実施の形態によれば、垂直方向に配置したステレオカメラから得られるステレオ画像に対して地上面検出と同様の手法を適用するようにした。これにより、特徴点の少ない壁面であっても、視差情報を容易に算出することができ、算出が容易なことから、壁面を検出するためのステレオ対応付けに必要な画像信号の情報量を適切に増加させることができる。したがって、少ない演算処理で、高精度に壁面を検出することができる。 As described above, according to the present embodiment, the same technique as the ground level detection is applied to the stereo image obtained from the stereo camera arranged in the vertical direction. This makes it possible to easily calculate parallax information even on a wall surface with few feature points, and since the calculation is easy, the information amount of the image signal necessary for stereo matching for detecting the wall surface is appropriate. Can be increased. Therefore, the wall surface can be detected with high accuracy with a small amount of arithmetic processing.
また、検出された地上面よりも上方に存在する壁面を障害物として検出するので、障害物の検出を高精度に行うことができ、壁面への衝突をより確実に防ぐことができる。また、例えば、車両の左右方向と平行な壁面が正面に存在するときに、この壁面を地上面として検出してしまうのを防ぐことができる。 Moreover, since the wall surface which exists above the detected ground surface is detected as an obstacle, an obstacle can be detected with high accuracy and a collision with the wall surface can be prevented more reliably. Further, for example, when a wall surface parallel to the left-right direction of the vehicle exists in the front, it can be prevented that the wall surface is detected as the ground surface.
また、本実施の形態で説明した手法の適用は、壁面の検出に限定されるものではなく、車両の上下方向に平行な面成分を有する物体（車両、歩行者、電柱など）であれば、本手法を適用することが可能である。 In addition, the application of the method described in the present embodiment is not limited to the detection of the wall surface, and if the object has a surface component parallel to the vertical direction of the vehicle (vehicle, pedestrian, utility pole, etc.) This method can be applied.
（実施の形態３）
実施の形態１では、ステレオカメラの光学中心を結ぶ線が道路面の幅方向に対して平行であるものとして説明した。ところが、実際には、車両の左右における荷重の差やタイヤ空気圧の差、ステレオカメラの設置状況などにより、ステレオカメラの光学中心を結ぶ線を道路面の幅方向に対して精度良く平行にすることは難しい。そこで、本実施の形態では、ステレオカメラの配置方向が地上面に平行ではない場合でも地上面を高精度に検出できる障害物警告装置について説明する。
(Embodiment 3)
In the first embodiment, the line connecting the optical centers of the stereo cameras is described as being parallel to the width direction of the road surface. In reality, however, the line connecting the optical centers of the stereo camera should be accurately parallel to the width direction of the road surface, depending on the difference in load on the left and right of the vehicle, the difference in tire pressure, and the installation status of the stereo camera. Is difficult. Therefore, in the present embodiment, an obstacle warning device that can detect the ground surface with high accuracy even when the arrangement direction of the stereo camera is not parallel to the ground surface will be described.
図１６は、本発明の実施の形態３に係る障害物警告装置の概略構成を表すブロック図である。障害物警告装置３００は、画像取得部３１０、対応点探索部３２０、３次元復元部３３０、地上面検出部３４０、障害物検出部３５０、衝突判断部３６０、警告出力部３７０、等視差長軸算出部３８０、及び車両状態取得部３９０を有する。
FIG. 16 is a block diagram showing a schematic configuration of the obstacle warning device according to Embodiment 3 of the present invention. The obstacle warning device 300 includes an
対応点探索部３２０、地上面検出部３４０、障害物検出部３５０、衝突判断部３６０、及び警告出力部３７０は、それぞれ実施の形態１の対応点探索部１２０、地上面検出部１４０、障害物検出部１５０、衝突判断部１６０、及び警告出力部１７０と同様の処理内容であり、これらについての説明を省略する。
The corresponding
３次元復元部３３０は、実施の形態１における３次元復元部１３０の処理以外の処理として、算出した視差情報及び３次元点情報を、等視差長軸算出部３８０に送る。
The three-
等視差長軸算出部３８０は、３次元復元部３３０で算出された視差情報を基に、同様の視差を持つ領域（等視差領域）を特定する。そして、３次元点情報を基にその等視差領域の長軸の方向（以下「等視差領域方向」という）を特定して、その等視差領域方向の情報を画像取得部３１０に送る。具体的には、例えば、同様の視差持つ複数の３次元位置の回帰直線を算出すればよい。
The equal parallax long
車両状態取得部３９０は、車両の状態を推定して得られた車両状態情報を画像取得部３１０に送る。ここで、車両の状態とは、例えば、車両の直下の地上面または水平面に対する車両の左右方向の傾きである。車両状態取得部３９０は、例えば、センサの測定データから、車両に対する加重方向、及び車両の左右のサスペンションの状態を判別し、判別した情報から車両の状態を推定する。
The vehicle
画像取得部３１０は、実施の形態１における画像取得部１１０の処理以外に、ステレオ画像のエピポーラ線が上記等視差長軸算出部３８０で特定された等視差領域方向となるように、カメラの光学系の調整を行う。その調整の際には、等視差長軸算出部３８０の長軸方向情報と、車両状態取得部３９０の車両状態情報とを用いる。
In addition to the processing of the
エピポーラ線が等視差領域方向となるように調整されたステレオ画像から、実施の形態１と同様に対応点が探索され、視差情報が生成される。この視差情報に基づいて、再び等視差長軸算出部３８０で等視差領域が特定され、さらにエピポーラ線が等視差領域方向となるようにステレオ画像が調整される。この処理が繰り返されることにより、ステレオ画像のエピポーラ線の位置を、地上面の等視差となる領域の１次元画像の位置に収束させることができる。また、さらに車両の状態に起因する上記１次元画像と上記エピポーラ線とのずれを補償することができる。これにより、ステレオカメラの配置方向が地上面に平行ではない場合でも、ステレオ画像のエピポーラ線の位置を地上面の等視差となる領域の１次元画像の位置に高い精度で一致させることができ、地上面を高精度に検出できる。
Corresponding points are searched for from the stereo image adjusted so that the epipolar line is in the equi-parallax region direction, and parallax information is generated in the same manner as in the first embodiment. Based on this parallax information, the equiparity long
以上説明したように、本実施の形態によれば、道路環境における障害物検出の高精度化に利用でき、車両と障害物との衝突を警告するシステムを高精度化することが可能となる。 As described above, according to the present embodiment, it can be used to increase the accuracy of obstacle detection in a road environment, and it is possible to increase the accuracy of a system that warns of a collision between a vehicle and an obstacle.
地上面検出方法の応用例について、捕捉して説明する。 An application example of the ground surface detection method is captured and described.
また、地上面の情報を利用することで白線の存在位置を限定できるため、白線検出の高精度化を行うことができる。例えば、車両のレーン逸脱を警告するシステムに応用できる。また、停止線、横断歩道、減速マークなどの路面標示の存在位置も限定できるため、路面標示の検出にも応用できる。 Further, since the position of the white line can be limited by using the information on the ground surface, white line detection can be performed with high accuracy. For example, the present invention can be applied to a system for warning a vehicle lane departure. In addition, since the positions of road markings such as stop lines, pedestrian crossings, and deceleration marks can be limited, the present invention can be applied to detection of road markings.
また、地上面検出を用いることで車両の走行先の道路状況（上り坂／下り坂）を把握でき、道路状況に合わせたエンジン制御を行うことが可能となる。つまり、本発明は、ハイブリッドカーのエンジン制御にも応用できる。 Further, by using the ground surface detection, it is possible to grasp the road condition (uphill / downhill) of the destination of the vehicle and to perform engine control according to the road condition. That is, the present invention can also be applied to engine control of a hybrid car.
また、屋外の道路環境だけでなく、例えば屋内における車両の移動にも適用できる。また、車両のみならず、ステレオカメラを備えた移動ロボット等にも応用することができる。このような場合、車両という表現を移動体・ロボット等とすることが可能である。さらにいえば、例えば、面成分が移動し、面成分を所定の装置に対する相対位置として検出する場合に適用してもよい。この場合、所定の装置は必ずしも移動体でなくてもよい。 Moreover, it can be applied not only to the outdoor road environment but also to the movement of vehicles indoors, for example. Moreover, it can be applied not only to vehicles but also to mobile robots equipped with stereo cameras. In such a case, the expression “vehicle” can be used as a moving object / robot or the like. Furthermore, for example, the present invention may be applied when the surface component moves and the surface component is detected as a relative position with respect to a predetermined device. In this case, the predetermined device is not necessarily a moving body.
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。 The above description is an illustration of a preferred embodiment of the present invention, and the scope of the present invention is not limited to this.
各実施の形態では、本発明を障害物警告装置に適用した場合について説明したが、これに限定されるものではなく、面成分を検出する他の各種装置に適用可能であることはいうまでもない。 In each embodiment, the case where the present invention is applied to an obstacle warning device has been described. However, the present invention is not limited to this, and can be applied to other various devices that detect surface components. Absent.
また、上記各実施の形態では、車両に搭載される障害物警告装置について説明したが、これは一例であって、撮影領域がオーバーラップした複数の画像を入力可能なものであればどのような装置にも適用可能である。 Further, in each of the above embodiments, the obstacle warning device mounted on the vehicle has been described. However, this is only an example, and any device that can input a plurality of images with overlapping imaging regions can be input. It is also applicable to the device.
また、上記実施の形態では、障害物警告装置という名称を用いたが、これは説明の便宜上であり、衝突防止装置、地上面検出装置、車載機等、他の名称であってもよいことは勿論である。 Moreover, in the said embodiment, although the name obstacle warning device was used, this is for convenience of explanation, and other names, such as a collision prevention device, a ground surface detection device, and an in-vehicle device, may be used. Of course.
さらに、上記障害物警告装置を構成する各部、例えば画像取得部、対応点探索部、３次元復元部、地上面検出部の種類及び数等は、どのようなものでもよい。 Furthermore, the type and number of each part which comprises the said obstacle warning apparatus, for example, an image acquisition part, a corresponding point search part, a three-dimensional decompression | restoration part, a ground surface detection part, etc. may be sufficient.
以上説明した面成分検出装置、地上面検出装置、及び障害物検出装置は、これらの装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納される。 The surface component detection device, the ground surface detection device, and the obstacle detection device described above are also realized by a program for causing these devices to function. This program is stored in a computer-readable recording medium.
本発明は、特徴点の乏しい面成分を検出できる面成分検出装置、地上面検出装置、及び障害物検出装置として有用である。 The present invention is useful as a surface component detection device, a ground surface detection device, and an obstacle detection device that can detect a surface component with poor feature points.
１００、２００、３００ 障害物警告装置
１１０、３１０ 画像取得部
１２０、２２０、３２０ 対応点探索部
１３０、２３０、３３０ ３次元復元部
１４０、２４０、３４０ 地上面検出部
１５０、２５０、３５０ 障害物検出部
１６０、２６０、３６０ 衝突判断部
１７０、２７０、３７０ 警告出力部
２１１ 水平ステレオ画像取得部
２１２ 垂直ステレオ画像取得部
３８０ 等視差長軸算出部
３９０ 車両状態取得部
100, 200, 300
Claims (13)
前記ステレオ画像におけるエピポーラ線に基づく１次元画像信号ごとにステレオ対応付けを行うことで、視差情報を算出する視差情報算出部と、
前記視差情報を基に面成分を検出する面成分検出部と、
を有する面成分検出装置。 An image acquisition unit that acquires a stereo image by photographing a surface component that is a surface region of a predetermined object with a plurality of cameras;
A parallax information calculating unit that calculates parallax information by performing stereo association for each one-dimensional image signal based on an epipolar line in the stereo image;
A surface component detector that detects a surface component based on the parallax information;
A surface component detection apparatus having:
前記面成分と平行になるエピポーラ線を決定する前記複数カメラを用いて、前記ステレオ画像を取得する、
請求項１に記載の面成分検出装置。 The image acquisition unit
Using the plurality of cameras to determine epipolar lines that are parallel to the surface component, to obtain the stereo image;
The surface component detection apparatus according to claim 1.
前記面成分中で同じ視差を持つ領域の長軸と平行になるエピポーラ線を決定する前記複数カメラを用いて、前記ステレオ画像を取得する、
請求項１に記載の面成分検出装置。 The image acquisition unit
Using the plurality of cameras that determine epipolar lines that are parallel to the major axis of the region having the same parallax in the surface component, the stereo image is acquired.
The surface component detection apparatus according to claim 1.
前記ステレオ画像における前記エピポーラ線に沿ってライン状の１次元画像信号ごとにステレオ対応付けを行うことで、視差情報を算出する、
請求項１に記載の面成分検出装置。 The parallax information calculation unit
Disparity information is calculated by performing stereo association for each linear one-dimensional image signal along the epipolar line in the stereo image.
The surface component detection apparatus according to claim 1.
前記エピポーラ線に沿って等視差が存在する面成分において前記ステレオ対応付けを行う、
請求項１に記載の面成分検出装置。 The parallax information calculation unit
The stereo correspondence is performed in a plane component in which equi-parallax exists along the epipolar line.
The surface component detection apparatus according to claim 1.
低階層で求めたステレオ対応付け位置を基に高階層におけるステレオ対応付けの初期位置を決定して階層探索を行う、
請求項１に記載の面成分検出装置。 The parallax information calculation unit
A hierarchical search is performed by determining an initial position of stereo correspondence in a high hierarchy based on the stereo correspondence position obtained in a low hierarchy.
The surface component detection apparatus according to claim 1.
所定範囲の視差の値を持つ複数の１次元画像信号に基づき、前記視差情報となる視差の値を算出する、
請求項１〜請求項６のいずれかに記載の面成分検出装置。 The parallax information calculation unit
Calculating a parallax value as the parallax information based on a plurality of one-dimensional image signals having a parallax value within a predetermined range;
The surface component detection apparatus in any one of Claims 1-6.
前記ステレオ画像に対して離散フーリエ変換を行うことで算出される、前記１次元画像信号における周波数成分の位相差により、前記視差情報となる視差の値を算出する、
請求項１〜請求項７のいずれかに記載の面成分検出装置。 The parallax information calculation unit
A parallax value serving as the parallax information is calculated based on a phase difference of frequency components in the one-dimensional image signal, which is calculated by performing discrete Fourier transform on the stereo image;
The surface component detection apparatus in any one of Claims 1-7.
前記ステレオ対応付けをステレオ画像における複数のエピポーラ線について行うことにより前記視差情報を複数算出し、
前記面成分検出部は、
前記ステレオ画像における前記エピポーラ線に直交する方向に対して、前記複数の視差情報の連続性を判定することで、前記面成分を検出する、
請求項１〜請求項８のいずれかに記載の面成分検出装置。 The parallax information calculation unit
A plurality of the parallax information is calculated by performing the stereo association for a plurality of epipolar lines in a stereo image,
The surface component detector is
The surface component is detected by determining the continuity of the plurality of parallax information with respect to a direction orthogonal to the epipolar line in the stereo image.
The surface component detection apparatus in any one of Claims 1-8.
前記面成分検出装置で検出された前記面成分の情報を基に地上面を検出する地上面検出部と、
を有する地上面検出装置。 The surface component detection device according to any one of claims 1 to 9,
A ground surface detection unit that detects the ground surface based on the information of the surface component detected by the surface component detection device;
A ground surface detecting device having
前記面成分検出装置で検出された前記面成分の情報を基に障害物を検出する障害物検出部と、
を有する障害物検出装置。 The surface component detection device according to any one of claims 1 to 9,
An obstacle detection unit for detecting an obstacle based on the information of the surface component detected by the surface component detection device;
Obstacle detection device having
前記面成分検出装置で検出された前記面成分の情報を基に地上面を検出する地上面検出部と、
前記地上面検出部で検出された前記地上面の情報を基に障害物を検出する障害物検出部と、
を有する障害物検出装置。 The surface component detection device according to any one of claims 1 to 9,
A ground surface detection unit that detects the ground surface based on the information of the surface component detected by the surface component detection device;
An obstacle detection unit for detecting an obstacle based on the information on the ground surface detected by the ground surface detection unit;
Obstacle detection device having
をさらに有する請求項１２記載の障害物検出装置。
A warning output unit that outputs a warning when an obstacle is detected,
The obstacle detection device according to claim 12, further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007191477A JP2009026250A (en) | 2007-07-23 | 2007-07-23 | Plane component detector, ground plane detector, and obstacle detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007191477A JP2009026250A (en) | 2007-07-23 | 2007-07-23 | Plane component detector, ground plane detector, and obstacle detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009026250A true JP2009026250A (en) | 2009-02-05 |
Family
ID=40397977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007191477A Pending JP2009026250A (en) | 2007-07-23 | 2007-07-23 | Plane component detector, ground plane detector, and obstacle detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009026250A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010224798A (en) * | 2009-03-23 | 2010-10-07 | Konica Minolta Holdings Inc | Drive recorder |
| JP2010286926A (en) * | 2009-06-09 | 2010-12-24 | Konica Minolta Holdings Inc | Surroundings monitoring device |
| JP2011013066A (en) * | 2009-07-01 | 2011-01-20 | Konica Minolta Holdings Inc | Image processing device |
| JP2011180675A (en) * | 2010-02-26 | 2011-09-15 | Nippon Hoso Kyokai <Nhk> | Parallax estimation apparatus and program therefor |
| WO2012032624A1 (en) * | 2010-09-08 | 2012-03-15 | トヨタ自動車株式会社 | Degree-of-danger calculation apparatus |
| JP2013019801A (en) * | 2011-07-12 | 2013-01-31 | Tohoku Univ | Function calculation device, depth map generation device, function calculation method and function calculation program |
| JP2013156981A (en) * | 2012-01-30 | 2013-08-15 | Harman Becker Automotive Systems Gmbh | Viewing system and method for displaying environment of vehicle |
| JP2013207682A (en) * | 2012-03-29 | 2013-10-07 | Jvc Kenwood Corp | Device and method for stereoscopic image processing |
| JP2015172876A (en) * | 2014-03-12 | 2015-10-01 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring system, and program |
| WO2019065536A1 (en) * | 2017-09-26 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Reconfiguration method and reconfiguration device |
| WO2020049965A1 (en) * | 2018-09-06 | 2020-03-12 | 株式会社Ｙｏｏｄｓ | Three-dimensional measurement system, three-dimensional measurement camera, three-dimensional measurement method, and program |
| US10976438B2 (en) | 2015-09-17 | 2021-04-13 | Kabushiki Kaisha Toshiba | Estimation device and estimation method |
-
2007
- 2007-07-23 JP JP2007191477A patent/JP2009026250A/en active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010224798A (en) * | 2009-03-23 | 2010-10-07 | Konica Minolta Holdings Inc | Drive recorder |
| JP2010286926A (en) * | 2009-06-09 | 2010-12-24 | Konica Minolta Holdings Inc | Surroundings monitoring device |
| JP2011013066A (en) * | 2009-07-01 | 2011-01-20 | Konica Minolta Holdings Inc | Image processing device |
| JP2011180675A (en) * | 2010-02-26 | 2011-09-15 | Nippon Hoso Kyokai <Nhk> | Parallax estimation apparatus and program therefor |
| US9058247B2 (en) | 2010-09-08 | 2015-06-16 | Toyota Jidosha Kabushiki Kaisha | Risk potential calculation apparatus |
| JP5454695B2 (en) * | 2010-09-08 | 2014-03-26 | トヨタ自動車株式会社 | Risk calculation device |
| WO2012032624A1 (en) * | 2010-09-08 | 2012-03-15 | トヨタ自動車株式会社 | Degree-of-danger calculation apparatus |
| JP2013019801A (en) * | 2011-07-12 | 2013-01-31 | Tohoku Univ | Function calculation device, depth map generation device, function calculation method and function calculation program |
| JP2013156981A (en) * | 2012-01-30 | 2013-08-15 | Harman Becker Automotive Systems Gmbh | Viewing system and method for displaying environment of vehicle |
| JP2013207682A (en) * | 2012-03-29 | 2013-10-07 | Jvc Kenwood Corp | Device and method for stereoscopic image processing |
| JP2015172876A (en) * | 2014-03-12 | 2015-10-01 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring system, and program |
| US10976438B2 (en) | 2015-09-17 | 2021-04-13 | Kabushiki Kaisha Toshiba | Estimation device and estimation method |
| WO2019065536A1 (en) * | 2017-09-26 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Reconfiguration method and reconfiguration device |
| JPWO2019065536A1 (en) * | 2017-09-26 | 2020-09-10 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Reconstruction method and reconfiguration device |
| WO2020049965A1 (en) * | 2018-09-06 | 2020-03-12 | 株式会社Ｙｏｏｄｓ | Three-dimensional measurement system, three-dimensional measurement camera, three-dimensional measurement method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009026250A (en) | Plane component detector, ground plane detector, and obstacle detector | |
| EP2546602B1 (en) | Stereo camera apparatus | |
| JP2020042831A (en) | Road vertical contour detection | |
| JP3719095B2 (en) | Behavior detection apparatus and gradient detection method | |
| JP5023186B2 (en) | Object motion detection system based on combination of 3D warping technique and proper object motion (POM) detection | |
| JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
| JP3797949B2 (en) | Image processing apparatus and method | |
| JP2018529938A (en) | Method and system for generating and using localization reference data | |
| JP2008298533A (en) | Obstruction measurement method, device, and system | |
| JP6171593B2 (en) | Object tracking method and system from parallax map | |
| EP1391845A2 (en) | Image based object detection apparatus and method | |
| EP2761252A1 (en) | Localising a vehicle along a route | |
| EP3324359B1 (en) | Image processing device and image processing method | |
| CN109074653B (en) | Method for detecting an object next to a road of a motor vehicle, computing device, driver assistance system and motor vehicle | |
| JP2015179063A (en) | Parallax value derivation device, apparatus control system, moving body, robot, parallax value derivation method and program | |
| JP5267330B2 (en) | Image processing apparatus and method | |
| JP2017083245A (en) | Clearance limit determination device | |
| JP5501084B2 (en) | Planar area detection apparatus and stereo camera system | |
| JP2014228941A (en) | Measurement device for three-dimensional surface shape of ground surface, runnable region detection device and construction machine mounted with the same, and runnable region detection method | |
| JP6543935B2 (en) | PARALLEL VALUE DERIVING DEVICE, DEVICE CONTROL SYSTEM, MOBILE OBJECT, ROBOT, PARALLEL VALUE DERIVING METHOD, AND PROGRAM | |
| JP5181602B2 (en) | Object detection device | |
| JP2008309637A (en) | Obstruction measuring method, obstruction measuring apparatus, and obstruction measuring system | |
| JPWO2017099199A1 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
| JP2015158749A (en) | Image processor, mobile body, robot, device control method and program | |
| JPH0981734A (en) | Image processor |