JP5105481B2 - Lane detection device, lane detection method, and lane detection program - Google Patents

Lane detection device, lane detection method, and lane detection program Download PDF

Info

Publication number
JP5105481B2
JP5105481B2 JP2008138464A JP2008138464A JP5105481B2 JP 5105481 B2 JP5105481 B2 JP 5105481B2 JP 2008138464 A JP2008138464 A JP 2008138464A JP 2008138464 A JP2008138464 A JP 2008138464A JP 5105481 B2 JP5105481 B2 JP 5105481B2
Authority
JP
Japan
Prior art keywords
lane
fisheye
image
point
lane detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008138464A
Other languages
Japanese (ja)
Other versions
JP2009288885A (en
Inventor
仕剛 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tottori University
Original Assignee
Tottori University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tottori University filed Critical Tottori University
Priority to JP2008138464A priority Critical patent/JP5105481B2/en
Publication of JP2009288885A publication Critical patent/JP2009288885A/en
Application granted granted Critical
Publication of JP5105481B2 publication Critical patent/JP5105481B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像から路面上の車線を検出する車線検出装置、車線検出方法、及び車線検出プログラムに関する。   The present invention relates to a lane detection device, a lane detection method, and a lane detection program for detecting a lane on a road surface from an image.

車にカメラを搭載し、カメラが取得した画像から、路面上の車線を検出する技術がある。この車線とは、路面上において車の走行領域の境界を示し、走行方向に沿って路面上に描かれた白線又は黄線である。   There is a technique for mounting a camera on a car and detecting a lane on the road surface from an image acquired by the camera. This lane is a white line or a yellow line drawn on the road surface along the traveling direction, indicating the boundary of the traveling region of the vehicle on the road surface.

例えば、下記特許文献１には、車のフロント側に載置されたカメラによって画像を取得し、その画像から車線を検出する技術が記載されている。
特開２００６−３３１３８９号公報 For example, Patent Document 1 below describes a technique for acquiring an image with a camera placed on the front side of a vehicle and detecting a lane from the image.
JP 2006-331389 A

上記特許文献１に記載された技術では、カメラを車のフロント側に載置しているので、取得した画像において車線が前の車によって遮られる場合がある。この場合、十分に車線の画像が取得できないので、検出結果の誤差が大きくなる。   In the technique described in Patent Document 1, since the camera is placed on the front side of the car, the lane may be blocked by the preceding car in the acquired image. In this case, since a sufficient lane image cannot be acquired, an error in the detection result increases.

そこで、本発明は、車線の検出結果の誤差を小さくすることが可能な車線検出装置、車線検出方法、及び車線検出プログラムを提供することを目的とする。   Therefore, an object of the present invention is to provide a lane detection device, a lane detection method, and a lane detection program capable of reducing an error in a lane detection result.

本発明の車線検出装置は、車体の側面側を視点として前記車体の外側をとらえた魚眼画像を入力する画像入力手段と、魚眼画像から特徴点を抽出する特徴点抽出手段と、特徴点に基づいて、路面上において車体の側面側に位置する車線の方向ベクトルを算出する車線方向算出手段と、車線の方向ベクトルと魚眼画像の特徴点とを用いて車線を検出する車線検出手段と、を備えることを特徴とする。   The lane detection device according to the present invention includes an image input unit that inputs a fisheye image capturing the outside of the vehicle body from the side of the vehicle body as a viewpoint, a feature point extraction unit that extracts a feature point from the fisheye image, and a feature point Lane direction calculating means for calculating the direction vector of the lane located on the side surface of the vehicle body on the road surface, and lane detecting means for detecting the lane using the lane direction vector and the feature point of the fisheye image, It is characterized by providing.

本発明の車線検出方法は、画像入力手段が、車体の側面側を視点として前記車体の外側をとらえた車体の外側の魚眼画像を入力する画像入力ステップと、特徴点抽出手段が、魚眼画像から特徴点を抽出する特徴点抽出ステップと、車線方向算出手段が、特徴点に基づいて、路面上において車体の側面側に位置する車線の方向ベクトルを算出する車線方向算出ステップと、車線検出手段が、車線の方向ベクトルと魚眼画像の特徴点とを用いて車線を検出する車線検出ステップと、を備えることを特徴とする。   In the lane detection method according to the present invention, the image input means inputs an fisheye image outside the vehicle body as viewed from the side of the vehicle body as a viewpoint, and the feature point extraction means includes a fisheye image. A feature point extracting step for extracting feature points from the image, a lane direction calculating means for calculating a direction vector of a lane located on the side of the vehicle body on the road surface based on the feature points, and a lane detection; The means includes a lane detection step of detecting a lane using a lane direction vector and a feature point of a fisheye image.

本発明では、画像入力手段が、車体の側面側から見た魚眼画像を入力するので、入力した画像の視野領域に対して、より長い車線が写った画像を取得することができる。このため、車線の検出結果の誤差を小さくすることができる。そして、車線が、車体の前後方向に延びていることを利用して、車線方向算出手段が車線の方向ベクトルを算出する。車線検出手段は、この方向ベクトルを用いることにより、魚眼画像の特徴点から車線を検出する。これにより、誤差を抑制し且つ容易に車線を検出することができる。すなわち、車線の検出性能を向上することができる。   In the present invention, since the image input means inputs a fisheye image viewed from the side of the vehicle body, it is possible to acquire an image in which a longer lane appears in the field of view of the input image. For this reason, the error of the detection result of a lane can be made small. Then, using the fact that the lane extends in the front-rear direction of the vehicle body, the lane direction calculation means calculates a lane direction vector. The lane detection means detects the lane from the feature point of the fisheye image by using this direction vector. Thereby, an error can be suppressed and a lane can be detected easily. That is, the lane detection performance can be improved.

本発明の車線検出装置では、好ましくは、特徴点に基づいて、魚眼画像の消失点を推定する消失点推定手段を更に備え、車線方向算出手段は、消失点を用いて方向ベクトルを算出する。   The lane detection device of the present invention preferably further includes vanishing point estimating means for estimating the vanishing point of the fisheye image based on the feature point, and the lane direction calculating means calculates the direction vector using the vanishing point. .

本発明の車線検出方法では、好ましくは、消失点推定手段が、特徴点に基づいて、魚眼画像の消失点を推定する消失点推定ステップを更に備え、車線方向算出ステップでは、消失点を用いて方向ベクトルを算出する。   In the lane detection method of the present invention, preferably, the vanishing point estimating means further includes a vanishing point estimating step of estimating the vanishing point of the fisheye image based on the feature point, and the vanishing point is used in the lane direction calculating step. To calculate the direction vector.

魚眼画像により、車体の前後方向の２つの消失点を１つの画像内にとらえることができる。このため、消失点推定手段が、魚眼画像の特徴点に基づいて、車体の前後方向の２つの消失点を推定することができる。よって、この消失点を用いて、容易に車線の方向ベクトルを算出することができる。   With the fish-eye image, two vanishing points in the front-rear direction of the vehicle body can be captured in one image. For this reason, the vanishing point estimation means can estimate two vanishing points in the front-rear direction of the vehicle body based on the feature points of the fisheye image. Therefore, the lane direction vector can be easily calculated using this vanishing point.

本発明の車線検出装置では、好ましくは、画像入力手段は、車体の前後方向に並んだ２つの視点から得られると共に、一部が重なる視野領域を有する２つの魚眼画像を入力し、特徴点抽出手段は、２つの魚眼画像それぞれから特徴点を抽出し、消失点推定手段は、２つの魚眼画像において対応する特徴点を用いて、魚眼画像におけるエピポーラ対を推定し、当該推定したエピポーラ対を消失点と推定する。   In the lane detection device of the present invention, it is preferable that the image input means inputs two fish-eye images obtained from two viewpoints arranged in the front-rear direction of the vehicle body and having a visual field region that partially overlaps, and a feature point The extraction means extracts feature points from each of the two fisheye images, and the vanishing point estimation means estimates the epipolar pair in the fisheye images using the corresponding feature points in the two fisheye images, and performs the estimation. Estimate the epipolar pair as the vanishing point.

本発明の車線検出方法では、好ましくは、画像入力ステップでは、車体の前後方向に並んだ２つの視点から得られると共に、一部が重なる視野領域を有する２つの魚眼画像を入力し、特徴点抽出ステップでは、２つの魚眼画像それぞれから特徴点を抽出し、消失点推定ステップでは、２つの魚眼画像において対応する特徴点を用いて魚眼画像におけるエピポーラ対を推定し、当該推定したエピポーラ対を消失点と推定する。   In the lane detection method of the present invention, preferably, in the image input step, two fish-eye images obtained from two viewpoints arranged in the front-rear direction of the vehicle body and having a visual field region that partially overlaps are input, and the feature points In the extraction step, feature points are extracted from each of the two fisheye images, and in the vanishing point estimation step, an epipolar pair in the fisheye image is estimated using the corresponding feature points in the two fisheye images, and the estimated epipolarity is estimated. Estimate the pair as a vanishing point.

この場合、エピポーラ対を２つの消失点とするので、より簡易に消失点を推定することが可能となり、車線の検出をより容易にすることができる。   In this case, since the epipolar pair has two vanishing points, the vanishing point can be estimated more easily, and the detection of the lane can be facilitated.

本発明の車線検出装置では、好ましくは、２つの魚眼画像を異なるタイミングでそれぞれ取得する魚眼カメラを更に備え、画像入力手段は、魚眼カメラによって取得された２つの魚眼画像を入力する。   The lane detection device of the present invention preferably further includes a fisheye camera that acquires two fisheye images at different timings, and the image input means inputs the two fisheye images acquired by the fisheye camera. .

本発明の車線検出方法では、好ましくは、画像入力ステップでは、２つの魚眼画像を異なるタイミングでそれぞれ取得する魚眼カメラによって取得された２つの魚眼画像を入力する。   In the lane detection method of the present invention, preferably, in the image input step, two fisheye images acquired by a fisheye camera that respectively acquire two fisheye images at different timings are input.

車は、車線に沿って走行するので、１台の魚眼カメラによってタイミングをずらして２つの魚眼画像を取得することにより、車体の前後方向に並んだ２つの視点から得られると共に、一部が重なる視野領域を有する２つの魚眼画像を得ることができる。このため、２台の魚眼カメラから画像を入力する必要がなくなる。よって、構成を簡易にすることができる。また、２台の魚眼カメラから画像を入力する場合より、２つの魚眼画像の視点の並び方向を車体の前後方向に精度良く合わせることができる。   Since the car travels along the lane, it can be obtained from two viewpoints aligned in the front-rear direction of the vehicle body by acquiring two fisheye images at different timings with one fisheye camera. It is possible to obtain two fish-eye images having a visual field region that overlaps with each other. This eliminates the need to input images from two fisheye cameras. Therefore, the configuration can be simplified. In addition, when the images are input from the two fisheye cameras, the alignment direction of the viewpoints of the two fisheye images can be accurately adjusted to the front-rear direction of the vehicle body.

本発明の車線検出装置では、好ましくは、車線検出手段は、魚眼画像の特徴点を球面空間に射影して球面空間におけるハフ変換を行うことにより車線を検出する。   In the lane detection device of the present invention, preferably, the lane detection means detects the lane by projecting the feature points of the fisheye image onto the spherical space and performing Hough transform in the spherical space.

本発明の車線検出方法では、好ましくは、車線検出ステップでは、魚眼画像の特徴点を球面空間に射影して球面空間におけるハフ変換を行うことにより車線を検出する。   In the lane detection method of the present invention, preferably, in the lane detection step, the lane is detected by projecting the feature points of the fisheye image onto the spherical space and performing Hough transform in the spherical space.

この場合、入力画像として魚眼画像を用いた場合であっても誤差を抑制して車線の検出を行うことができる。   In this case, even if a fisheye image is used as the input image, the lane can be detected while suppressing the error.

本発明の車線検出装置では、好ましくは、車線検出手段は、ハフ変換を行うための投票空間をθφ平面とし、球面空間に射影された特徴点を通る曲線を、当該曲線を含む平面の法線ベクトルを用いて推定する。   In the lane detection device of the present invention, it is preferable that the lane detection means has a voting space for performing the Hough transform as a θφ plane, and a curve passing through the feature points projected onto the spherical space is a normal line of the plane including the curve. Estimate using a vector.

本発明の車線検出方法では、好ましくは、車線検出ステップでは、ハフ変換を行うための投票空間をθφ平面とし、球面空間に射影された特徴点を通る曲線を、当該曲線を含む平面の法線ベクトルを用いて推定する。   In the lane detection method of the present invention, preferably, in the lane detection step, a voting space for performing the Hough transform is a θφ plane, and a curve passing through the feature point projected onto the spherical space is a normal line of the plane including the curve. Estimate using a vector.

この場合、投票空間を２次元平面にするので、投票空間を３次元空間にする場合より計算量を少なくすることができ、車線を早く検出することができる。しかし、一般的には、投票空間を２次元空間にすることで、３次元空間にする場合より誤差が大きくなる。θφ平面は、極点に行くに従って誤差が大きくなるが、極点を法線とする平面上の曲線は、魚眼画像の枠と重なるため、車線検出にあたっては、誤差の影響が少ない。従って、θφ平面を投票空間とすることにより、計算量を少なくすると共に、誤差の増大を抑制することができる。   In this case, since the voting space is a two-dimensional plane, the amount of calculation can be reduced and the lane can be detected earlier than when the voting space is a three-dimensional space. However, in general, making the voting space a two-dimensional space results in a larger error than when making a three-dimensional space. On the θφ plane, the error increases as it goes to the extreme point, but the curve on the plane with the extreme point as the normal line overlaps the frame of the fisheye image, so that the influence of the error is small in the lane detection. Therefore, by setting the θφ plane as a voting space, it is possible to reduce the amount of calculation and suppress an increase in error.

本発明の車線検出装置では、好ましくは、特徴点に基づいて、路面上の停止線の方向ベクトルを算出する停止線方向算出手段を更に備える。   The lane detection device of the present invention preferably further includes stop line direction calculation means for calculating a direction vector of a stop line on the road surface based on the feature points.

本発明の車線検出方法では、好ましくは、車線検出手段が、特徴点に基づいて、路面上の停止線の方向ベクトルを算出する停止線方向算出ステップを更に備える。   In the lane detection method of the present invention, it is preferable that the lane detection unit further includes a stop line direction calculation step of calculating a stop line direction vector on the road surface based on the feature points.

この場合、算出した停止線の方向ベクトルを、車線検出、路面領域の検出、カメラの姿勢の検出等、その他の計算に役立てることができる。   In this case, the calculated stop line direction vector can be used for other calculations such as lane detection, road surface area detection, camera posture detection, and the like.

本発明の車線検出装置では、好ましくは、車線検出手段は、停止線の方向ベクトルを用いて、車線を検出する。   In the lane detection device of the present invention, preferably, the lane detection means detects the lane using the direction vector of the stop line.

本発明の車線検出方法では、好ましくは、車線検出ステップでは、停止線の方向ベクトルを用いて、車線を検出する。   In the lane detection method of the present invention, preferably, in the lane detection step, the lane is detected using the direction vector of the stop line.

この場合、車線検出の誤差を少なくすることができる。   In this case, errors in lane detection can be reduced.

本発明の車線検出装置では、好ましくは、車線の方向ベクトルと停止線の方向ベクトルとに基づいて、視点の視線方向を検出する方向検出手段を更に備える。   The lane detection device of the present invention preferably further includes direction detection means for detecting the visual line direction of the viewpoint based on the lane direction vector and the stop line direction vector.

本発明の車線検出方法では、好ましくは、方向検出手段が、車線の方向ベクトルと停止線の方向ベクトルとに基づいて、視点の視線方向を検出する方向検出ステップを更に備える。   In the lane detection method of the present invention, it is preferable that the direction detection unit further includes a direction detection step of detecting the visual line direction of the viewpoint based on the lane direction vector and the stop line direction vector.

この場合、例えば、車線の方向ベクトルと停止線の方向ベクトルとに基づいて、路面に対する魚眼画像の視線方向を検出することにより、魚眼カメラの姿勢を推定することができる。このため、魚眼カメラの姿勢に基づいて、車線検出に適した魚眼画像を取得できるように、魚眼カメラの姿勢を制御することができる。   In this case, for example, the posture of the fisheye camera can be estimated by detecting the line-of-sight direction of the fisheye image with respect to the road surface based on the lane direction vector and the stop line direction vector. For this reason, the attitude of the fisheye camera can be controlled so that a fisheye image suitable for lane detection can be acquired based on the attitude of the fisheye camera.

本発明の車線検出プログラムは、コンピュータに、上記に記載の車線検出方法を実行させることを特徴とする。   The lane detection program of the present invention causes a computer to execute the lane detection method described above.

本発明によれば、車線の検出結果の誤差を小さくすることができる。また、計算量の増大を抑制することができる。   According to the present invention, it is possible to reduce an error in the lane detection result. In addition, an increase in calculation amount can be suppressed.

以下、添付図面を参照して、本発明を実施するための最良の形態を詳細に説明する。なお、図面の説明において同一の要素に同一の符号を付し、重複する説明を省略する。   The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings. In the description of the drawings, the same reference numerals are assigned to the same elements, and duplicate descriptions are omitted.

（第１実施形態）
図１〜図２０を参照して、第１実施形態に係る車線検出装置Ｓ１及び車線検出方法について説明する。車線検出装置Ｓ１は、車両Ｇに搭載され、車両Ｇの周辺を視覚的に監視するためのＦＦＶシステム（Four-Fisheye-Vision- System）ＦＳに含まれる。ＦＦＶシステムＦＳから出力される車両Ｇの周辺情報は、車両Ｇの運転支援に用いられる。 (First embodiment)
The lane detection device S1 and the lane detection method according to the first embodiment will be described with reference to FIGS. The lane detection device S1 is mounted on the vehicle G and is included in an FFV system (Four-Fisheye-Vision-System) FS for visually monitoring the periphery of the vehicle G. The surrounding information of the vehicle G output from the FFV system FS is used for driving assistance of the vehicle G.

図１，図２に示すように、ＦＦＶシステムＦＳは、車両周辺を漏れなく監視するために、４つの魚眼カメラＣ１〜Ｃ４を備えている。４つの魚眼カメラＣ１〜Ｃ４は、それぞれ、車体の右側、左側、フロント側、リア側に設置されている。魚眼カメラＣ１〜Ｃ４は、魚眼レンズとＣＣＤカメラとを有し、魚眼画像を撮像する。魚眼レンズとしては、半球以上の視野をもつ魚眼コンバージョンレンズを用いることができる。   As shown in FIGS. 1 and 2, the FFV system FS includes four fisheye cameras C1 to C4 in order to monitor the vehicle periphery without omission. The four fisheye cameras C1 to C4 are respectively installed on the right side, left side, front side, and rear side of the vehicle body. The fish-eye cameras C1 to C4 have a fish-eye lens and a CCD camera and take a fish-eye image. As the fisheye lens, a fisheye conversion lens having a field of view larger than a hemisphere can be used.

魚眼カメラＣ１は、車体の右側面Ｅ１より外側の領域を視野領域に入れることができるので、物体に遮蔽されることなく、車両Ｇ右側の車線Ｈを視野領域に入れることができる。この車線Ｈとは、路面上において車の走行領域の境界を示し、走行方向に沿って路面上に描かれた白線又は黄線である。車線Ｈは、路面上において、２つの輪郭線Ｈ１，Ｈ２に挟まれた領域上にある。   Since the fisheye camera C1 can put the region outside the right side E1 of the vehicle body into the visual field region, the lane H on the right side of the vehicle G can be put into the visual field region without being blocked by an object. The lane H is a white line or a yellow line drawn on the road surface along the traveling direction, indicating the boundary of the traveling region of the vehicle on the road surface. The lane H is on an area between the two contour lines H1 and H2 on the road surface.

魚眼カメラＣ２は、車体の左側面Ｅ２より外側の領域を視野領域に入れることができるので、物体に遮蔽されることなく、車両Ｇ左側の車線を視野領域に入れることができる。なお、フロント側に搭載された魚眼カメラＣ３は、図１に示す面Ｅ３より前方の領域を視野領域に入れることができ、リア側に搭載された魚眼カメラＣ４は、面Ｅ４より後方の領域を視野領域に入れることができる。   Since the fisheye camera C2 can put the region outside the left side E2 of the vehicle body into the visual field region, the lane on the left side of the vehicle G can be put into the visual field region without being blocked by an object. Note that the fisheye camera C3 mounted on the front side can put the area in front of the plane E3 shown in FIG. 1 in the visual field area, and the fisheye camera C4 mounted on the rear side is behind the plane E4. An area can be placed in the viewing area.

図３に示すように、車線検出装置Ｓ１は、車両Ｇのサイドにそれぞれ設置された魚眼カメラＣ１，Ｃ２と、解析装置１０と、を備え、この魚眼カメラＣ１，Ｃ２によって取得した魚眼画像から車両Ｇ周囲の車線を検出する。   As shown in FIG. 3, the lane detection device S1 includes fisheye cameras C1 and C2 installed on the sides of the vehicle G, and an analysis device 10, and the fisheye acquired by the fisheye cameras C1 and C2. A lane around the vehicle G is detected from the image.

解析装置１０は、機能的な構成要素として、画像入力部１１、特徴点抽出部１２、消失点推定部１３、車線方向算出部１４、車線検出部１５、出力部１６を備えて構成される。車線検出部１５は、ハフ変換部１５ａと再フィット部１５ｂとを有する。解析装置１０は、ハードウェアとして、ＣＰＵ及びメモリ等を備えて、画像入力部１１、特徴点抽出部１２、消失点推定部１３、車線方向算出部１４、車線検出部１５、出力部１６の各機能を実現する。   The analysis device 10 includes an image input unit 11, a feature point extraction unit 12, a vanishing point estimation unit 13, a lane direction calculation unit 14, a lane detection unit 15, and an output unit 16 as functional components. The lane detection unit 15 includes a Hough conversion unit 15a and a refit unit 15b. The analysis apparatus 10 includes a CPU and a memory as hardware, and includes an image input unit 11, a feature point extraction unit 12, a vanishing point estimation unit 13, a lane direction calculation unit 14, a lane detection unit 15, and an output unit 16. Realize the function.

図４を参照して、魚眼カメラＣ１によって取得された魚眼画像から車両Ｇ右側の車線Ｈを検出する場合を例として、車線検出装置Ｓ１の概要について説明する。車線検出装置Ｓ１では、車両Ｇの走行中に、一定間隔で魚眼カメラＣ１が魚眼画像を取得する（画像取得ステップＳ１１）。解析装置１０の画像入力部１１は、魚眼カメラＣ１から出力された魚眼画像を逐次入力する（画像入力ステップＳ１２）。特徴点抽出部１２は、画像入力部１１が入力した魚眼画像から特徴点を抽出する（特徴点抽出ステップＳ１３）。   With reference to FIG. 4, the outline of the lane detection device S <b> 1 will be described by taking as an example the case where the lane H on the right side of the vehicle G is detected from the fisheye image acquired by the fisheye camera C <b> 1. In the lane detection device S1, the fisheye camera C1 acquires fisheye images at regular intervals while the vehicle G is traveling (image acquisition step S11). The image input unit 11 of the analysis apparatus 10 sequentially inputs the fisheye images output from the fisheye camera C1 (image input step S12). The feature point extraction unit 12 extracts feature points from the fisheye image input by the image input unit 11 (feature point extraction step S13).

消失点推定部１３は、特徴点抽出部１２が抽出した特徴点から魚眼画像の消失点を推定する（消失点推定ステップＳ１４）。車線方向算出部１４は、消失点推定部１３が推定した消失点を利用して車線Ｈの方向ベクトルを算出する（車線方向算出ステップＳ１５）。車線検出部１５は、車線方向算出部１４が算出した車線Ｈの方向ベクトルと、特徴点抽出部１２が抽出した特徴点とを用いて車線Ｈを検出する（車線検出ステップＳ１６）。このようにして検出した車線Ｈは、出力部１６によって、運転支援装置等に出力される。   The vanishing point estimation unit 13 estimates the vanishing point of the fisheye image from the feature points extracted by the feature point extraction unit 12 (vanishing point estimation step S14). The lane direction calculation unit 14 calculates the direction vector of the lane H using the vanishing point estimated by the vanishing point estimation unit 13 (lane direction calculation step S15). The lane detection unit 15 detects the lane H using the direction vector of the lane H calculated by the lane direction calculation unit 14 and the feature points extracted by the feature point extraction unit 12 (lane detection step S16). The lane H detected in this way is output by the output unit 16 to a driving support device or the like.

引き続いて、より詳細に車線検出方法を説明する。   Subsequently, the lane detection method will be described in more detail.

図５は、画像取得ステップＳ１１において取得した魚眼画像を示す。魚眼カメラＣ１は、車両Ｇの走行中に所定の時間間隔で撮像する。これにより、車体の前後方向、すなわち、路面と平行な方向に並んだ複数の視点から得られる一連の魚眼画像を取得することができる。魚眼カメラＣ１の撮像間隔は、ステレオ法を用いて消失点を推定するために、連続する２つの魚眼画像が、一部が重なる視野領域を有するように設定する。図５（ａ）と図５（ｂ）とは、連続する１対の魚眼画像である。   FIG. 5 shows the fisheye image acquired in the image acquisition step S11. The fisheye camera C1 captures images at predetermined time intervals while the vehicle G is traveling. Thereby, a series of fisheye images obtained from a plurality of viewpoints arranged in the front-rear direction of the vehicle body, that is, in a direction parallel to the road surface can be acquired. In order to estimate the vanishing point using the stereo method, the imaging interval of the fisheye camera C1 is set so that two consecutive fisheye images have a visual field region that partially overlaps. FIG. 5A and FIG. 5B are a pair of continuous fisheye images.

特徴点抽出ステップＳ１３では、まず、魚眼画像に含まれるインタレース効果を除去する。インタレース効果を除去する際には、車線Ｈの特徴点の数を減らさないようにするために、高さ方向を半分にした横長のインタレース効果除去画像を用いる。このインタレース除去画像からエッジ点を特徴点２０として抽出する（図６）。   In the feature point extraction step S13, first, the interlace effect included in the fisheye image is removed. When removing the interlace effect, in order not to reduce the number of feature points of the lane H, a horizontally long interlace effect removed image in which the height direction is halved is used. Edge points are extracted as feature points 20 from the deinterlaced image (FIG. 6).

そして、ハリス・コーナ・ディテクターを用いて、抽出した特徴点２０からコーナーを示す特徴点２１を抽出する（図７）。なお、図６（ａ）と図７（ａ）とは、図５（ａ）の魚眼画像から抽出した特徴点２０，２１をそれぞれ示し、図６（ｂ）と図７（ｂ）とは、図５（ｂ）の魚眼画像から抽出した特徴点２０，２１をそれぞれ示している。   Then, a feature point 21 indicating a corner is extracted from the extracted feature points 20 using a Harris corner detector (FIG. 7). 6 (a) and 7 (a) show the feature points 20 and 21 extracted from the fisheye image of FIG. 5 (a), respectively, and FIGS. 6 (b) and 7 (b) The feature points 20 and 21 extracted from the fisheye image of FIG.

消失点推定ステップ１４では、球面ステレオ法を用いて消失点の推定を行う。球面ステレオ法は、魚眼画像を球面に投影して得られた球面画像を用いる。図８を参照して球面画像について説明する。魚眼カメラＣ１が有する魚眼レンズの光軸をＺ軸とし、魚眼レンズの主点Ｏを通りＺ軸に直交する平面をＸＹ平面とする。球面画像とは、この３次元直交座標系ＸＹＺで示される実空間上の点Ｐを、主点Ｏを中心とする単位球面上に射影してできる画像である。   In the vanishing point estimation step 14, vanishing points are estimated using the spherical stereo method. The spherical stereo method uses a spherical image obtained by projecting a fisheye image onto a spherical surface. A spherical image will be described with reference to FIG. The optical axis of the fisheye lens of the fisheye camera C1 is taken as the Z axis, and the plane passing through the principal point O of the fisheye lens and perpendicular to the Z axis is taken as the XY plane. The spherical image is an image formed by projecting a point P in the real space indicated by the three-dimensional orthogonal coordinate system XYZ onto a unit sphere having the principal point O as the center.

また、Ｚ軸上において、主点Ｏから焦点距離ｆだけ離れた点ｃは、Ｚ軸と直交する魚眼画像の中心点ｃに対応する。この中心点ｃを通り、Ｚ軸と直交する平面をｘｙ平面とする。魚眼画像は、魚眼レンズにより、実空間の点Ｐをｘｙ平面に射影してできる画像である。   On the Z axis, a point c that is separated from the principal point O by the focal length f corresponds to the center point c of the fisheye image that is orthogonal to the Z axis. A plane that passes through the center point c and is orthogonal to the Z axis is defined as an xy plane. The fisheye image is an image formed by projecting a point P in the real space onto the xy plane with a fisheye lens.

天頂角をθ、方位角をφとすると、実空間の点Ｐから投影される球面画像上の点ｐと魚眼画上の点ｐaとの関係は、等距離射影式（１）から得られる。

よって、球面画像上の点ｐの座標は、次のように示される。
The zenith angle theta, when the azimuth angle phi, the relationship between the point p a on p and Sakanamega point on sphere image projected from the point P in the real space, from equidistant projection formula (1) It is done.

Therefore, the coordinates of the point p on the spherical image are shown as follows.

引き続いて、図９を参照して消失点について説明する。消失点とは、３次元空間で平行な直線群の収束点（無限遠で交わる点）である。３次元空間で平行な直線群を球面に射影すると、それぞれ球の大円の一部を成す。この大円の交点が消失点Ｖ１，Ｖ２である。１８０度以上の視野角を持つ魚眼カメラＣ１は、消失点を２点同時に捉えることができる。車線Ｈは直線であるため、魚眼カメラＣ１によって、車線Ｈの２点の消失点を捉えることができる。この２点の消失点Ｖ１，Ｖ２を結ぶ直線の方向ベクトルが、車線Ｈの方向ベクトルｎνとなる。車線Ｈの方向ベクトルｎνを最初に推定することにより、魚眼画像上の特徴点２１を含むエッジ点から車線Ｈを容易に検出することができる。 Subsequently, the vanishing point will be described with reference to FIG. A vanishing point is a convergence point (a point intersecting at infinity) of a group of straight lines parallel in a three-dimensional space. When a group of straight lines parallel to each other in a three-dimensional space is projected onto a spherical surface, each forms a part of a great circle of a sphere. The intersections of these great circles are vanishing points V1 and V2. The fisheye camera C1 having a viewing angle of 180 degrees or more can capture two vanishing points at the same time. Since the lane H is a straight line, the two vanishing points of the lane H can be captured by the fisheye camera C1. The direction vector of the straight line connecting the two vanishing points V1 and V2 becomes the direction vector n v of the lane H. By first estimating the direction vector n v of the lane H, the lane H can be easily detected from the edge point including the feature point 21 on the fisheye image.

図１０に示すように、車両Ｇは、車線Ｈに沿って走行するので、車線の向きとカメラの移動方向は同じである。このため、連続する一対の魚眼画像のエピポール対と２つの消失点Ｖ１，Ｖ２が重なる。エピポール対の位置を算出してこのエピポール対の位置を消失点Ｖ１，Ｖ２の位置と仮定して、消失点の座標から車線Ｈの方向ベクトルｎνを求める。 As shown in FIG. 10, since the vehicle G travels along the lane H, the direction of the lane and the moving direction of the camera are the same. For this reason, the epipole pair of a pair of continuous fisheye images and the two vanishing points V1, V2 overlap. The position of the epipole pair is calculated and the position of the epipole pair is assumed to be the positions of vanishing points V1 and V2, and the direction vector n v of the lane H is obtained from the coordinates of the vanishing points.

図１１を参照して、このエピポール対２４について説明する。２つの視点から空間上の点Ｍを見ているとすると、その２つの視点は、エピポーラ平面２２にある。この２つの視点とは、一対の魚眼画像のそれぞれに対応する球面空間の原点Ｏである。エピポーラ平面２２とそれぞれの球面画像（単位球）の交線は、エピポーラ線２３である。球面ステレオ法では、全てのエピポーラ線２３は２点で交わり、この２点をエピポール対２４という。   The epipole pair 24 will be described with reference to FIG. If the point M in the space is viewed from two viewpoints, the two viewpoints are on the epipolar plane 22. These two viewpoints are the origin O of the spherical space corresponding to each of a pair of fisheye images. An intersection line between the epipolar plane 22 and each spherical image (unit sphere) is an epipolar line 23. In the spherical stereo method, all epipolar lines 23 intersect at two points, and these two points are referred to as an epipole pair 24.

エピポーラ幾何では、基礎行列Ｆが決まれば、一意にエピポールの位置が決まる。基礎行列Ｆは、一対の球面画像上のそれぞれの投影点を投影点ｍ，ｍ’とすると、式（３）に示すエピポーラ方程式で定義される。

基礎行列Ｆは、８点以上の投影点のペアを算出して、８点アルゴリズムで推定できる。精度を高めるために、評価関数が閾値以下になるまで計算を繰り返すRANSAC法で基礎行列Ｆを推定する。 In epipolar geometry, once the basic matrix F is determined, the position of the epipole is uniquely determined. The basic matrix F is defined by an epipolar equation shown in Expression (3), where projection points m and m ′ are projection points on a pair of spherical images.

The basic matrix F can be estimated by an eight-point algorithm by calculating a pair of eight or more projection points. In order to increase the accuracy, the basic matrix F is estimated by the RANSAC method that repeats the calculation until the evaluation function becomes equal to or less than the threshold value.

RANSAC法は、以下の通りである。
ステップ１：特徴点集合から8点以上の対応点を取得。
ステップ２：取得した対応点から基礎行列を推定。
ステップ３：もし，評価関数が閾値以下なら終了。それ以外ならステップ1に戻る。 The RANSAC method is as follows.
Step 1: Obtain 8 or more corresponding points from the feature point set.
Step 2: A basic matrix is estimated from the acquired corresponding points.
Step 3: If the evaluation function is less than or equal to the threshold value, the process ends. Otherwise, go back to step 1.

RANSAC法で基礎行列Ｆを推定した後、使用した特徴点とエピポーラ線とのユークリッド距離が0になることを利用した評価関数を立て、これが閾値以下の値になれば、その基礎行列を採用する。評価関数は以下の式（４）で表される。

ただし、Fm’=(l1i l2i l3i)T、FT mi=(l’1i l’2i l’3i)Tである。 After estimating the basic matrix F by the RANSAC method, an evaluation function is created that uses the Euclidean distance between the used feature points and the epipolar line to be 0, and if this is less than the threshold value, the basic matrix is adopted. . The evaluation function is expressed by the following formula (4).

Where Fm '= (l 1i l 2i l 3i ) T , F T m i = (l ' 1i l ′ 2i l ′ 3i ) T

以上の手順で、基礎行列Ｆを推定し、推定した基礎行列Ｆからエピポール対を算出する。そして、算出したエピポール対の位置を２つの消失点とする。図１２は、魚眼画像上の消失点Ｖ１，Ｖ２を示す。車線方向算出ステップＳ１５では、この消失点Ｖ１，Ｖ２の座標から２つの消失点Ｖ１，Ｖ２を結ぶ直線の方向ベクトルを算出し、算出した方向ベクトルを車線Ｈの方向ベクトルｎνとする。 The basic matrix F is estimated by the above procedure, and an epipole pair is calculated from the estimated basic matrix F. The calculated positions of the epipole pair are set as two vanishing points. FIG. 12 shows vanishing points V1 and V2 on the fisheye image. In the lane direction calculating step S15, a direction vector of a straight line connecting the two vanishing points V1, V2 is calculated from the coordinates of the vanishing points V1, V2, and the calculated direction vector is set as a direction vector n v of the lane H.

車線検出ステップＳ１６では、１つの魚眼画像から、路面上に車線Ｈの描かれた領域を画成する２つの輪郭線Ｈ１，Ｈ２を検出することにより、車線Ｈを検出する。２つの輪郭線Ｈ１，Ｈ２を区別して検出するために、上向きの勾配を持つエッジ点（特徴点２０）と下向きの勾配を持つエッジ点（特徴点２０）との２つのグループに特徴点２０を分ける。図１３（ａ）と図１３（ｂ）は、２つのグループのエッジ点を示す。図１３（ａ）に示されるエッジ点（特徴点２０）を用いて、車線Ｈの下側の輪郭線Ｈ１を検出し、図１３（ｂ）に示されるエッジ点を用いて、車線Ｈの上側の輪郭線Ｈ２を検出する。   In the lane detection step S16, the lane H is detected by detecting two contour lines H1 and H2 that define a region where the lane H is drawn on the road surface from one fisheye image. In order to distinguish and detect the two contour lines H1 and H2, the feature points 20 are divided into two groups of an edge point having an upward gradient (feature point 20) and an edge point having a downward gradient (feature point 20). Divide. FIG. 13A and FIG. 13B show two groups of edge points. The lower contour line H1 of the lane H is detected using the edge point (feature point 20) shown in FIG. 13A, and the upper side of the lane H is detected using the edge point shown in FIG. The contour line H2 is detected.

輪郭線Ｈ１，Ｈ２の検出は、球面空間ハフ変換を用いて行う。ハフ変換部１５ａがこの球面空間ハフ変換を行う。ここで球面空間ハフ変換について説明する。図１４に示すように、球面上に投影された直線は、大円の一部となる。この大円は、大円を含む平面の法線によって一意に決定することができる。すなわち、魚眼画像上の輪郭線Ｈ１，Ｈ２は、球面画像上に射影された大円の法線を特定することにより、決定できる。よって、球面空間ハフ変換では、球面空間上の任意の点（Ｘ Ｙ Ｚ）を通る大円の法線群の描く軌跡を投票空間に描画し、それらの描く軌跡が最も多く交差する点が、大円の法線に対応すると推定する。   The contour lines H1 and H2 are detected using spherical space Hough transform. The Hough transform unit 15a performs this spherical space Hough transform. Here, the spherical space Hough transform will be described. As shown in FIG. 14, the straight line projected on the spherical surface becomes a part of a great circle. This great circle can be uniquely determined by the normal of the plane containing the great circle. That is, the contour lines H1 and H2 on the fisheye image can be determined by specifying the normal line of the great circle projected on the spherical image. Therefore, in the spherical space Hough transform, a trajectory drawn by a normal group of great circles passing through an arbitrary point (XYZ) in the spherical space is drawn in the voting space, and the points where the drawn trajectories intersect most often are Presumed to correspond to the normal of the great circle.

以下、輪郭線Ｈ１を検出する場合について説明する。球面空間上に投影された輪郭線Ｈ１を含む大円の法線ベクトルは、輪郭線Ｈ１上の点Ｐの球面空間への投影点を点ｐsとすると、車線Ｈの方向ベクトルｎνとベクトルｐsとの外積によって表される。よって、大円は、式（５）によって表される。
Hereinafter, the case where the outline H1 is detected will be described. The normal vector of the great circle including the contour line H1 projected on the spherical space is the vector of the direction vector n v of the lane H, where the projection point of the point P on the contour line H1 onto the spherical space is the point p s. It is represented by the outer product with p s . Therefore, the great circle is expressed by the equation (5).

引き続いて、本実施形態に係る球面空間ハフ変換のアルゴリズムを説明する。
ステップ１：車線Ｈの方向ベクトルｎνとベクトルｐsとの外積を計算する。
ステップ２：車線Ｈの方向ベクトルｎνとベクトルｐsとの外積ベクトルの球面空間における極座標（θ，φ）を計算する。
ステップ３：ステップ２で算出した極座標（θ，φ）の位置で、投票１を加算する。
ステップ４：すべてのエッジ点に対して、上記のステップ１−３を行い、投票を行う。 Subsequently, a spherical space Hough transform algorithm according to this embodiment will be described.
Step 1: Calculate the outer product of the direction vector n v of the lane H and the vector p s .
Step 2: The polar coordinates (θ, φ) in the spherical space of the outer product vector of the direction vector n v of the lane H and the vector p s are calculated.
Step 3: Vote 1 is added at the position of polar coordinates (θ, φ) calculated in Step 2.
Step 4: For all edge points, perform the above-mentioned step 1-3 and vote.

同じ輪郭線のエッジ点であれば、その輪郭線を含む投影面が同じなので、共通な投影面の法線ベクトルを有する。よって、上記の投票値の最大値を車線の輪郭線候補の投影面の法線ベクトルとして用いることができる。   Since edge points of the same contour line have the same projection plane including the contour line, they have a common normal vector of the projection plane. Therefore, the maximum value of the voting value can be used as the normal vector of the projection plane of the lane outline candidate.

図１５は、投票結果を示す。図１６は、大円の推定結果を示す。図１５（ａ）と図１６（ａ）とは、図１３（ａ）のエッジ点を用いて算出した結果である。図１５（ｂ）と図１６（ｂ）とは、図１３（ｂ）のエッジ点を用いて算出した結果である。図１６（ａ）に示すように、推定された大円は７つあり、正しく推定された３つの曲線２５と、誤って推定された４つの曲線２６とを含む。なお、正しく推定された３つの曲線２５は、３つの車線Ｈの下側の輪郭線Ｈ１にフィットしている。   FIG. 15 shows the voting results. FIG. 16 shows the estimation result of the great circle. FIG. 15A and FIG. 16A show the results calculated using the edge points in FIG. FIGS. 15B and 16B show the results calculated using the edge points in FIG. 13B. As shown in FIG. 16 (a), there are seven estimated great circles, including three correctly estimated curves 25 and four incorrectly estimated curves 26. In addition, the three curves 25 correctly estimated are fitted to the lower contour line H1 of the three lanes H.

一方、図１６（ｂ）に示すように、推定された大円は６つあり、正しく推定された４つの曲線２７と、誤って推定された２つの曲線２８とを含む。なお、正しく推定された４つの曲線２７は、４つの車線Ｈの上側の輪郭線Ｈ２にフィットしている。   On the other hand, as shown in FIG. 16B, there are six estimated great circles, including four correctly estimated curves 27 and two incorrectly estimated curves 28. In addition, the four curves 27 estimated correctly are fitted to the upper contour line H2 of the four lanes H.

このように、誤りが生じる理由は、用いたエッジ点が車線Ｈ上だけでなく、建物や木などにも存在するためである。よって、車線輪郭上のエッジ点を探索し、車線上のエッジ点のみを扱うようにする。また、もう一つの理由は、方向ベクトルｎνの誤差によるものである。算出したエピポール対２４が直線車線の球面画像への消失点Ｖ１，Ｖ２に重ならない場合、方向ベクトルｎνの精度が低下する。基礎行列Ｆを推定する際に用いた特徴点２１の対応付けが誤っている場合、算出したエピポール対２４が直線車線の球面画像への消失点Ｖ１，Ｖ２に重ならない。そのため、方向ベクトルｎνの精度に影響を受けない方法で、再フィット部１５ｂが、推定した曲線の再フィッティングを行う。 Thus, the reason why the error occurs is that the used edge point exists not only on the lane H but also on a building, a tree, or the like. Therefore, the edge point on the lane contour is searched and only the edge point on the lane is handled. Another reason is due to an error in the direction vector n v . When the calculated epipole pair 24 does not overlap with the vanishing points V1 and V2 on the spherical image of the straight lane, the accuracy of the direction vector n v decreases. When the correspondence of the feature points 21 used when estimating the basic matrix F is incorrect, the calculated epipole pair 24 does not overlap the vanishing points V1 and V2 to the spherical image of the straight lane. Therefore, the refit unit 15b refits the estimated curve by a method that is not affected by the accuracy of the direction vector n v .

以下の方法を繰り返すことで再フィッティングしていく。
ステップ１：検出した車線輪郭（曲線）上とその周辺の画素を探索する。この探索は、周辺にあるエッジ点を式（６）で判別することにより行う。式（６）において、εは許容誤差範囲、ベクトルnｄは大円（投影曲線）の法線ベクトルである。

ステップ２：ステップ１で探索したエッジ点がある場合、エッジ点の勾配方向を示すベクトルと曲線を含む大円の法線ベクトルとの内積値を計算する。
ステップ３：内積値が閾値以上のエッジ点群から最小二乗法で新たな車線輪郭をフィッティングする。 Refit by repeating the following method.
Step 1: Search for pixels on and around the detected lane contour (curve). This search is performed by discriminating edge points in the vicinity using Equation (6). In Expression (6), ε is an allowable error range, and vector n d is a normal vector of a great circle (projection curve).

Step 2: When there is an edge point searched in Step 1, an inner product value of a vector indicating the gradient direction of the edge point and a normal vector of a great circle including a curve is calculated.
Step 3: Fitting a new lane contour by the least square method from a group of edge points whose inner product value is equal to or greater than a threshold value.

図１７は、図１６（ａ）に示す７つの曲線に再フィッティングを施して得た輪郭線Ｈ１の検出結果である。輪郭線Ｈ１として、３つの曲線２９が検出されている。図１８は、図１６（ｂ）に示す６つの曲線に再フィッティングを施して得た輪郭線Ｈ２の検出結果である。輪郭線Ｈ２として、４つの曲線３０が検出されている。   FIG. 17 shows the detection result of the contour line H1 obtained by re-fitting the seven curves shown in FIG. Three curves 29 are detected as the contour line H1. FIG. 18 shows the detection result of the contour line H2 obtained by re-fitting the six curves shown in FIG. Four curves 30 are detected as the contour line H2.

次に、車線Ｈを検出するために、勾配方向が異なるエッジ点を通る曲線対で、それらの球面画像上での大円の法線の方向がほぼ同じ曲線対を同一車線Ｈ上の上下の輪郭線Ｈ１，Ｈ２を通る投影曲線であるとみなす。図１９は、３対の曲線対３１〜３３を示す。そして、１対の曲線（１対の輪郭線Ｈ１，Ｈ２）で囲まれた領域を車線Ｈとして検出する。図２０は、検出された車線３４〜３６を示す。図２０に示すように、誤り無く、３つの車線Ｈが検出されている。   Next, in order to detect the lane H, a pair of curves passing through edge points having different gradient directions, and a pair of curves whose normal directions of the great circles on the spherical images are substantially the same are The projected curve passes through the contour lines H1 and H2. FIG. 19 shows three pairs of curves 31-33. Then, an area surrounded by a pair of curves (a pair of contour lines H1, H2) is detected as a lane H. FIG. 20 shows the detected lanes 34-36. As shown in FIG. 20, three lanes H are detected without error.

引き続いて、本実施形態にかかる車線検出プログラム、および、この車線検出プログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に記録媒体という）について説明する。記録媒体のプログラムを記録するプログラム領域には、車線検出プログラムが記録されている。この車線検出プログラムは、処理を統括するメインモジュールと、コンピュータに、上記の画像入力ステップＳ１２、特徴点抽出ステップＳ１３、消失点推定ステップＳ１４、車線方向算出ステップＳ１５、車線検出ステップＳ１６を実行させるためのモジュールを備えている。   Subsequently, a lane detection program according to the present embodiment and a computer-readable recording medium (hereinafter simply referred to as a recording medium) on which the lane detection program is recorded will be described. A lane detection program is recorded in the program area for recording the program of the recording medium. This lane detection program causes a main module that controls processing and a computer to execute the image input step S12, the feature point extraction step S13, the vanishing point estimation step S14, the lane direction calculation step S15, and the lane detection step S16. It has a module.

最後に本実施形態に係る車線検出装置Ｓ１及びこの車線検出装置Ｓ１において実行される車線検出方法の作用効果について説明する。車線検出装置Ｓ１では、車体の側面側から見た魚眼画像を入力するので、入力した画像の視野領域に対して、より長い車線Ｈが写った画像を取得することができる。このため、車線Ｈの検出結果の誤差を小さくすることができる。また、魚眼画像により、車体の前後方向の２つの消失点Ｖ１，Ｖ２を１つの画像内にとらえることができる。このため、魚眼画像の特徴点２０に基づいて、２つの消失点Ｖ１，Ｖ２を推定することができる。そして、車線Ｈは、車体の前後方向に延びているので、２つの消失点Ｖ１，Ｖ２から車線Ｈの方向ベクトルｎνを算出することができる。車線Ｈの方向ベクトルｎνを用いることにより、魚眼画像の特徴点２０から誤差を抑制し且つ容易に車線Ｈを検出することができる。従って、車線Ｈの検出性能を向上することができる。 Finally, effects of the lane detection device S1 according to the present embodiment and the lane detection method executed in the lane detection device S1 will be described. In the lane detection device S1, a fisheye image viewed from the side of the vehicle body is input, so that an image showing a longer lane H can be acquired in the field of view of the input image. For this reason, the error of the detection result of the lane H can be made small. Further, two vanishing points V1 and V2 in the front-rear direction of the vehicle body can be captured in one image by the fish-eye image. For this reason, two vanishing points V1 and V2 can be estimated based on the feature point 20 of the fisheye image. Since the lane H extends in the front-rear direction of the vehicle body, the direction vector n v of the lane H can be calculated from the two vanishing points V1 and V2. By using the direction vector n v of the lane H, it is possible to suppress the error from the feature point 20 of the fisheye image and easily detect the lane H. Therefore, the detection performance of the lane H can be improved.

また、車線検出装置Ｓ１では、球面ステレオ法を用いて、消失点を推定する。すなわち、車体の前後方向に並んだ２つの視点から得られると共に、一部が重なる視野領域を有する２つの魚眼画像を入力し、２つの魚眼画像それぞれから特徴点を抽出し、２つの魚眼画像において対応する特徴点を用いて、魚眼画像におけるエピポーラ対を推定し、当該推定したエピポーラ対を消失点と推定する。このように、エピポーラ対を２つの消失点とするので、より簡易に消失点を推定することが可能となり、車線Ｈの検出をより容易にすることができる。   In the lane detector S1, the vanishing point is estimated using the spherical stereo method. That is, two fisheye images that are obtained from two viewpoints arranged in the front-rear direction of the vehicle body and that partially have a visual field region are input, and feature points are extracted from each of the two fisheye images, and two fish Using the corresponding feature point in the eye image, the epipolar pair in the fisheye image is estimated, and the estimated epipolar pair is estimated as the vanishing point. Thus, since the epipolar pair is set to two vanishing points, the vanishing point can be estimated more easily and the lane H can be detected more easily.

また、車線検出装置Ｓ１は、２つの魚眼画像を異なるタイミングでそれぞれ取得する魚眼カメラＣ１を備え、解析装置１０は、魚眼カメラＣ１によって取得された２つの魚眼画像を入力する。車両Ｇは、車線Ｈに沿って走行するので、１台の魚眼カメラＣ１によってタイミングをずらして２つの魚眼画像を取得することにより、車体の前後方向に並んだ２つの視点から得られると共に、一部が重なる視野領域を有する２つの魚眼画像を得ることができる。このため、２台の魚眼カメラから画像を入力する必要がなくなる。よって、構成を簡易にすることができる。また、２台の魚眼カメラから画像を入力する場合より、２つの魚眼画像の視点の並び方向を、車体の前後方向に精度良く合わせることができる。   The lane detection device S1 includes a fisheye camera C1 that acquires two fisheye images at different timings, and the analysis device 10 inputs the two fisheye images acquired by the fisheye camera C1. Since the vehicle G travels along the lane H, it can be obtained from two viewpoints aligned in the front-rear direction of the vehicle body by acquiring two fisheye images at different timings by one fisheye camera C1. , Two fisheye images having partially overlapping visual field regions can be obtained. This eliminates the need to input images from two fisheye cameras. Therefore, the configuration can be simplified. In addition, when the images are input from the two fisheye cameras, the alignment direction of the viewpoints of the two fisheye images can be accurately adjusted to the longitudinal direction of the vehicle body.

また、一般的にピンホールカメラで取得した画像から車線を検出する手法は、魚眼画像に用いることができない。車線検出装置Ｓ１では、魚眼画像の特徴点２０を球面空間に射影して球面空間におけるハフ変換を行うことにより車線を検出する。これにより、魚眼画像を用いた場合であっても、誤差を抑制して車線Ｈの検出を行うことができる。   In general, a method of detecting a lane from an image acquired by a pinhole camera cannot be used for a fisheye image. In the lane detection device S1, the lane is detected by projecting the feature point 20 of the fisheye image onto the spherical space and performing the Hough transform in the spherical space. Thereby, even if it is a case where a fisheye image is used, the error can be suppressed and the lane H can be detected.

また、車線検出装置Ｓ１では、ハフ変換を行うための投票空間をθφ平面とし、球面空間に射影された特徴点を通る曲線を、当該曲線を含む平面の法線ベクトルを用いて検出する。この場合、投票空間を２次元平面にするので、投票空間を３次元空間にする場合より計算量を少なくすることができ、車線を早く検出することができる。また、一般的には、投票空間を２次元空間にすることで、３次元空間にする場合より誤差が大きくなる。θφ平面においては、極点に行くに従って誤差が大きくなるが、極点を法線とする平面上の曲線は、魚眼画像の枠と重なるため、車線検出にあたっては、誤差の影響が少ない。従って、計算量を少なくすると共に、誤差の増大を抑制することができる。   Further, in the lane detection device S1, the voting space for performing the Hough transform is the θφ plane, and a curve passing through the feature point projected onto the spherical space is detected using a normal vector of the plane including the curve. In this case, since the voting space is a two-dimensional plane, the amount of calculation can be reduced and the lane can be detected earlier than when the voting space is a three-dimensional space. Also, in general, making the voting space a two-dimensional space results in a larger error than when making a three-dimensional space. On the θφ plane, the error increases as it goes to the extreme point, but the curve on the plane with the extreme point as a normal line overlaps the frame of the fisheye image, so that the influence of the error is small in detecting the lane. Therefore, it is possible to reduce the amount of calculation and suppress an increase in error.

図２１〜図２４に、第１実施形態に係る車線検出装置Ｓ１によって検出した検出結果を示す。図２１に示す実施例では、６つの境界線が検出されている。図２２に示す実施例では、８つの境界線が検出されている。図２３に示す実施例では、６つの境界線が検出されている。図２４に示す実施例では、６つの境界線が検出されている。なお、以上説明した検出結果は、魚眼カメラＣ１として、オリンパス製の魚眼コンバージョンレンズ(FCON-2)を搭載したソニー製のデジタルハンディカムビデオカメラを用い、解析装置１０として、上記車線検出プログラムを搭載したデル製のノートパーソナルコンピュータを用いて得られたものである。   FIGS. 21 to 24 show detection results detected by the lane detection device S1 according to the first embodiment. In the embodiment shown in FIG. 21, six boundary lines are detected. In the example shown in FIG. 22, eight boundary lines are detected. In the example shown in FIG. 23, six boundary lines are detected. In the embodiment shown in FIG. 24, six boundary lines are detected. The detection results described above are obtained by using a Sony digital handycam video camera equipped with an Olympus fisheye conversion lens (FCON-2) as the fisheye camera C1, and the lane detection program as the analysis device 10. It was obtained using a Dell notebook personal computer.

（第２実施形態）
図２５に示すように、第２実施形態に係る車線検出装置Ｓ２は、魚眼カメラＣ１，Ｃ２と、解析装置４０と、を備える。解析装置４０は、機能的な構成要素として、画像入力部１１、特徴点抽出部１２、消失点推定部１３、車線方向算出部１４、車線検出部４５、出力部１６、車線追跡部４７を備えて構成される。すなわち、第１実施形態に係る車線検出装置Ｓ１と異なる点は、車線検出部１５に変えて異なる手法で車線を検出する車線検出部２５を備える点と、新たに、車線追跡部２７を備えた点である。 (Second Embodiment)
As shown in FIG. 25, the lane detection device S2 according to the second embodiment includes fish-eye cameras C1 and C2 and an analysis device 40. The analysis device 40 includes an image input unit 11, a feature point extraction unit 12, a vanishing point estimation unit 13, a lane direction calculation unit 14, a lane detection unit 45, an output unit 16, and a lane tracking unit 47 as functional components. Configured. That is, the lane detector S1 according to the first embodiment is different from the lane detector S1 in that it includes a lane detector 25 that detects a lane by a different method instead of the lane detector 15, and a lane tracker 27 is newly provided. Is a point.

車線検出装置Ｓ２では、車両Ｇの走行中に、一定間隔で魚眼カメラＣ１が魚眼画像を取得し（画像取得ステップＳ１１）。解析装置４０の画像入力部１１が、魚眼カメラＣ１から出力された魚眼画像を逐次入力する（画像入力ステップＳ１２）。図２６は、解析装置４０が入力した１対のステレオ画像である。   In the lane detector S2, the fisheye camera C1 acquires fisheye images at regular intervals while the vehicle G is traveling (image acquisition step S11). The image input unit 11 of the analysis device 40 sequentially inputs the fisheye images output from the fisheye camera C1 (image input step S12). FIG. 26 is a pair of stereo images input by the analysis device 40.

特徴点抽出部１２は、画像入力部１１が入力した魚眼画像から特徴点を抽出する（特徴点抽出ステップＳ１３）。まず、図２７に示すインタレース除去用の画像を生成し、このインタレース除去画像から、特徴点（エッジ点）を抽出して図２８に示すエッジ画像を生成する。エッジ画像を生成する際には、魚眼画像の周りと、画像上に写りこんでいる車両の一部をエッジ点として抽出しないようにする。   The feature point extraction unit 12 extracts feature points from the fisheye image input by the image input unit 11 (feature point extraction step S13). First, an image for deinterlacing shown in FIG. 27 is generated, and feature points (edge points) are extracted from the deinterlaced image to generate an edge image shown in FIG. When the edge image is generated, the surroundings of the fisheye image and a part of the vehicle reflected on the image are not extracted as edge points.

図２９，図３０に示すように、ハリス・コーナ・ディテクターを用いて、抽出したエッジ点からコーナーを示す特徴点５１を１対のステレオ画像それぞれから抽出する。図２９が、１対のステレオ画像のうち一方の魚眼画像のエッジ点から抽出したコーナー点を示す図である。図３０が、１対のステレオ画像のうち他方の魚眼画像のエッジ点から抽出したコーナー点を示す図である。   As shown in FIGS. 29 and 30, a feature point 51 indicating a corner is extracted from each extracted pair of stereo images using a Harris corner detector. FIG. 29 is a diagram illustrating corner points extracted from the edge points of one fisheye image of a pair of stereo images. FIG. 30 is a diagram illustrating corner points extracted from the edge points of the other fisheye image of the pair of stereo images.

次に、図３１に示すように、消失点推定部１３は、特徴点抽出部１２が抽出した特徴点から魚眼画像のエピポール対５２を推定し、そのエピポール対５２を消失点とする（消失点推定ステップＳ１４）。車線方向算出部１４は、消失点推定部１３が推定した消失点を利用して車線Ｈの方向ベクトルｎνを算出する（車線方向算出ステップＳ１５）。 Next, as shown in FIG. 31, the vanishing point estimation unit 13 estimates the epipole pair 52 of the fisheye image from the feature points extracted by the feature point extraction unit 12, and uses the epipole pair 52 as the vanishing point (disappearance point). Point estimation step S14). The lane direction calculation unit 14 calculates the direction vector n v of the lane H using the vanishing point estimated by the vanishing point estimation unit 13 (lane direction calculation step S15).

車線検出部４５は、車線方向算出部１４が算出した車線Ｈの方向ベクトルと、特徴点抽出部１２が抽出した特徴点とを用いて車線Ｈを検出する（車線検出ステップＳ１６）。車線検出部４５は、最初に輪郭線検出部４５ａが、輪郭線Ｈ１，Ｈ２を検出し、再フィット部４５ｂが上述した再フィット部１５ｂと同様手順で検出した輪郭線Ｈ１，Ｈ２を再フィッティングする。   The lane detection unit 45 detects the lane H using the direction vector of the lane H calculated by the lane direction calculation unit 14 and the feature points extracted by the feature point extraction unit 12 (lane detection step S16). In the lane detection unit 45, the contour detection unit 45a first detects the contours H1 and H2, and the refit unit 45b refits the contours H1 and H2 detected in the same procedure as the above-described refit unit 15b. .

引き続いて、輪郭線検出部４５ａによる輪郭線の検出方法について説明する。ここでは、図３２に示すように、輪郭線検出部４５ａにおいても上述した球面モデルを用いる。   Subsequently, a contour detection method by the contour detector 45a will be described. Here, as shown in FIG. 32, the above-described spherical model is also used in the contour detection unit 45a.

まず、１つの魚眼画像のエッジ点座標と方向ベクトルｎνからなる式(５)を満たす球面画像上の投影平面を計算し、魚眼画像上への投影曲線を車線Ｈ上の輪郭部分を通る曲線候補とする。しかし，このままではエッジ点数分の車線Ｈの輪郭候補を発見することになる。また，エッジ点は車線Ｈ上だけでなく、建物や木などにも存在する。このため、車線輪郭上のエッジ点を探索し、車線上のエッジ点のみを扱うようにする。 First, the projection plane on the spherical image that satisfies the equation (5) consisting of the edge point coordinates of one fisheye image and the direction vector n ν is calculated, and the contour on the lane H is represented as the projection curve on the fisheye image. Let the curve candidate pass. However, if this is the case, contour candidates for the lane H corresponding to the number of edge points will be found. Also, edge points exist not only on the lane H but also on buildings and trees. For this reason, the edge points on the lane contour are searched and only the edge points on the lane are handled.

車線輪郭上のエッジ点を探索するために、まず、球面画像上の投影曲線の各画素での法線を下式（７）から計算する。下式（７）は、球面画像上の点ｐの座標を（ｘ ｙ ｚ）とすると、式（８）から得られる。


投影曲線の法線は式（７）をx，yで偏微分した各成分からなる。エッジ点の勾配はSobelオペレータにより求める。 In order to search for an edge point on the lane outline, first, a normal line at each pixel of the projection curve on the spherical image is calculated from the following equation (7). The following equation (7) is obtained from equation (8), where the coordinates of the point p on the spherical image are (x yz).


The normal line of the projection curve consists of components obtained by partial differentiation of Equation (7) with x and y. The slope of the edge point is obtained by the Sobel operator.

次に、投影曲線とその近傍を探索しエッジ点があった場合、エッジ点の勾配を求める。この法線と勾配との内積を計算し、２つのベクトルがほぼ同じ方向である数が閾値以上存在する投影曲線を算出する。この投影曲線上のエッジ点を輪郭線上のエッジ点とみなす。これにより、多くのエッジ点が存在していても、勾配方向が異なるエッジ点を取り除くことができる。こうして輪郭線上のエッジ点とみなされたエッジ点を図３４に示す。   Next, if there is an edge point by searching the projection curve and its vicinity, the gradient of the edge point is obtained. The inner product of the normal and the gradient is calculated, and a projection curve in which the number of two vectors in substantially the same direction is equal to or greater than a threshold is calculated. The edge point on this projection curve is regarded as the edge point on the contour line. Thereby, even if there are many edge points, edge points having different gradient directions can be removed. FIG. 34 shows edge points thus regarded as edge points on the contour line.

次に、輪郭線上のエッジ点とみなされたエッジ点を用いて、車線の輪郭線を検出する。同一輪郭線上には複数のエッジ点が存在する。図３３は、同一輪郭線上のエッジ点の集合からなる曲線５３を示す。このため、輪郭線上のエッジ点とみなされたエッジ点のうち、１つのエッジ点を用いて投影曲線を計算し、その近傍のエッジ点を上記の式（６）で求める。投影曲線の近傍にあるエッジ点の中で、車線上のエッジ点であるとみなされたエッジ点を同一車線輪郭上に存在するとみなし、これらのエッジ点集合を使い最小二乗法で魚眼画像上の車線輪郭上を通る投影曲線を計算する。   Next, the contour line of the lane is detected using the edge point regarded as the edge point on the contour line. There are a plurality of edge points on the same contour line. FIG. 33 shows a curve 53 made up of a set of edge points on the same contour line. For this reason, the projection curve is calculated using one edge point among the edge points regarded as the edge points on the contour line, and the neighboring edge points are obtained by the above equation (6). Of the edge points in the vicinity of the projected curve, the edge points considered to be edge points on the lane are considered to exist on the same lane outline, and these edge point sets are used to display on the fisheye image using the least square method. Calculate the projected curve that passes over the lane contour.

すなわち、以下の式（９）をラグランジュ乗数法で最小化することで、車線輪郭上を通る投影曲線を計算する。

ここで、正規化のための条件は、a2+b2+c2=1である。また、ベクトルｐは、球面画像上の点pのベクトルであり、ベクトルｎは、投影曲線を含む大円の法線ベクトルである。図３５は、こうして求めた輪郭線の候補５４を示す。 That is, the following equation (9) is minimized by the Lagrangian multiplier method to calculate a projection curve passing through the lane contour.

Here, the condition for normalization is a 2 + b 2 + c 2 = 1. The vector p is a vector of a point p on the spherical image, and the vector n is a normal vector of a great circle including a projection curve. FIG. 35 shows the contour candidate 54 thus obtained.

続いて、輪郭線の候補５４に上述した再フィッティングを施し、車線Ｈの輪郭線を検出する。図３６は、再フィッティングを行った後の輪郭線５５を示す。図３６に示されるように、図３５に示す輪郭線の候補５４より実際の車線Ｈの輪郭線にフィットしていることが分かる。次に、車線Ｈを検出するために、対となる輪郭線を検出する。そして、１対の輪郭線で囲まれた領域を車線Ｈとして検出する。図３７は、検出された車線５６〜５８を示す。   Subsequently, the contour line candidate 54 is subjected to the re-fitting described above, and the contour line of the lane H is detected. FIG. 36 shows the contour 55 after re-fitting. As shown in FIG. 36, it can be seen from the contour candidate 54 shown in FIG. Next, in order to detect the lane H, a pair of contour lines is detected. Then, an area surrounded by a pair of contour lines is detected as a lane H. FIG. 37 shows the detected lanes 56-58.

図３８〜図４０は、図３４〜図３７とは異なる魚眼画像から上記の方法で検出した検出結果を示す。図３８は、輪郭線上のエッジ点とみなされたエッジ点を示す。図３９は、最小二乗法で求めた輪郭線の候補５９を示す。図４０は、再フィッティングを行った後の輪郭線６０を示す。図４０から、実際の車線の輪郭線にフィットした輪郭線を検出できることが分かる。   38 to 40 show detection results detected by the above method from fisheye images different from those shown in FIGS. 34 to 37. FIG. 38 shows edge points considered as edge points on the contour line. FIG. 39 shows contour candidates 59 obtained by the least square method. FIG. 40 shows the contour 60 after re-fitting. It can be seen from FIG. 40 that a contour line fitted to the contour line of the actual lane can be detected.

以上説明したように、車線Ｈの方向ベクトルｎνを用いることにより、容易に魚眼画像から車線を検出することができる。 As described above, by using the directional vector n v of the lane H, the lane can be easily detected from the fisheye image.

引き続いて、車線追跡部４７が行う車線Ｈの追跡について説明する。車線追跡部４７は、前後に撮影された魚眼画像間で、各車線Ｈはほぼ同じ位置に存在することを利用して、車両の走行中に車線を追跡する。すなわち、前画像で検出した車線Ｈを初期値として、上記の再フィッティングを行うことで車線の追跡をする。このようにして行った車線の追跡結果を図４１に示す。図４１に示すように、前画像で検出した車線Ｈを初期値として、上記の再フィッティングを行うことにより、精度よく車線を追跡できると共に、計算を早く行うことができる。   Subsequently, the tracking of the lane H performed by the lane tracking unit 47 will be described. The lane tracking unit 47 tracks the lane while the vehicle is running by using the fact that the lanes H are present at substantially the same position between the fisheye images photographed before and after. That is, the lane is tracked by performing the above-described re-fitting with the lane H detected in the previous image as an initial value. FIG. 41 shows the tracking result of the lane thus obtained. As shown in FIG. 41, by performing the above re-fitting with the lane H detected in the previous image as an initial value, the lane can be tracked with high accuracy and the calculation can be performed quickly.

（第３実施形態）
図４２に示すように、第３実施形態に係る車線検出装置Ｓ３は、魚眼カメラＣ１，Ｃ２と、解析装置７０と、を備える。解析装置７０は、機能的な構成要素として、画像入力部１１、特徴点抽出部１２、車線検出部７３、車線方向算出部７４、停止線方向算出部７５、路面領域検出部７６、出力部１６、姿勢検出部７７を備えて構成される。車線検出部７３は、ハフ変換部７３ａとノイズ除去部７３ｂとを有する。 (Third embodiment)
As shown in FIG. 42, the lane detection device S3 according to the third embodiment includes fish-eye cameras C1 and C2 and an analysis device 70. The analysis device 70 includes, as functional components, an image input unit 11, a feature point extraction unit 12, a lane detection unit 73, a lane direction calculation unit 74, a stop line direction calculation unit 75, a road surface area detection unit 76, and an output unit 16. The posture detecting unit 77 is provided. The lane detection unit 73 includes a Hough conversion unit 73a and a noise removal unit 73b.

図４３を参照して、魚眼カメラＣ１によって取得された魚眼画像から車両Ｇ右側の車線Ｈを検出する場合を例として、車線検出装置Ｓ３の概要について説明する。   With reference to FIG. 43, the outline of the lane detection device S3 will be described by taking as an example the case of detecting the lane H on the right side of the vehicle G from the fisheye image acquired by the fisheye camera C1.

車線検出装置Ｓ３では、車両Ｇの走行中に、一定間隔で魚眼カメラＣ１が魚眼画像を取得する（画像取得ステップＳ２１）。解析装置１０の画像入力部１１は、魚眼カメラＣ１から出力された魚眼画像を逐次入力する（画像入力ステップＳ２２）。特徴点抽出部１２は、画像入力部１１が入力した魚眼画像から特徴点を抽出する（特徴点抽出ステップＳ２３）。車線検出部７３のハフ変換部７３ａが、特徴点抽出部１２が抽出した特徴点を用いて球面空間ハフ変換を行い、輪郭線候補を検出する（ハフ変換ステップＳ２４）。   In the lane detector S3, the fisheye camera C1 acquires fisheye images at regular intervals while the vehicle G is traveling (image acquisition step S21). The image input unit 11 of the analysis apparatus 10 sequentially inputs fisheye images output from the fisheye camera C1 (image input step S22). The feature point extraction unit 12 extracts feature points from the fisheye image input by the image input unit 11 (feature point extraction step S23). The Hough conversion unit 73a of the lane detection unit 73 performs spherical space Hough conversion using the feature points extracted by the feature point extraction unit 12, and detects contour candidates (Hough conversion step S24).

一方、車線方向算出部７４が、特徴点抽出部１２が抽出した特徴点と、ハフ変換部７３ａが検出した輪郭線候補を含む平面の法線ベクトルとを用いて、車線の方向ベクトルを算出する（車線方向算出ステップＳ２５）。そして、停止線方向算出部７５が、車線の方向ベクトルと、輪郭線候補の法線ベクトルとを用いて停止線の方向ベクトルを算出する（停止線方向算出ステップＳ２６）。そして、路面領域検出部７６が、車線方向の消失点と停止線方向の消失点とから、路面の領域を検出する（路面領域検出ステップＳ２７）。   On the other hand, the lane direction calculation unit 74 calculates the lane direction vector using the feature points extracted by the feature point extraction unit 12 and the plane normal vector including the contour candidate detected by the Hough transform unit 73a. (Lane direction calculation step S25). Then, the stop line direction calculation unit 75 calculates the stop line direction vector using the lane direction vector and the normal vector of the contour line candidate (stop line direction calculation step S26). And the road surface area detection part 76 detects the area | region of a road surface from the vanishing point of a lane direction, and the vanishing point of a stop line direction (road surface area detection step S27).

続いて、ノイズ除去部７３ｂが、路面領域検出部７６によって算出された路面の領域に基づいて、ハフ変換部７３ａが検出した輪郭線候補の雑音を除去する（ノイズ除去ステップＳ２８）。これにより、車線検出部７３は、車線の輪郭線を検出し、輪郭線に挟まれた車線を検出することができる（車線検出ステップＳ２９）。このようにして検出した車線は、出力部１６によって、運転支援装置等に出力される。   Subsequently, the noise removing unit 73b removes the noise of the contour line candidate detected by the Hough transform unit 73a based on the road surface area calculated by the road surface area detecting unit 76 (noise removal step S28). Thereby, the lane detection part 73 can detect the outline of a lane, and can detect the lane pinched by the outline (lane detection step S29). The lane detected in this way is output to the driving support device or the like by the output unit 16.

また、姿勢検出部７７は、路面領域検出部７６が検出した路面領域に基づいて、魚眼カメラＣ１の視線方向を検出する。すなわち、魚眼カメラＣ１の姿勢を検出することができ、この情報を解析装置７０の補正に用いることができる。   Further, the posture detection unit 77 detects the line-of-sight direction of the fisheye camera C1 based on the road surface area detected by the road surface area detection unit 76. That is, the posture of the fisheye camera C1 can be detected, and this information can be used for correction of the analysis device 70.

引き続いて、より詳細に車線検出装置Ｓ３における車線検出方法を説明する。第１、第２実施形態と異なる点について主に説明する。   Subsequently, the lane detection method in the lane detection device S3 will be described in more detail. Differences from the first and second embodiments will be mainly described.

図４４は、画像入力ステップＳ２２において解析装置７０が入力した魚眼画像を示す。特徴点抽出ステップＳ２３では、Sobelフィルタを用いて、入力した魚眼画像から、上向き勾配のエッジ点と下向き勾配のエッジ点とを区別して特徴点として抽出する。上向き勾配のエッジ点と下向き勾配のエッジ点とを区別するのは、車線Ｈの下側の輪郭線Ｈ１と上向きの輪郭線Ｈ２とを分けて検出するためである。図４４に示されるように、車線Ｈは厚みがあり、且つ、輪郭線Ｈ１と輪郭線Ｈ２とが近い位置にあるので、輪郭線Ｈ１上のエッジ点と輪郭線Ｈ２上のエッジ点とを区別するためである。   FIG. 44 shows the fisheye image input by the analysis device 70 in the image input step S22. In the feature point extraction step S23, using the Sobel filter, an edge point having an upward gradient and an edge point having a downward gradient are distinguished from each other and extracted as feature points from the input fisheye image. The reason why the upward slope edge point and the downward slope edge point are distinguished from each other is to separately detect the lower contour line H1 and the upward contour line H2 of the lane H. As shown in FIG. 44, the lane H is thick and the contour line H1 and the contour line H2 are close to each other, so that the edge point on the contour line H1 is distinguished from the edge point on the contour line H2. It is to do.

Sobelフィルタは、縦方向のエッジを検出する場合には、横方向に微分した後に縦方向に関して平滑化を施すことで、縦方向のエッジ点を残し、且つ、ノイズを軽減するものである。このように、Sobelフィルタは、縦方向の微分値と横方向の微分値とを別々に求めることができるので、この性質を利用して勾配方向を識別する。図４５と図４６は、上向き勾配のエッジ点によるエッジ画像と下向き勾配のエッジ点によるエッジ画像とをそれぞれ示す。   In the case of detecting the edge in the vertical direction, the Sobel filter performs smoothing in the vertical direction after differentiation in the horizontal direction, thereby leaving the edge point in the vertical direction and reducing noise. As described above, the Sobel filter can separately obtain the differential value in the vertical direction and the differential value in the horizontal direction, and identifies the gradient direction using this property. FIG. 45 and FIG. 46 show an edge image with an upward gradient edge point and an edge image with an downward gradient edge point, respectively.

ハフ変換ステップＳ２４では、図４５に示すエッジ点のグループを用いて球面空間ハフ変換を行い、上側の輪郭線候補を求める。そして、図４６に示すエッジ点のグループを用いて球面空間ハフ変換を行い、下側の輪郭線候補を求める。球面空間ハフ変換は、図４７に示すように、大円の法線ベクトルｎを用いて行う。   In the Hough transform step S24, spherical space Hough transform is performed using the group of edge points shown in FIG. 45 to obtain the upper contour candidate. Then, spherical space Hough transform is performed using the group of edge points shown in FIG. 46 to obtain the lower contour candidate. The spherical space Hough transform is performed using a normal vector n of a great circle as shown in FIG.

投票空間は、θφ平面とする。このため、投票空間を３次元とする場合より速く計算することができる。投票空間をθφ平面とすると、メルカトル図法で描かれた世界地図のように極点に行くに従って球面上のセルが横に伸びて投影されるので、極点付近では誤差が生じ易い。しかし、極点を法線とする大円は、魚眼画像の枠線となるため、車線検出には影響が少ない。すなわち、魚眼画像から球面空間ハフ変換を行うに当たって、投票空間をθφ平面とすることにより、誤差を抑制して計算を速くすることができる。   The voting space is the θφ plane. For this reason, it is possible to calculate faster than when the voting space is three-dimensional. If the voting space is the θφ plane, the cells on the spherical surface are projected horizontally extending toward the extreme points as in the world map drawn by the Mercator projection, so that errors are likely to occur near the extreme points. However, the great circle having the normal as a pole is a frame of the fisheye image, and therefore has little influence on lane detection. That is, when performing spherical space Hough transform from a fisheye image, the voting space is set to the θφ plane, so that the error can be suppressed and the calculation can be speeded up.

球面空間上の点は、式（１０）によって表すことができ、

法線ベクトルを式（１１）のように表すと、

大円の式（５）は、式（１２）のように変形できる。

よって下式（１３）が得られ、式（１３）を用いて法線ベクトルの描く軌跡をθφ平面に描くことができる。
A point on the spherical space can be represented by equation (10),

The normal vector is expressed as shown in Equation (11).

The great circle equation (5) can be transformed into equation (12).

Therefore, the following equation (13) is obtained, and the locus drawn by the normal vector can be drawn on the θφ plane using equation (13).

引き続いて、投票空間をθφ平面とした球面空間ハフ変換のアルゴリズムを説明する。
ステップ１：輪郭線Ｈ１上の特徴点２０を含むエッジ点集合（図１３（ａ）参照）からエッジ点を１つ抽出する。
ステップ２：抽出したエッジ点を球面空間に投影したときのθ、φを求める。
ステップ３：求めたθ、φがθφ平面に描く軌跡を求め、その軌跡が通るピクセルに投票する。
ステップ４：全てのエッジ点に対してステップ１〜３の処理を実行する。
ステップ５：クラスタリングを行う。
ステップ６：加重平均により、推定大円を算出する。 Next, a spherical space Hough transform algorithm with the voting space as the θφ plane will be described.
Step 1: One edge point is extracted from the edge point set (see FIG. 13A) including the feature point 20 on the contour line H1.
Step 2: Find θ and φ when the extracted edge points are projected onto the spherical space.
Step 3: Obtain a locus drawn by the obtained θ and φ on the θφ plane, and vote for the pixels through which the locus passes.
Step 4: Steps 1 to 3 are executed for all edge points.
Step 5: Perform clustering.
Step 6: Calculate an estimated great circle by a weighted average.

以下が、ステップ５のクラスタリングのアルゴリズムである。
ステップ５−１：全セルを走査し、閾値以下の投票値を持つセルの投票値をリセットする。
ステップ５−２：最大投票値を探査する。
ステップ５−３：最大投票値を持つセルの周囲に探査ウィンドウを当てはめ、投票値を抽出し、投票値はリセットする。
ステップ５−４：加重平均により推定法線を算出する。
ステップ５−５：クラスタがなくなるまでステップ５−２からステップ５−４を繰り返す。 The following is the clustering algorithm in step 5.
Step 5-1: All the cells are scanned, and the voting value of the cell having the voting value below the threshold is reset.
Step 5-2: Search for the maximum vote value.
Step 5-3: Fit the search window around the cell having the maximum vote value, extract the vote value, and reset the vote value.
Step 5-4: Estimate normal is calculated by weighted average.
Step 5-5: Steps 5-2 to 5-4 are repeated until there are no more clusters.

なお、θφ平面における極点付近の誤差を補正するために、式（１４）を用いて重み付けをしてもよい。
In addition, in order to correct | amend the error of the pole vicinity in the (theta) phi plane, you may weight using Formula (14).

図４８は、図４５に示すエッジ点のグループを用いて行った投票結果を示す。下側のクラスタ８１は、図４９に示す境界線候補８２に対応する。図５０は、図４５に示すエッジ点のグループを用いた球面空間ハフ変換による輪郭線候補を示す図である。すなわち、図５０に示される輪郭線候補は、上側の輪郭線候補である。   FIG. 48 shows the result of voting performed using the group of edge points shown in FIG. The lower cluster 81 corresponds to the boundary line candidate 82 shown in FIG. FIG. 50 is a diagram showing contour candidates by spherical space Hough transform using the edge point group shown in FIG. That is, the outline candidate shown in FIG. 50 is an upper outline candidate.

図５０は、図４６に示すエッジ点のグループを用いて行った投票結果を示す。下側のクラスタ８３は、図５２に示す境界線候補８４に対応する。図５３は、図４６に示すエッジ点のグループを用いた球面空間ハフ変換による輪郭線候補を示す図である。すなわち、図５２に示される輪郭線候補は、上側の輪郭線候補である。   FIG. 50 shows the result of voting performed using the group of edge points shown in FIG. The lower cluster 83 corresponds to the boundary line candidate 84 shown in FIG. FIG. 53 is a diagram showing contour candidates by the spherical space Hough transform using the edge point group shown in FIG. That is, the outline candidate shown in FIG. 52 is an upper outline candidate.

図５０、図５３に示されるように、本実施形態では、車線の輪郭線候補として、停止線の輪郭線を含んで抽出されている。また、誤った曲線も輪郭線候補として抽出している。これらの誤った輪郭線候補を除去するための計算を行う。   As shown in FIG. 50 and FIG. 53, in this embodiment, the contour line of the stop line is extracted as the lane contour line candidate. In addition, an erroneous curve is also extracted as a contour line candidate. A calculation is performed to remove these erroneous contour line candidates.

まず、車線方向算出ステップＳ２５では、車線の方向ベクトルを検出するための以下のアルゴリズムを用いて、車線の方向ベクトルを算出する。
ステップ１：下向きの勾配を持つエッジ点を使って投票して得た輪郭線候補の曲線を含む平面の法線ベクトルの列をnb1, nb2・・・nbiとする。
ステップ２：上向きの勾配を持つエッジ点を使って投票して得た輪郭線候補の曲線を含む平面の法線ベクトルの列をnu1, nu2・・・nujとする。
ステップ３：上記のi＋ｊ本の法線ベクトルから任意の２本を選び、外積をとり、その結果をベクトルnvとする。
ステップ４：i＋ｊ本の法線ベクトルの中からステップ３で選んでいない法線ベクトルと上記のベクトルnvとの内積をとり、許容誤差範囲内になっているかを調べる。
ステップ５：上記の許容誤差範囲内になっている法線ベクトルの数を数える。
ステップ６：許容誤差範囲内になっている法線ベクトルの数が閾値以上であれば、ベクトルnvが車線の方向ベクトルに対応していると判別する。そして、ベクトルnvと直交する全ての方向ベクトルを用いて最小二乗法により車線の方向ベクトルを算出する。その数が閾値以下である場合は、ステップ３に戻る。 First, in the lane direction calculation step S25, the lane direction vector is calculated using the following algorithm for detecting the lane direction vector.
Step 1: Let nb 1 , nb 2 ... Nb i be a sequence of normal vectors of a plane including curves of contour candidates obtained by voting using edge points having a downward gradient.
Step 2: Let nu 1 , nu 2 ... Nu j be a sequence of normal vectors of a plane including a contour candidate curve obtained by voting using an edge point having an upward gradient.
Step 3: Two arbitrary vectors are selected from the above i + j normal vectors, an outer product is taken, and the result is set as a vector nv.
Step 4: Take the inner product of the normal vector not selected in Step 3 from the i + j normal vectors and the vector nv, and check whether it is within the allowable error range.
Step 5: Count the number of normal vectors that fall within the above tolerance range.
Step 6: If the number of normal vectors within the allowable error range is equal to or greater than the threshold, it is determined that the vector nv corresponds to the lane direction vector. Then, the lane direction vector is calculated by the least square method using all the direction vectors orthogonal to the vector nv. If the number is less than or equal to the threshold, the process returns to step 3.

次に、停止線方向算出ステップＳ２６では、車線の方向ベクトルを用いて停止線の方向ベクトルを求める。停止線の方向ベクトルを（ｘt、ｙt、ｚt）とし、ベクトルnvとの内積が許容範囲内にあるｎ本の法線ベクトルを（ａn、ｂn、ｃn）とする。停止線の方向ベクトル（ｘt、ｙt、ｚt）と法線ベクトル（ａn、ｂn、ｃn）との間には、次式（１５）の関係が成り立つ。
Next, in the stop line direction calculation step S26, the stop line direction vector is obtained using the lane direction vector. The direction vector of the stop line is (x t , y t , z t ), and n normal vectors whose inner product with the vector nv is within an allowable range are (a n , b n , c n ). The relationship of the following equation (15) is established between the direction vector (x t , y t , z t ) of the stop line and the normal vector (a n , b n , c n ).

式（１５）の法線ベクトルの部分をＦ、停止線の方向ベクトルの部分をｔとすると、式（１６）となる。

式（１６）のｔは、FTFの最小固有値に対応するため、特異値分解によって求めることができる。 If the normal vector portion of equation (15) is F and the direction vector portion of the stop line is t, equation (16) is obtained.

Since t in Equation (16) corresponds to the minimum eigenvalue of F T F, it can be obtained by singular value decomposition.

次に、路面領域検出ステップＳ２７では、図５５に示す車線方向の消失点Ｖ１，Ｖ２と停止線方向の消失点Ｖｓを用いて、路面の領域を特定する。図５６において、図５５に対してネガ/ポジ反転した領域が路面領域Ｒを示す。そして、ノイズ除去ステップＳ２８において、ハフ変換により求めた輪郭線候補のうち、路面領域Ｒ上にない輪郭線候補を除去する。そして、車線検出ステップＳ２９において、図５７に示すように、残った輪郭線候補から車線８５を検出する。   Next, in road surface area detection step S27, the road surface area is specified using vanishing points V1, V2 in the lane direction and vanishing point Vs in the stop line direction shown in FIG. In FIG. 56, a negative / positive-inverted area with respect to FIG. In the noise removal step S28, contour candidates that are not on the road surface region R are removed from the contour candidates obtained by the Hough transform. Then, in the lane detection step S29, as shown in FIG. 57, the lane 85 is detected from the remaining contour candidates.

引き続いて、本実施形態にかかる車線検出プログラム、および、この車線検出プログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に記録媒体という）について説明する。記録媒体のプログラムを記録するプログラム領域には、車線検出プログラムが記録されている。この車線検出プログラムは、処理を統括するメインモジュールと、コンピュータに、上記の画像入力ステップＳ２２、特徴点抽出ステップＳ２３、球面空間ハフ変換ステップＳ２４、車線方向算出ステップＳ２５、停止線方向算出ステップＳ２６、路面領域検出ステップＳ２７、ノイズ除去ステップＳ２８、車線検出ステップＳ２９を実行させるためのモジュールを備えている。   Subsequently, a lane detection program according to the present embodiment and a computer-readable recording medium (hereinafter simply referred to as a recording medium) on which the lane detection program is recorded will be described. A lane detection program is recorded in the program area for recording the program of the recording medium. This lane detection program is connected to a main module that supervises processing and a computer, and the image input step S22, feature point extraction step S23, spherical space Hough conversion step S24, lane direction calculation step S25, stop line direction calculation step S26, A module for executing road surface area detection step S27, noise removal step S28, and lane detection step S29 is provided.

最後に本実施形態に係る車線検出装置Ｓ３及びこの車線検出装置Ｓ３において実行される車線検出方法の作用効果について説明する。車線検出装置Ｓ３では、車体の側面側から見た魚眼画像を入力するので、入力した画像の視野領域に対して、より長い車線Ｈが写った画像を取得することができる。このため、車線Ｈの検出結果の誤差を小さくすることができる。   Finally, the operation and effect of the lane detection device S3 according to the present embodiment and the lane detection method executed in the lane detection device S3 will be described. In the lane detection device S3, the fisheye image viewed from the side of the vehicle body is input, so that an image showing a longer lane H can be acquired in the field of view of the input image. For this reason, the error of the detection result of the lane H can be made small.

また、車線検出装置Ｓ３では、魚眼画像の特徴点を球面空間に射影し、球面空間におけるハフ変換を行うことにより、輪郭線候補を検出する。これにより、魚眼画像を用いた場合であっても、誤差を抑制して車線Ｈの検出を行うことができる。また、１つの魚眼画像から車線の輪郭線候補を検出することができる。   Further, in the lane detection device S3, the feature point of the fisheye image is projected onto the spherical space, and the contour line candidate is detected by performing the Hough transform in the spherical space. Thereby, even if it is a case where a fisheye image is used, the error can be suppressed and the lane H can be detected. Further, a lane outline candidate can be detected from one fisheye image.

また、車線検出装置Ｓ３では、ハフ変換を行うための投票空間をθφ平面とし、球面空間に射影された特徴点を通る曲線を、当該曲線を含む平面の法線ベクトルを用いて検出する。この場合、投票空間を２次元平面にするので、投票空間を３次元空間３次元空間にする場合より計算量を少なくすることができ、車線を早く検出することができる。また、一般的には、投票空間を２次元空間にすることで、３次元空間にする場合より誤差が大きくなる。θφ平面においては、極点に行くに従って誤差が大きくなるが、極点を法線とする平面上の曲線は、魚眼画像の枠と重なるため、車線検出にあたっては、誤差の影響が少ない。従って、計算量を少なくすると共に、誤差の増大を抑制することができる。   Further, in the lane detection device S3, the voting space for performing the Hough transform is a θφ plane, and a curve passing through the feature point projected onto the spherical space is detected using a normal vector of the plane including the curve. In this case, since the voting space is a two-dimensional plane, the amount of calculation can be reduced and the lane can be detected earlier than when the voting space is a three-dimensional space and a three-dimensional space. Also, in general, making the voting space a two-dimensional space results in a larger error than when making a three-dimensional space. On the θφ plane, the error increases as it goes to the extreme point, but the curve on the plane with the extreme point as a normal line overlaps the frame of the fisheye image, so that the influence of the error is small in detecting the lane. Therefore, it is possible to reduce the amount of calculation and suppress an increase in error.

また、車線検出装置Ｓ３では、車線の方向ベクトルを求めることで、車線方向の消失点と停止線方向の消失点とを算出し、この車線方向の消失点と停止線方向の消失点とによりノイズを除去している。このため、より正確な車線を検出することができる。   Further, the lane detecting device S3 calculates a vanishing point in the lane direction and a vanishing point in the stop line direction by obtaining a lane direction vector, and noise is generated by the vanishing point in the lane direction and the vanishing point in the stop line direction. Has been removed. For this reason, a more accurate lane can be detected.

また、車線検出装置Ｓ３では、車線の方向ベクトルと停止線の方向ベクトルとに基づいて、路面に対する魚眼画像の視線方向を検出することにより、魚眼カメラの姿勢を推定することができる。これにより、解析装置７０における補正を魚眼カメラの姿勢の姿勢に基づいて、行うことができる。また、車線検出に適した魚眼画像を取得できるように、魚眼カメラの姿勢を制御することもできる。   In the lane detection device S3, the posture of the fisheye camera can be estimated by detecting the line-of-sight direction of the fisheye image with respect to the road surface based on the lane direction vector and the stop line direction vector. Thereby, the correction in the analysis device 70 can be performed based on the posture of the fisheye camera. In addition, the posture of the fisheye camera can be controlled so that a fisheye image suitable for lane detection can be acquired.

（第４実施形態）
図５８に示すように、第４実施形態に係る車線検出装置Ｓ４は、魚眼カメラＣ１，Ｃ２と、解析装置７０と、を備える。解析装置９０は、機能的な構成要素として、画像入力部１１、特徴点抽出部１２、車線検出部７３、第１消失点推定部９４、第２消失点推定部９５、路面領域検出部９６、出力部１６、姿勢検出部７７を備えて構成される。 (Fourth embodiment)
As shown in FIG. 58, the lane detection device S4 according to the fourth embodiment includes fish-eye cameras C1 and C2 and an analysis device 70. The analysis device 90 includes, as functional components, an image input unit 11, a feature point extraction unit 12, a lane detection unit 73, a first vanishing point estimation unit 94, a second vanishing point estimation unit 95, a road surface area detection unit 96, An output unit 16 and an attitude detection unit 77 are provided.

図５９を参照して、魚眼カメラＣ１によって取得された魚眼画像から車両Ｇ右側の車線Ｈを検出する場合を例として、車線検出装置Ｓ４について説明する。画像取得ステップＳ３１、画像入力ステップＳ３２、特徴点抽出ステップＳ３３、ハフ変換ステップＳ３４は、上述した画像取得ステップＳ２１、画像入力ステップＳ２２、特徴点抽出ステップＳ２３、ハフ変換ステップＳ２４と同様である。ステップＳ３１〜Ｓ３４により、複数の輪郭線候補が算出される。   With reference to FIG. 59, the lane detection device S4 will be described by taking as an example the case of detecting the lane H on the right side of the vehicle G from the fisheye image acquired by the fisheye camera C1. Image acquisition step S31, image input step S32, feature point extraction step S33, and Hough conversion step S34 are the same as image acquisition step S21, image input step S22, feature point extraction step S23, and Hough conversion step S24 described above. A plurality of contour line candidates are calculated in steps S31 to S34.

第１消失点推定ステップＳ３５では、第１消失点推定部９４が、ハフ変換ステップＳ３４において求めた輪郭線候補から車線方向の消失点を推定する。まず、複数の輪郭線候補の交点を求める。そして、図５４に示すように、最も多くの輪郭線候補が交差した交点を車線の消失点Ｖ１，Ｖ２と推定する。   In the first vanishing point estimation step S35, the first vanishing point estimation unit 94 estimates a vanishing point in the lane direction from the contour candidate obtained in the Hough conversion step S34. First, the intersection of a plurality of contour line candidates is obtained. Then, as shown in FIG. 54, intersections where the most contour candidates intersect are estimated as vanishing points V1, V2.

第２消失点推定ステップＳ３６では、第２消失点推定部９５が、輪郭線候補から停止線の輪郭線を推定する。車線と停止線とは直交しているので、２つの車線の消失点Ｖ１，Ｖ２を通る輪郭線候補と交わる輪郭線候補は、停止線の輪郭線であることが分かる。この停止線の輪郭線候補の交点を算出し、停止線方向の消失点Ｖｓとする。これにより、図５５に示す停止線方向の消失点Ｖｓを算出する。   In the second vanishing point estimation step S36, the second vanishing point estimation unit 95 estimates the contour line of the stop line from the contour line candidates. Since the lane and the stop line are orthogonal to each other, it is understood that the contour line candidate that intersects with the contour line candidate passing through the vanishing points V1 and V2 of the two lanes is the contour line of the stop line. The intersection point of the contour line candidate of the stop line is calculated and set as the vanishing point Vs in the stop line direction. Thereby, the vanishing point Vs in the stop line direction shown in FIG. 55 is calculated.

路面領域検出ステップＳ３７では、路面領域検出部９６が、第１消失点推定ステップＳ３５において求めた車線方向の消失点と、第２消失点推定ステップＳ３６において求めた停止線方向の消失点とを用いて、路面領域を検出する。これにより図５６に示す路面領域Ｒを検出することができる。   In the road surface area detection step S37, the road surface area detection unit 96 uses the vanishing point in the lane direction obtained in the first vanishing point estimation step S35 and the vanishing point in the stop line direction obtained in the second vanishing point estimation step S36. Then, the road surface area is detected. Thereby, the road surface area R shown in FIG. 56 can be detected.

続いて、上述した手順により、ノイズ除去部７３ｂが、路面領域検出部７６によって算出された路面の領域に基づいて、ハフ変換部７３ａが検出した輪郭線候補の雑音を除去する（ノイズ除去ステップＳ２８）。これにより、車線検出部７３は、車線の輪郭線を検出し、輪郭線に挟まれた車線を検出することができる（車線検出ステップＳ２９）。このようにして検出した車線は、出力部１６によって、運転支援装置等に出力される。   Subsequently, according to the above-described procedure, the noise removing unit 73b removes the noise of the contour line candidate detected by the Hough transform unit 73a based on the road surface area calculated by the road surface area detecting unit 76 (noise removing step S28). ). Thereby, the lane detection part 73 can detect the outline of a lane, and can detect the lane pinched by the outline (lane detection step S29). The lane detected in this way is output to the driving support device or the like by the output unit 16.

また、姿勢検出部７７は、路面領域検出部７６が検出した路面領域に基づいて、魚眼カメラＣ１の視線方向を検出する。すなわち、魚眼カメラＣ１の姿勢を検出することができ、この情報を解析装置７０の補正に用いることができる。   Further, the posture detection unit 77 detects the line-of-sight direction of the fisheye camera C1 based on the road surface area detected by the road surface area detection unit 76. That is, the posture of the fisheye camera C1 can be detected, and this information can be used for correction of the analysis device 70.

引き続いて、本実施形態にかかる車線検出プログラム、および、この車線検出プログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に記録媒体という）について説明する。記録媒体のプログラムを記録するプログラム領域には、車線検出プログラムが記録されている。この車線検出プログラムは、処理を統括するメインモジュールと、コンピュータに、上記の画像入力ステップＳ３２、特徴点抽出ステップＳ３３、球面空間ハフ変換ステップＳ３４、第１消失点推定ステップＳ３５、第２消失点推定ステップＳ３６、路面領域検出ステップＳ３７、ノイズ除去ステップＳ３８、車線検出ステップＳ３９を実行させるためのモジュールを備えている。   Subsequently, a lane detection program according to the present embodiment and a computer-readable recording medium (hereinafter simply referred to as a recording medium) on which the lane detection program is recorded will be described. A lane detection program is recorded in the program area for recording the program of the recording medium. This lane detection program is connected to a main module that supervises processing and a computer, and the image input step S32, feature point extraction step S33, spherical space Hough transform step S34, first vanishing point estimation step S35, and second vanishing point estimation. A module for executing step S36, road surface area detection step S37, noise removal step S38, and lane detection step S39 is provided.

最後に本実施形態に係る車線検出装置Ｓ４及びこの車線検出装置Ｓ４において実行される車線検出方法の作用効果について説明する。車線検出装置Ｓ４では、車体の側面側から見た魚眼画像を入力するので、入力した画像の視野領域に対して、より長い車線Ｈが写った画像を取得することができる。このため、車線Ｈの検出結果の誤差を小さくすることができる。   Finally, effects of the lane detection device S4 according to the present embodiment and the lane detection method executed in the lane detection device S4 will be described. In the lane detection device S4, a fisheye image viewed from the side of the vehicle body is input, so that an image showing a longer lane H can be acquired in the field of view of the input image. For this reason, the error of the detection result of the lane H can be made small.

また、車線検出装置Ｓ４では、魚眼画像の特徴点を球面空間に射影し、球面空間におけるハフ変換を行うことにより、輪郭線候補を検出する。これにより、魚眼画像を用いた場合であっても、誤差を抑制して車線Ｈの検出を行うことができる。また、１つの魚眼画像から車線の輪郭線候補を検出することができる。   In the lane detection device S4, the feature point of the fisheye image is projected onto the spherical space, and the contour line candidate is detected by performing the Hough transform in the spherical space. Thereby, even if it is a case where a fisheye image is used, the error can be suppressed and the lane H can be detected. Further, a lane outline candidate can be detected from one fisheye image.

また、車線検出装置Ｓ４では、ハフ変換を行うための投票空間をθφ平面とし、球面空間に射影された特徴点を通る曲線を、当該曲線を含む平面の法線ベクトルを用いて検出する。この場合、投票空間を２次元平面にするので、投票空間を３次元空間にする場合より計算量を少なくすることができ、車線を早く検出することができる。また、一般的には、投票空間を２次元空間にすることで、３次元空間にする場合より誤差が大きくなる。θφ平面においては、極点に行くに従って誤差が大きくなるが、極点を法線とする平面上の曲線は、魚眼画像の枠と重なるため、車線検出にあたっては、誤差の影響が少ない。従って、計算量を少なくすると共に、誤差の増大を抑制することができる。   Further, in the lane detection device S4, the voting space for performing the Hough transform is the θφ plane, and a curve passing through the feature point projected onto the spherical space is detected using a normal vector of the plane including the curve. In this case, since the voting space is a two-dimensional plane, the amount of calculation can be reduced and the lane can be detected earlier than when the voting space is a three-dimensional space. Also, in general, making the voting space a two-dimensional space results in a larger error than when making a three-dimensional space. On the θφ plane, the error increases as it goes to the extreme point, but the curve on the plane with the extreme point as a normal line overlaps the frame of the fisheye image, so that the influence of the error is small in detecting the lane. Therefore, it is possible to reduce the amount of calculation and suppress an increase in error.

また、車線検出装置Ｓ４では、球面空間ハフ変換により得られた車線の輪郭線候補を用いて、車線方向の消失点と停止線方向の消失点を求め、この車線方向の消失点と停止線方向の消失点とから路面領域を検出している。そして、この路面領域を用いて、車線の輪郭線候補からノイズを除去する。このため、より正確な車線を検出することができる。   In the lane detection device S4, the vanishing point in the lane direction and the vanishing point in the stop line direction are obtained using the lane outline candidate obtained by the spherical space Hough transform, and the vanishing point and the stop line direction in the lane direction are obtained. The road surface area is detected from the vanishing point. Then, using this road surface area, noise is removed from lane outline candidates. For this reason, a more accurate lane can be detected.

また、車線検出装置Ｓ４では、車線方向の消失点と停止線方向の消失点を求め、車線方向の消失点と停止線方向の消失点に基づいて、魚眼画像の視線方向を検出する。これにより、魚眼カメラの姿勢を推定することができる。また、解析装置９０における補正を魚眼カメラの姿勢の姿勢に基づいて行うことができる。更に、車線検出に適した魚眼画像を取得できるように、魚眼カメラの姿勢を制御することもできる。   Further, the lane detection device S4 obtains the vanishing point in the lane direction and the vanishing point in the stop line direction, and detects the line-of-sight direction of the fisheye image based on the vanishing point in the lane direction and the vanishing point in the stop line direction. Thereby, the posture of the fisheye camera can be estimated. Further, the correction in the analysis device 90 can be performed based on the posture of the fisheye camera. Furthermore, the posture of the fisheye camera can be controlled so that a fisheye image suitable for lane detection can be acquired.

本発明は、上記実施形態に限らず、種々の変形が可能である。例えば、魚眼画像を球面画像に変換する際に等距離射影方式を用いたが、正射影方式、立体射影方式等を用いてもよい。   The present invention is not limited to the above embodiment, and various modifications can be made. For example, the equidistant projection method is used when converting a fisheye image into a spherical image, but an orthographic projection method, a three-dimensional projection method, or the like may be used.

また、上記実施形態では、球面空間ハフ変換を行う際に、投票空間としてθφ平面を用いたが、これに限られない。例えば、３次元の球面でもよい。この場合、球面を六角形のセルで表現する。３次元の球面を用いることにより、誤差を抑制して車線を検出することができる。   In the above embodiment, the θφ plane is used as the voting space when performing the spherical space Hough transform. However, the present invention is not limited to this. For example, a three-dimensional spherical surface may be used. In this case, the spherical surface is expressed by a hexagonal cell. By using a three-dimensional spherical surface, it is possible to detect lanes while suppressing errors.

また、魚眼レンズは、製造過程で発生する誤差の影響のために理想的な射影式に従わない。そこで、論文[中野，李，千葉，球面モデルに基づくしま模様パターンを用いた魚眼カメラの校正，電子情報通信学会論文誌D Vol.J90-D No.1 pp.73-8]に記載された魚眼レンズの歪モデルを用いて校正を行うことも好ましい。   Also, fisheye lenses do not follow the ideal projection formula due to the effects of errors that occur during the manufacturing process. Therefore, it is described in a paper [Nakano, Lee, Chiba, Fisheye camera calibration using striped pattern based on spherical model, IEICE Transactions D Vol.J90-D No.1 pp.73-8]. It is also preferable to perform calibration using a fisheye lens distortion model.

第１実施形態に係る車線検出装置を含むＦＦＶシステムを示す図である。It is a figure which shows the FFV system containing the lane detection apparatus which concerns on 1st Embodiment. 第１実施形態に係る車線検出装置に含まれる魚眼カメラの設置状態を示す図である。It is a figure which shows the installation state of the fisheye camera contained in the lane detection apparatus which concerns on 1st Embodiment. 第１実施形態に係る車線検出装置の機能ブロック図である。It is a functional block diagram of the lane detector concerning a 1st embodiment. 第１実施形態に係る車線検出方法のフロー図である。It is a flowchart of the lane detection method which concerns on 1st Embodiment. 画像取得ステップにおいて取得した魚眼画像を示す図である。It is a figure which shows the fisheye image acquired in the image acquisition step. 魚眼画像から抽出したエッジ点を示す図である。It is a figure which shows the edge point extracted from the fisheye image. 魚眼画像のエッジ点から抽出したコーナー点を示す図である。It is a figure which shows the corner point extracted from the edge point of a fisheye image. 魚眼画像と球面画像との対応関係を示す図である。It is a figure which shows the correspondence of a fisheye image and a spherical image. 球面画像上に射影した空間上の直線を示す図である。It is a figure which shows the straight line on the space projected on the spherical image. 車両と車線との関係を示す図である。It is a figure which shows the relationship between a vehicle and a lane. エピポール幾何について説明するための図である。It is a figure for demonstrating epipole geometry. 推定した消失点を示す図である。It is a figure which shows the estimated vanishing point. 上向き勾配のエッジ点と下向き勾配のエッジ点とを示す図である。It is a figure which shows the edge point of an upward gradient, and the edge point of a downward gradient. 球面画像上に射影した空間上の直線を示す図である。It is a figure which shows the straight line on the space projected on the spherical image. 球面空間ハフ変換における投票結果を示す図である。It is a figure which shows the vote result in spherical space Hough transform. 球面空間ハフ変換による曲線（大円）の推定結果を示す図である。It is a figure which shows the estimation result of the curve (great circle) by spherical space Hough transform. 図１６（ａ）の曲線に再フィッティングを施して得た検出結果である。It is a detection result obtained by re-fitting the curve of Fig.16 (a). 図１６（ａ）の曲線に再フィッティングを施して得た検出結果である。It is a detection result obtained by re-fitting the curve of Fig.16 (a). 輪郭線の検出結果を示す図である。It is a figure which shows the detection result of an outline. 車線の検出結果を示す図である。It is a figure which shows the detection result of a lane. 実施例に係る車線の検出結果を示す図である。It is a figure which shows the detection result of the lane which concerns on an Example. 実施例に係る車線の検出結果を示す図である。It is a figure which shows the detection result of the lane which concerns on an Example. 実施例に係る車線の検出結果を示す図である。It is a figure which shows the detection result of the lane which concerns on an Example. 実施例に係る車線の検出結果を示す図である。It is a figure which shows the detection result of the lane which concerns on an Example. 第２実施形態に係る車線検出装置の機能ブロック図である。It is a functional block diagram of the lane detector concerning a 2nd embodiment. 画像取得ステップにおいて取得したステレオ画像を示す図である。It is a figure which shows the stereo image acquired in the image acquisition step. インタレース除去用の画像を示す。An image for deinterlacing is shown. エッジ画像を示す。An edge image is shown. 一方の魚眼画像のエッジ点から抽出したコーナー点を示す図である。It is a figure which shows the corner point extracted from the edge point of one fisheye image. 他方の魚眼画像のエッジ点から抽出したコーナー点を示す図である。It is a figure which shows the corner point extracted from the edge point of the other fisheye image. 推定したエピポール対（消失点）を示す図である。It is a figure which shows the estimated epipole pair (vanishing point). 球面モデルを示す図である。It is a figure which shows a spherical model. １つの輪郭線上のエッジ点を示す図である。It is a figure which shows the edge point on one outline. 輪郭線上のエッジ点とみなされたエッジ点を示す。An edge point regarded as an edge point on the contour line is shown. 最小二乗法で求めた輪郭線の候補を示す。The contour candidate obtained by the least square method is shown. 再フィッティングを行った後の輪郭線を示す。The contour line after re-fitting is shown. 車線の検出結果を示す図である。It is a figure which shows the detection result of a lane. 輪郭線上のエッジ点とみなされたエッジ点を示す。An edge point regarded as an edge point on the contour line is shown. 最小二乗法で求めた輪郭線の候補を示す。The contour candidate obtained by the least square method is shown. 再フィッティングを行った後の輪郭線を示す。The contour line after re-fitting is shown. 車線の追跡結果を示す図である。It is a figure which shows the tracking result of a lane. 第３実施形態に係る車線検出装置の機能ブロック図である。It is a functional block diagram of the lane detector concerning a 3rd embodiment. 第３実施形態に係る車線検出方法のフロー図である。It is a flowchart of the lane detection method which concerns on 3rd Embodiment. 画像取得ステップにおいて取得した魚眼画像を示す図である。It is a figure which shows the fisheye image acquired in the image acquisition step. 一方のグループのエッジ画像を示す。The edge image of one group is shown. 他方のグループのエッジ画像を示す。The edge image of the other group is shown. 球面モデルを示す図である。It is a figure which shows a spherical model. 図４５に示すエッジ点のグループを用いて行った投票結果を示す。46 shows the result of voting performed using the group of edge points shown in FIG. 図４７のクラスタ８１に対応する輪郭線候補を示す。The outline candidate corresponding to the cluster 81 of FIG. 47 is shown. 図４５に示すエッジ点のグループを用いた球面空間ハフ変換による輪郭線候補を示す図である。It is a figure which shows the outline candidate by the spherical space Hough transform using the group of the edge point shown in FIG. 図４６に示すエッジ点のグループを用いて行った投票結果を示す。The voting result performed using the group of edge points shown in FIG. 46 is shown. 図５０のクラスタ８４に対応する輪郭線候補を示す。The contour candidate corresponding to the cluster 84 of FIG. 50 is shown. 図４６に示すエッジ点のグループを用いた球面空間ハフ変換による輪郭線候補を示す図である。FIG. 47 is a diagram showing contour candidates by spherical space Hough transform using the edge point group shown in FIG. 46. 車線方向の消失点を示す図である。It is a figure which shows the vanishing point of a lane direction. 車線方向の消失点と停止線方向の消失点とを示す図である。It is a figure which shows the vanishing point of a lane direction, and the vanishing point of a stop line direction. 検出した路面領域を示す図である。It is a figure which shows the detected road surface area | region. 車線の検出結果を示す図である。It is a figure which shows the detection result of a lane. 第４実施形態に係る車線検出装置の機能ブロック図である。It is a functional block diagram of the lane detector concerning a 4th embodiment. 第４実施形態に係る車線検出方法のフロー図である。It is a flowchart of the lane detection method which concerns on 4th Embodiment.

符号の説明Explanation of symbols

Ｓ１〜Ｓ４…車線検出装置、Ｃ１〜Ｃ４…魚眼カメラ、１１…画像入力部（画像入力手段）、１２…特徴点抽出部（特徴点抽出手段）、１３…消失点推定部（消失点推定手段）、１４…車線方向算出部（車線方向算出手段）、１５，２５，４５，７３…車線検出部（車線検出手段）、１５ａ…ハフ変換部（ハフ変換手段）、１６…出力部、２０，２１，５１…特徴点、２４，５２…エピポール対、２７，４７…車線追跡部、７３ａ…ハフ変換部、７４…車線方向算出部、７５…停止線方向算出部、７６，９６…路面領域検出部、７７…姿勢検出部（視線方向検出手段）、９４…消失点推定部、９５…消失点推定部、ｎν…車線の方向ベクトル、Ｖ１，Ｖ２…車線方向の消失点、Ｖｓ…停止線方向の消失点。 S1 to S4 ... Lane detection device, C1 to C4 ... Fisheye camera, 11 ... Image input unit (image input unit), 12 ... Feature point extraction unit (feature point extraction unit), 13 ... Vanishing point estimation unit (vanishing point estimation) Means), 14 ... Lane direction calculating section (lane direction calculating means), 15, 25, 45, 73 ... Lane detecting section (lane detecting means), 15a ... Hough converting section (Hough converting means), 16 ... Output section, 20 , 21, 51 ... feature points, 24,52 ... epipole pairs, 27,47 ... lane tracking unit, 73a ... Hough transform unit, 74 ... lane direction calculation unit, 75 ... stop line direction calculation unit, 76,96 ... road surface area Detection unit, 77 ... posture detection unit (gaze direction detection means), 94 ... vanishing point estimation unit, 95 ... vanishing point estimation unit, n v ... lane direction vector, V1, V2 ... lane direction vanishing point, Vs ... stop Vanishing point in the line direction.

Claims (15)

車体の側面側を視点として前記車体の外側をとらえた魚眼画像を入力する画像入力手段と、
前記魚眼画像から特徴点を抽出する特徴点抽出手段と、
前記特徴点に基づいて、路面上において前記車体の前記側面側に位置する車線の方向ベクトルを算出する車線方向算出手段と、
前記車線の方向ベクトルと前記魚眼画像の特徴点とを用いて、車線を検出する車線検出手段と、
を備え、
前記車線検出手段は、前記魚眼画像の特徴点を球面空間に射影して球面空間におけるハフ変換を行うことにより、前記車線を検出し、
前記車線検出手段は、前記ハフ変換を行うための投票空間をθφ平面とし、前記球面空間に射影された特徴点を通る曲線を、当該曲線を含む平面の法線ベクトルを用いて推定することを特徴とする車線検出装置。 Image input means for inputting a fisheye image capturing the outside of the vehicle body from the side of the vehicle body as a viewpoint;
Feature point extraction means for extracting feature points from the fisheye image;
Lane direction calculating means for calculating a direction vector of a lane located on the side surface side of the vehicle body on the road surface based on the feature points;
Lane detection means for detecting a lane by using the direction vector of the lane and the feature point of the fisheye image;
Equipped with a,
The lane detection means detects the lane by projecting a feature point of the fisheye image to a spherical space and performing a Hough transform in the spherical space,
The lane detection means uses a voting space for performing the Hough transform as a θφ plane, and estimates a curve passing through the feature point projected onto the spherical space using a normal vector of the plane including the curve. A characteristic lane detector. 前記特徴点に基づいて前記魚眼画像の消失点を推定する消失点推定手段を更に備え、
前記車線方向算出手段は、前記消失点を用いて前記方向ベクトルを算出することを特徴とする請求項１に記載の車線検出装置。 Further comprising vanishing point estimating means for estimating the vanishing point of the fisheye image based on the feature points;
The lane detection device according to claim 1, wherein the lane direction calculation means calculates the direction vector using the vanishing point. 前記画像入力手段は、前記車体の前後方向に並んだ２つの視点から得られると共に、一部が重なる視野領域を有する２つの前記魚眼画像を入力し、
前記特徴点抽出手段は、２つの前記魚眼画像それぞれから特徴点を抽出し、
前記消失点推定手段は、２つの前記魚眼画像において対応する特徴点を用いて前記魚眼画像におけるエピポール対を推定し、当該推定したエピポール対を前記消失点と推定することを特徴とする請求項２記載の車線検出装置。 The image input means inputs the two fisheye images obtained from two viewpoints arranged in the front-rear direction of the vehicle body and having a visual field region partially overlapping,
The feature point extraction means extracts feature points from each of the two fisheye images,
The vanishing point estimating means, and characterized in that by using corresponding feature points in two of the fish-eye image to estimate the Epipo Le pair in the fish-eye image, to estimate the Epipo Le pairs the estimated and the vanishing point The lane detector according to claim 2. ２つの前記魚眼画像を異なるタイミングでそれぞれ取得する魚眼カメラを更に備え、
前記画像入力手段は、前記魚眼カメラによって取得された２つの前記魚眼画像を入力することを特徴とする請求項３に記載の車線検出装置。 A fish-eye camera that acquires the two fish-eye images at different timings;
The lane detection device according to claim 3, wherein the image input unit inputs the two fisheye images acquired by the fisheye camera. 前記特徴点に基づいて、前記路面上の停止線の方向ベクトルを算出する停止線方向算出手段を更に備えることを特徴とする請求項１〜４のいずれか１項に記載の車線検出装置。 The lane detection device according to any one of claims 1 to 4 , further comprising stop line direction calculation means for calculating a direction vector of a stop line on the road surface based on the feature point. 前記車線検出手段は、前記停止線の方向ベクトルを用いて前記車線を検出することを特徴とする請求項５に記載の車線検出装置。 The lane detection device according to claim 5 , wherein the lane detection unit detects the lane using a direction vector of the stop line. 前記車線の方向ベクトルと前記停止線の方向ベクトルとに基づいて停止線方向の消失点を算出し、前記停止線方向の消失点と車線方向の消失点とから路面領域を検出し、前記路面領域に基づいて前記視点の視線方向を検出する方向検出手段を更に備えることを特徴とする請求項５又は６に記載の車線検出装置。 A vanishing point in the stop line direction is calculated based on the direction vector of the lane and the direction vector of the stop line, a road surface area is detected from the vanishing point in the stop line direction and the vanishing point in the lane direction, and the road surface area lane detecting device according to claim 5 or 6, further comprising a direction detecting means for detecting the visual line direction of the viewpoint based on. 画像入力手段が、車体の側面側を視点として前記車体の外側をとらえた魚眼画像を入力する画像入力ステップと、
特徴点抽出手段が、前記魚眼画像から特徴点を抽出する特徴点抽出ステップと、
車線方向算出手段が、前記特徴点に基づいて、路面上において前記車体の前記側面側に位置する車線の方向ベクトルを算出する車線方向算出ステップと、
車線検出手段が、前記車線の方向ベクトルと前記魚眼画像の特徴点とを用いて、車線を検出する車線検出ステップと、
を備え、
前記車線検出ステップでは、前記魚眼画像の特徴点を球面空間に射影して球面空間におけるハフ変換を行うことにより、前記車線を検出し、
前記車線検出ステップでは、前記ハフ変換を行うための投票空間をθφ平面とし、前記球面空間に射影された特徴点を通る曲線を、当該曲線を含む平面の法線ベクトルを用いて推定することを特徴とする車線検出方法。 An image input step for inputting a fisheye image capturing the outside of the vehicle body from the side of the vehicle body as a viewpoint;
A feature point extracting means for extracting a feature point from the fisheye image;
A lane direction calculating means for calculating a directional vector of a lane located on the side surface of the vehicle body on the road surface based on the feature points;
A lane detection step in which a lane detection unit detects a lane using the direction vector of the lane and the feature point of the fisheye image;
Equipped with a,
In the lane detection step, the lane is detected by projecting a feature point of the fisheye image to a spherical space and performing a Hough transform in the spherical space,
In the lane detection step, the voting space for performing the Hough transform is a θφ plane, and a curve passing through the feature point projected on the spherical space is estimated using a normal vector of the plane including the curve. A characteristic lane detection method. 消失点推定手段が、前記特徴点に基づいて前記魚眼画像の消失点を推定する消失点推定ステップを更に備え、
前記車線方向算出ステップでは、前記消失点を用いて前記方向ベクトルを算出することを特徴とする請求項８に記載の車線検出方法。 The vanishing point estimating means further comprises a vanishing point estimating step of estimating the vanishing point of the fisheye image based on the feature point,
The lane detection method according to claim 8 , wherein in the lane direction calculation step, the direction vector is calculated using the vanishing point. 前記画像入力ステップでは、前記車体の前後方向に並んだ２つの視点から得られると共に、一部が重なる視野領域を有する２つの前記魚眼画像を入力し、
前記特徴点抽出ステップでは、２つの前記魚眼画像それぞれから特徴点を抽出し、
前記消失点推定ステップでは、２つの前記魚眼画像において対応する特徴点を用いて、
前記魚眼画像におけるエピポール対を推定し、当該推定したエピポール対を前記消失点と推定することを特徴とする請求項９記載の車線検出方法。 In the image input step, two fisheye images that are obtained from two viewpoints arranged in the front-rear direction of the vehicle body and have a visual field region that partially overlaps are input.
In the feature point extraction step, feature points are extracted from each of the two fisheye images,
In the vanishing point estimation step, using corresponding feature points in the two fisheye images,
The fish was estimated Epipo Le pairs in the eye image, a lane detecting method according to claim 9, wherein the Epipo Le pairs the estimated and estimates said vanishing point. 前記画像入力ステップでは、２つの前記魚眼画像を異なるタイミングでそれぞれ取得する魚眼カメラによって取得された２つの前記魚眼画像を入力することを特徴とする請求項１０に記載の車線検出方法。 The lane detection method according to claim 10 , wherein in the image input step, the two fisheye images acquired by a fisheye camera that respectively acquire the two fisheye images at different timings are input. 車線検出手段が、前記特徴点に基づいて前記路面上の停止線の方向ベクトルを算出する停止線方向算出ステップを更に備えることを特徴とする請求項８〜１１のいずれか１項に記載の車線検出方法。 The lane according to any one of claims 8 to 11 , wherein the lane detecting means further comprises a stop line direction calculating step of calculating a direction vector of the stop line on the road surface based on the feature point. Detection method. 前記車線検出ステップでは、前記停止線の方向ベクトルを用いて前記車線を検出することを特徴とする請求項１２に記載の車線検出方法。 The lane detection method according to claim 12 , wherein in the lane detection step, the lane is detected using a direction vector of the stop line. 方向検出手段が、前記車線の方向ベクトルと前記停止線の方向ベクトルとに基づいて停止線方向の消失点を算出し、前記停止線方向の消失点と車線方向の消失点とから路面領域を検出し、前記路面領域に基づいて前記視点の視線方向を検出する方向検出ステップを更に備えることを特徴とする請求項１２又は１３に記載の車線検出方法。 A direction detecting means calculates a vanishing point in the stop line direction based on the direction vector of the lane and the direction vector of the stop line, and detects a road surface area from the vanishing point in the stop line direction and the vanishing point in the lane direction. and lane detection method according to claim 12 or 13, further comprising a direction detection step of detecting a gaze direction of the viewpoint based on the road region. コンピュータに、請求項８〜１４のいずれか１項に記載の車線検出方法を実行させることを特徴とする車線検出プログラム。 A lane detection program that causes a computer to execute the lane detection method according to any one of claims 8 to 14 .
JP2008138464A 2008-05-27 2008-05-27 Lane detection device, lane detection method, and lane detection program Expired - Fee Related JP5105481B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008138464A JP5105481B2 (en) 2008-05-27 2008-05-27 Lane detection device, lane detection method, and lane detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008138464A JP5105481B2 (en) 2008-05-27 2008-05-27 Lane detection device, lane detection method, and lane detection program

Publications (2)

Publication Number Publication Date
JP2009288885A JP2009288885A (en) 2009-12-10
JP5105481B2 true JP5105481B2 (en) 2012-12-26

Family

ID=41458063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008138464A Expired - Fee Related JP5105481B2 (en) 2008-05-27 2008-05-27 Lane detection device, lane detection method, and lane detection program

Country Status (1)

Country Link
JP (1) JP5105481B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5493705B2 (en) * 2009-10-27 2014-05-14 富士通株式会社 Vehicle position detection device, vehicle position detection method, and vehicle position detection program
JP5455124B2 (en) * 2010-04-01 2014-03-26 国立大学法人鳥取大学 Camera posture parameter estimation device
JP5783567B2 (en) * 2011-10-12 2015-09-24 国立大学法人鳥取大学 Straight line detection device, straight line detection method, straight line detection program, and imaging system
JP2014092922A (en) * 2012-11-02 2014-05-19 Tottori Univ Detector, detection method, and detection program
US9800780B2 (en) 2013-05-16 2017-10-24 Sony Corporation Image processing device, image processing method, and program to capture an image using fisheye lens
DE102015209467A1 (en) * 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Method of estimating lanes
CN106296645A (en) * 2015-06-25 2017-01-04 株式会社理光 Image processing method and image processing apparatus
KR102518537B1 (en) * 2016-12-16 2023-04-07 현대자동차주식회사 Driver assist apparatus and method for providing lane line information thereof
CN109583435A (en) * 2019-01-24 2019-04-05 安徽理工大学 A kind of adaptive ballot method for detecting lane lines
EP3924866A1 (en) * 2019-02-15 2021-12-22 Toyota Motor Europe Systems and methods for image normalization

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59184973A (en) * 1983-04-04 1984-10-20 Fujitsu Ltd Environment understanding system of robot
JPH07244167A (en) * 1994-01-17 1995-09-19 Omron Corp Optical detection device and vehicle applying said device
JP3575352B2 (en) * 1999-10-25 2004-10-13 株式会社デンソー Vehicle position locating device and recording medium
JP2001283390A (en) * 2000-03-30 2001-10-12 Honda Motor Co Ltd Periphery recognition device of vehicle

Also Published As

Publication number Publication date
JP2009288885A (en) 2009-12-10

Similar Documents

Publication Publication Date Title
JP5105481B2 (en) Lane detection device, lane detection method, and lane detection program
US10129521B2 (en) Depth sensing method and system for autonomous vehicles
US11398051B2 (en) Vehicle camera calibration apparatus and method
EP2717013A1 (en) Stereo camera device and computer-readable recording medium
CN110956069B (en) Method and device for detecting 3D position of pedestrian, and vehicle-mounted terminal
JP2009176090A (en) Environment recognition system
CN110189390B (en) Monocular vision SLAM method and system
US20100074473A1 (en) System and method of extracting plane features
CN101383004A (en) Passenger target detecting method combining infrared and visible light images
JP4735361B2 (en) Vehicle occupant face orientation detection device and vehicle occupant face orientation detection method
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
KR20180112010A (en) A method of detecting an object on the road side of a car, a computing device, a driver assistance system and an automobile
JP2011232965A (en) Plane area detection device and stereo camera system
JP6798609B2 (en) Video analysis device, video analysis method and program
CN111754550A (en) Method and device for detecting dynamic barrier in motion state of agricultural machine
JP2021033605A (en) Image processor and method for processing image
CN115797405A (en) Multi-lens self-adaptive tracking method based on vehicle wheel base
JP4754434B2 (en) Road surface estimation device
CN113674361B (en) Vehicle-mounted all-round-looking calibration implementation method and system
JP4070450B2 (en) Forward vehicle recognition device and recognition method
Kim Geometry of vanishing points and its application to external calibration and realtime pose estimation
CN111260709B (en) Ground-assisted visual odometer method for dynamic environment
CN113011212B (en) Image recognition method and device and vehicle
JP5293429B2 (en) Moving object detection apparatus and moving object detection method
JP2021086258A (en) Attitude estimation apparatus and attitude estimation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120927

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees