JP4296076B2 - Driving lane recognition device - Google Patents
Driving lane recognition device Download PDFInfo
- Publication number
- JP4296076B2 JP4296076B2 JP2003384173A JP2003384173A JP4296076B2 JP 4296076 B2 JP4296076 B2 JP 4296076B2 JP 2003384173 A JP2003384173 A JP 2003384173A JP 2003384173 A JP2003384173 A JP 2003384173A JP 4296076 B2 JP4296076 B2 JP 4296076B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- roll angle
- straight line
- marking
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 14
- 238000012790 confirmation Methods 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、道路に埋設されたマーキングを検出して、走行車線を認識する走行車線認識装置に関するものである。 The present invention relates to a traveling lane recognition device that recognizes a traveling lane by detecting a marking embedded in a road.
車両に積載した撮像装置により車両前方の画像を取得し、その画像を用いてレーンマーキングを検出し、走行車線を認識する走行車線認識装置に関する特許は数多く出願されている。また、そのアプリケーションとしては、図１５に示すように、車両が不用意に走行車線から逸脱しそうになると警報を発生する車線逸脱警報システムや、車線逸脱が発生しないようにハンドルにトルクを加えて操舵制御を行う車線維持システムが広く知られている。 Many patents relating to a traveling lane recognition device that acquires an image ahead of a vehicle with an imaging device mounted on the vehicle, detects a lane marking using the image, and recognizes a traveling lane have been filed. In addition, as shown in FIG. 15 , a lane departure warning system for generating an alarm when the vehicle is inadvertently deviating from the driving lane, or steering by applying torque to the steering wheel so that no lane departure occurs. Lane maintaining systems that perform control are widely known.
上記で述べた車線逸脱警報システムや、車線維持システムのようなアプリケーションでは、走行車線の横位置、カーブの曲率といった、走行車線認識装置によって得られた走行車線情報を用いるが、これらの走行車線情報の検出精度が低いと、車線逸脱警報システムによる警報位置が左右アンバランスになったり、車線維持システムにおいてハンドルに付加されるトルクが左右アンバランスとなったりして、ドライバに違和感を与えてしまうという問題がある。 In the applications such as the lane departure warning system and the lane keeping system described above, the travel lane information obtained by the travel lane recognition device such as the lateral position of the travel lane and the curvature of the curve is used. If the detection accuracy of the lane is low, the alarm position by the lane departure warning system becomes left and right unbalanced, or the torque applied to the steering wheel in the lane keeping system becomes left and right unbalanced, which gives the driver a sense of incongruity. There's a problem.
このような走行車線情報の検出精度低下を招く要因の一つとして、撮像装置の車両への取り付け条件の誤差が挙げられる。いま、図16のような座標系を考えると、上記誤差は、x軸方向のオフセット(322a)、x軸まわりの回転角(ロール角：322b)、y軸方向のオフセット(323a)、y軸まわりの回転角(ピッチ角：323b)、z軸方向のオフセット(324a)、z軸まわりの回転角(ヨー角：324b)の6つに分類される。このうち、x軸方向のオフセットは車両進行方向の誤差であるため、前記走行車線情報の誤差要因とは成り得ない。また、y軸方向のオフセット、ピッチ角、z軸方向のオフセット、ヨー角方向の誤差については、いわゆる消失点の学習により、ある程度の補正が可能である。 One of the factors that cause a decrease in the detection accuracy of the traveling lane information is an error in the condition for attaching the imaging device to the vehicle. Considering the coordinate system as shown in Fig. 16, the above errors are offset in the x-axis direction (322a), rotation angle around the x-axis (roll angle: 322b), offset in the y-axis direction (323a), and y-axis. There are six types of rotation angles (pitch angle: 323b), z-axis direction offset (324a), and z-axis rotation angle (yaw angle: 324b). Among these, since the offset in the x-axis direction is an error in the vehicle traveling direction, it cannot be an error factor in the travel lane information. Further, the offset in the y-axis direction, the pitch angle, the offset in the z-axis direction, and the error in the yaw angle direction can be corrected to some extent by so-called vanishing point learning.
残る誤差要因としてはロール角方向の誤差(322b)であるが、ここでまず、このロール角方向誤差により、どのように走行車線情報に誤差が発生するかを説明する。図17は車両前方を撮像した画像の例である。この状態ではロール角方向の誤差が0で、画像処理にて認識された走行車線は333a、333bで表され、距離334での横位置は335a、335bで表されている。図17と同じ風景を、ロール角方向の誤差が生じた状態で取り付けられた撮像装置で撮像した画像例が図18である。この場合、撮像装置は車両進行方向に向かって時計回りにロールしており、結果的に認識した走行車線としては、333a’、333b’に示すように、もとの333a、333bに対し右方向にシフトしている。これに伴い、距離334における横位置も335a’、335b’となり、もとの位置である335a、335bに対し、横位置の検出誤差が発生していることがわかる。
The remaining error factor is an error (322b) in the roll angle direction. Here, first, how the error occurs in the travel lane information due to the roll angle direction error will be described. FIG. 17 is an example of an image obtained by imaging the front of the vehicle. In this state, the error in the roll angle direction is 0, the travel lane recognized by the image processing is represented by 333a and 333b, and the lateral position at the
このロール角方向誤差の補正に関しては、例えば特開平６―２１５１３４号公報（特許文献１参照）のような方法が提案されている。この補正方法を説明したのが図19である。この補正方法では、画像の一部に車両の一部分(ボンネット)が映るように撮像装置を設置し、351で表されるボンネットの左右の線分を検出し、この2直線の二等分線353と画面の垂直方向とを比較することにより、ロール角方向の誤差量354が検出できる。この検出したロール角誤差量を用いて画像データの座標を回転させることにより種々の補正を行うようにしたものである。
For correcting the roll angle direction error, for example, a method as disclosed in JP-A-6-215134 (see Patent Document 1) has been proposed. FIG. 19 illustrates this correction method. In this correction method, an imaging device is installed so that a part of the vehicle (bonnet) is reflected in a part of the image, the left and right line segments of the bonnet represented by 351 are detected, and the two
しかしながら、特許文献１で開示されているロール角の補正方法にはいくつかの問題点がある。それは、ボンネットの色によって補正が困難になる場合があるという点である。この様子を示したのが図20である。図20では路面とボンネットとのコントラストがなく、特許文献１で述べられているようなボンネットの直線成分を検出することは困難である。また、図21に示すようにボンネットに直線部分がない場合も、特許文献１で開示されている方法ではロール角の補正が困難である。
さらにボンネットを画角内に入れることによる弊害もある。それは図22の381のようにボンネットに太陽等の高輝度の被写体が写った場合、撮像装置に実装された撮像素子がCCD撮像素子である場合は、382に示されるようにスミアと呼ばれる帯状の高輝度部分が発生する。このスミアは走行車線認識の妨げになり、認識性能を著しく低下させる。
However, the roll angle correction method disclosed in Patent Document 1 has several problems. That is, correction may be difficult depending on the color of the hood. This is shown in FIG. In FIG. 20, there is no contrast between the road surface and the bonnet, and it is difficult to detect a bonnet linear component as described in Patent Document 1. Also, as shown in FIG. 21, even when the bonnet does not have a straight line portion, it is difficult to correct the roll angle by the method disclosed in Patent Document 1.
In addition, there is an adverse effect of putting the bonnet in the angle of view. If a high-brightness object such as the sun is reflected on the bonnet as shown in 381 in FIG. 22 and the image sensor mounted on the image pickup device is a CCD image sensor, a band-like shape called smear as shown in 382 is used. A high-intensity part occurs. This smear hinders lane recognition and significantly reduces recognition performance.
本発明はかかる問題点を解決するためになされたもので、撮像手段によって得られた画像からレーンマーキングを検出し、走行車線を認識する走行車線認識装置において、撮像手段を車両に搭載する際に発生するロール角方向の誤差を補正し、正確な走行車線情報を得ることを目的とする。 The present invention has been made to solve such a problem, and in a traveling lane recognition apparatus that detects a lane marking from an image obtained by an imaging unit and recognizes a traveling lane, when the imaging unit is mounted on a vehicle. The purpose is to correct the error in the roll angle direction and to obtain accurate travel lane information.
本発明に係る走行車線認識装置は、車両の前方あるいは後方を撮像する撮像手段と、前記撮像手段によって得られた画像データ中から、破線レーンマーキングの左右の端点を結ぶ直線からなる疑似直線を検出する疑似直線検出手段と、前記疑似直線検出手段により得られる疑似直線の傾きから撮像手段の画面水平方向となす角を算出するロール角算出手段とを備え、前記ロール角算出手段によって算出されたロール角に相当する補正をかけることを特徴とするものである。
The traveling lane recognition apparatus according to the present invention detects a pseudo straight line composed of a straight line connecting left and right end points of a broken line lane marking from an image pickup means for picking up an image of the front or rear of a vehicle and image data obtained by the image pickup means. A roll angle calculated by the roll angle calculation means, and a roll angle calculation means for calculating an angle formed with the horizontal direction of the screen of the imaging means from the inclination of the pseudo line obtained by the pseudo line detection means. It is characterized in that a correction corresponding to a corner is applied.
この発明に係る走行車線認識装置によれば、搭載車両の車種、ボディ色に拘らず、しかも少ない計算量で撮像装置の取り付け条件による誤差を検出、補正することができる効果を有するものである。 The travel lane recognition device according to the present invention has an effect of being able to detect and correct an error due to the mounting condition of the imaging device with a small amount of calculation irrespective of the vehicle type and body color of the mounted vehicle.
実施の形態１．
以下、図を参照して本発明の実施形態について説明する。図1は実施の形態１における装置構成を示している。図中、11は車両前方を撮像する撮像手段、12は前記撮像手段によって得られた画像から疑似直線を検出する疑似直線検出手段、13はロール角算出手段である。上記疑似直線検出手段は道路に埋設されたレーンマーキングを検出するレーンマーキング検出手段12aと、そのレーンマーキングの進行方向の端点を検出するレーンマーキング端点検出手段12bとから構成されており、左右の上記端点を結ぶ直線を疑似直線として検出する。レーンマーキングの進行方向の端点とは、図2の画像例で言えば23となり、この端点23を結ぶ直線24を疑似直線として検出する。そしてロール角算出手段13では、前記で求めた疑似直線24が画面水平方向となす角をロール角とし算出する。
Embodiment 1 FIG.
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows an apparatus configuration according to the first embodiment. In the figure, 11 is an imaging means for imaging the front of the vehicle, 12 is a pseudo straight line detecting means for detecting a pseudo straight line from an image obtained by the imaging means, and 13 is a roll angle calculating means. The pseudo straight line detecting means is composed of lane marking detecting means 12a for detecting lane markings embedded in the road, and lane marking end point detecting means 12b for detecting an end point in the traveling direction of the lane marking. A straight line connecting the end points is detected as a pseudo straight line. In the image example of FIG. 2, the end point in the lane marking direction is 23, and a
このような構成とすることで、レーンマーキングが両方破線の場合に、車種、ボディ色に依存することなく、かつ単純で時間のかからない計算でロール角方向の誤差を算出できる。図2に示すようにロール角方向の誤差が0degの場合は、この疑似直線24は画面水平方向と一致し、したがって算出されるロール角は0degとなる。一方、ロール角方向に誤差が発生している場合を示したのが図3である。この場合前記疑似直線は24’のように求められ、この直線と画面水平方向とのなす角を求めることにより、ロール角が算出できる。
By adopting such a configuration, when both lane markings are broken lines, the error in the roll angle direction can be calculated by a simple and time-saving calculation without depending on the vehicle type and the body color. As shown in FIG. 2, when the error in the roll angle direction is 0 deg, this pseudo
実施の形態２．
上記実施の形態1ではレーンマーキングの進行方向の端点を1セット用いてロール角を算出したが、本実施の形態では、レーンマーキングが存在する点のフロー(その点の輝度値の時間的な変化)を算出し、算出した左右のフローの位相差を用いてロール角誤差を算出するようにしたものである。図4により本実施の形態の構成を説明する。図中、実施の形態１と同一符号は同一または相当部分を示しており、詳細説明は省略することとする。42は本実施形態による疑似直線検出手段42であり、レーンマーキング検出手段42a、進行方向フロー算出手段42b、及び左右フロー位相差算出手段42cから構成されている。
Embodiment 2. FIG.
In the first embodiment, the roll angle is calculated by using one set of end points in the lane marking direction, but in this embodiment, the flow of the point where the lane marking exists (the temporal change in the luminance value at that point). ) And the roll angle error is calculated using the calculated phase difference between the left and right flows. The configuration of the present embodiment will be described with reference to FIG. In the figure, the same reference numerals as those in the first embodiment denote the same or corresponding parts, and detailed description thereof will be omitted.
次に、この動作について説明する。まず、撮像手段11により得られた前方画像からレーンマーキング検出手段42aにてレーンマーキングを検出する。次に進行方向フロー算出手段42bでは、このレーンマーキングが存在する図5における直線53a,53b上の所定の位置(55)におけるフローを求める。このフローの例を示したのが図6である。図中、縦軸に輝度値、横軸に時間をとり、左右両レーンマーキングの所定位置(55)における輝度値の変化（フロー）61、62を求めたものである。もしロール角方向の誤差が生じた状態で撮像手段が車両に搭載されている場合、図6に示すように左側のフロー(61)と右側のフロー(62)に位相差が生じることとなる。
Next, this operation will be described. First, the lane marking is detected from the front image obtained by the imaging means 11 by the lane marking detection means 42a. Next, the traveling direction flow calculation means 42b obtains a flow at a predetermined position (55) on the
この位相差を求める方法は種々考えられるが、単純な方法としては、片方のフローのグラフを1サンプル幅ずつシフトさせ、左右のフローの差分をとる。この差分の総和が最小となる状態が、位相が一致した状態となる。このときのシフト量が位相差として求められる。図6の例では2サンプル幅の位相差63があることがわかる。
次にこの位相差からどのようにしてロール角を算出するかについて説明する。図6の例では、位相差が2サンプル幅であるので、このときの撮像手段のサンプル周期をT=10.0[msec]、車速を76[km/h]=20.0[m/sec]であるとすると、2×10.0×10-3×20.0=0.4[m]が位相差に相当する実空間上の距離となる(図5における57の距離)。
There are various methods for obtaining this phase difference. As a simple method, the graph of one flow is shifted by one sample width to obtain the difference between the left and right flows. A state in which the sum of the differences is minimum is a state in which the phases match. The shift amount at this time is obtained as a phase difference. In the example of FIG. 6, it can be seen that there is a
Next, how the roll angle is calculated from this phase difference will be described. In the example of FIG. 6, since the phase difference is 2 sample widths, the sampling period of the imaging means at this time is T = 10.0 [msec], and the vehicle speed is 76 [km / h] = 20.0 [m / sec]. Then, 2 × 10.0 × 10 −3 × 20.0 = 0.4 [m] is the distance in real space corresponding to the phase difference (
次に、この実空間上の距離を画面上での画素値に換算する方法について述べる。図7は焦点距離fのレンズを有する撮像手段を地面から高さHの位置に、俯角θで取り付けた際の模式図を示している。71が撮像手段に実装された撮像素子を示し、72は撮像手段に実装されたレンズを表している。このとき、実空間上での距離xとこの距離xに相当する撮像素子面上での距離vの間に以下の関係が成り立つ。
今、f=6[mm], H=1.2[m], θ=0[deg]を想定し、フローを前方距離x=10.0[m]に相当する画面上で求めたとすると、数2にx=10.0、Δx=0.4をそれぞれ代入すると、Δv= 28.8[um]が得られる。さらに、これを撮像素子の画素サイズu=5.6[um]で割ることにより実空間上でΔx=0.4[m]に相当する画素数p=5[画素]が算出できる。最後にフローを求めた左右の位置の距離(図5の56)に相当する画素数が300画素だとすると、ロール角θは結果的に、θ=tan-1(5/300)=0.95[deg]と算出できる。これは、実施の形態1と同様、擬似直線を求め、この擬似直線を用いてロール角を補正するのと等価である。 Assuming that f = 6 [mm], H = 1.2 [m], θ = 0 [deg], and the flow is calculated on the screen corresponding to the forward distance x = 10.0 [m], x Substituting = 10.0 and Δx = 0.4 respectively yields Δv = 28.8 [um]. Further, by dividing this by the pixel size u = 5.6 [um] of the image sensor, the number of pixels p = 5 [pixel] corresponding to Δx = 0.4 [m] in the real space can be calculated. Assuming that the number of pixels corresponding to the distance between the left and right positions (56 in FIG. 5) for which the flow was finally obtained is 300 pixels, the roll angle θ results in θ = tan −1 (5/300) = 0.95 [deg] And can be calculated. This is equivalent to obtaining a quasi-straight line and correcting the roll angle using this quasi-straight line as in the first embodiment.
なお、実施の形態1に対する実施の形態２の優位性について簡単に説明する。実施の形態1では単純にレーンマーキングの進行方向の端点を求めるため、レーンマーキングが汚れていたり、かすれている場合は、その影響がまともに算出されたロール角の誤差となる。それに対し、実施の形態２では、片側のレーンマーキングに汚れやかすれが存在し、図8のようなフローとなった場合でも、前述したようにフローの波形を少しずつシフトさせて差分をとり、差分の総和が最小となるシフト量を位相差とすることで、ノイズに対して強いロール角算出が可能となる。 The superiority of the second embodiment over the first embodiment will be briefly described. In the first embodiment, since the end point of the lane marking in the traveling direction is simply obtained, if the lane marking is dirty or faint, the influence is an error of the calculated roll angle. On the other hand, in the second embodiment, even when the lane marking on one side has dirt or faintness and the flow becomes as shown in FIG. 8, the flow waveform is shifted little by little as described above, and the difference is obtained. By setting the shift amount that minimizes the sum of the differences as the phase difference, it is possible to calculate a roll angle that is strong against noise.
実施の形態1においても端点のペアを複数用いれば正確にロール角を算出できるようになるが、1つの画像中で検出できる端点のペアはせいぜい2〜3ペア程度で、やはり波形全体で位相差を算出する実施の形態２の方が正確にロール角を算出できる。
しかしながら、実施の形態２の方法はメモリ容量がある程度必要であるため、メモリ容量があまり使用できない場合は実施の形態1の方法が有効であると言える。
Even in the first embodiment, the roll angle can be accurately calculated by using a plurality of end point pairs. However, the number of end point pairs that can be detected in one image is at most about 2 to 3 pairs, and the phase difference in the entire waveform is also achieved. The roll angle can be calculated more accurately in the second embodiment for calculating.
However, since the method of the second embodiment requires a certain amount of memory capacity, it can be said that the method of the first embodiment is effective when the memory capacity cannot be used much.
実施の形態３．
上述の実施の形態では走行車線を示すレーンマーキングを用いて、ロール角方向の誤差を検出したが、図10に示されるような車間距離確認用のマーキングを用いてロール角方向の誤差を検出してもよい。この実施例における構成を示したのが図9であり、図中、擬似直線検出装置92は車間距離確認用マーキング検出手段92aと車間距離確認用マーキング端面検出手段92bとから構成されている。
Embodiment 3 FIG.
In the above-described embodiment, the error in the roll angle direction is detected by using the lane marking indicating the driving lane, but the error in the roll angle direction is detected by using the marking for checking the inter-vehicle distance as shown in FIG. May be. FIG. 9 shows the configuration in this embodiment. In the figure, the pseudo straight
次に、動作について説明する。まず、撮像手段11で車両前方の画像を取得し、得られた前方画像を用いて車間距離確認用マーキング検出手段92aで、図10の103に示されるような車間距離確認用マーキングを検出する。次に車間距離確認用マーキング端面検出手段92bにて、図10の104に示す車間距離確認用マーキングの進行方向の端面を検出する。この例では遠方側の端面を検出しているが、手前の端面を検出してもよい。この端面を直線で結ぶことにより疑似直線が得られる。この疑似直線は図10のようにロール角方向の誤差がない場合は105のようになり、ロール角誤差が発生している図11では105’のようになる。 Next, the operation will be described. First, an image in front of the vehicle is acquired by the imaging means 11, and the marking for detecting the inter-vehicle distance as shown at 103 in FIG. 10 is detected by the inter-vehicle distance confirmation marking detecting means 92a using the obtained forward image. Next, an end surface in the advancing direction of the inter-vehicle distance confirmation marking indicated by 104 in FIG. 10 is detected by the inter-vehicle distance confirmation marking end surface detecting means 92b. In this example, the far end face is detected, but the near end face may be detected. A pseudo straight line is obtained by connecting the end faces with a straight line. This pseudo straight line becomes 105 when there is no error in the roll angle direction as shown in FIG. 10, and becomes 105 'in FIG. 11 where the roll angle error is generated.
この疑似直線からロール角を算出する方法については、実施の形態１あるいは実施の形態２と同様の方法が適用されるものである。この実施の形態によれば、車間距離確認用マーキング検出手段92aと車間距離確認用マーキング端面検出手段92bとから構成される擬似直線検出装置92を用いることにより、車間距離確認用マーキングを用いてロール角を算出することができる。従って、実施の形態１や実施の形態２のように、レーンマーキングが両側破線でなくてもロール角を求めることができるという効果がある。
As a method for calculating the roll angle from this pseudo straight line, the same method as in the first embodiment or the second embodiment is applied. According to this embodiment, by using the pseudo straight
実施の形態４．
上記実施の形態１〜３では、ロール角を算出する条件については触れていなかったが、これらの実施の形態において算出しようとしているのは、カーブ路等を走行する際に発生する動的なロール角を検出するのが目的でなく、車両への取り付け時に発生する誤差や、経年変化により発生する誤差等、定常的な誤差を検出するのが目的である。
本実施の形態４では、車両から出力される舵角センサ出力、ヨーレートセンサ出力、および車速センサ出力のいずれかもしくはすべてを用いて車両が直進しているかどうかを判定し、車両が直進していると判定された場合にのみロール角を算出するようにしたものである。本実施例の構成を示したのが図12である。
上記のようにすることにより、車両が直進しているときのみのロール角が算出でき、過渡的な変動分を除去することが可能となる。
Embodiment 4 FIG.
In the first to third embodiments, the condition for calculating the roll angle was not mentioned, but what is being calculated in these embodiments is a dynamic roll that occurs when traveling on a curved road or the like. The purpose is not to detect corners, but to detect stationary errors, such as errors that occur during installation on a vehicle or errors that occur due to aging.
In the fourth embodiment, it is determined whether or not the vehicle is traveling straight using any or all of the steering angle sensor output, the yaw rate sensor output, and the vehicle speed sensor output that are output from the vehicle, and the vehicle travels straight. The roll angle is calculated only when it is determined. FIG. 12 shows the configuration of this example.
By doing as described above, the roll angle can be calculated only when the vehicle is traveling straight, and the transient fluctuation can be removed.
実施の形態５．
本実施の形態５は、上記実施の形態１〜４で示した、疑似直線を検出してこの検出した疑似直線からロール角を算出するという方法を用い、この求められたロール角で、走行車線認識手段によって得られた走行車線情報を補正する方法について述べている。本実施の形態の構成を示したのが図13であり、図中、走行車線認識手段131はレーンマーキング検出手段131a、道路モデル同定手段131b、車線内横位置算出手段131cとから構成されている。
Embodiment 5 FIG.
The fifth embodiment uses the method of detecting the pseudo straight line and calculating the roll angle from the detected pseudo straight line, as shown in the first to fourth embodiments, and at the obtained roll angle, the traveling lane A method for correcting the travel lane information obtained by the recognition means is described. FIG. 13 shows the configuration of the present embodiment. In FIG. 13, the traveling
次に、動作について説明する。撮像手段11によって得られた画像を用い、疑似直線を求め、ロール角を算出する方法については実施の形態１〜４で説明したので割愛する。本実施の形態では、撮像手段11によって得られた前方画像を用いてロール角を算出する一方、道路に埋設されたレーンマーキングを検出し、走行車線を認識する。以下でこの走行車線認識の部分について詳しく説明する。撮像手段11によって得られた画像データは走行車線認識手段131に転送され、レーンマーキング検出手段131aで道路に埋設されたレーンマーキングを検出し、道路モデル同定手段131bで走行車線を表すための多項式のパラメータ同定が行われる。 Next, the operation will be described. Since the method for obtaining the pseudo straight line and calculating the roll angle using the image obtained by the imaging means 11 has been described in the first to fourth embodiments, it will be omitted. In the present embodiment, the roll angle is calculated using the front image obtained by the imaging means 11, while the lane marking embedded in the road is detected to recognize the traveling lane. The travel lane recognition portion will be described in detail below. The image data obtained by the imaging means 11 is transferred to the travel lane recognition means 131, the lane marking detection means 131a detects the lane marking embedded in the road, and the road model identification means 131b uses a polynomial for representing the travel lane. Parameter identification is performed.
ある点列から所定の多項式のパラメータを同定する方法については、最小二乗法等、様々な手法が論文や特許等で公開されているため、ここでは詳細説明を割愛する。次にこの同定された道路モデルに基づき、131cの車線内横位置算出手段では、自車両の車線内における横位置を算出する。さて、ロール角算出手段13によって求められたロール角を用い、どのように走行車線情報を補正するかであるが、大きく分けて3つ考えられる。1つ目はレーンマーキング検出手段131aで得られた個々のレーンマーキング位置に補正を加える方法、2つ目は道路モデル同定手段131bで得られた多項式で表される道路モデルのパラメータに補正を加える方法、3つ目は車線内横位置算出手段131cによって得られる、自車両の車線内における横位置に補正を加える方法である。補正にかかる計算量が一番少ないのは3番目の方法だが、他の処理との兼ね合いを考慮し、1つ目の補正方法や2つめの補正方法を選択する場合もあり得る。 Various methods such as the least square method have been published in papers and patents for identifying a parameter of a predetermined polynomial from a certain point sequence, and a detailed description thereof will be omitted here. Next, based on the identified road model, the lateral position calculating means 131c in the lane calculates the lateral position of the host vehicle in the lane. Now, how to correct the travel lane information using the roll angle obtained by the roll angle calculation means 13 is roughly divided into three. The first is to correct each lane marking position obtained by the lane marking detection means 131a, and the second is to correct the road model parameters expressed by the polynomial obtained by the road model identification means 131b. The third method is a method of correcting the lateral position in the lane of the host vehicle obtained by the in-lane lateral position calculating means 131c. Although the third method has the least amount of calculation for correction, the first correction method and the second correction method may be selected in consideration of balance with other processes.
また、補正を実施する条件について説明しておく。基本的に算出されたロール角の信憑性が高いときのみ補正を実施するが、この信憑性を判定する指標としては、例えば算出されたロール角の時間的変動を確認し、この変動が閾値以下であれば信憑性が高いと判定する。また本実施の形態ではレーンマーキングを検出しているため、レーンマーキングの進行方向の端点を検出してロール角を検出する方法がもっとも計算量が少なく、メモリ容量も少なくて済む。このように認識された走行車線情報に補正を加えることで、冒頭で述べたように、車線逸脱警報システムの警報位置が左右アンバランスになったり、車線維持システムのトルクが左右アンバランスとなることがなくなり、結果的にドライバの違和感を払拭できる。 The conditions for performing the correction will be described. Basically, correction is performed only when the reliability of the calculated roll angle is high, but as an index for determining this authenticity, for example, the temporal variation of the calculated roll angle is confirmed, and this variation is below the threshold value. If so, it is determined that the credibility is high. In the present embodiment, since lane marking is detected, the method of detecting the roll angle by detecting the end point in the lane marking traveling direction requires the least amount of calculation and the memory capacity can be reduced. By correcting the lane information recognized in this way, as described at the beginning, the alarm position of the lane departure warning system becomes left / right unbalanced, or the torque of the lane keeping system becomes left / right unbalanced. As a result, the driver's uncomfortable feeling can be eliminated.
実施の形態６．
上記実施の形態５ではレーンマーキングの進行方向端点を用いてロール角を求め、走行車線情報を補正しているが、実施の形態2に示すようにレーンマーキング位置の進行方向のフロー(輝度値の時間的変化)を用いてロール角を求めてもよい。レーンマーキングのフローを用いてロール角を求めることで、実施の形態２でも述べたように、レーンマーキングが汚れていたり、かすれている場合でもロール角を正確に算出することができ、高精度な車線逸脱警報システムや車線維持システムを提供できる。
Embodiment 6 FIG.
In the fifth embodiment, the roll angle is obtained using the traveling direction end point of the lane marking and the traveling lane information is corrected. However, as shown in the second embodiment, the flow in the traveling direction of the lane marking position (the luminance value) The roll angle may be obtained using time variation. By calculating the roll angle using the lane marking flow, as described in the second embodiment, the roll angle can be accurately calculated even when the lane marking is dirty or faint, so that high accuracy can be obtained. A lane departure warning system and a lane keeping system can be provided.
実施の形態７．
実施の形態６ではレーンマーキング位置のフローを用いてロール角を求めているが、実施の形態３に示すように車間距離確認用マーキングの進行方向端面を用いてロール角を求め、このロール角を用いて走行車線情報を補正してもよい。
車間距離確認用のマーキングを用いてロール角を検出することにより、レーンマーキングが両側破線でない場合でもロール角方向の誤差が補正でき、補正を実施する頻度も高く、検出精度向上に貢献できる。
Embodiment 7 FIG.
In the sixth embodiment, the roll angle is obtained using the flow of the lane marking position. However, as shown in the third embodiment, the roll angle is obtained using the traveling direction end face of the inter-vehicle distance confirmation marking, and this roll angle is obtained. It may be used to correct travel lane information.
By detecting the roll angle using the marking for checking the inter-vehicle distance, even when the lane marking is not a broken line on both sides, the error in the roll angle direction can be corrected, the frequency of performing the correction is high, and it can contribute to the improvement of detection accuracy.
実施の形態８．
本実施の形態は上記実施の形態５〜７の構成において、実施の形態４で説明した、車両が直進しているかどうかの判定を加え、車両が直進している場合にのみロール角を算出し、算出されたロール角を用いて走行車線情報を補正するようにしたものである。
図14は本実施の形態の構成を示すブロック図である。
こうすることにより、実施の形態４でも述べたように、車両が直進しているときのみのロール角が算出でき、過渡的な変動分を除去することが可能となる。したがって結果的に車線逸脱警報システムや車線維持システムの精度向上に貢献できる。
Embodiment 8 FIG.
In the present embodiment, in the configurations of the above-described fifth to seventh embodiments, the determination as to whether or not the vehicle is traveling straight as described in the fourth embodiment is added, and the roll angle is calculated only when the vehicle is traveling straight. The travel lane information is corrected using the calculated roll angle.
FIG. 14 is a block diagram showing the configuration of the present embodiment.
By doing so, as described in the fourth embodiment, it is possible to calculate the roll angle only when the vehicle is traveling straight, and to remove the transient fluctuation. As a result, it is possible to contribute to improving the accuracy of the lane departure warning system and the lane keeping system.
11 撮像手段
12 疑似直線検出手段
12a レーンマーキング検出手段
12b レーンマーキング端点検出手段
13 ロール角算出手段
21 路面
22 レーンマーキング
23 レーンマーキングにおける進行方向の端点
24 疑似直線
24’ ロール角方向の誤差が発生した場合の疑似直線
42 疑似直線検出手段
42a レーンマーキング検出手段
42b 進行方向フロー算出手段
42c 左右フロー位相差算出手段
92 疑似直線検出手段
92a 車間距離確認用マーキング検出手段
92b 車間距離確認用マーキング端面検出手段
103 車間距離確認用マーキング
104 車間距離確認用マーキングの進行方向端面
131 走行車線認識手段
131a レーンマーキング検出手段
131b 道路モデル同定手段
131c 車線内横位置算出手段
321 車両
322b x軸まわりの回転角(ロール角)
11 Imaging means
12 Pseudo straight line detection means
12a Lane marking detection means
12b Lane marking end point detection means
13 Roll angle calculation means
21 Road surface
22 Lane marking
23 Directional endpoints in lane marking
24 pseudo straight line
24 'Pseudo line when roll angle direction error occurs
42 Pseudo straight line detection means
42a Lane marking detection means
42b Traveling direction flow calculation means
42c Left / right flow phase difference calculation means
92 Pseudo straight line detection means
92a Marking detection means for checking distance between vehicles
92b Marking end face detection means for checking distance between vehicles
103 Marking for checking the distance between vehicles
104 End face in the direction of travel of the distance confirmation marking
131 Driving lane recognition means
131a Lane marking detection means
131b Road model identification means
131c Lane lateral position calculation means
321 vehicles
322b Rotation angle around x axis (roll angle)
Claims (7)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003384173A JP4296076B2 (en) | 2003-11-13 | 2003-11-13 | Driving lane recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003384173A JP4296076B2 (en) | 2003-11-13 | 2003-11-13 | Driving lane recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005149022A JP2005149022A (en) | 2005-06-09 |
| JP4296076B2 true JP4296076B2 (en) | 2009-07-15 |
Family
ID=34692688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003384173A Expired - Fee Related JP4296076B2 (en) | 2003-11-13 | 2003-11-13 | Driving lane recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4296076B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014218075B4 (en) * | 2013-09-20 | 2021-05-12 | Honda Motor Co., Ltd. | Roll angle estimator from a vehicle |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4670528B2 (en) * | 2005-07-29 | 2011-04-13 | 日産自動車株式会社 | Imaging device deviation detection method, imaging device deviation correction method, and imaging device |
| JP2007216747A (en) * | 2006-02-15 | 2007-08-30 | Fujitsu Ten Ltd | Vehicle rolling detection device and occupant crash protection system |
| DE102009055776A1 (en) * | 2009-11-25 | 2011-05-26 | Conti Temic Microelectronic Gmbh | Method for estimating the roll angle in a moving vehicle |
| JP5991842B2 (en) * | 2012-04-16 | 2016-09-14 | アルパイン株式会社 | Mounting angle correction device and mounting angle correction method for in-vehicle camera |
| JP6189815B2 (en) | 2014-10-29 | 2017-08-30 | 株式会社Ｓｏｋｅｎ | Traveling line recognition system |
| US9884623B2 (en) * | 2015-07-13 | 2018-02-06 | GM Global Technology Operations LLC | Method for image-based vehicle localization |
| JP7139597B2 (en) * | 2017-12-07 | 2022-09-21 | 株式会社豊田中央研究所 | SELF-LOCATION ERROR ESTIMATION DEVICE AND SELF-LOCATION ERROR ESTIMATION METHOD |
-
2003
- 2003-11-13 JP JP2003384173A patent/JP4296076B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014218075B4 (en) * | 2013-09-20 | 2021-05-12 | Honda Motor Co., Ltd. | Roll angle estimator from a vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005149022A (en) | 2005-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2422320B1 (en) | Object detection device | |
| US10147003B2 (en) | Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof | |
| JP5747482B2 (en) | Vehicle environment recognition device | |
| WO2010146695A1 (en) | Image processing device and image processing method | |
| JP2005332104A (en) | Vehicle traffic lane line recognition apparatus | |
| JP2005332107A (en) | Lane marking recognizing device for vehicle | |
| CN110415298B (en) | Calculation method for lane departure | |
| JP4670528B2 (en) | Imaging device deviation detection method, imaging device deviation correction method, and imaging device | |
| JP3722486B1 (en) | Vehicle lane marking recognition device | |
| JP3293441B2 (en) | Imaging device | |
| JP4296076B2 (en) | Driving lane recognition device | |
| WO2019031137A1 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
| JP3393427B2 (en) | Curve radius estimation device and automatic steering control system with curve radius estimation device | |
| JP2011175572A (en) | Lane recognition device | |
| JP3807651B2 (en) | White line recognition device | |
| JP3956817B2 (en) | Displacement data extraction method and object detection apparatus | |
| JP5561469B2 (en) | Yaw rate correction apparatus and method | |
| WO2009119070A1 (en) | Image processing device for vehicle and image processing program | |
| JP6314655B2 (en) | Marking line detection device, marking line detection method | |
| JP2007018451A (en) | Road boundary line detecting device | |
| JP2018136739A (en) | Calibration device | |
| JP3606039B2 (en) | Road shape detection device | |
| WO2015001747A1 (en) | Travel road surface indication detection device and travel road surface indication detection method | |
| CN113903103B (en) | Partial image generation device, partial image generation method, and storage medium | |
| JP2005332105A (en) | Lane marking recognizing device for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050729 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080919 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090210 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090323 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090413 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4296076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |