JP2012073924A - Traffic lane estimation device - Google Patents
Traffic lane estimation device Download PDFInfo
- Publication number
- JP2012073924A JP2012073924A JP2010219649A JP2010219649A JP2012073924A JP 2012073924 A JP2012073924 A JP 2012073924A JP 2010219649 A JP2010219649 A JP 2010219649A JP 2010219649 A JP2010219649 A JP 2010219649A JP 2012073924 A JP2012073924 A JP 2012073924A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- line
- candidate point
- prediction
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 46
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000003702 image correction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006854 communication Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に搭載されている撮像手段で撮像した前方の外部環境に基づいて走行レーンを区画する走行車線を推定する車線推定装置に関する。 The present invention relates to a lane estimation device that estimates a traveling lane that divides a traveling lane based on a front external environment imaged by an imaging unit mounted on a vehicle.
従来、高速道路等の走行において、自車両前方の走行環境を検出し、検出した走行環境データに基づいて、自車走行レーンの左右を区画する走行車線を検出し、この走行車線に沿って自車両を自動走行させる走行制御や、認識した車線位置から自車両が逸脱すると予測される場合には警告を発して、運転者に注意を促すレーンキープ制御等の運転支援装置が知られている。 Conventionally, in traveling on an expressway or the like, a traveling environment in front of the host vehicle is detected, a traveling lane that divides the left and right of the traveling lane is detected based on the detected traveling environment data, and the traveling lane along the traveling lane is detected. There are known driving support devices such as driving control for automatically driving a vehicle and lane keeping control for issuing a warning when the vehicle is predicted to deviate from a recognized lane position to alert the driver.
自車両を走行車線に沿って正確に走行させるためには、この走行車線の位置を正確に推定する必要がある。この走行車線位置を推定する手段としては、車両に搭載されているカメラ（以下、「車載カメラ」と称する）で撮像した自車両前方の画像に基づき、路面と白線との輝度差から白線のエッジを検出し、この白線のエッジから走行車線位置を確定する技術が知られている。 In order for the host vehicle to travel accurately along the travel lane, it is necessary to accurately estimate the position of the travel lane. As a means for estimating the traveling lane position, the edge of the white line is determined based on the luminance difference between the road surface and the white line based on an image in front of the host vehicle captured by a camera mounted on the vehicle (hereinafter referred to as “vehicle camera”). Is known, and the traveling lane position is determined from the edge of the white line.
しかし、高速道路上の走行車線は、走行レーンを区画する左右の走行車線のみならず、カーブ路等には、走行車線とその内側の誘導線（いわゆるドットライン）とからなる二重白線が描かれている場合がある。白線のエッジを路面との輝度差により検出する技術では、道路内側の白線が外側の白線よりも輝度差が明確に現れるため、二重白線では、内側誘導線を走行車線と誤認識しやすい。又、車線と平行に轍が形成されている場合、この轍が水溜まりになると、その水面からの反射光により高輝度が受光されるため、この轍を車線と誤認識してしまう可能性がある。 However, the driving lane on the expressway is not only the left and right driving lanes that divide the driving lane, but also on curved roads, a double white line consisting of the driving lane and the inner guide line (so-called dot line) is drawn. May be. In the technique of detecting the edge of the white line based on the luminance difference from the road surface, the white line on the road has a clearer luminance difference than the white line on the outside, and therefore, the double white line easily misrecognizes the inner guide line as a driving lane. In addition, when a ridge is formed in parallel with the lane, if the ridge becomes a water pool, high brightness is received by reflected light from the water surface, so this ridge may be mistakenly recognized as a lane. .
この対策として、例えば特許文献１（特開２００４−３１０５２２号公報）には、車載カメラで撮像した画像に基づき、走行レーンの左右を区画する走行車線をエッジ抽出により検出するに際し、片側の走行車線として複数の車線候補が検出された場合には、各候補のエッジ周期を比較して最も連続線に近い候補を走行車線と判定する技術が開示されている。 As a countermeasure, for example, in Patent Document 1 (Japanese Patent Laid-Open No. 2004-310522), when detecting a driving lane that divides the left and right of a driving lane by edge extraction based on an image captured by an in-vehicle camera, a driving lane on one side is disclosed. When a plurality of lane candidates are detected, a technique is disclosed in which the edge cycle of each candidate is compared and the candidate closest to the continuous line is determined as a traveling lane.
上述した文献に開示されている技術では、例えば二重白線の内側誘導線は不連続線（ドットライン）であり、一方、走行車線は連続線であるため、最も長い連続線を走行車線と判定するようにしている。 In the technique disclosed in the above-described document, for example, the inner guide line of the double white line is a discontinuous line (dot line), while the traveling lane is a continuous line, so the longest continuous line is determined as the traveling lane. Like to do.
車載カメラで認識する二重白線の走行車線と内側誘導線との間隔は、遠方へ延出するに従い次第に狭くなるため、遠方では、走行車線のエッジ抽出点（車線候補点）と内側誘導線のエッジ抽出とが近接して分離し難くなり、従って、遠方へ向かうに従い走行車線の推定位置にずれが生じ易くなり、走行車線を遠方まで正確に検出することができない問題がある。 The distance between the double white line driving lane recognized by the in-vehicle camera and the inner guide line gradually becomes narrower as it extends farther away. Therefore, in the distance, the edge extraction point (lane candidate point) of the driving lane and the inner guide line The edge extraction becomes difficult to separate in the vicinity, and therefore, the estimated position of the traveling lane tends to shift as it goes farther, and the traveling lane cannot be accurately detected far away.
又、二重白線の出口（内側誘導線の終了端）では、走行車線のエッジ抽出点と内側誘導線のエッジ抽出点とが明確に切り分けることができないので、走行車線の位置検出にずれが生じ易くなる不都合がある。 In addition, at the exit of the double white line (the end of the inner guide line), the edge extraction point of the traveling lane and the edge extraction point of the inner guidance line cannot be clearly separated, so a deviation occurs in the detection of the position of the traveling lane. There is an inconvenience that becomes easy.
本発明は、上記事情に鑑み、二重白線等、走行車線の内外に、走行車線と誤認し易い車線候補点が断続的に検出された場合であっても、走行車線を連続して推定することができ、安定した運転支援を行うことのできる車線推定装置を提供することを目的とする。 In view of the above circumstances, the present invention continuously estimates a traveling lane even when a lane candidate point that is easily misidentified as a traveling lane is intermittently detected inside or outside the traveling lane, such as a double white line. An object of the present invention is to provide a lane estimation device that can perform stable driving support.
上記目的を達成するため本発明による車線推定装置は、車両に搭載されて該車両の外部環境を撮像する撮像手段と、予め設定されている複数の車線種毎のレーン幅データを記憶する記憶手段と、前記撮像手段で撮像した画像に基づいて走行車線と路面との車線境界を検出し、該車線境界に車線候補点を点列状にプロットする車線候補点設定手段と、前回の演算時に求めた仮想線を求める曲線近似式に基づき、該曲線近似式を演算周期分の時間進み補正して車線予測線を求め、該車線予測線と前記車線候補点の点列との一致度を調べ、一致度の高い点列を成す前記車線候補点を主候補点として設定する予測線一致判定手段と、前記主候補点の点列に基づいて前記車線境界を推定する前記仮想線の曲線近似式を設定し、該仮想線と前記記憶手段に記憶されている前記レーン幅とに基づき該仮想線の車線種を推定する曲線近似処理手段とを備えることを特徴とする。 In order to achieve the above object, a lane estimation apparatus according to the present invention includes an imaging unit mounted on a vehicle for imaging an external environment of the vehicle, and a storage unit for storing lane width data for a plurality of preset lane types. Lane candidate point setting means for detecting a lane boundary between the driving lane and the road surface based on the image captured by the imaging means, and plotting the lane candidate points on the lane boundary in a dot sequence, and obtained at the time of the previous calculation Based on the curve approximation formula for obtaining the virtual line, the curve approximation formula is corrected by time advance for the calculation period to obtain a lane prediction line, and the degree of coincidence between the lane prediction line and the point sequence of the lane candidate points is examined, Predicted line coincidence determining means for setting the lane candidate points forming a point sequence having a high degree of coincidence as a main candidate point, and a curve approximation formula for the virtual line for estimating the lane boundary based on the point sequence of the main candidate points Set the virtual line and the storage means Characterized in that it comprises a curve approximation processing means for estimating a lane species of the virtual line based on said lane width being 憶.
本発明によれば、二重白線等、走行車線の内外に走行車線と誤認し易い車線候補点が断続的に検出された場合であっても、今回演算する車線予測線が前回演算時に求めた仮想線に基づいて設定されているので、車線予測線が急激に変化することが無く、この車線予測線との一致度の高い主候補点を検出することで、この主候補点に基づいて求めた仮想線の車線種を連続して推定することができ、安定した運転支援を行うことができる。 According to the present invention, even when a lane candidate point that is easily misidentified as a traveling lane is detected inside and outside the traveling lane, such as a double white line, the lane prediction line calculated this time is obtained at the time of the previous calculation. Since it is set based on a virtual line, the lane prediction line does not change abruptly, and a main candidate point having a high degree of coincidence with this lane prediction line is detected. Therefore, the lane type of the virtual line can be continuously estimated, and stable driving support can be performed.
以下、図面に基づいて本発明の一実施形態を説明する。図１に示す走行制御装置は、画像処理系Ａと操舵制御系Ｂとを有し、画像処理系Ａが撮像手段１と画像処理部２と車線推定部９とで構成され、操舵制御系Ｂが操舵制御部１０と操舵アクチュエータ１１とで構成されている。尚、本実施形態では、画像処理系Ａと操舵制御部１０とがカメラユニットに設けられている。又、操舵アクチュエータ１１としては、電動モータや油圧モータ等がある。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. 1 includes an image processing system A and a steering control system B, and the image processing system A includes an
操舵制御部１０はマイクロコンピュータを主体に構成されており、ＣＡＮ(Controller Area Network)通信等の車内通信回線１２を通じて操舵アクチュエータ１１と双方向通信可能に接続されている。この操舵制御部１０は、画像処理系Ａから送信される走行車線データに基づき、自車両が走行レーンの左右を区画する走行車線に沿って走行するようにステアリングのハンドル角を設定し、対応する操舵トルクを操舵アクチュエータ１１へ出力する。操舵アクチュエータ１１は、操舵制御部１０からの操舵トルクに基づきステアリングを動作させて車両の進行方向を調整する。
The
又、図２に示すように、画像処理系Ａの撮像手段１は、メインカメラ１ａとサブカメラ１ｂとからなるステレオカメラであり、この両カメラ１ａ，１ｂは、例えばルームミラー上方であって、フロントガラスに近接する位置の車幅方向中央から左右に等間隔を開けて水平な状態で設置されている。又、この各カメラ１ａ，１ｂにＣＣＤやＣＭＯＳ等の撮像素子が設けられており、この両撮像素子によって自車両が走行している走行レーンを含む車両前方の外部環境が撮像される。
As shown in FIG. 2, the imaging means 1 of the image processing system A is a stereo camera composed of a
両カメラ１ａ，１ｂで撮像した一対のアナログ画像が画像処理部２に出力される。画像処理部２は、Ａ／Ｄ変換部３と画像補正部４と画像データメモリ５と車線推定部９とを備えている。各カメラ１ａ，１ｂで撮像したアナログ画像は、Ａ／Ｄ変換部３に設けられている各Ａ／Ｄ変換器３ａ，３ｂで所定輝度階調のデジタル画像に変換されて画像補正部４に出力される。
A pair of analog images captured by both
画像補正部４では、両カメラ１ａ，１ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正が行われ、メインカメラ１ａの出力信号から基準画像データが生成され、又、サブカメラ１ｂの出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが生成される。そして、この基準画像データ及び比較画像データが画像データメモリ５に格納されると共に、画像処理手段６に出力される。
The image correction unit 4 performs image correction such as correction of luminance values including displacement due to errors in the mounting positions of the
画像処理手段６はイメージプロセッサ７と距離データメモリ８とを備えている。イメージプロセッサ７は、基準画像データと比較画像データとの視差に基づいて両画像中の同一対象物の距離データ（自車両から対象物までの距離）を、三角測量の原理を利用して算出し、距離データメモリ８に格納する。
The image processing means 6 includes an image processor 7 and a
又、車線推定部９は、予測線設定部９ａと、車線候補点設定手段としての車線候補点設定部９ｂと、予測線一致判定手段としての予測線一致判定部９ｃと、曲線近似処理手段としての曲線近似処理部９ｄと、車線位置設定部９ｅと、記憶手段としての固定データメモリ９ｆとを備えている。固定データメモリ９ｆには、図１２、図１３に示すように、走行レーンを区画する左右の走行車線２１Ｌ，２１Ｒ間の車線幅（以下「標準レーン幅」と称する）Ｗ１、及び二重白線の内側誘導線２２間の車線幅（以下「狭レーン幅」と称する）Ｗ２の各データと、後述する表１〜表３に示されている車線種判定データＴ１〜Ｔ３が格納されている。
The
高速道路の走行レーンは、走行車線２１Ｌ，２１Ｒが連続線で左右に一本ずつ描かれており、又、カーブ等のように車両が走行レーンから逸脱し易い道路では、走行車線２１Ｌ，２１Ｒの内側に破線状の誘導線（ドットライン）２２が描かれた二重白線となっている。尚、高速道路における走行車線２１Ｌ，２１Ｒ、及び内側誘導線２２のレーン幅Ｗ１，Ｗ２は予め設定範囲に決められており、例えば走行車線２１Ｌ，２１Ｒ間のレーン幅（標準レーン幅）Ｗ１は3.25〜3.5[m]、内側誘導線２２間のレーン幅（狭レーン幅）Ｗ２は2.8〜3.05[m]程度である。従って、互いに対向する車線の間隔が判別できれば、この間隔から車線種を推定することができる。
The driving lanes on the expressway have the
予測線設定部９ａは、前回演算時に求めた今回の走行車線と路面との車線境界である内側エッジを推定する仮想線Ｌｓ(n-1)（ここで、(n-1)は前回値を示す）を求める曲線近似式である二次モデル式（ｙ＝ａｘ２＋ｂｘ＋ｃ）の各係数ａ，ｂ，ｃを１フレーム分、すなわち、演算周期分の時間進み補正処理を行った値（時間進み予測値）ａ’，ｂ’，ｃ’を求める。
The prediction
尚、二次モデル式は走行車線２１Ｌ，２１Ｒ毎に設定されるため、詳細には、左車線用二次モデル式ＬｐL（ｙ＝ａLｘ２＋ｂLｘ＋ｃL）と、右車線用二次モデル式ＬｐR（ｙ＝ａRｘ２＋ｂRｘ＋ｃR）とが、個別に求められる。従って、時間進み予測値も、左走行車線の時間進み予測値ａL’，ｂL’，ｃL’と、右走行車線の時間進み予測値ａR’，ｂR’，ｃR’とが求められる。但し、以下においては、説明を容易にするため、特に断りのない場合は、二次モデル式を、左右の走行車線で区別することなく、ｙ＝ａｘ２＋ｂｘ＋ｃと表わし、又、時間進み予測値も、ａ’，ｂ’，ｃ’と記載する。
Since the secondary model formula is set for each of the
そして、この時間進み予測値ａ’，ｂ’，ｃ’に基づく二次モデル式（ｙ＝ａ’ｘ２＋ｂ’ｘ＋ｃ’）から、今回のフレーム画像に対応する１フレーム分の走行車線を予測する車線予測線である第１予測線としての予測標準線ＬｐL，ＬｐR（仮想線Ｌｓの延長線）を求める。又、前回の演算時に二重白線が検出された場合は、予測標準線ＬｐL，ＬｐRに加えて内側誘導線と路面との車線境界である内側エッジを予測する車線予測線である第２予測線としての予測補助線Ｌｐ２を求める。尚、この二次モデル式については後述する。 Then, from the quadratic model formula (y = a′x 2 + b′x + c ′) based on the predicted time advance values a ′, b ′, and c ′, a driving lane for one frame corresponding to the current frame image is predicted. The prediction standard lines LpL and LpR (extension lines of the virtual line Ls) as the first prediction lines that are lane prediction lines to be obtained are obtained. In addition, when a double white line is detected during the previous calculation, in addition to the prediction standard lines LpL and LpR, a second prediction line that is a lane prediction line that predicts an inner edge that is a lane boundary between the inner guide line and the road surface The prediction auxiliary line Lp2 is obtained. The secondary model formula will be described later.
車線候補点設定部９ｂは、画像データメモリ５に格納されている今回撮像した基準画像データと比較画像データとを読込み、又、距離データメモリ８に格納されている距離データを読込む。そして、これら各データに基づき基準画像データ上の自車両が走行する走行レーン左右の車線境界を検出し、この車線境界に候補点（車線候補点）を点列状にプロットする。尚、車線候補点は、連続する点列群毎に分類され、本実施形態では、前フレームからの候補点の移動数が所定値以上、且つ候補点のエッジ強度等に基づいて白線らしさが検出された等の上限を満足する点列群を構成する車線候補点を第１候補点Ｐ１として設定し、それよりも外側の点列群の車線候補点を第２候補点Ｐ２とし、内側の点列群の車線候補点を第０候補点Ｐ０としている。尚、白線らしさは、予め設定されている白線認定条件を候補点毎に判定し、この条件が満足された候補点の集まりで構成された候補点群は、白線らしさを有していると判定する。
The lane candidate point setting unit 9 b reads the reference image data and the comparison image data captured this time stored in the
具体的には、今回撮像した１つのフレームの基準画像データ上の１画素幅の水平ライン上を下側（自車両の手前側）から上向き（遠方）に１画素幅ずつオフセットしながら順次画素を探索し、基準画像データの各画素の輝度値に基づいて各画素の輝度微分値、すなわちエッジ強度（輝度差）が閾値以上に大きく変化する条件を満たしている画素を車線境界として検出する。このエッジ強度は、内側エッジの方が、外側エッジよりも強く表れる。従って、図７に示すように、走行レーンの左右に走行車線２１Ｌ，２１Ｒが１本ずつ描かれている場合には、この各走行車線２１Ｌ，２１Ｒの内側エッジが、第１候補点Ｐ１としてプロットされる。又、図８に示すように、二重白線の場合は、内側誘導線２２の内側エッジが第１候補点Ｐ１としてプロットされ、左右外側に平行に描かれている走行車線２１Ｌ，２１Ｒの内側エッジが第２候補点Ｐ２としてプロットされる。
Specifically, the pixels are sequentially shifted while being offset by one pixel width from the lower side (front side of the host vehicle) upward (distant) on the horizontal line of one pixel width on the reference image data of one frame captured this time. Search is performed, and a pixel satisfying a condition that the luminance differential value of each pixel, that is, the edge intensity (luminance difference) greatly changes to a threshold value or more based on the luminance value of each pixel of the reference image data is detected as a lane boundary. This edge strength appears stronger at the inner edge than at the outer edge. Therefore, as shown in FIG. 7, when one traveling
更に、図９に示すように、一方の走行レーンの走行車線（本実施形態では、左側走行車線２１Ｌ）に平行して轍２５が形成されている場合、この轍２５が水溜まりとなり、そこからの太陽光や照明光の反射光が高輝度で両カメラ１ａ，１ｂに受光されると、轍２５と路面とのエッジ強度が強くなるため、この轍２５の内側と路面とのエッジ（内側エッジ）が車線境界として誤検出される。この場合、第１候補点Ｐ１の点列は、予め設定されている条件（前フレームからの候補点の移動数が所定値以上、且つ白線らしさを検出した等）を満足する候補点をプロットしたものが選択されているため、轍２５の内側エッジをプロットした点列内の候補点が、この条件を満足しておらず、走行車線２１のエッジをプロットした候補点が条件を満足している場合は、走行車線２１Ｌのエッジをプロットした候補点が第１候補点となり、轍２５の内側エッジをプロットした候補点は第０候補点となる。尚、左右の各候補点ＰＩ，Ｐ２，Ｐ０は、画面下側（自車両の手前側）から画面上方（遠方）へ移動するに従い１画素の距離が長くなるため、相対的に遠方の各候補点Ｐ１，Ｐ２，Ｐ０は、近方の候補点Ｐ１，Ｐ２，Ｐ０に比し精度が低くなる。
Furthermore, as shown in FIG. 9, when a
そして、図１１に示すように、基準画像データと比較画像データとに基づいて生成した仮想道路平面上に、距離データに基づいて算出した左右の候補点（図においては、二重白線のエッジを示す候補点Ｐ１，Ｐ２が示されている）をプロットし直す。この仮想道路平面には自車両Ｍが配設されており、撮像手段１に設けられている両カメラ１ａ，１ｂ間の車幅方向中央の真下の道路面上の点を原点とし、自車両Ｍの車幅方向にｙ軸、前後方向にｘ軸を取る座標が設定される。尚、符号ｂは車線と自車両Ｍとのなす角（ヨー角）であり、詳細については後述する。又、上述した各図面では、左右の候補点Ｐ１，Ｐ２，Ｐ０の点列が疎らにプロットされているが、実際にはより細かい点列となっている。
Then, as shown in FIG. 11, on the virtual road plane generated based on the reference image data and the comparison image data, the left and right candidate points calculated based on the distance data (in the figure, the edges of double white lines are displayed). The candidate points P1 and P2 to be shown are plotted again. A host vehicle M is disposed on the virtual road plane, and a point on the road surface directly below the center in the vehicle width direction between the
予測線一致判定部９ｃは、予測線設定部９ａで求めた左右の予測標準線ＬｐL，ＬｐR（及び左右の予測補助線Ｌｐ２）と左右の各候補点Ｐ１，Ｐ２，Ｐ０との一致度[%]を左右で調べ、この一致度（＝信頼度）と、各候補点Ｐ１，Ｐ２，Ｐ０の数等から、候補点群を分類し、基本点列となる主候補点Ｐｍを決定する。
The prediction line
例えば図１２においては、走行レーンの左右に１本の走行車線２１Ｌ，２１Ｒが描かれているだけであるため、主候補点Ｐｍは第１候補点Ｐ１となる。又、図１３に示すように、二重白線の入口（開始端）では、内側誘導線２２のエッジが第１候補点Ｐ１としてプロットされるため、この第１候補点Ｐ１が主候補点Ｐｍに設定される。一方、図１４に示すように、二重白線の出口（終了端）を過ぎると、走行車線２１Ｌ，２１Ｒのエッジが第１候補点Ｐ１としてプロットされるため、これが主候補点Ｐｍに設定される。更に、図９に示すように、走行レーンに轍２５が形成され、この轍２５からの反射光によりエッジが検出された場合には、この轍２５のエッジに第０候補点Ｐ０がプロットされ、走行車線２１Ｌ，２１Ｒの内側エッジが第１候補点Ｐ１としてプロットされるため、この第１候補点Ｐ１が主候補点Ｐｍに設定される。
For example, in FIG. 12, since only one traveling
曲線近似処理部９ｄは、予測線一致判定部９ｃで特定した主候補点Ｐｍに基づいて、最小二乗法により、後述する二次モデル式（ｙ＝ａｘ２＋ｂｘ＋ｃ）の係数ａ，ｂ，ｃを求め、この二次モデル式から走行車線２１Ｌ，２１Ｒの内側エッジを推定する近似曲線である仮想線Ｌｓを求める。従って、この仮想線Ｌｓは走行レーンの左右に設定される。
The curve
例えば図１２においては、主候補点Ｐｍが第１候補点Ｐ１であるため、この第１候補点Ｐ１の点列（候補点群）に基づいて仮想線Ｌｓが設定される。又、図１３に示すように、二重白線の入口（開始端）では、内側誘導線２２のエッジをプロットした第１候補点Ｐ１が主候補点Ｐｍに設定されるため、この第１候補点Ｐ１の点列に基づいて仮想線Ｌｓが求められる。同様に、図１４に示すように、二重白線の出口（終了端）では、走行車線２１Ｌ，２１Ｒのエッジをプロットした第１候補点Ｐ１が主候補点Ｐｍとなるため、この第１候補点Ｐ１の点列に基づいて仮想線Ｌｓが設定される。更に、図９に示すように、走行レーンに轍２５が形成され、この轍２５からの反射光によりエッジが検出され、そこにプロットされた第０候補点Ｐ０の数が少ない場合、走行車線２１Ｌ，２１Ｒの内側エッジにプロットされた第１候補点Ｐ１が主候補点Ｐｍとなる。
For example, in FIG. 12, since the main candidate point Pm is the first candidate point P1, the virtual line Ls is set based on the point sequence (candidate point group) of the first candidate point P1. Further, as shown in FIG. 13, at the entrance (starting end) of the double white line, the first candidate point P1 in which the edge of the
そして、走行レーンの左右に設定された仮想線Ｌｓ間のレーン幅に基づいて、仮想線Ｌｓの車線種を推定し、推定した車線種と予測標準線ＬｐL，ＬｐR、及び左右の予測補助線Ｌｐ２との一致度より、今回の推定した車線種が正しいか否かを左右で検証する。 Then, the lane type of the virtual line Ls is estimated on the basis of the lane width between the virtual lines Ls set to the left and right of the travel lane, the estimated lane type and the predicted standard lines LpL and LpR, and the left and right prediction auxiliary lines Lp2 Whether the estimated lane type is correct is verified on the left and right.
車線位置設定部９ｅは、判定した車線種が予測標準線ＬｐL，ＬｐR、或いは左右の予測補助線Ｌｐ２と一致している場合、その車線種に応じたシフト量で、当該車線種の位置を走行車線２１Ｌ，２１Ｒの内側エッジへ移動させて、左右走行車線２１Ｌ，２１Ｒに対応する横位置ｃを設定し、今回のフレーム画像における曲線近似式である二次モデル式（ｙ＝ａｘ２＋ｂｘ＋ｃ）に基づき、自車両Ｍの走行している走行レーンを区画する左右の走行車線の位置を確定すると共に、１フレーム分の時間進み後の予測係数である時間進み予測値ａ’，ｂ’，ｃ’を設定する。
When the determined lane type matches the predicted standard lines LpL, LpR or the left and right predicted auxiliary lines Lp2, the lane position setting unit 9e travels the position of the lane type with the shift amount corresponding to the lane type. The vehicle is moved to the inner edges of the
上述した各処理部９ａ〜９ｅでの処理は、具体的には、図３に示す車線位置推定ルーチン、及び図４〜図６に示す車線位置推定処理サブルーチンに従って実行される。尚、以下においては、自車両Ｍが高速道路を走行している場合を例に掲げて説明する。
Specifically, the processing in each of the
このルーチンは、撮像手段１で撮像した画像の１フレーム毎に実行され、先ず、ステップＳ１で、今回プロットした候補点数が、車線を推定するに充分な数か否かを調べる。そして、候補点数が充分な場合は、ステップＳ２へ進み、不足している場合は、ステップＳ３へ分岐する。充分な数とは、このプロットした候補点に基づき最小二乗法により求める左右車線毎の二次モデル式（ｙ＝ａｘ２＋ｂｘ＋ｃ）の各係数ａ，ｂ，ｃが安定性、信頼性を維持することのできる数であり、予め実験などに基づいて設定される。 This routine is executed for each frame of the image picked up by the image pickup means 1, and first, in step S1, it is checked whether or not the number of candidate points plotted this time is sufficient to estimate the lane. If the number of candidate points is sufficient, the process proceeds to step S2, and if it is insufficient, the process branches to step S3. The sufficient number means that the coefficients a, b, and c of the quadratic model formula (y = ax 2 + bx + c) for each left and right lane obtained by the least square method based on the plotted candidate points maintain stability and reliability. This number is set based on an experiment or the like in advance.
そして、ステップＳ２へ進むと、プロットした候補点に基づいて車線位置推定処理サブルーチンを実行し、ルーチンを抜ける。一方、候補点数が不足していると判定されてステップＳ３へ分岐すると、候補点数が不足していると判定された後の経過時間が設定時間Ｔ以内か否かを調べる。この設定時間Ｔは、二次モデル式の係数ａ，ｂ，ｃの時間進み予測値が安定性、信頼性を維持することのできる時間であり、予め実験などに基づいて設定される。従って、例えば、設定時間Ｔが３００[ms]、フレームレートが１０[fps]とした場合、３フレーム以内であれば、信頼性、安定性を維持することができると判定される。 In step S2, a lane position estimation processing subroutine is executed based on the plotted candidate points, and the routine is exited. On the other hand, if it is determined that the number of candidate points is insufficient and the process branches to step S3, it is checked whether the elapsed time after it is determined that the number of candidate points is insufficient is within the set time T. This set time T is a time during which the predicted time advance values of the coefficients a, b, and c of the quadratic model equation can maintain stability and reliability, and is set in advance based on experiments or the like. Therefore, for example, when the set time T is 300 [ms] and the frame rate is 10 [fps], it is determined that reliability and stability can be maintained within 3 frames.
そして、未だ、設定時間Ｔが経過していないと判断されたときは、ステップＳ４へ進み、最新の二次モデル式（ｙ＝ａｘ２＋ｂｘ＋ｃ）の係数ａ，ｂ，ｃに基づき、所定経過時間後の予測係数である時間進み予測値ａ’，ｂ’，ｃ’を設定し、ルーチンを抜ける。又、候補点数が不足した状態が設定時間Ｔ[ms]以上経過していると判断されると、二次モデル式の係数ａ，ｂ，ｃに基づいて設定する時間進み予測値は安定性、信頼性に欠けると判定し、時間進み予測値を設定することなく、そのままルーチンを抜ける。 If it is determined that the set time T has not yet elapsed, the process proceeds to step S4, and the predetermined elapsed time is based on the coefficients a, b, c of the latest quadratic model equation (y = ax 2 + bx + c). Time advance prediction values a ′, b ′, and c ′ that are subsequent prediction coefficients are set, and the routine is exited. If it is determined that the number of candidate points is insufficient for the set time T [ms] or more, the time advance prediction value set based on the coefficients a, b, and c of the secondary model equation is stable, It is determined that the reliability is lacking, and the routine is exited without setting the time advance prediction value.
又、上述したステップＳ２の車線位置推定処理は、図４〜図６に示す車線位置推定処理サブルーチンにおいて実行される。 The lane position estimation process in step S2 described above is executed in a lane position estimation process subroutine shown in FIGS.
このサブルーチンでは、先ず、ステップＳ１１で、前回の演算時に予測モデル式が設定されているか否かを調べる。この予測モデル式は、上述したステップＳ４、或いは後述するステップＳ３０で求めた予測値ａ’，ｂ’，ｃ’に基づいて設定される（ｙ＝ａ’ｘ２＋ｂ’ｘ＋ｃ’）。 In this subroutine, first, in step S11, it is checked whether or not a prediction model formula is set at the previous calculation. This prediction model formula is set based on the prediction values a ′, b ′, and c ′ obtained in step S4 described above or step S30 described later (y = a′x 2 + b′x + c ′).
そして、前回演算時に予測モデル式が設定されている、換言すれば予測値ａ’，ｂ’，ｃ’が設定されていると判定した場合、ステップＳ１２へ進み、設定されていない場合、すなわち、二次モデル式の係数ａ，ｂ，ｃがクリアされていると判定した場合は、ステップＳ２３へジャンプする。 Then, when it is determined that the prediction model formula is set at the time of the previous calculation, in other words, the prediction values a ′, b ′, and c ′ are set, the process proceeds to step S12. If it is determined that the coefficients a, b, c of the secondary model equation are cleared, the process jumps to step S23.
ステップＳ１２へ進むと、前回算出した予測モデル式（ｙ＝ａ’ｘ２＋ｂ’ｘ＋ｃ’）の係数ｘに、今回プロットした各候補点群毎の各候補点Ｐ０，Ｐ１，Ｐ２のｘ座標値を代入して、予測モデル式の予測ｙ座標をそれぞれ算出する。すなわち、今回プロットした各候補点のＰ０，Ｐ１，Ｐ２のｘ座標と同一のｘ座標上にある予測モデル式上のｙ座標（予測ｙ座標）を求め、この予測ｙ座標と今回プロットした各候補点群毎の各候補点Ｐ０，Ｐ１，Ｐ２のｙ座標とを比較する。尚、以下においては、説明を容易にするために、これらの座標点（ｘ，予測ｙ）により特定される候補点を、それぞれ第1予測候補点Ｐ１、第２予測候補点Ｐ２、第０予測候補点Ｐ０と、予測前の候補点と同一の符号を用いて説明する。 In step S12, the x coordinate value of each candidate point P0, P1, P2 for each candidate point group plotted this time is added to the coefficient x of the prediction model formula (y = a′x 2 + b′x + c ′) calculated last time. Is substituted to calculate the predicted y coordinate of the prediction model formula. That is, the y coordinate (predicted y coordinate) on the prediction model formula on the same x coordinate as the P coordinates of P0, P1, and P2 of each candidate point plotted this time is obtained, and this predicted y coordinate and each candidate plotted this time are obtained. The y coordinate of each candidate point P0, P1, P2 for each point group is compared. In the following, for ease of explanation, the candidate points specified by these coordinate points (x, prediction y) are designated as the first prediction candidate point P1, the second prediction candidate point P2, and the 0th prediction, respectively. The description will be given using the same reference numerals as the candidate point P0 and the candidate point before prediction.
又、前回のフレーム画像で、二重白線の走行車線２１Ｌ，２１Ｒと内側誘導線２２とが検出されている場合、予測標準線ＬｐL，ＬｐRを求める二次モデル式の係数である時間進み予測値ａ‘，ｂ’，ｃ‘に加え、内側誘導線２２の内側エッジをプロットした第１候補点Ｐ１に基づいて予測補助線Ｌｐ２を求める二次モデル式の係数である時間進み予測値が設定される。図８〜図１６に示すように、この予測標準線ＬｐL，ＬｐRは、前回のフレーム画像に基づいて設定した仮想線Ｌｓ(n-1)の延長上にあり、今回のフレーム画像に基づいて設定する主候補点Ｐｍの判定基準となる。このように、予測標準線ＬｐL，ＬｐR（二重白線の場合は、予測標準線ＬｐL，ＬｐRと左右の予測補助線Ｌｐ２）は、前回の演算時に求めた仮想線Ｌｓの延長線上に設定されるので、急激に変化することがなく安定している。尚、ステップＳ１１，Ｓ１２での処理が、予測線設定部９ａでの処理に対応している。
In addition, when the double
続いて、ステップＳ１３へ進み、ステップＳ１２で求めた予測モデル式上の予測ｙ座標と、今回プロットした各候補点のＰ０，Ｐ１，Ｐ２のｙ座標とを比較して、その一致度[%]を求める。予測ｙ座標と各候補点のＰ０，Ｐ１，Ｐ２のｙ座標との一致度は、予測ｙ座標を基準として、換言すれば予測二次モデル式から求めた予測標準線ＬｐL，ＬｐRを基準として各候補点のＰ０，Ｐ１，Ｐ２のｙ座標の分散から調べる。すなわち、例えば、図１２に示すように、走行レーンの両側に第１候補点Ｐ１のみがプロットされている場合、当然、この第１候補点Ｐ１が予測標準線ＬｐL，ＬｐRに対して一致度が高くなる。又、例え予測補助線Ｌｐ２が設定されていても、この予測補助線Ｌｐ２と第１候補点Ｐ１との一致度は低いと判定する。 Then, it progresses to step S13, the prediction y coordinate on the prediction model formula calculated | required by step S12 and the y coordinate of P0, P1, P2 of each candidate point plotted this time are compared, and the agreement [%] Ask for. The degree of coincidence between the predicted y-coordinate and the y-coordinates of P0, P1, and P2 of each candidate point is based on the predicted y-coordinate, in other words, based on the predicted standard lines LpL and LpR obtained from the predicted secondary model equation. It examines from the dispersion | distribution of the y coordinate of P0, P1, P2 of a candidate point. That is, for example, as shown in FIG. 12, when only the first candidate point P1 is plotted on both sides of the traveling lane, naturally, the first candidate point P1 has a degree of coincidence with the predicted standard lines LpL and LpR. Get higher. Even if the prediction auxiliary line Lp2 is set, it is determined that the degree of coincidence between the prediction auxiliary line Lp2 and the first candidate point P1 is low.
又、図１３に示すように、二重白線では、第２候補点Ｐ２と予測標準線ＬｐL，ＬｐRとの一致度が高く、しかも、第１候補点Ｐ１と予測補助線Ｌｐ２との一致度が高くなり、候補点数も多いと判定する。一方、図９に示すように、走行レーンに轍２５が形成され、この轍２５が水溜まりとなっており、水面からの反射光により路面とのエッジが検出された場合、この内側エッジに候補点がプロットされる。この場合、水溜まりの始まりでは、走行車線２１Ｌ，２１Ｒのエッジをプロットする第１候補点Ｐ１の内側に、轍２５のエッジをプロットする第０候補点Ｐ０が位置している。しかし、第１候補点Ｐ１は予測標準線ＬｐL，ＬｐRとの一致度が高く、候補点数も多い。一方、予測標準線ＬｐL，ＬｐRと第０候補点Ｐ０との一致度は低いと判定する。
Further, as shown in FIG. 13, in the double white line, the degree of coincidence between the second candidate point P2 and the predicted standard lines LpL and LpR is high, and the degree of coincidence between the first candidate point P1 and the predicted auxiliary line Lp2 is high. It is determined that the number is high and the number of candidate points is large. On the other hand, as shown in FIG. 9, when a
又、轍２５が形成されている位置（水溜まり）を走行中の場合、轍２５の内側エッジに第１候補点Ｐ１がプロットされ、その外側にある走行車線２１Ｌ，２１Ｒの内側エッジには第２候補点Ｐ２がプロットされる。轍２５は走行車線２１Ｌ，２１Ｒと平行に形成されているものではなく、図１５に示すように、遠方において外れた場合に誤判定を招く可能性がある。本実施形態では、予測標準線ＬｐL，ＬｐRと第１候補点Ｐ１、及び第２候補点Ｐ２との一致度を調べているので、当然第２候補点Ｐ２の一致度が高く、候補点数も多いと判定され、又、第１候補点Ｐ１と予測補助線Ｌｐ２との一致度は低いと判定される。尚、ステップＳ１３での処理が、車線候補点設定部９ｂでの処理の一部に対応している。
Further, when the vehicle is traveling in a position (water pool) where the
次いで、ステップＳ１４へ進み、このステップＳ１４〜Ｓ１８で、不要なノイズ除去処理が実行される。ステップＳ１４では、先行車補正が必要か否かを調べる。例えば図１０に示すように、左右に走行車線２１Ｌ，２１Ｒが描かれている走行レーンをバス等の大型車両３１が先行車として走行している場合、前方を走行する大型車両３１の後部路面上に、当該大型車両３１の陰影３１ａが映し出されたり、大型車両３１のリヤに影線３１ｂが形成される場合がある。
Subsequently, it progresses to step S14 and an unnecessary noise removal process is performed by these steps S14-S18. In step S14, it is checked whether or not the preceding vehicle correction is necessary. For example, as shown in FIG. 10, when a
本実施形態では、走行車線をエッジ強度（輝度差）によって検出しているため、陰影３１ａや影線３１ｂの境界を走行線のエッジと誤認識する場合がある。
In the present embodiment, since the travel lane is detected by the edge strength (luminance difference), the boundary between the
この場合、誤検出したエッジの長さは有限であり、又、当該エッジの方向も急激に屈曲しているため、陰影３１ａや影線３１ｂのエッジを検出した第１候補点Ｐ１の点列は、路面に描かれている左側走行車線２１Ｌのエッジを検出してプロットした第１候補点Ｐ１の点列に比し、大きく屈曲されるか、終端で途切れて検出不能となる等の異常な状態となる。
In this case, since the length of the erroneously detected edge is finite and the direction of the edge is also bent sharply, the point sequence of the first candidate point P1 in which the edge of the
従って、ステップＳ１４では、先行車を検出し、且つ予測標準線ＬｐL，ＬｐRと第１候補点Ｐ１との一致度［％］が予め設定した設定値よりも低い場合、点列（候補点群）に異常な値を示す第１候補点（ノイズ成分）が存在すると判定し、当該ノイズ成分の含まれた第１候補点Ｐ１の候補点位置を補正すべく、ステップＳ１５へ分岐する。そして、ステップＳ１５で、先行車との車間距離、及び一致度に基づき異常な座標位置にプロットされている第１候補点Ｐ１の一連の点列を削除してステップＳ１６へ進む。一方、ステップＳ１４で先行車が検出されず、或いは先行車が検出されても、予測標準線ＬｐL，ＬｐRと第１候補点Ｐ１との一致度が設定値以上の場合は、誤判定を示すノイズ成分が含まれていないと判定し、ステップＳ１６へ進む。その結果、先行車が検出されている場合であっても、その先行車の横から実際の走行車線２１Ｌ或いは２１Ｒの内側エッジが検出されている場合は、第１候補点Ｐ１がプロットされるため、高い信頼性を得ることができる。
Therefore, in step S14, when a preceding vehicle is detected and the degree of coincidence [%] between the predicted standard lines LpL and LpR and the first candidate point P1 is lower than a preset value, a point sequence (candidate point group) It is determined that there is a first candidate point (noise component) that shows an abnormal value, and the process branches to step S15 to correct the candidate point position of the first candidate point P1 containing the noise component. In step S15, a series of point sequences of the first candidate points P1 plotted at abnormal coordinate positions based on the inter-vehicle distance from the preceding vehicle and the degree of coincidence are deleted, and the process proceeds to step S16. On the other hand, if the preceding vehicle is not detected in step S14 or if the preceding vehicle is detected, if the degree of coincidence between the predicted standard lines LpL and LpR and the first candidate point P1 is equal to or greater than the set value, noise indicating an erroneous determination It determines with a component not being included, and progresses to step S16. As a result, even if the preceding vehicle is detected, the first candidate point P1 is plotted when the inner edge of the
ステップＳ１６では、自車両Ｍの走行している走行レーンが二重白線であり、前方に二重白線の出口（終了端）が有るか否かを調べる。二重白線の出口では、内側誘導線２２が急に途切れるため、図８に示すように、この内側誘導線２２をプロットする第１候補点Ｐ１は、内側誘導線２２が途切れることで、走行車線２１Ｌをプロットする第２候補点Ｐ２と同一座標上にプロットされてしまうため、内側誘導線２２の終了端を過ぎた付近では、第１候補点Ｐ１が間違った位置にプロットされてしまう。
In step S16, it is checked whether or not the travel lane in which the host vehicle M is traveling is a double white line, and whether there is an exit (end end) of the double white line ahead. Since the
本実施形態では、二重白線が検出された場合、予測標準線ＬｐL，ＬｐRに加えて予測補助線Ｌｐ２が求められるため、この予測補助線Ｌｐ２と第１候補点Ｐ１、第２候補点Ｐ２との一致度[％]を調べる。そして、近方では、第１候補点Ｐ１と予測補助線Ｌｐ２との一致度が設定値以上で、且つ、遠方では第２候補点Ｐ２と予測標準線ＬｐL，ＬｐRとの一致度が設定値以上の場合、二重白線の出口（終了端）と判定し、ステップＳ１７へ分岐する。又、近方、遠方の何れでも、第１候補点Ｐ１と予測補助線Ｌｐ２或いは予測標準線ＬｐL，ＬｐRとの一致度が設定値以上の場合、ステップＳ１８へ進む。 In the present embodiment, when a double white line is detected, a prediction auxiliary line Lp2 is obtained in addition to the prediction standard lines LpL and LpR. Therefore, the prediction auxiliary line Lp2, the first candidate point P1, and the second candidate point P2 Check the degree of agreement [%]. In the vicinity, the degree of coincidence between the first candidate point P1 and the prediction auxiliary line Lp2 is equal to or greater than the set value, and in the distance, the degree of coincidence between the second candidate point P2 and the predicted standard lines LpL and LpR is equal to or greater than the set value. In this case, it is determined that the exit (end end) is a double white line, and the process branches to step S17. If the degree of coincidence between the first candidate point P1 and the prediction auxiliary line Lp2 or the prediction standard lines LpL, LpR is greater than or equal to the set value, either near or far, the process proceeds to step S18.
ステップＳ１７では、一致度[％]が設定値よりも低いと判定された第１候補点Ｐ１を含み、それよりも遠方の第１候補点Ｐ１の点列を、予測補助線Ｌｐ２側へシフトさせると共に、当該位置にある第２候補点Ｐ２の点列を削除する。 In step S17, the point sequence of the first candidate point P1, which includes the first candidate point P1 determined to have a matching degree [%] lower than the set value, is shifted to the prediction auxiliary line Lp2 side. At the same time, the point sequence of the second candidate point P2 at the position is deleted.
そして、ステップＳ１６、或いはステップＳ１７からステップＳ１８へ進むと、各候補点Ｐ１，Ｐ２，Ｐ０のデータ数、及び予測標準線ＬｐL，ＬｐRと各候補点Ｐ１，Ｐ２，Ｐ０との一致度[％]に基づいて、点列（候補点群）を分離し、現在の走行レーンの主候補点Ｐｍを設定する。その結果、例えば、図１２では、走行車線２１Ｌ，２１Ｒの内側エッジをプロットしている第１候補点Ｐ１が主候補点Ｐｍとして設定される。又、図１３に示すように、二重白線の始まりでは、内側誘導線２２の内側エッジをプロットしたる第１候補点Ｐ１が主候補点Ｐｍとして設定される。更に、図１４に示すように、二重白線の出口（終了端）よりも遠方では、走行車線２１Ｌ，２１Ｒの内側エッジをプロットした第１候補点Ｐ１が主候補点Ｐｍとして設定される。更に、図９に示すように、走行車線２１Ｌ，２１Ｒの内側に轍２５が形成されており、この轍２５の内側エッジが第０候補点Ｐ０でプロットされている場合であっても、走行車線２１Ｌ、２１Ｒの内側エッジをプロットしている第１候補点Ｐ１が主候補点Ｐｍとして設定される。尚、上述したステップＳ１３の一部、及びステップＳ１４〜Ｓ１８での処理が、予測線一致判定部９ｃでの処理に対応している。
Then, when the process proceeds from step S16 or step S17 to step S18, the number of data of each candidate point P1, P2, P0 and the degree of coincidence [%] between the predicted standard lines LpL, LpR and each candidate point P1, P2, P0. Based on the above, the point sequence (candidate point group) is separated, and the main candidate point Pm of the current traveling lane is set. As a result, for example, in FIG. 12, the first candidate point P1 plotting the inner edges of the traveling
次いで、ステップＳ１９へ進むと、走行レーンの左右から主候補点Ｐｍが設定されたか否かが調べられ、双方の主候補点Ｐｍが設定されている場合は、ステップＳ２０へ進み、又、主候補点Ｐｍの設定に失敗した場合は、ステップＳ２０以下の検証は行わずに、ステップＳ２３へジャンプする。 Next, when proceeding to Step S19, it is checked whether or not the main candidate point Pm is set from the left and right of the travel lane. If both main candidate points Pm are set, the process proceeds to Step S20, and the main candidate point is also displayed. If the setting of the point Pm has failed, the process jumps to step S23 without performing the verification in step S20 and subsequent steps.
ステップＳ２０へ進むと、ステップＳ２０〜Ｓ２２で主候補点Ｐｍの車線種を検証する。先ず、ステップＳ２０では、左右の主候補点Ｐｍ間の距離と、標準レーン幅Ｗ１、及び狭レーン幅Ｗ２とを比較し、左右の主候補点Ｐｍ間の距離が、標準レーン幅Ｗ１か、狭レーン幅Ｗ２か、或いは両レーン幅Ｗ１とＷ２との間の何れに最も多く点在している（分散が最小）かを調べる。そして、標準レーン幅Ｗ１に候補点数が最も多く点在している場合は（例えば、図１２の状態）、「標準最小」と判定する。又、狭レーン幅Ｗ２に候補点数が最も多く点在している場合は（例えば図１３の状態）、「狭最小」と判定する。更に、両レーン幅Ｗ１とＷ２との間に候補点数が最も多く点在している場合は、「標狭最小」と判定する。 In step S20, the lane type of the main candidate point Pm is verified in steps S20 to S22. First, in step S20, the distance between the left and right main candidate points Pm is compared with the standard lane width W1 and the narrow lane width W2, and the distance between the left and right main candidate points Pm is the standard lane width W1 or narrow. It is checked whether the lane width W2 or between the lane widths W1 and W2 is scattered most (dispersion is minimum). If the standard lane width W1 has the largest number of candidate points (for example, the state of FIG. 12), it is determined as “standard minimum”. If the narrowest lane width W2 has the largest number of candidate points (for example, the state of FIG. 13), it is determined as “narrow minimum”. Further, when the number of candidate points is the largest between the two lane widths W1 and W2, it is determined that the target is “minimum narrow”.
次いで、ステップＳ２１へ進むと、このステップＳ２１、及び次のステップＳ２２で、上述したステップＳ２０で判定した左右の主候補点Ｐｍの分散（最小二乗分散）の状態に応じて、固定データメモリ９ｆに格納されている車線種判定データＴ１〜Ｔ３を読込み、主候補点Ｐｍの車線種を決定する。すなわち、「標準最小」（主候補点Ｐｍが標準レーン幅Ｗ１にある）と判定されたときは、表１に示す第１車線種判定データＴ１を読込み、先ず、ステップＳ２１で主候補点Ｐｍの左車線状態と右車線状態とを判定する。次いで、ステップＳ２２で、ステップＳ２１で判定した車線状態に基づき、主候補点Ｐｍがプロットされている車線種を決定し、上述したステップＳ１８で設定した主候補点Ｐｍが、車線種（走行車線、或いは内側誘導線）を正しくプロットしているものであるか否かを検証する。
第１車線種判定データＴ１では、走行車線２１Ｌ、２１Ｒの内側に轍２５が形成されており、この轍２５を誤検出しているか否かを調べる。具体的には、左右の第１候補点Ｐ１と、予測標準線ＬｐL，ＬｐR、及び予測補助線Ｌｐ２とを比較する。そして、第２候補点Ｐ２と予測標準線ＬｐL，ＬｐRとの一致度が高い場合、当該主候補点Ｐｍは轍２５の内側エッジをプロットしていると判定する（b)，c)）。
In the first lane type determination data T1, a
又、「狭最小」（主候補点Ｐｍが狭レーン幅Ｗ２にある）と判定されたときは、表２に示す第２車線種判定データＴ２を読込み、ステップＳ２１で主候補点Ｐｍの左車線状態と右車線状態とを判定する。次いで、ステップＳ２２で、ステップＳ２１で判定した車線状態に基づき、主候補点Ｐｍがプロットされている車線種を決定し、上述したステップＳ１８で選択した主候補点Ｐｍが、車線種（走行車線、或いは内側誘導線）を正しくプロットしているものであるか否かを検証する。
この第１車線種判定データＴ２では、主候補点Ｐｍが二重白線の内側誘導線２２のエッジをプロットしているか否かを調べる。二重白線は、内側誘導線２２の外側に走行車線２１Ｌ，２１Ｒが描かれているため、第１候補点Ｐ１と予測補助線Ｌｐ２、及び第２候補点Ｐ２と予測標準線ＬｐL，ＬｐRとを比較する。そして、これらの一致度が高い場合、主候補点Ｐｍは内側誘導線２２の内側エッジをプロットしていると判定する。
In the first lane type determination data T2, it is checked whether or not the main candidate point Pm is plotting the edge of the
又、「標狭最小」（主候補点Ｐｍが標準レーン幅Ｗ１と狭レーン幅Ｗ２との間にある）と判定されたときは、表３に示す第３車線種判定データＴ３を読込み、ステップＳ２１で主候補点Ｐｍの左車線状態と右車線状態とを判定する。次いで、ステップＳ２２で、ステップＳ２１で判定した車線状態に基づき、主候補点Ｐｍがプロットされている車線種を決定し、上述したステップＳ１８で主候補点Ｐｍが、車線種（走行車線、或いは内側誘導線）を正しくプロットしているか否かを検証する。
「標狭最小」は、左右の何れか一方の主候補点Ｐｍが走行車線２１Ｌ，２１Ｒの内側エッジをプロットしている場合、他方の主候補点Ｐｍは、内側誘導線２２或いは轍２５の内側エッジをプロットしていると推定できる。又、二重白線であっても内側誘導線２２が掠れている場合には、走行車線２１Ｌ或いは２１Ｒのエッジをプロットする。従って、第３車線種判定データＴ３では、先ず、走行車線２１Ｌ或いは２１Ｒの何れか一方の内側エッジをプロットしている主候補点Ｐｍを、第１候補点Ｐ１と予測標準線ＬｐL，ＬｐRとの一致度に基づいて調べ、次いで、反対側の主候補点Ｐｍが、内側誘導線２２と轍２５との何れの内側エッジをプロットしているかを調べる。
“Smallest minimum” means that when one of the left and right main candidate points Pm plots the inner edges of the driving
この場合、主候補点Ｐｍが内側誘導線２２のエッジをプロットしている場合、第１候補点Ｐ１と予測補助線Ｌｐ２との一致度が高く、且つ第２候補点Ｐ２と予測標準線ＬｐL，ＬｐRとの一致度が高くなる。又、主候補点Ｐｍが轍２５の内側エッジをプロットしている場合、轍２５は車重の大きな大型車両の通過によって形成されため、線幅は白線よりも広い（太い）。従って、主候補点Ｐｍをプロットした内側エッジと、その外側エッジとの差を調べ、白線幅よりも太い場合、轍２５と判定する。
In this case, when the main candidate point Pm is plotting the edge of the
そして、上述したステップＳ２２で主候補点Ｐｍのプロットされている車線種が決定されると、プログラムはステップＳ２４へ進み、左右の主候補点Ｐｍの点列と、予測標準線ＬｐL，ＬｐR或いは予測補助線Ｌｐ２、及びレーン幅とが共に一致している態様か否かを調べる。そして、両者が一致している態様の場合、主候補点Ｐｍの点列は信頼性が高く、走行車線２１Ｌ，２１Ｒの内側エッジを明確に推定することができると判定し、ステップＳ２５へ進む。一致していない態様の場合は、主候補点Ｐｍの点列は信頼性が低いと判定し、ステップＳ２６へ分岐する。
When the lane type in which the main candidate point Pm is plotted is determined in step S22 described above, the program proceeds to step S24, the point sequence of the left and right main candidate points Pm, and the prediction standard lines LpL, LpR or the prediction It is checked whether or not the auxiliary line Lp2 and the lane width coincide with each other. In the case where the two match, it is determined that the point sequence of the main candidate points Pm is highly reliable, and it is possible to clearly estimate the inner edges of the traveling
具体的には、上述した表１に示す第１車線種判定データＴ１では、ａ）の条件を満足する車線種（左右とも走行車線）が、予測標準線ＬｐL，ＬｐRと標準レーン幅Ｗ１とが共に一致している態様となる。又、表２に示す第２車線種判定データＴ２には、予測補助線Ｌｐ２と狭レーン幅Ｗ２とが共に一致している態様が示されている。一方、表３に示す第３車線種判定データＴ３では、主候補点Ｐｍが、両レーン幅Ｗ１，Ｗ２の間にあるため、予測標準線ＬｐL，ＬｐR或いは予測標準線ＬｐL，ＬｐRと標準レーン幅Ｗ１とが共に一致する態様は無い。 Specifically, in the first lane type determination data T1 shown in Table 1 described above, the lane types satisfying the condition a) (the left and right lanes) are the predicted standard lines LpL and LpR and the standard lane width W1. It becomes a mode in which both coincide. In addition, the second lane type determination data T2 shown in Table 2 shows a mode in which the prediction auxiliary line Lp2 and the narrow lane width W2 are both coincident. On the other hand, in the third lane type determination data T3 shown in Table 3, since the main candidate point Pm is between both lane widths W1 and W2, the predicted standard lines LpL and LpR or the predicted standard lines LpL and LpR and the standard lane width are used. There is no aspect in which W1 coincides with each other.
そして、ステップＳ２５へ進むと、一致するレーン幅Ｗ１或いはＷ２に応じて、後述するステップＳ２９で設定する車線モデル式（ｙ＝aｘ２＋bｘ＋c）の係数ｃを補正する横位置シフト量Δｃを決定する。後述するように、本実施形態では、自車両Ｍのカメラ１ａ，１ｂの中間を原点とし、左側を負値（−）、右側を正値（＋）座標としているため、左側車線のシフト量Δｃは、自車両から離れる方向へシフトさせる場合の符号は負値（−）となる。一方、右側車線のシフト量Δｃは、自車両から離れる方向へシフトさせる場合の符号は正値（＋）となる。
Then, when the process proceeds to step S25, the lateral position shift amount Δc for correcting the coefficient c of the lane model equation (y = ax 2 + bx + c) set in step S29 described later is determined according to the matching lane width W1 or W2. . As will be described later, in this embodiment, the middle of the
上述したように、ステップＳ２５で対象となる態様は、表１に示す第１車線種判定データＴ１のａ）、及び表２に示す第２車線種判定データＴ２の態様のみである。 As described above, the aspects to be targeted in step S25 are only the aspects of a) of the first lane type determination data T1 shown in Table 1 and the second lane type determination data T2 shown in Table 2.
第１車線種判定データＴ１のａ）の態様では、主候補点Ｐｍの点列が走行車線２１Ｌ，２１Ｒの内側エッジに沿ってプロットされているため、横位置シフト量Δｃは０として（Δｃ←０）、ステップＳ２８へ進む。又、第２車線種判定データＴ２の態様では、主候補点Ｐｍの点列が、二重白線の内側誘導線２２の内側エッジに沿ってプロットされているため、左右の主候補点Ｐｍを走行車線２１Ｌ，２１Ｒの内側エッジ方向へシフトさせるべく、両レーン幅Ｗ１，Ｗ２の差分の１／２による横位置シフト量Δｃ（Δｃ←(Ｗ１−Ｗ２)／２）を設定して、ステップＳ２８へ進む。
In the aspect of a) of the first lane type determination data T1, since the point sequence of the main candidate points Pm is plotted along the inner edges of the traveling
一方、ステップＳ２４からステップＳ２６へ進むと、その態様に応じて、左右の主候補点Ｐｍに対するシフト量を個別に設定する。具体的には、上述した表１に示す第１車線種判定データＴ１では、態様ｂ），ｃ）が対象となり、表３に示す第３車線種判定データＴ３では全ての態様が対象となる。この場合、左右の主候補点Ｐｍが予測標準線ＬｐL，ＬｐR、或いは予測補助線Ｌｐ２と一致していないので、上述したように両レーン幅Ｗ１，Ｗ２に応じて一義的にシフトさせると、前回のフレーム画像に基づいて設定した横位置に比し、今回の横位置が大きく変動してしまう可能性がある。 On the other hand, when the process proceeds from step S24 to step S26, the shift amounts for the left and right main candidate points Pm are individually set according to the mode. Specifically, in the first lane type determination data T1 shown in Table 1, the modes b) and c) are targets, and in the third lane type determination data T3 shown in Table 3, all modes are targets. In this case, since the left and right main candidate points Pm do not coincide with the prediction standard lines LpL, LpR or the prediction auxiliary line Lp2, as described above, if the shift is performed uniquely according to both lane widths W1, W2, Compared to the horizontal position set based on the frame image, there is a possibility that the current horizontal position will vary greatly.
そのため、第１車線種判定データＴ１の態様ｂ）では、左側の主候補点Ｐｍが轍２５のエッジをプロットしているが、この轍２５の内側エッジにプロットした主候補点Ｐｍの横位置を、例えば、前回値をフィルタリングすることで、前回値から大きく変動しない値に設定し、ステップＳ２８へ進む。 Therefore, in aspect b) of the first lane type determination data T1, the left main candidate point Pm plots the edge of 轍 25, but the horizontal position of the main candidate point Pm plotted on the inner edge of this 轍 25 is For example, by filtering the previous value, a value that does not vary greatly from the previous value is set, and the process proceeds to step S28.
又、表３に示す第３車線種判定データＴ３の態様ａ）では、右側の主候補点Ｐｍが走行車線２１Ｒの内側エッジをプロットし、左側の主候補点Ｐｍが内側誘導線２２の内側エッジをプロットしていると判定しているため、左側の主候補点Ｐｍの点列に対する横位置シフト量Δｃ（Δｃ←(Ｗ１−Ｗ２)／２）のみを設定して、ステップＳ２８へ進む。又、態様ｂ）では、右側の主候補点Ｐｍが走行車線２１Ｒの内側エッジをプロットし、左側の主候補点Ｐｍが轍２５の内側エッジをプロットしていると判定しているため、右側の主候補点Ｐｍの点列に対する横位置シフト量Δｃ（Δｃ←(Ｗ１−Ｗ２)／２）のみを設定して、ステップＳ２８へ進む。
In the aspect a) of the third lane type determination data T3 shown in Table 3, the right main candidate point Pm plots the inner edge of the traveling
一方、表３に示す第３車線種判定データＴ３の態様ｃ）では、上述した態様ａ）とは逆に、左側の主候補点Ｐｍが走行車線２１Ｌの内側エッジをプロットし、右側の主候補点Ｐｍが内側誘導線２２の内側エッジをプロットしていると判定しているため、右側の主候補点Ｐｍの点列に対する横位置シフト量Δｃ（Δｃ←(Ｗ１−Ｗ２)／２）のみを設定して、ステップＳ２８へ進む。又、態様ｄ）では、左側の主候補点Ｐｍが走行車線２１Ｌの内側エッジをプロットし、右側の主候補点Ｐｍが轍２５の内側エッジをプロットしていると判定しているため、左側の主候補点Ｐｍの点列に対する横位置シフト量Δｃ（Δｃ←(Ｗ１−Ｗ２)／２）のみを設定して、ステップＳ２８へ進む。
On the other hand, in the aspect c) of the third lane type determination data T3 shown in Table 3, contrary to the aspect a) described above, the left main candidate point Pm plots the inner edge of the traveling
そして、ステップＳ２８へ進むと、フレーム画像上の主候補点Ｐｍの座標（ｘ，ｙ）のｙ横軸（横軸）方向の切片である横位置ｃを横位置シフト量Δｃで補正して新たな横位置（切片）に関する係数ｃを設定する（ｃ←ｃ＋Δｃ）。 In step S28, the horizontal position c, which is an intercept in the y horizontal axis (horizontal axis) direction of the coordinates (x, y) of the main candidate point Pm on the frame image, is corrected by the horizontal position shift amount Δc. A coefficient c relating to a horizontal position (intercept) is set (c ← c + Δc).
次いで、ステップＳ２９へ進み、主候補点Ｐｍの点列の各座標（ｘ，ｙ）に基づき、最小二乗法により、最もフィットする曲線近似となる車線モデル式を次式から求めて、ステップＳ３０へ進む。尚、ステップＳ３０の処理は後述する。 Next, the process proceeds to step S29, and a lane model formula that provides the best curve approximation by the least square method is obtained from the following formula based on the coordinates (x, y) of the point sequence of the main candidate point Pm, and the process proceeds to step S30. move on. The process of step S30 will be described later.
ｙ＝aｘ２＋bｘ＋c
ここで、係数ａは車線の曲率に関するパラメータ、係数ｂは自車両Ｍの中央（正確には、両カメラ１ａ，１ｂの中間）を通る仮想線Ｌｏ（図１１参照）に対する自車両Ｍの傾き（ヨー角）に関する角度パラメータである。又、横位置を示す係数ｃは自車両Ｍの中央（正確には、両カメラ１ａ，１ｂの中間）を原点とするｙ軸方向のオフセット量（原点からの横位置）であり、本実施形態では、左側を負値（−）、右側を正値（＋）としている。従って、左側の車線モデル式の係数ｃは負値（−）となり、右側の車線モデル式の係数ｃは正値（＋）となる。
y = ax 2 + bx + c
Here, the coefficient a is a parameter related to the curvature of the lane, and the coefficient b is the inclination of the host vehicle M with respect to a virtual line Lo (see FIG. 11) passing through the center of the host vehicle M (more precisely, between the
一方、前回の演算時に予測モデル式が設定されていないと判定されて、ステップＳ１１からステップＳ２３へ分岐し、或いは主候補点Ｐｍが設定されなかったと判定して、ステップＳ１９からステップＳ２３へ分岐すると、左右の第１候補点Ｐ１間のレーン幅と、標準レーン幅Ｗ１、狭レーン幅Ｗ２とを比較し、第１候補点Ｐ１が走行車線２１Ｌ，２１Ｒの内側エッジをプロットしたものか、二重白線の内側誘導線２２のエッジをプロットしたものかを調べて、車線種を設定する。
On the other hand, when it is determined that the prediction model formula has not been set at the previous calculation, the process branches from step S11 to step S23, or it is determined that the main candidate point Pm has not been set, and the process branches from step S19 to step S23. The lane width between the left and right first candidate points P1 is compared with the standard lane width W1 and the narrow lane width W2, and the first candidate point P1 is a plot of the inner edges of the driving
次いで、ステップＳ２７へ進み、第２候補点Ｐ２がプロットされているか否かを調べ、プロットされている場合は、第２候補点Ｐ２が走行車線２１Ｌ，２１Ｒ側にあると推定し、第１候補点Ｐ１の点列に対する横位置シフト量Δｃ（Δｃ←(Ｗ１−Ｗ２)／２）を設定して、ステップＳ２８へ進む。この場合、左側車線の第１候補点Ｐ１の点列に対する横位置シフト量Δｃは、負値（−）に設定され、右側車線の第１候補点Ｐ１の点列に対する横位置シフト量Δｃは、正値（＋）に設定される。
Next, the process proceeds to step S27 to check whether or not the second candidate point P2 is plotted. If the second candidate point P2 is plotted, it is estimated that the second candidate point P2 is on the traveling
又、第２候補点Ｐ２がプロットされていない場合は、横位置シフト量Δｃを０として（Δｃ←０）、ステップＳ２８へ進む。ステップＳ２８へ進むと、フレーム画像上の第１候補点Ｐ１の座標（ｘ，ｙ）のｙ横軸（横軸）方向の切片である横位置ｃを横位置シフト量Δｃで補正して新たな横位置（切片）に関する係数ｃを設定する。この場合、本実施形態では、左側を負値（−）、右側を正値（＋）に設定しているため、左車線用二次モデル式ＬｐL（ｙ＝ａLｘ２＋ｂLｘ＋ｃL）の場合は、ｃL←ｃL−Δｃとなり、右車線用二次モデル式ＬｐR（ｙ＝ａRｘ２＋ｂRｘ＋ｃR）の場合は、ｃR←ｃR＋Δｃとなる。 If the second candidate point P2 is not plotted, the lateral position shift amount Δc is set to 0 (Δc ← 0), and the process proceeds to step S28. In step S28, the horizontal position c, which is the intercept of the coordinates (x, y) of the first candidate point P1 on the frame image in the y horizontal axis (horizontal axis) direction, is corrected by the horizontal position shift amount Δc, and a new one is obtained. A coefficient c relating to the lateral position (intercept) is set. In this case, in the present embodiment, the left side is set to a negative value (−) and the right side is set to a positive value (+). Therefore, in the case of the left lane secondary model formula LpL (y = aLx 2 + bLx + cL), cL ← cL−Δc, and cR ← cR + Δc in the case of the right lane secondary model formula LpR (y = aRx 2 + bRx + cR).
そして、ステップＳ２９へ進み、第１候補点Ｐ１の点列の各座標（ｘ，ｙ）に基づき、最小二乗法により、最もフィットする曲線近似となる車線モデル式（ｙ＝aｘ２＋bｘ＋c）の係数ａ，ｂ，ｃ（すなわち、左側車線のモデル式（ｙ＝aLｘ２＋bLｘ＋cL）の係数ａL，ｂL，ｃL、及び右側車線のモデル式（ｙ＝aRｘ２＋bRｘ＋cR）の係数ａR，ｂR，ｃRを求める。 Then, the process proceeds to step S29, and the coefficient of the lane model formula (y = ax 2 + bx + c) that provides the best curve approximation by the least square method based on the coordinates (x, y) of the point sequence of the first candidate point P1. a, b, c (that is, coefficients aL, bL, cL of the left side lane model equation (y = aLx 2 + bLx + cL) and coefficients aR, bR, cR of the right side lane model equation (y = aRx 2 + bRx + cR) .
その後、ステップＳ３０で、上述したステップＳ２９で設定した係数ａ，ｂ，ｃに基づき、この係数ａ，ｂ，ｃを演算周期分だけ時間補正して予測値（時間進み予測値）ａ’，ｂ’，ｃ’を設定してルーチンを抜ける。 Thereafter, in step S30, based on the coefficients a, b, and c set in step S29 described above, the coefficients a, b, and c are time-corrected by the calculation period, and predicted values (time advance predicted values) a ′, b Set ', c' to exit the routine.
このように、本実施形態では、前回の演算時に求めた走行車線を予測する二次モデル式（ｙ＝ａ’ｘ２＋ｂ’ｘ＋ｃ’）に基づいて、予測標準線ＬｐL，ＬｐR及び左右の予測補助線Ｌｐ２を求め、この各予測線ＬｐL，ＬｐR，Ｌｐ２と、当該二次モデル式に基づき、今回、車線のエッジをプロットした各候補点Ｐ１，Ｐ２，Ｐ０のｘ座標を、予測モデル式（ｙ＝ａ’ｘ２＋ｂ’ｘ＋ｃ’）に代入して予測ｙ座標を求め、この予測ｙ座標と各候補点Ｐ１，Ｐ２，Ｐ０のｙ座標とを比較し、両者の一致度、及び各候補点Ｐ１，Ｐ２，Ｐ０の候補点数等から、候補点群を分類して、基本点列となる左右の主候補点Ｐｍを求めるようにしたので、この各主候補点Ｐｍを高い精度で設定することができる。 Thus, in the present embodiment, the prediction standard lines LpL, LpR and the left and right predictions are based on the secondary model formula (y = a′x 2 + b′x + c ′) for predicting the traveling lane obtained at the previous calculation. An auxiliary line Lp2 is obtained, and based on the prediction lines LpL, LpR, and Lp2 and the quadratic model expression, the x-coordinates of the candidate points P1, P2, and P0 on which the edges of the lane are plotted this time are expressed as prediction model expressions ( y = a′x 2 + b′x + c ′) to obtain a predicted y-coordinate, compare the predicted y-coordinate with the y-coordinate of each candidate point P1, P2, P0, and the degree of coincidence between them and each candidate Since the candidate point group is classified based on the number of candidate points of the points P1, P2, P0, etc., the left and right main candidate points Pm to be the basic point sequence are obtained, so that each main candidate point Pm is set with high accuracy. be able to.
又、その際、例えば二重白線の出口（終了端）、或いは先行車の路面に映し出された陰影３１ａや、先行車のリヤに形成された隠線３１ｂの境界を走行車線と誤認識してプロットした場合に、このようなノイズ成分をを主候補点Ｐｍが設定される前に修正するようにしたので、主候補点Ｐｍのプロットされている車線を高い精度で推定することができる。
At that time, for example, a double white line exit (end end), a
更に、この左右の主候補点Ｐｍが、車線種（走行車線、或いは内側誘導線）を正しくプロットしているか否かを、この左右の主候補点Ｐｍの、予め設定されている標準レーン幅Ｗ１と狭レーン幅Ｗ２とに対する分散、及び一致度に基づいて検証しているので、車線をより高精度で推定することができる。 Further, whether the left and right main candidate points Pm correctly plot the lane type (running lane or inner guide line) is determined based on the preset standard lane width W1 of the left and right main candidate points Pm. And the narrow lane width W2 are verified based on the variance and the degree of coincidence, so that the lane can be estimated with higher accuracy.
尚、本発明は、上述した実施形態に限るものではなく、例えば、車線推定装置は、自車両Ｍが車線を逸脱しようとしたときに警告を発するレーンキープ制御に適用することも出来る。更に、撮像手段１はメインカメラ１ａとサブカメラ１ｂとからなるステレオカメラである必要はなく、単眼カメラであっても良い。撮像手段１として、単眼カメラを用いた場合は、例えば周知のモーションステレオ法により三次元情報を得る。更に、曲線近似処理部９ｄで求める曲線近似式は、二次式に限らず三次式であっても良い。
The present invention is not limited to the above-described embodiment. For example, the lane estimation device can be applied to lane keeping control that issues a warning when the host vehicle M attempts to depart from the lane. Furthermore, the imaging means 1 does not need to be a stereo camera composed of the
１…撮像手段、
９…車線推定部、
９ａ…予測線設定部、
９ｂ…車線候補点設定部、
９ｃ…予測線一致判定部、
９ｄ…曲線近似処理部、
９ｅ…車線位置設定部、
９ｆ…固定データメモリ、
２１Ｌ，２１Ｒ…走行車線、
２２…内側誘導線、
２５…轍、
３１…大型車両、
ＬｐL，ＬｐR…予測標準線、
Ｌｐ２…予測補助線、
Ｌｓ…仮想線、
Ｍ…自車両、
Ｐ０…第０候補点、
Ｐ１…第１候補点、
Ｐ２…第２候補点、
Ｐｍ…主候補点、
Ｗ１…標準レーン幅、
Ｗ２…狭レーン幅
1 ... Imaging means,
9 ... Lane estimation part,
9a ... prediction line setting section,
9b ... Lane candidate point setting section,
9c ... Predicted line match determination unit,
9d: curve approximation processing unit,
9e ... Lane position setting unit,
9f ... fixed data memory,
21L, 21R ... Driving lane,
22 ... Inner guide wire,
25 ... 轍,
31 ... Large vehicle,
LpL, LpR ... prediction standard line,
Lp2 ... prediction auxiliary line,
Ls ... virtual line,
M ... own vehicle,
P0 ... 0th candidate point,
P1 ... 1st candidate point,
P2 ... second candidate point,
Pm ... main candidate points,
W1 ... Standard lane width,
W2 ... Narrow lane width
Claims (3)
予め設定されている複数の車線種毎のレーン幅データを記憶する記憶手段と、
前記撮像手段で撮像した画像に基づいて走行車線と路面との車線境界を検出し、該車線境界に車線候補点を点列状にプロットする車線候補点設定手段と、
前回の演算時に求めた仮想線を求める曲線近似式に基づき、該曲線近似式を演算周期分の時間進み補正して車線予測線を求め、該車線予測線と前記車線候補点の点列との一致度を調べ、一致度の高い点列を成す前記車線候補点を主候補点として設定する予測線一致判定手段と、
前記主候補点の点列に基づいて前記車線境界を推定する前記仮想線の曲線近似式を設定し、該仮想線と前記記憶手段に記憶されている前記レーン幅とに基づき該仮想線の車線種を推定する曲線近似処理手段と
を備えることを特徴とする車線推定装置。 Imaging means mounted on a vehicle for imaging the external environment of the vehicle;
Storage means for storing lane width data for each of a plurality of preset lane types;
Lane candidate point setting means for detecting a lane boundary between a traveling lane and a road surface based on an image captured by the imaging means, and plotting lane candidate points in the form of a point sequence on the lane boundary;
Based on the curve approximation formula for obtaining the virtual line obtained at the previous calculation, the curve approximation formula is corrected by time advance for the calculation cycle to obtain the lane prediction line, and the lane prediction line and the point sequence of the lane candidate points Checking the degree of coincidence and predicting line coincidence determining means for setting the lane candidate point forming the point sequence having a high degree of coincidence as a main candidate point;
A curve approximation formula of the virtual line for estimating the lane boundary is set based on the point sequence of the main candidate points, and the lane of the virtual line is based on the virtual line and the lane width stored in the storage unit A lane estimation device comprising curve approximation processing means for estimating seeds.
ことを特徴とする請求項１記載の車線推定装置。 The prediction line coincidence determination unit detects a preceding vehicle based on the image of the external environment captured by the imaging unit, and the degree of coincidence between the prediction line and the point sequence of the lane candidate points is lower than a set value. In this case, it is determined that there is a lane candidate point in which the noise component formed by the preceding vehicle is plotted at the candidate point, and the lane candidate point indicating an abnormal value based on the distance between the preceding vehicle and the degree of coincidence is determined. The lane estimation apparatus according to claim 1, wherein the point sequence is deleted.
ことを特徴とする請求項１或いは２記載の車線推定装置。 The prediction line coincidence determining means obtains a first prediction line for estimating a double white lane traveling lane as the lane prediction line and a second prediction line for estimating an inner guide line drawn inside the traveling lane. If there are many candidate points on the second prediction line in the vicinity and many candidate points on the first prediction line in the distance, the inner guidance is in the distance. It is determined that there is an end of the line, and the lane candidate points scattered on the first prediction line farther from the end are deleted, or the candidate points scattered on the first prediction line are The lane estimation apparatus according to claim 1 or 2, wherein the lane estimation device is deleted and the candidate points scattered on the second prediction line are shifted to the first prediction line side.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010219649A JP5559650B2 (en) | 2010-09-29 | 2010-09-29 | Lane estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010219649A JP5559650B2 (en) | 2010-09-29 | 2010-09-29 | Lane estimation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012073924A true JP2012073924A (en) | 2012-04-12 |
| JP5559650B2 JP5559650B2 (en) | 2014-07-23 |
Family
ID=46170010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010219649A Active JP5559650B2 (en) | 2010-09-29 | 2010-09-29 | Lane estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5559650B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015069340A (en) * | 2013-09-27 | 2015-04-13 | 富士重工業株式会社 | Vehicular white-line recognition apparatus |
| JP2015069339A (en) * | 2013-09-27 | 2015-04-13 | 富士重工業株式会社 | Vehicular white-line recognition apparatus |
| JP2015197828A (en) * | 2014-04-01 | 2015-11-09 | 本田技研工業株式会社 | Lane marker recognition device |
| JP2015210609A (en) * | 2014-04-24 | 2015-11-24 | 本田技研工業株式会社 | Lane mark recognition device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259639A (en) * | 1998-03-11 | 1999-09-24 | Toyota Central Res & Dev Lab Inc | Travel path recognizing device |
| JP2003044836A (en) * | 2001-07-26 | 2003-02-14 | Nissan Motor Co Ltd | Device for recognizing partition line |
| JP2003157499A (en) * | 2001-11-20 | 2003-05-30 | Nissan Motor Co Ltd | White road line recognizing device |
-
2010
- 2010-09-29 JP JP2010219649A patent/JP5559650B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259639A (en) * | 1998-03-11 | 1999-09-24 | Toyota Central Res & Dev Lab Inc | Travel path recognizing device |
| JP2003044836A (en) * | 2001-07-26 | 2003-02-14 | Nissan Motor Co Ltd | Device for recognizing partition line |
| JP2003157499A (en) * | 2001-11-20 | 2003-05-30 | Nissan Motor Co Ltd | White road line recognizing device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015069340A (en) * | 2013-09-27 | 2015-04-13 | 富士重工業株式会社 | Vehicular white-line recognition apparatus |
| JP2015069339A (en) * | 2013-09-27 | 2015-04-13 | 富士重工業株式会社 | Vehicular white-line recognition apparatus |
| JP2015197828A (en) * | 2014-04-01 | 2015-11-09 | 本田技研工業株式会社 | Lane marker recognition device |
| JP2015210609A (en) * | 2014-04-24 | 2015-11-24 | 本田技研工業株式会社 | Lane mark recognition device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5559650B2 (en) | 2014-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5276637B2 (en) | Lane estimation device | |
| JP5926080B2 (en) | Traveling lane marking recognition device and program | |
| JP5966965B2 (en) | Lane boundary departure control device and lane boundary departure suppression method | |
| JP5733395B2 (en) | In-vehicle image recognition apparatus, imaging axis adjustment apparatus, and lane recognition method | |
| EP3070675B1 (en) | Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing | |
| CN107209998B (en) | Lane line recognition device and lane line recognition method | |
| JP5768666B2 (en) | Vehicle travel support device and boundary line recognition device | |
| US10127460B2 (en) | Lane boundary line information acquiring device | |
| JP6697522B2 (en) | Marking line recognition device | |
| JP5513327B2 (en) | Lane estimation device | |
| JP4755227B2 (en) | Method for recognizing objects | |
| CN110167813B (en) | Travel route recognition device and travel route recognition method | |
| CN109477724B (en) | Self-position estimation method and self-position estimation device | |
| US11151395B2 (en) | Roadside object detection device, roadside object detection method, and roadside object detection system | |
| JP2011065219A (en) | Device for estimation of road curvature | |
| JP2018048949A (en) | Object recognition device | |
| JP6105524B2 (en) | Traveling lane marking recognition device and traveling lane marking recognition program | |
| JP5559650B2 (en) | Lane estimation device | |
| JP2011175572A (en) | Lane recognition device | |
| JP2004247979A (en) | On-vehicle camera apparatus | |
| JP2016162323A (en) | Travelling section line recognition device | |
| JP2018005617A (en) | Lane shape recognition device, and lane shape recognition method | |
| JP2012185562A (en) | Lane deviation alarm control device | |
| JP6200780B2 (en) | Lane recognition determination device | |
| JP7351215B2 (en) | Intersection center detection device, intersection lane determination device, intersection center detection method, intersection lane determination method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130327 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140606 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5559650 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |