JP4939137B2 - 車線認識装置 - Google Patents

Description

本発明は、車線認識装置に係り、特に、車両前方の撮像画像中から車線を検出する車線認識装置に関する。

近年、自動車等の走行安全性の向上や車両の自動制御等に向けて、車載のステレオカメラや単眼式のカメラ等で撮像した画像に画像処理を施して安全性向上や車線追従、車線逸脱回避等の自動制御の前提となる道路上の車線を認識するための車線認識装置の開発が進められている（例えば特許文献１〜４等参照）。

これらの車線認識装置では、撮像した画像領域の自車両に近い部分で車線を確定してそれに基づいてさらに遠い部分で車線を追跡したり、車線が検出されなかったときはそれ以前に検出された車線の位置情報に基づいて現在の車線位置を推定することが提案されている。

しかし、車線を検出しても、それが仮に誤検出であった場合には、その誤った情報に基づいて自車両の自動制御が行われてしまうため、意図しない制御が行われて車両の安全性等が損なわれ、最悪の場合には事故を起こしてしまう可能性がある。

そのため、特許文献４に記載の車線認識装置では、検出した車線を車線モデルで表現し、その車線モデルを自車両前方の距離方向に複数の区間に分割して各区間毎に検出されたデータ数を求め、そのデータ数と過去に検出した車線位置との連続性とに基づいて検出した車線がどの程度信頼できるかを表す信頼度を算出することが提案されている。
特開平９−７３５４５号公報 特開平１０−４９６７２号公報 特開平１１−８６１９９号公報 特開平２００１−９２９７０号公報

しかしながら、特許文献４に記載の車線認識装置では、検出した車線位置或いは車線モデルがどの程度信頼できるかを信頼度として示すが、結局、その車線位置や車線モデルを他の認識処理に提供し、或いは、その車線位置や車線モデルに基づいて次回のサンプリング周期における撮像画像中の検出エリアの範囲を変更する。

そのため、検出された車線を安全性向上や車線追従、車線逸脱回避等の自動制御に用いるべきか否か、或いは用いるべき場合でも検出された車線のどの部分をそのような制御に用いるべきか等について明確な情報を提供する検出結果が必ずしも得られないという問題があった。

また、特許文献４に記載の車線認識装置のような従来の車線認識装置では、先行車が接近して自車両の左右の車線が僅かにしか検出されない場合には、そもそも信頼度の算出が困難であるという問題もあった。

本発明は、このような事情に鑑みてなされたものであり、検出した車線を車線逸脱回避等の自動制御に用いるべきか否かを明確に示し、また、検出した車線のうちどの部分の信頼度が高いかを精度良く示すことが可能な車線認識装置を提供することを目的とする。

前記の問題を解決するために、第１の発明は、
車線認識装置において、
自車両前方を所定のサンプリング周期で撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
前記一方の画像について前記輝度値および前記距離に基づいて車線の一方のエッジ部分に対応する画素を車線候補点として検出し、検出した車線候補点に基づいて車線位置を検出する車線位置検出手段と、
前記車線位置検出手段により検出された前記車線位置に基づいて車線位置が検出されなかった遠方領域における車線位置を推測する車線位置推測手段と、
前記検出された車線位置と前記推測された車線位置を合わせて現在の車線位置を前記撮像手段による撮像のサンプリング毎に算出し、自車両から所定距離離れた前方位置において、前記現在の車線位置と過去に算出された車線位置との差分の絶対値が前記前方位置について設定された閾値以下であるサンプリング回数が設定された所定回数以上連続した場合に、前記現在の車線位置を有効であると判断する判断手段と
を備えることを特徴とする。

第２の発明は、第１の発明の車線認識装置において、前記判断手段は、前記現在の車線位置と前記過去に算出された車線位置とを対応する複数の区分に分割し、サンプリング回数について設定された第１所定回数以上連続して前記現在の車線位置と前記過去に算出された車線位置との差分の絶対値が前記各区分について設定された各第１閾値以下である場合に、前記現在の車線位置の当該区分を有効であると判断し、当該区分以外の区分を無効であると判断することを特徴とする。

第３の発明は、第２の発明の車線認識装置において、前記判断手段は、前記有効であるとされた現在の車線位置の各区分のうち、前記車線位置推測手段により推測された車線位置のみからなる区分であって、かつ、過去に前記車線位置検出手段により前記車線候補点が検出された区分がある場合には、当該区分より遠方の各区分を無効であると判断し、当該区分および当該区分より自車両に近い前記現在の車線位置の各区分を有効であると判断することを特徴とする。

第４の発明は、第２の発明の車線認識装置において、前記判断手段は、前記有効であるとされた現在の車線位置の各区分のうち、前記車線位置推測手段により推測された車線位置のみからなる区分であって、かつ、前記車線位置検出手段により前記車線候補点が連続して検出されなかったサンプリング回数が設定された第２所定回数を超える区分がある場合には、当該区分および当該区分より遠方の各区分を無効であると判断し、当該区分より自車両に近い前記現在の車線位置の各区分を有効であると判断することを特徴とする。

第５の発明は、第２から第４のいずれかの発明の車線認識装置において、前記判断手段は、前記無効であるとされた現在の車線位置の各区分のうち、前記現在の車線位置と前記過去に算出された車線位置との差分の絶対値が前記第１閾値より小さい値に設定された第２閾値以下であるサンプリング回数が第３所定回数以上連続した区分がある場合には、前記現在の車線位置の当該区分については有効であると判断することを特徴とする。

第６の発明は、第１から第５のいずれかの発明の車線認識装置において、前記判断手段は、自車両から所定距離離れた複数の前方位置のすべてにおいて前記現在の車線位置と前記過去に算出された車線位置との差分の絶対値が前記複数の前方位置についてそれぞれ前記第１閾値より大きい値に設定された各第３閾値以下であるサンプリング回数が第４所定回数以上連続した場合にのみ前記有効または無効の判断を行うことを特徴とする。

第７の発明は、第６の発明の車線認識装置において、前記判断手段は、前記複数の前方位置のうち少なくとも１つの前方位置において、前記現在の車線位置と前記過去に算出された車線位置との差分の絶対値が前記第３閾値を超える場合には前記現在の車線位置全体を無効であると判断することを特徴とする。

第８の発明は、第７の発明の車線認識装置において、前記判断手段は、前記現在の車線位置全体を無効であると判断すると、前記現在の車線位置を破棄し、過去に有効とされた車線位置を用いて次回のサンプリング周期における前記現在の車線位置との比較を行うことを特徴とする。

第９の発明は、第８の発明の車線認識装置において、前記判断手段は、前記過去に有効とされた車線位置を用いて比較を行う場合、無効であると判断されるサンプリング回数が第５所定回数を超える場合には、前記過去に有効とされた車線位置を破棄し、今回無効と判断された前記現在の車線位置を有効とし、それを用いて次回のサンプリング周期における前記現在の車線位置との比較を行うことを特徴とする。

第１０の発明は、第６から第９のいずれかの発明の車線認識装置において、前記第３閾値は、自車両の操舵角または旋回曲率により変更されることを特徴とする。

第１の発明によれば、撮像画像中から車線候補点を検出して車線位置を検出し、車線候補点が検出されない遠方領域では検出された車線位置に基づいて車線位置を推測して自車両の左右の車線位置を検出する。そして、自車両から所定距離離れた前方位置において、今回のサンプリング処理で検出された現在の車線位置と過去に検出された車線位置との差分の絶対値が閾値以下であるサンプリング回数をカウントする。そして、そのカウント数が所定回数以上連続した場合に、現在の車線位置が有効であると判断する。

このように、撮像画像から検出された車線位置と過去に検出された車線位置との連続性だけでなく、その連続性が所定のサンプリング回数以上連続していることを根拠にして現在の車線位置の信頼度を判断することで、算出された現在の車線位置の信頼度が高いか低いかを精度良く示すことが可能となり、その有効性を的確に示すことが可能となる。

また、そのため、検出された現在の車線位置に基づいて自動制御を行うことができるか否か、すなわち、検出された現在の車線位置を車線逸脱回避等の自動制御に用いるべきか否かを明確に示すことが可能となる。

第２の発明によれば、現在の車線位置と過去に算出された車線位置とを対応する複数の区分に分割し、その各区分について信頼度の高低、有効性の有無を判断するように構成すれば、より精度良く現在の車線位置の信頼度を示すことが可能となり前記第１の発明の効果がより的確に発揮されると同時に、検出した車線位置のうちどの部分の信頼度が高いかを精度良く示すことが可能となる。

第３の発明によれば、第２の発明で有効であるとされた現在の車線位置の各区分のうち車線候補点が検出されず車線位置推測手段により推測された車線位置のみからなる区分については信頼度が低いが、過去に車線位置検出手段で車線候補点が検出された区分である場合にはその区分の信頼度は高いから、その区分とその自車両に近い側の区分のみを有効とすることで、第２の発明で有効であるとされた現在の車線位置の各区分について厳密にその有効性を容易に判断することが可能となり、前記各発明の効果がより的確に発揮される。

第４の発明によれば、第２の発明で有効であるとされた現在の車線位置の各区分のうち車線候補点が検出されず車線位置推測手段により推測された車線位置のみからなる区分であっても過去に車線位置検出手段により車線候補点が検出されていればその区分の信頼度は高い。しかし、ある程度時間が経つとその区分の信頼度は低下するから、その区分とそれより遠方の各区分を無効とすることで、第２の発明で有効であるとされた現在の車線位置の各区分についてより厳密にその有効性を判断することが可能となり、前記各発明の効果がより的確に発揮される。

第５の発明によれば、前記各発明で無効であるとされた現在の車線位置の各区分のうち、現在の車線位置と過去に算出された車線位置との差分について設定されたより厳しい条件を相当回数満たす区分については有効とすることで、前記各発明の効果がさらに的確に発揮される。

第６および第７の発明によれば、前記各発明の判断の前提として、現在の車線位置と過去に算出された車線位置との差分について緩やかに設定された条件を満足して初めて前記各発明における判断を行うこととし、そのような条件を満たさない場合には車線位置全体を無効とすることで、サンプリング周期毎に車線位置がばらついて検出されるような信頼度が低い現在の車線位置を車線逸脱回避等の自動制御に用いることを防止することが可能となり、前記各発明の効果がより的確に発揮される。

第８の発明によれば、現在の車線位置全体を無効とした場合に、検出した現在の車線位置ではなく過去に有効とされた車線位置を用いて前記各発明における判断を行うことで、判断の信頼性を向上させることが可能となり、前記各発明の効果がより的確に発揮される。

第９の発明によれば、前記第８の発明において、現在の車線位置ではなく過去に有効とされた車線位置の方が誤っている場合には、過去に有効とされた車線位置を破棄し、今回無効と判断された現在の車線位置を有効として判断を行うことで、判断の信頼性を向上させることが可能となり、前記各発明の効果がより的確に発揮される。

第１０の発明によれば、道路形状が大きくカーブしているような場合に、前記第３閾値を自車両の操舵角または旋回曲率により変更することで、前記判断をより的確に行うことが可能となり、前記各発明の効果がより的確に発揮される。

以下、本発明に係る車線認識装置の実施の形態について、図面を参照して説明する。

本実施形態に係る車線認識装置１は、図１に示すように、主に撮像手段２と、変換手段３と、画像処理手段６と、検出手段９とで構成されている。

撮像手段２は、車両周辺を撮像するものであり、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の画像を出力するように構成されている。本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵された一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。本実施形態では、メインカメラ２ａおよびサブカメラ２ｂにはＣＣＤカメラが用いられている。

メインカメラ２ａとサブカメラ２ｂは、例えば、ルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられている。前記一対のステレオカメラのうち、運転者に近い方のカメラが後述するように各画素について距離が算出され車線が検出される基となる画像を撮像するメインカメラ２ａ、運転者から遠い方のカメラが前記距離等を求めるために比較される画像を撮像するサブカメラ２ｂとされている。

メインカメラ２ａおよびサブカメラ２ｂには、変換手段３としてのＡ／Ｄコンバータ３ａ、３ｂがそれぞれ接続されている。Ａ／Ｄコンバータ３ａ、３ｂでは、メインカメラ２ａおよびサブカメラ２ｂから出力されてきた一対のアナログ画像がそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度値を有するデジタル画像に変換されるように構成されている。

Ａ／Ｄコンバータ３ａからはメインカメラ２ａで撮像され前述した各画素について距離が算出され車線が検出される基となる画像から変換されたデジタル画像が基準画像として出力され、またＡ／Ｄコンバータ３ｂからはサブカメラ３ｂで撮像され変換されたデジタル画像が比較画像として出力されるようになっている。

Ａ／Ｄコンバータ３ａ、３ｂには、画像補正部４が接続されており、画像補正部４では、Ａ／Ｄコンバータ３ａ、３ｂから出力されてきた基準画像および比較画像に対してメインカメラ２ａおよびサブカメラ２ｂの取付位置の誤差に起因するずれやノイズの除去等を含む輝度値の補正等の画像補正がアフィン変換等を用いて行われるようになっている。

なお、基準画像Ｔは、例えば図２に示されるような水平方向が５１２画素、垂直方向が２００画素分の輝度値からなる画像データとして、また比較画像も各画素に輝度値を有する画像データとしてそれぞれ画像補正部４から出力されるように構成されている。また、図２の基準画像Ｔは、降雪中の高速道路を走行中に撮像されたものであり、図中の画素部分Ｐは高速道路の上方に架橋された道路の橋脚部分、画素部分Ｐｔは橋下方のトンネル状の部分、画素部分Ｓは積もった雪にそれぞれ相当する画素部分である。また、図中の破線は路面上で雪がタイヤに踏まれてアスファルトが見えていて比較的暗く撮像されている部分Ｄと雪が路面上に残っていて比較的明るく撮像されている部分Ｗとの境界を表している。

画像補正部４には、画像データメモリ５が接続されており、基準画像Ｔと比較画像とのそれぞれの画像データは画像データメモリ５に格納されると同時に検出手段９に送信されるようになっている。

また、画像補正部４には、画像処理手段６が接続されている。画像処理手段６は、主に、イメージプロセッサ７と距離データメモリ８とで構成されている。

イメージプロセッサ７では、ステレオマッチング処理とフィルタリング処理により画像補正部４から出力された基準画像Ｔおよび比較画像のデジタルデータに基づいて基準画像Ｔの各画素または複数画素から構成するブロックからなる各設定領域について実空間における距離を算出するための視差ｄｐを算出するようになっている。この視差ｄｐの算出については、本願出願人により先に提出された特開平５−１１４０９９号公報に詳述されているが、以下、その要点を簡単に述べる。

イメージプロセッサ７は、基準画像Ｔを例えば４×４画素の画素ブロックに分け、ステレオマッチング処理により各画素ブロックごとに１つの視差ｄｐを算出するようになっている。

具体的には、１つの画素ブロックを構成する１６画素には、前述したようにそれぞれ０〜２５５の輝度値ｐ１ijが割り当てられており、１６画素の輝度値ｐ１ijがその画素ブロック特有の輝度値特性を形成している。なお、輝度値ｐ１ijの添字ｉおよびｊは、基準画像Ｔの画像平面の左下隅を原点とし、水平方向をｉ座標軸、垂直方向をｊ座標軸とした場合の画素のｉ座標およびｊ座標を表す。また、比較画像については基準画像Ｔの原点に予め対応付けられた画素を原点として同様にｉ座標、ｊ座標を取る。

イメージプロセッサ７は、比較画像を水平方向に延在する４画素幅の水平ラインに分割し、基準画像Ｔの１つの画素ブロックを取り出してそれに対応する比較画像の水平ライン上を１画素ずつ水平方向すなわちｉ方向にシフトさせながら、基準画像Ｔの画素ブロックにおける１６個の画素の輝度値ｐ１ij とそれに対応する比較画像における１６個の画素の輝度値ｐ２ijとの差の絶対値をそれぞれ合計した下記（１）式で求められるシティブロック距離ＣＢが最小となる水平ライン上の画素ブロック、すなわち基準画像Ｔの画素ブロックに最も近い輝度値特性を有する比較画像上の画素ブロックを探索するようになっている。
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜ …（１）

イメージプロセッサ７は、このようにして特定した比較画像上の画素ブロックともとの基準画像Ｔ上の画素ブロックとのずれ量を算出し、そのずれ量を視差ｄｐとして基準画像Ｔ上の画素ブロックに割り付けるようになっている。このようにして視差ｄｐが割り付けられた基準画像Ｔを、基準画像Ｔと区別して、以下、距離画像という。なお、距離画像上の座標（ｉ，ｊ）は基準画像Ｔ上の座標（ｉ，ｊ）に対応する。

この視差ｄｐは、前記メインカメラ２ａおよびサブカメラ２ｂの一定距離の離間に由来する基準画像Ｔおよび比較画像における同一物体の写像位置に関する水平方向の相対的なずれ量であり、メインカメラ２ａおよびサブカメラ２ｂの中央位置から物体までの距離と視差ｄｐとを三角測量の原理に基づいて対応付けることができる。

具体的には、実空間上で、メインカメラ２ａおよびサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向すなわち左右方向にＸ軸、車高方向にＹ軸、車長方向すなわち距離方向にＺ軸を取ると、視差ｄｐが割り付けられた距離画像上の点（ｉ，ｊ）から実空間上の点（Ｘ，Ｙ，Ｚ）への座標変換は下記の（２）〜（４）式に基づいて行われる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …（２）
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …（３）
Ｚ＝ＣＤ／（ＰＷ×（ｄｐ−ＤＰ）） …（４）
ここで、ＣＤはメインカメラ２ａとサブカメラ２ｂとの間隔、ＰＷは１画素当たりの視野角、ＣＨはメインカメラ２ａとサブカメラ２ｂの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の距離画像上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。

すなわち、メインカメラ２ａおよびサブカメラ２ｂの中央位置、正確には中央真下の道路面上の点から物体までの距離Ｌと視差ｄｐとは、前記（４）式のＺを距離Ｌとすることで一意に対応付けられる。また、視差ｄｐから前記（４）式に基づいて求められるＺを前記（２）、（３）式に代入することで距離画像上のｉ座標およびｊ座標と対応付けて求めることができる。

また、イメージプロセッサ７は、視差ｄｐの信頼性を向上させる目的から、このようにして求めた視差ｄｐに対してフィルタリング処理を施し、有効とされた視差ｄｐのみを出力するようになっている。すなわち、例えば、車道の映像のみからなる特徴に乏しい４×４画素の画素ブロックを比較画像の４画素幅の水平ライン上で走査しても、比較画像の車道が撮像されている部分ではすべて相関が高くなり、対応する画素ブロックが特定されて視差ｄｐが算出されてもその視差ｄｐの信頼性は低い。そのため、そのような視差ｄｐは前記フィルタリング処理で無効とされ、視差ｄｐの値として０を出力するようになっている。

したがって、イメージプロセッサ７から出力される基準画像Ｔの各画素の距離Ｌ、すなわち基準画像Ｔの各画素ブロックについて実空間における距離を算出するための視差ｄｐは、通常、基準画像Ｔの左右方向に隣り合う画素間で輝度値ｐ１ijの差が大きいいわゆるエッジ部分についてのみ有効な値を持つデータとなる。

イメージプロセッサ７で算出された基準画像Ｔの各画素ブロックの視差ｄｐは前記（４）式に基づいてＺすなわち距離Ｌに変換されて、前述した距離画像として画像処理手段６の距離データメモリ８に格納されるようになっている。なお、以下に述べる検出手段９における処理では、距離画像上の１つの画素ブロックは４×４個の画素として扱われ、１つの画素ブロックに属する１６個の画素は同一の距離Ｌを有する独立した画素（ｉ，ｊ）として処理されるようになっている。以下、距離画像上の画素（ｉ，ｊ）の距離ＬをＬijと表す。なお、検出手段９における処理を１画素ずつではなく、画素ブロックを１つの単位として処理するように構成することも可能である。

検出手段９は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、検出手段９には、車速センサＡやステアリングホイールの操舵角を測定する操舵角センサＢ等が接続されている。

検出手段９は、本実施形態では、車線位置検出手段９１と、車線位置推測手段９２と、判断手段９３とで構成されている。

検出手段９の車線位置検出手段９１は、基準画像Ｔの各画素（ｉ，ｊ）の輝度値ｐ１ijおよび距離画像の各画素（ｉ，ｊ）の距離Ｌijに基づいて基準画像Ｔ上において自車両の左右の車線位置を検出するようになっている。なお、車線位置検出手段９１における車線位置の検出手法は本実施形態に限定されず、例えば前記引用文献１〜４等に記載の手法等の他の手法で検出を行うことも可能である。

具体的には、車線位置検出手段９１は、図３に示す基本フローに従って、画像補正部４から入力されてきた基準画像Ｔの水平方向に延びる１画素幅の水平ライン上を下側から上向きに順次１ラインずつシフトさせながら探索して、後述する条件を満たす画素を車線を表している可能性がある画素すなわち車線候補点として検出し、検出された車線候補点に基づいて自車両の左右の車線位置を検出するようになっている。以下、１つの水平ライン上では各画素（ｉ，ｊ）のｊ座標が同一であることから、以下、ライン上の各画素のｊ座標がｊである水平ラインを水平ラインｊと表す。

本実施形態では、車線候補点の探索は、図４に示すように前回のサンプリング周期で検出された右車線位置ＬＲlastおよび左車線位置ＬＬlastの周囲を探索領域Ｓｒ、Ｓｌとして設定し、それらの領域内でのみ車線候補点の探索を行うようになっている。

車線位置検出手段９１は、探索を行う水平ラインｊと右車線側探索領域Ｓｒの左端および左車線側探索領域Ｓｌの右端と交点の画素をそれぞれの領域の探索開始点ｉｓとし、右車線側では水平ラインｊ上を右向きに、左車線側では水平ラインｊ上を左向きにそれぞれ１画素ずつオフセットしながらそれぞれ探索終了点ｉｅまで車線候補点の探索を行うようになっている。

車線位置検出手段９１は、第１プロセスである車線候補点検出変換処理（図３のステップＳ１０）では、図５に示すフローチャートに従って車線候補点を検出するようになっている。なお、左右の探索領域Ｓｒ、Ｓｌについての車線候補点の検出は同様に行われるため、以下では右車線側探索領域Ｓｒを探索する場合について述べる。また、左車線側探索領域Ｓｌの探索は同一水平ラインｊについて右車線側探索領域Ｓｒの探索と同時に行われるように構成されている。

車線位置検出手段９１は、まず、基準画像Ｔの水平ラインｊ上の探索領域Ｓｒについて探索開始点ｉｓおよび探索終了点ｉｅを設定し（ステップＳ１０１）、探索する画素を右方にオフセットさせながら（ステップＳ１０２）、探索画素が下記の第１開始点条件を満たすか否かを判断する（ステップＳ１０３）。

［第１開始点条件］
条件１：その探索画素の輝度値ｐ１ijが道路面輝度値ｐroadより第１開始点輝度閾値ｐth１以上大きく、かつ、輝度微分値で表されるエッジ強度Ｅijが第１開始点エッジ強度閾値Ｅth１以上であること。
条件２：その探索画素に対応する実空間上の点が道路面上にあること。
ここで、道路面輝度値ｐroadは、現在探索が行われている水平ラインｊの直下の探索が行われた４行分の水平ラインｊ−１〜ｊ−４上において画素の輝度値ヒストグラムの出現度数が最大となる輝度値として水平ラインｊごとに算出される。

前記条件１は、図６（Ａ）、（Ｂ）に示すように輝度値ｐ１ijが道路面輝度値ｐroadから閾値ｐth１以上に大きくなり輝度微分値であるエッジ強度Ｅijが閾値Ｅth１以上である車線の一方のエッジ部分に対応する探索画素を車線候補点となり得る開始点として見出すための条件である。条件２は、道路面より上方にある先行車のピラーやバンパ等の車体部分やガードレール、電信柱等のエッジ部分である探索画素を開始点から除外するための条件である。

車線位置検出手段９１は、条件１を満たす画素が現れると、その画素についての距離Ｌijを距離データメモリ８から読み出してその画素に対応する実空間上の点が道路面上にあるか否かを判断して条件２を満たすか否かを判断する。

車線位置検出手段９１は、探索画素が前記第１開始点条件を満たすと判断すると（図５のステップＳ１０３：ＹＥＳ）、その探索画素を開始点ＰｓとしてＲＡＭ上にセットし、第１車線幅閾値Ｗth１をセットする（ステップＳ１０４）。第１車線幅閾値Ｗth１は、開始点Ｐｓが検出された場合に探索範囲を確保するための閾値である。

車線位置検出手段９１は、開始点Ｐｓと第１車線幅閾値Ｗth１とをセットすると、さらに水平ラインｊ上を右方に探索を続け、探索画素が下記の第２開始点条件を満たすか否かを判断する（ステップＳ１０５）。これは、図７に示すように開始点Ｐｓとしてセットされた画素が実際には消えかかった古い車線Ｌoldの端部に対応する画素Ｐｓoldであり、その古い車線Ｌoldと一部重なるようにして新しく塗り直された車線Ｌnewが引かれているような場合に、元の開始点Ｐｓ等のセットを取り消して、塗り直された車線Ｌnewの端部に対応する画素Ｐｓnewを開始点Ｐｓとして新たにセットするための判断基準である。

［第２開始点条件］
条件３：その探索画素の輝度値ｐ１ijが道路面輝度値ｐroadより第２開始点輝度値閾値ｐth２以上大きく、かつ、輝度微分値で表されるエッジ強度Ｅijが第２開始点エッジ強度閾値Ｅth２以上であること。ただし、ｐth２＞ｐth１。
条件４：開始点Ｐｓからその探索画素の左隣の画素までの平均輝度値と道路面輝度値ｐroadとの差が第１車線平均輝度値閾値Ａth１以下であること。
条件５：その探索画素に対応する実空間上の点が道路面上にあること。

そして、探索画素が前記第２開始点条件を満たす場合には（ステップＳ１０５：ＹＥＳ）、車線位置検出手段９１は、元の開始点Ｐｓおよび第１車線幅閾値Ｗth１のセットを解除して現在の探索画素を新たな開始点Ｐｓとして再セットし、第１車線幅閾値Ｗth１も再セットする（ステップＳ１０６）。

なお、図８（Ａ）は第２開始点条件の第２開始点輝度閾値ｐth２を説明する図であり、図８（Ｂ）は第２開始点エッジ強度閾値Ｅth２を説明する図である。また、条件４において、元の開始点から現在の探索画素の左隣の画素までの領域Ｋの平均輝度値と道路面輝度値ｐroadとの差が閾値Ａth１より大きければ、その領域Ｋに対応する車線は現在もいわば生きている車線として標示されていると考えられるから、開始点Ｐｓを再セットする必要はない。

車線位置検出手段９１は、水平ラインｊ上を右方に探索を続け、探索画素が下記の終了点条件を満たすか否かを判断する（図５のステップＳ１０７）。
［終了点条件］
条件６：その探索画素の輝度微分値で表されるエッジ強度Ｅijが終了点エッジ強度閾値−Ｅth２以下であるか、またはその探索画素の輝度値が開始点Ｐｓにおける輝度値より小さいこと。

これは、図示を省略するが、終了点Ｐｅが車線に対応する高輝度の画素から道路面に対応する低輝度値の画素に移行し、車線の反対側のエッジ部分に対応する点であることを表す。なお、本実施形態では、終了点エッジ強度閾値−Ｅth２の絶対値は前記第２開始点エッジ強度閾値Ｅth２の絶対値と同一に設定されている。

車線位置検出手段９１は、終了点条件を満たす点、すなわち終了点Ｐｅが検出されなければ（ステップＳ１０７：ＮＯ）、第１車線幅閾値Ｗth１に達するまで探索を行い、第１車線幅閾値Ｗth１に達しても終了点Ｐｅが検出されない場合は（ステップＳ１０８：ＹＥＳ）、開始点Ｐｓおよび第１車線幅閾値Ｗth１のセットを解除する。

そして、探索終了点ｉｅに達していなければ（ステップＳ１０２：ＮＯ）、引き続き水平ラインｊ上の探索を続行し、探索画素が第１開始点条件を満たすか否かの判断（ステップＳ１０３）からの前記処理を繰り返す。なお、このフローチャートから分かるように、開始点Ｐｓから右方に探索を続けて探索終了点ｉｅを超える場合でも第１車線幅閾値Ｗth１に達していなければ第１車線幅閾値Ｗth１に達するまで水平ラインｊ上の探索が続行される。

また、車線位置検出手段９１は、終了点Ｐｅを検出すると（ステップＳ１０７：ＹＥＳ）、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度値が下記の第１平均輝度値条件を満たすか否かを判断する（ステップＳ１０９）。
［第１平均輝度値条件］
条件７：開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度値と道路面輝度値ｐroadとの差が前記第１車線平均輝度値閾値Ａth１以下であること。

本実施形態では、この条件７における第１車線平均輝度値閾値Ａth１は、前記第２開始点条件の条件４における第１車線平均輝度値閾値Ａth１と同一の値が用いられる。前述したように、第１車線平均輝度値閾値Ａth１は、消えかかった古い車線Ｌoldに対応する平均輝度値と新たに塗り直された車線Ｌnewに対応する平均輝度値とを分ける閾値である。

車線位置検出手段９１は、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度値が前記第１平均輝度値条件を満たす（ステップＳ１０９：ＹＥＳ）、すなわち平均輝度値が低い車線に相当する平均輝度値であると判断すると、この車線の近くに新しく塗られた車線がある可能性があるため、既に車線候補点が図示しない記憶手段に保存されていなければ（ステップＳ１１０：ＹＥＳ）、この開始点Ｐｓの座標（ｉ，ｊ）をとりあえず車線候補点として保存し（ステップＳ１１１）、さらに水平ラインｊ上の探索を続ける。

一方、車線位置検出手段９１は、開始点Ｐｓから終了点Ｐｅの左隣の画素までの平均輝度値が前記第１平均輝度値条件を満たさない（ステップＳ１０９：ＮＯ）、すなわち、平均輝度値が高い車線に相当する平均輝度値であると判断すると、同一の水平ラインｊ上の探索で既に保存されている平均輝度値が低い車線に対応する車線候補点があれば（ステップＳ１１２：ＹＥＳ）、その車線候補点を削除して（ステップＳ１１３）、平均輝度値が高い方の開始点Ｐｓを車線候補点として保存して（ステップＳ１１４）、同一水平ラインｊ上の探索を打ち切る。

本実施形態では、以上のように、水平ラインｊ上の探索が終了する場合は、平均輝度値が高い車線が見出されて探索が打ち切られた場合、平均輝度値が低い車線しか見出されず探索終了点ｉｅに達した場合、車線が見出されず探索終了点ｉｅに達した場合の３通りの場合である。そして、平均輝度値が高くいわば生きている車線が見出されればその車線を優先しながら、第１開始点条件または第２開始点条件を満たす画素のうち自車両に最も近い画素を車線候補点として検出する。

水平ラインｊ上の探索が終了すると、車線位置検出手段９１は、車線候補点が保存されているか否かを判断する（ステップＳ１１５）。車線候補点が保存されていなければ（ステップＳ１１５：ＮＯ）、水平ラインｊが２００行目に達したか否かを判断し（ステップＳ１１６）、２００行目に達していなければ（ステップＳ１１６：ＮＯ）、２００行目に達するまで、画像補正部４から送信されてきた１画素分上側の水平ラインｊ＋１について前記処理手順を繰り返す。

車線候補点が保存されていれば（ステップＳ１１５：ＹＥＳ）、車線位置検出手段９１は、車線候補点として保存されている開始点Ｐｓが道路上に降り積もった雪と道路面とのエッジ部分の画素か否かを判断する。具体的には、一般的に雪に相当する部分の画素の平均輝度が車線に相当する部分の画素の平均輝度より小さいことに着目して、高輝度の画素部分が雪に相当する部分である可能性があるか否かを下記の雪等判断条件に基づいて判断するようになっている。

［雪等判断条件］
条件８：検出された車線候補点に対応する開始点Ｐｓにおける輝度微分値が第３開始点エッジ強度閾値Ｅth３より小さく、かつ、開始点Ｐｓから終了点Ｐｅまでの画素数が第２車線閾値Ｗth２より大きいこと。ただし、Ｅth３＞Ｅth１、Ｗth２＜Ｗth１。

ここで、雪に相当する開始点では車線に対応する開始点における輝度微分値が小さく、図９に示すように開始点では輝度値が明確に立ち上がらずにだらだらと増加することが多い。そのため、車線に対応する開始点における輝度微分値に相当する比較的大きな値の第３開始点エッジ強度閾値Ｅth３を設定し、開始点Ｐｓにおける輝度微分値がその閾値より大きいか小さいかでまず篩いにかける。

そして、雪に相当する画素部分の幅は、通常、車線に対応する画素部分の幅より大きく現れる。そのため、第２車線幅閾値Ｗth２を通常の車線の幅に対応して実空間上で２０ｃｍ程度になるように比較的狭く設定し、開始点Ｐｓから終了点Ｐｅまでの画素数が第２車線幅閾値Ｗth２より大きいか小さいかでさらに篩いにかける。

車線位置検出手段９１は、車線候補点に対応する開始点Ｐｓが前記雪等判断条件を満たし、高輝度の画素部分が雪に相当する部分である可能性があると判断すると（ステップＳ１１７：ＹＥＳ）、後述する第２平均輝度条件の判断（ステップＳ１１９）の基となる第２車線平均輝度閾値Ａth２を現状の値より高い値に設定し直す（ステップＳ１１８）。車線候補点に対応する開始点Ｐｓが前記雪等判断条件を満たさなければ（ステップＳ１１７：ＮＯ）、第２車線平均輝度閾値Ａth２の値は現状の値が用いられる。

車線位置検出手段９１は、続いて、車線候補点から終了点Ｐｅの左隣の画素までの平均輝度値が下記の第２平均輝度値条件を満たすか否かを判断する（ステップＳ１１９）。
［第２平均輝度値条件］
条件９：車線候補点から対応する終了点Ｐｅの左隣の画素までの平均輝度値と道路面輝度値ｐroadとの差が第２車線平均輝度値閾値Ａth２以上であること。

本実施形態では、前述したように第１車線平均輝度値閾値Ａth１は、消えかかった古い車線Ｌoldに対応する平均輝度値と新たに塗り直された車線Ｌnewに対応する平均輝度値とを画する閾値であったが、条件８における第２車線平均輝度値閾値Ａth２は、車線として最低限要求される平均輝度値と道路面輝度値ｐroadとの差を画するものであり、第１車線平均輝度値閾値Ａth１より小さい値が適宜設定される。

車線位置検出手段９１は、車線候補点が第２平均輝度値条件を満たさないと判断すると（ステップＳ１１９：ＮＯ）、その車線候補点を削除する（ステップＳ１２０）。一方、車線候補点が第２平均輝度値条件を満たすと判断すると（ステップＳ１１９：ＹＥＳ）、その車線候補点を削除せずに残す。このようにして、図１０に示すように、最終的にその水平ラインｊ上に車線候補点（Ｉ_j，Ｊ_j）が検出される。

車線位置検出手段９１は、続いて、以上のようにして水平ラインｊ上に検出した車線候補点に対してハフ変換を実行するようになっている（ステップＳ１２１）。本実施形態では、ハフ変換については公知の方法が用いられる。具体的には、例えば、検出された車線候補点が基準画像Ｔ上の直線
ｉ＝ａｊ＋ｂ …（８）
上に存在すると仮定すると、Ｉ_j、Ｊ_jは、
Ｉ_j＝ａＪ_j＋ｂ …（９）
を満たし、前記（９）式は、
ｂ＝−Ｊ_j×ａ＋Ｉ_j …（１０）
と変形できる。（１０）式から分かるように、前記車線候補点検出処理で水平ラインｊ上に車線候補点（Ｉ_j，Ｊ_j）が検出されると、−Ｊ_j、Ｉ_jを傾きおよびｂ切片としてハフ平面であるａ−ｂ平面上に１本の直線を引くことができる。

ａ−ｂ平面は、所定の大きさに升目に区切られており、（１０）式で表される直線が引かれると、直線が通過する升目の計数値が１増加される。なお、ａ−ｂ平面の各升目には所定のａおよびｂの値が対応しているから、ａ−ｂ平面で升目を選択することは、対応するａ、ｂの値を選択すること、すなわち（８）式で表されるように基準画像Ｔ上に傾きａ、ｉ切片ｂの直線を選択することと同義である。

なお、上記では右車線側探索領域Ｓｒを探索する場合について述べたが、左車線側探索領域Ｓｌを探索する場合についても同様に検出された車線候補点（Ｉ_j，Ｊ_j）についてハフ変換が行われ、右車線側探索領域Ｓｒの場合とは別個にａ−ｂ平面が作成され、ａ−ｂ平面の各升目にはそれぞれ計数値が加算される。

車線位置検出手段９１は、基準画像Ｔ上を水平ラインを上向きに１画素分ずつずらしながら水平ラインｊ上を右向きおよび左向きに探索を行い、各水平ライン上に車線候補点が検出されるごとに前記ハフ変換を行ってそれぞれａ−ｂ平面の升目の計数値を加算していくようになっている。

そして、最終的に基準画像Ｔの最上段の２００行目の水平ラインまで探索を終了すると（図５のステップＳ１１６：ＹＥＳ）、続いて、車線位置検出手段９１は、第２プロセスである車線直線検出処理（図３のステップＳ２０）に移行する。

車線直線検出処理（ステップＳ２０）では、車線位置検出手段９１は、前記ハフ変換で得られた右車線側探索領域Ｓｒおよび左車線側探索領域Ｓｌの各ａ−ｂ平面から計数値が大きな単数または複数の升目をそれぞれ抽出し、抽出した複数のピーク直線のうち下記の選択条件に適合するものを棄却し、ピーク直線が１本に絞られるまで右向き探索および左向き探索の各場合についてそれぞれ選択を行うようになっている。

［選択条件］
条件１０：所定の前方距離におけるピーク直線の位置が、自車両の中心から換算した車幅の位置より内側に存在すること。ただし、連続して車線位置が検出されている場合には前回検出された車線位置からの変化量を用いて所定の閾値以内であれば条件１０は適用しない。
条件１１：自車両の推定軌跡Ｌestとの平行度が一定の閾値より大きいこと。
条件１２：所定の前方距離における自車両の中心からの左右差距離が規定値far_th以上に遠いピーク直線と規定値near_th以下のピーク直線がある場合の規定値far_th以上のピーク直線であること。ただし、far_th＞near_th。
条件１３：前回検出された車線位置や幅から推定した車線推定中心位置に最も近いピーク直線を残すこと。

車線位置検出手段９１は、このようにして右車線側探索領域Ｓｒおよび左車線側探索領域Ｓｌで抽出されたピーク直線から車線位置としてふさわしい直線を表す左右のピーク直線ｒ１、ｌ１をそれぞれ図１１に示すような車線直線ｒ１、ｌ１として１本ずつ基準画像Ｔ上に選択して、図３の車線直線検出処理（ステップＳ２０）を終了するようになっている。

車線位置検出手段９１は、続いて、第３プロセスである車線位置検出処理（図３のステップＳ３０）に移行する。車線位置検出処理では、前記車線直線検出処理で得られた車線直線ｒ１、ｌ１を基準にして自車両の左右に存在する直線状または曲線状の車線を検出するようになっている。

具体的には、車線位置検出手段９１は、前記車線候補点検出変換処理と同様に、基準画像Ｔにおけるｊ座標一定の１画素幅の水平ラインｊ上を右向きおよび左向きにそれぞれ走査しながら処理を行う。まず、右車線直線ｒ１或いは左車線直線ｌ１を基準として各直線とのｉ方向の差が閾値以内の車線候補点を車線ポジションとして所定の個数に達するまで記録する。右車線直線ｒ１或いは左車線直線ｌ１とのｉ方向の差が閾値より大きい車線候補点は除外される。

車線位置検出手段９１は、車線直線ｒ１、ｌ１近傍に車線ポジションを前記所定の個数記録すると、その上方の水平ラインｊでは、車線直線ｒ１、ｌ１によらず、最後に検出された車線ポジションを基準として下記の要領で車線を追い、車線がカーブしている場合にもそのカーブに追随して車線ポジションを検出していくようになっている。

すなわち、車線位置検出手段９１は、所定個数の車線ポジションが記録されると、その上方の水平ラインｊで次に検出された車線候補点と所定個数の最後に検出された車線ポジションとのｉ方向、ｊ方向の変位が規定値以内か否かを判断する。そして、規定値以内であると判断すると、その車線候補点を車線ポジションとして記録する。

以後同様にして、図１２（Ａ）に示されるように、水平ラインｊ上で車線候補点を検出すると、前回検出された車線ポジションａとのｉ方向、ｊ方向の変位が規定値以内か否かを判断し、規定値以内であると判断すると、今回検出した車線候補点を車線ポジションｂとして記録していく。

また、水平ラインｊ上に車線候補点が検出されて、前回検出された車線ポジションとのｉ方向、ｊ方向の変位が規定値以内でない場合も、前回までに検出した車線ポジションを延長した直線、すなわち、図１２（Ｂ）では車線ポジションｂと車線ポジションａとを結ぶ直線からのｉ方向の変位が規定値以内であれば、今回検出した車線候補点を車線ポジションｃ、ｄ、…として記録する。

車線位置検出手段９１は、左右の車線間の実空間上の間隔すなわち走行レーンの幅を確認しつつ水平ラインｊを基準画像Ｔの上方にずらしながら順次車線ポジションを検出し、最終的に図１３に示すように自車両の左右に車線位置ＬＲdec、ＬＬdecを検出して、図３の車線位置検出処理（ステップＳ３０）を終了するようになっている。

車線位置検出手段９１は、以上のようにして検出した各車線ポジションの座標および車線直線ｒ１、ｌ１の傾きと切片等の情報を図示しないＲＡＭ等の記憶手段に記憶させるようになっている。

検出手段９の車線位置推測手段９２は、車線検出手段９１により検出された車線位置ＬＲdec、ＬＬdecに基づいて車線位置が検出されなかった遠方領域における車線位置を推測するようになっている。

本実施形態では、車線位置推測手段９２は、図１４に示すように、車線検出手段９１により検出された車線位置ＬＲdecを２等分し、自車両に最も近い車線位置Ａと最も遠い車線位置Ｂとの各座標から中間点Ｃの座標を算出し、線分ＡＣおよび線分ＣＢと同じ長さで同じ傾きを有する線分を最遠点Ｂの遠方に延長し、例えば自車両から１００ｍ前方までその作業を繰り返すことで遠方領域における車線位置ＬＲinfを推測するようになっている。車線位置ＬＬdecについても同様に延長して車線位置ＬＬinfを推測する。

なお、車線位置推測手段９２における車線位置の推測手法は本実施形態に限定されず、遠方領域における車線位置を推測できるものであれば、他の手法を採用することも可能である。

車線位置推測手段９２は、以上のようにして推測した各車線位置ＬＲinf、ＬＬinfの傾きと切片等の情報を図示しないＲＡＭ等の記憶手段に記憶させるようになっている。

検出手段９の判断手段９３は、車線位置検出手段９１および車線位置推測手段９２による検出結果および推測結果から現在の車線位置ＬＲpre、ＬＬpreを算出し、その現在の車線位置ＬＲpre、ＬＬpreの有効または無効を判断するようになっている。なお、左右の車線位置ＬＲpre、ＬＬpreについては同様に処理が行われるため、以下では右車線位置ＬＲpreについて処理を行う場合について述べる。処理は左右の車線位置ＬＲpre、ＬＬpreについて同時に行われる。

判断手段９３は、図１４に示したように前記車線位置検出手段９１により検出された車線位置ＬＲdecおよび前記車線位置推測手段９２により推測された車線位置ＬＲinfを合わせて現在の車線位置ＬＲpreを算出する。そして、車速センサＡと操舵角センサＢから入力された自車両の車速およびステアリングホイールの操舵角に基づいて前回のサンプリング周期で算出された車線位置ＬＲlastの現在の位置を算出する。

判断手段９３は、続いて、図１５に示すように、現在の車線位置ＬＲpreと前回の車線位置ＬＲlastとを、それぞれ例えば自車両からの距離として１０ｍ間隔で複数の区分に分割し、各区分の自車両に最も近い位置すなわち例えば１０ｍ〜２０ｍの区分では１０ｍの位置における両車線位置の車幅方向の差分Δｎの絶対値をそれぞれ算出する。

この段階で、判断手段９３は、処理（１）として下記の処理を行うようになっている。

処理（１）では、判断手段９３は、自車両から所定距離離れた複数の前方位置のうち少なくとも１つの前方位置において、現在の車線位置ＬＲpreと前回の車線位置ＬＲlastとの差分Δｎの絶対値が、前方位置についてそれぞれ設定された第３閾値shift_th3を超える場合には、今回検出し推測した現在の車線位置ＬＲpreの全体を無効であると判断する。

具体的には、例えば自車両から１０ｍ、２０ｍおよび５０ｍ離れた前方位置について、それぞれ第３閾値shift_th3が例えば３００ｍｍ、４００ｍｍおよび１０００ｍｍに設定されている場合に、それら３つの前方位置において算出した現在の車線位置ＬＲpreと前回の車線位置ＬＲlastとの差分Δｎの絶対値のうち１つでも第３閾値shift_th3を上回った場合には、現在の車線位置ＬＲpreは信頼度が低いとしてその全体を無効と判断する。

例えば、図２に示した基準画像Ｔでは、路面上の雪がタイヤに踏まれてアスファルトが見えていて比較的暗く撮像されている部分Ｄと雪が路面上に残っていて比較的明るく撮像されている部分Ｗとの境界を車線のエッジ部分として誤検出してしまう場合がある。そのような場合、例えば図１６に示すように、サンプリング処理毎に境界部分を右車線位置ＬＲpreとして検出したり、実際の車線のエッジ部分を右車線位置ＬＲpreとして検出したりして検出結果がばらつく。このような場合に、処理（１）では検出され推測された現在の車線位置ＬＲpreは信頼度が低いとしてその全体を無効と判断するようになっている。

本実施形態では、判断手段９３は、現在の車線位置ＬＲpreを無効と判断すると、現在の車線位置ＬＲpreを破棄して、前回のサンプリング周期で算出された車線位置ＬＲlastの現在の位置の方が現在の実際の車線位置を表している信頼度が高いと判断して、前回の車線位置ＬＲlastの現在の位置を現在の車線位置ＬＲpreとして記憶手段に保存し、次回のサンプリング周期における処理に用いるようになっている。

しかし、このような破棄が連続して行われる場合には、新しく見え始めた車線位置が正しい車線位置である可能性がある。そこで、本実施形態では、判断手段９３は、このような現在の車線位置ＬＲpreが無効と判断され破棄されるサンプリング回数が第５所定回数cnt_th5を超えた場合は、すなわち５回目には今度は前回の車線位置ＬＲlastの現在の位置を信頼度が低いとして破棄して、無効とされた現在の車線位置ＬＲpreを有効として記憶手段に保存し、それを用いて次回のサンプリング周期における処理に用いるようになっている。第５所定回数cnt_th5としては例えば４回が設定される。

なお、本実施形態では、前述した車線位置推測手段９２における遠方領域における車線位置ＬＲinfの推測の仕方から分かるように、道路形状が大きくカーブしているような場合には、特に自車両から最も離れた前方位置において現在の車線位置ＬＲpreと前回の車線位置ＬＲlastとの差分Δｎの絶対値が大きくなってしまうため、現在の車線位置ＬＲpreが頻繁に破棄されて事実上車線位置の検出が困難になる場合がある。

そのため、本実施形態では、判断手段９３は、操舵角センサＢから入力されるステアリングホイールの操舵角或いはそれに基づいて算出される旋回曲率に応じて前記各第３閾値shift_th3を変更するように構成されている。

一方、判断手段９３は、前述した自車両から所定距離、例えば１０ｍ、２０ｍおよび５０ｍ離れた複数の前方位置のすべてにおいて前記差分Δｎの絶対値が各第３閾値shift_th3以下であるサンプリング回数が第４所定回数cnt_th4以上連続した場合にのみ、下記処理（２）以降に述べる現在の車線位置ＬＲpreの有効または無効の判断を行うようになっている。第４所定回数cnt_th4は例えば１５回に設定される。

このように、現在の車線位置ＬＲpreの有効・無効の判断をサンプリング回数が第４所定回数cnt_th4以上連続した場合に限る理由は、比較的大きな値に設定された前記第３閾値shift_th3を安定してクリアできる状態で初めて安定して得られる現在の車線位置ＬＲpreに基づいてその信頼度を的確に判断できるためである。

判断手段９３は、前述したように、自車両からの距離として１０ｍ間隔で複数の区分に分割し、各区分について現在の車線位置ＬＲpreと前回の車線位置ＬＲlastとの車幅方向の差分Δｎの絶対値をそれぞれ算出すると、前記処理（１）とは独立にそれと並行して下記の処理（２）を行うようになっている。

処理（２）では、判断手段９３は、例えば下記表１のように算出された前記差分Δｎの絶対値と、予め各区分について設定された各第１閾値shift_th1とを比較して、前記差分Δｎの絶対値が第１閾値shift_th1以下であれば、下記表２のように当該区分のカウント数をインクリメントする。

なお、第１閾値shift_th1は、前記第３閾値shift_th3に比べて小さい値に設定される。また、表１では第１閾値shift_th1を各区分で同一の値に設定した場合を示したが、各区分毎に第１閾値shift_th1を変えることも可能であり、適宜設定される。

表２のカウント数は、その区分における前記差分Δｎの絶対値が第１閾値shift_th1以下であればサンプリング処理毎に１ずつ加算されるようになっている。また、ある区分で前記差分Δｎの絶対値が第１閾値shift_th1を超えた場合には、当該区分のカウント数が即座に０にクリアされるようになっている。

判断手段９３は、サンプリング回数について設定された第１所定回数cnt_th1以上連続して現在の車線位置ＬＲpreと前回の車線位置ＬＲlastとの差分Δｎの絶対値が各第１閾値shift_th1以下である各区分すなわち表２のカウント数が第１所定回数cnt_th1以上である現在の車線位置ＬＲpreの各区分を、信頼度が高く有効であると判断して出力するようになっている。第１所定回数cnt_th1は例えば５回に設定される。

具体的には、判断手段９３は、前記条件に適合する各区分でのインクリメントを進め、各区分のカウント数が下記表３に示すようになった場合、前記処理（１）で自車両から所定距離離れた複数の前方位置のすべてで前記差分Δｎの絶対値が各第３閾値shift_th3以下であるサンプリング回数が第４所定回数cnt_th4以上連続していれば、車線位置ＬＲpreについては１０ｍ〜６０ｍまでの各区分を有効であると判断するようになっている。なお、下記表３の場合、左車線位置ＬＬpreについては１０ｍ〜７０ｍまでの各区分が有効であると判断される。

なお、前述したように、ある区分で前記差分Δｎの絶対値が第１閾値shift_th1を超えた場合には当該区分のカウント数が即座に０にクリアされるため、第４所定回数cnt_th4より多くカウントしても意味がない。そのため、本実施形態では、前記表３のように各区分のカウント数が第４所定回数cnt_th4に達するとそれ以上加算されないようになっている。

一方、前記処理（２）において有効であると判断された現在の車線位置ＬＲpre、ＬＬpreの各区分であっても、今回のサンプリング処理において車線位置検出手段９１で車線候補点が検出されず、車線位置推測手段９２により推測された車線位置ＬＲinf、ＬＬinfのみからなる区分については信頼度が必ずしも高くない。そのため、推測された車線位置ＬＲinf、ＬＬinfのみからなる区分についてはさらに厳密にその有効、無効を判断することが求められる。

車線位置推測手段９２により推測された車線位置ＬＲinf、ＬＬinfのみからなる区分については種々の場合が考えられる。

もともと自車両の前方に先行車両がなく、装置の性能によって車線位置検出手段９１で車線候補点が検出されずに車線位置推測手段９２により車線位置ＬＲinf、ＬＬinfが推測された区分では、区分の信頼度は低いから無効とし易い。

それに対し、例えば図１７に示すように車線変更等で自車両の前方に先行車両が存在するようになったような場合、それまでのサンプリング処理では車線位置検出手段９１で車線候補点が検出された区分が、今回のサンプリング処理では車線候補点が検出されずに車線位置推測手段９２により車線位置ＬＲinf、ＬＬinfが推測される場合がある。

このような場合には、今回のサンプリング処理では車線位置推測手段９２により推測された車線位置ＬＲinf、ＬＬinfの区分のうち、それまでのサンプリング処理では車線位置検出手段９１で車線候補点が検出されていて前回の車線位置ＬＲlastとの差分Δｎの絶対値が小さいのであれば、その区分の信頼度は高いと言えるから、その区分は有効であると判断してよい。

そこで、処理（３）として、前記処理（２）で有効であるとされた現在の車線位置ＬＲpre、ＬＬpreの各区分のうち、車線位置推測手段９２により推測された車線位置ＬＲinf、ＬＬinfのみからなる区分であって、かつ、過去に車線位置検出手段９１により車線候補点が検出された区分がある場合には、その区分までの区分、すなわち当該区分および当該区分より自車両に近い前記現在の車線位置の各区分を有効であると判断し、その区分より遠方の各区分を無効であると判断するように構成することが可能である。

しかし、本実施形態では、さらに厳密に判断するために、判断手段９３は、処理（３）として、前記処理（２）で有効であるとされた現在の車線位置ＬＲpre、ＬＬpreの各区分のうち、車線位置推測手段９２により推測された車線位置ＬＲinf、ＬＬinfのみからなる区分であって、かつ、車線位置検出手段９１により車線候補点が連続して検出されなかったサンプリング回数が設定された第２所定回数cnt_th2を超える区分がある場合には、当該区分および当該区分より遠方の各区分を無効であると判断し、当該区分より自車両に近い現在の車線位置ＬＲpre、ＬＬpreの各区分を有効であると判断するようになっている。

具体的には、判断手段９３は、下記表４に示すように、各区分について、車線位置検出手段９１により車線候補点が連続して検出されなかったサンプリング回数をカウントするようになっており、カウント数は、サンプリング処理で車線位置検出手段９１により車線候補点が検出されないと１ずつ増加し、車線候補点が検出されると０にクリアされるようになっている。第２所定回数cnt_th2としては例えば１０回に設定され、表４のように各区分のカウント数が第２所定回数cnt_th2に達するとそれ以上加算されないようになっている。

そして、例えば表３の例において、前記処理（２）で有効であると判断された現在の右車線位置ＬＲpreの前記１０ｍ〜６０ｍまでの各区分のうち３０ｍ〜４０ｍ、４０ｍ〜５０ｍ、５０ｍ〜６０ｍの３区分では今回のサンプリング処理では車線位置検出手段９１により車線候補点が検出されず、車線位置推測手段９２により推測された車線位置ＬＲinfのみからなる区分であったとする。

この場合、前記２区分のうち、３０ｍ〜４０ｍの区分は過去に車線候補点が検出されてから５回連続して車線候補点が検出されていない。しかし、第２所定回数cnt_th2である１０回には達していないから、処理（３）でこの３０ｍ〜４０ｍの区分は有効であると判断される。一方、４０ｍ〜５０ｍおよび５０ｍ〜６０ｍの２区分は過去に車線候補点が検出されてから１０回以上連続して車線候補点が検出されておらず、第２所定回数cnt_th2に達しているから、処理（３）でこの２区分は無効であると判断され、それより遠方の６０ｍ〜１００ｍの区分も無効であると判断されるようになっている。

本実施形態では、さらに、判断手段９３は、以上のように処理（２）、（３）を行って無効とされた現在の車線位置ＬＲpre、ＬＬpreの各区分、すなわち前記の現在の右車線位置ＬＲpreの例で言えば４０ｍ〜１００ｍの各区分に対して、処理（４）として、現在の車線位置ＬＲpreと前回の車線位置ＬＲlastとの差分Δｎの絶対値が、前記第１閾値shift_th1より厳しい値すなわちより小さい値に設定された第２閾値shift_th2以下であるサンプリング回数が第３所定回数cnt_th3以上連続した区分がある場合には、現在の車線位置ＬＲpre、ＬＬpreの当該区分については有効であると判断するようになっている。

具体的には、第２閾値shift_th2は前記表１に示したように例えば２５０ｍｍに設定された第１閾値shift_th1より小さい例えば１５０ｍｍに各区分毎に設定され、第３所定回数cnt_th3は例えば５回に設定される。

この状態で、判断手段９３は、前記表１、表２と同様にして前記差分Δｎの絶対値と各第２閾値shift_th2とを比較して、前記差分Δｎの絶対値が第２閾値shift_th2以下であれば各サンプリング処理毎にカウント数を１ずつ増加させる。そして、前記の現在の右車線位置ＬＲpreの例で言えば４０ｍ〜５０ｍおよび５０ｍ〜６０ｍの２区分のうち、例えば４０ｍ〜５０ｍの区分でこのカウント数が５回すなわち第３所定回数cnt_th3以上であれば、前記処理（２）、（３）で一旦無効とされた４０ｍ〜５０ｍの区分がこの処理（４）で改めて有効であると判断される。

判断手段９３は、以上の処理（１）から処理（４）までの処理を行い、有効であると判断された現在の車線位置ＬＲpre、ＬＬpreを出力するようになっている。

具体的には、判断手段９３は、例えば右車線位置ＬＲpreについての前記例において処理（１）で車線位置全体を無効であると判断した場合には、現在の車線位置ＬＲpreについては出力しない。また、処理（１）で車線位置全体を無効であると判断しなかった場合には、処理（２）で現在の右車線位置ＬＲpreの各区分のうち１０ｍ〜６０ｍまでの各区分を有効であると判断し、処理（３）でそのうち４０ｍ〜６０ｍの２区分を無効であると判断し、処理（４）でそのうち４０ｍ〜５０ｍの区分を改めて有効であると判断する。従って、前記例では最終的に右車線位置ＬＲpreについては１０ｍ〜５０ｍの各区分が有効であると判断されて出力されるようになっている。

以上のように、本実施形態に係る車線認識装置１によれば、撮像画像である基準画像Ｔ中から車線候補点を検出して車線位置を検出し、車線候補点が検出されない遠方領域では検出された車線位置に基づいて車線位置を推測して自車両の左右の車線位置を検出する。そして、自車両から所定距離離れた前方位置において、今回のサンプリング処理で検出された現在の車線位置と過去に検出された車線位置との差分の絶対値が閾値以下であるサンプリング回数をカウントする。そして、そのカウント数が所定回数以上連続した場合に、現在の車線位置が有効であると判断する。

このように、現在の基準画像Ｔから検出された車線位置と過去に検出された車線位置との連続性だけでなく、その連続性が所定のサンプリング回数以上連続していることを根拠にして現在の車線位置の信頼度を判断することで、算出された現在の車線位置の信頼度が高いか低いかを精度良く示すことが可能となり、その有効性を的確に示すことが可能となる。

また、そのため、検出された現在の車線位置に基づいて自動制御を行うことができるか否か、すなわち、検出された現在の車線位置を車線逸脱回避等の自動制御に用いるべきか否かを明確に示すことが可能となる。

また、現在の車線位置を複数の区分に分割し、その各区分について信頼度の高低、有効性の有無を判断するように構成すれば、より精度良く現在の車線位置の信頼度を示すことが可能となり、検出した車線位置のうちどの部分の信頼度が高いかを精度良く示すことが可能となる。また、信頼度の低い区分が存在する場合でも、検出された車線位置の全体を無効とせずに信頼度の高い区分については有効と判断するため、有効と判断した区分を用いて判断車線逸脱回避等の自動制御を行なうことで、自動制御の制御持続性を高めることができる。

さらに、自車両から所定距離離れた複数の前方位置にそれぞれ現在の車線位置と過去に検出された車線位置とについて比較的緩やかな閾値を設定してもその閾値を逸脱する場合には、今回のサンプリング処理で検出された現在の車線位置の信頼度が低いと判断して、現在の車線位置全体を無効とすることで、判断手段の判断結果に対する信頼性を向上させることが可能となる。

なお、路面上の車線が、車線の内側に破線を標示して走行レーンの幅を狭く見せるように標示されている場合に、前記各閾値shift_thをそれぞれ拡大するように構成することも可能である。

本実施形態に係る車線認識装置の構成を示すブロック図である。 基準画像の一例を示す図である。 車線位置検出手段で行われる処理の手順を示すフローチャートである。 前回検出された車線の周囲に限定された探索領域を説明する図である。 車線候補点検出変換処理の手順を示すフローチャートである。 （Ａ）第１開始点輝度閾値ｐth１および（Ｂ）第１開始点エッジ強度閾値Ｅth１を説明する図である。 古い車線と一部重なった新しい車線を説明する図である。 （Ａ）第２開始点輝度閾値ｐth２および（Ｂ）第２開始点エッジ強度閾値Ｅth２を説明する図である。 路面上の雪を撮像した場合の輝度変化を表すグラフである。 水平ライン上の探索で検出された車線候補点を示す図である。 ピーク直線を基準画像上に表した図である。 車線候補点を車線ポジションとして記録する条件を説明する図である。 検出された左右の車線位置を説明する図である。 推測された遠方領域の車線位置を説明する図である。 現在の車線位置と過去に算出された車線位置との差分を説明する図である。 ばらついて検出される車線位置を説明する図である。 先行車両が存在する場合に推測される車線位置を説明する図である。

符号の説明

１ 車線認識装置
２ 撮像手段
６ 画像処理手段
９１ 車線位置検出手段
９２ 車線位置推測手段
９３ 判断手段
cnt_th1 第１所定回数
cnt_th2 第２所定回数
cnt_th3 第３所定回数
cnt_th4 第４所定回数
cnt_th5 第５所定回数
Δ 差分
Ｌij 距離
ＬＲinf、ＬＬinf 推測された車線位置
ＬＲdec、ＬＬdec 検出された車線位置
ＬＲpre、ＬＬpre 現在の車線位置
ＬＲlast、ＬＬlast 過去に算出された車線位置
ｐｎij 輝度値
shift_th1 第１閾値
shift_th2 第２閾値
shift_th3 第３閾値
Ｔ 基準画像（一方の画像）

Claims (10)

1. 自車両前方を所定のサンプリング周期で撮像して画素ごとに輝度値を有する一対の画像を出力する撮像手段と、
   前記撮像された一対の画像に基づいて少なくとも一方の画像の各画素について実空間における距離を算出する画像処理手段と、
   前記一方の画像について前記輝度値および前記距離に基づいて車線の一方のエッジ部分に対応する画素を車線候補点として検出し、検出した車線候補点に基づいて車線位置を検出する車線位置検出手段と、
   前記車線位置検出手段により検出された前記車線位置に基づいて車線位置が検出されなかった遠方領域における車線位置を推測する車線位置推測手段と、
   前記検出された車線位置と前記推測された車線位置を合わせて現在の車線位置を前記撮像手段による撮像のサンプリング毎に算出し、自車両から所定距離離れた前方位置において、前記現在の車線位置と過去に算出された車線位置との差分の絶対値が前記前方位置について設定された閾値以下であるサンプリング回数が設定された所定回数以上連続した場合に、前記現在の車線位置を有効であると判断する判断手段と
   を備えることを特徴とする車線認識装置。
2. 前記判断手段は、前記現在の車線位置と前記過去に算出された車線位置とを対応する複数の区分に分割し、サンプリング回数について設定された第１所定回数以上連続して前記現在の車線位置と前記過去に算出された車線位置との差分の絶対値が前記各区分について設定された各第１閾値以下である場合に、前記現在の車線位置の当該区分を有効であると判断し、当該区分以外の区分を無効であると判断することを特徴とする請求項１に記載の車線認識装置。
3. 前記判断手段は、前記有効であるとされた現在の車線位置の各区分のうち、前記車線位置推測手段により推測された車線位置のみからなる区分であって、かつ、過去に前記車線位置検出手段により前記車線候補点が検出された区分がある場合には、当該区分より遠方の各区分を無効であると判断し、当該区分および当該区分より自車両に近い前記現在の車線位置の各区分を有効であると判断することを特徴とする請求項２に記載の車線認識装置。
4. 前記判断手段は、前記有効であるとされた現在の車線位置の各区分のうち、前記車線位置推測手段により推測された車線位置のみからなる区分であって、かつ、前記車線位置検出手段により前記車線候補点が連続して検出されなかったサンプリング回数が設定された第２所定回数を超える区分がある場合には、当該区分および当該区分より遠方の各区分を無効であると判断し、当該区分より自車両に近い前記現在の車線位置の各区分を有効であると判断することを特徴とする請求項２に記載の車線認識装置。
5. 前記判断手段は、前記無効であるとされた現在の車線位置の各区分のうち、前記現在の車線位置と前記過去に算出された車線位置との差分の絶対値が前記第１閾値より小さい値に設定された第２閾値以下であるサンプリング回数が第３所定回数以上連続した区分がある場合には、前記現在の車線位置の当該区分については有効であると判断することを特徴とする請求項２から請求項４のいずれか一項に記載の車線認識装置。
6. 前記判断手段は、自車両から所定距離離れた複数の前方位置のすべてにおいて前記現在の車線位置と前記過去に算出された車線位置との差分の絶対値が前記複数の前方位置についてそれぞれ前記第１閾値より大きい値に設定された各第３閾値以下であるサンプリング回数が第４所定回数以上連続した場合にのみ前記有効または無効の判断を行うことを特徴とする請求項１から請求項５のいずれか一項に記載の車線認識装置。
7. 前記判断手段は、前記複数の前方位置のうち少なくとも１つの前方位置において、前記現在の車線位置と前記過去に算出された車線位置との差分の絶対値が前記第３閾値を超える場合には前記現在の車線位置全体を無効であると判断することを特徴とする請求項６に記載の車線認識装置。
8. 前記判断手段は、前記現在の車線位置全体を無効であると判断すると、前記現在の車線位置を破棄し、過去に有効とされた車線位置を用いて次回のサンプリング周期における前記現在の車線位置との比較を行うことを特徴とする請求項７に記載の車線認識装置。
9. 前記判断手段は、前記過去に有効とされた車線位置を用いて比較を行う場合、無効であると判断されるサンプリング回数が第５所定回数を超える場合には、前記過去に有効とされた車線位置を破棄し、今回無効と判断された前記現在の車線位置を有効とし、それを用いて次回のサンプリング周期における前記現在の車線位置との比較を行うことを特徴とする請求項８に記載の車線認識装置。
10. 前記第３閾値は、自車両の操舵角または旋回曲率により変更されることを特徴とする請求項６から請求項９のいずれか一項に記載の車線認識装置。

Images