JP4204948B2 - レーン認識装置 - Google Patents

Description

この発明は、車載のカメラにより撮像された道路画像に基づいて、検出したレーンまでの距離やレーン種類などに係わりなく、走行レーン（白線）を確実に認識することのできるレーン認識装置に関するものである。

従来のレーン認識装置においては、今回検出されたレーン候補点のうち、前回同定されたレーンの右側の第１距離範囲内に存在するレーン候補点を第１のレーン候補点群とし、レーン右側の第１距離範囲から第２距離範囲内に存在するレーン候補点を第２のレーン候補点群とし、さらに、レーン左側の距離範囲内に存在するレーン候補点を第３のレーン候補点群として、第１〜第３のレーン候補点群にグループ化している。（たとえば、特許文献１参照）。

このようなレーン認識装置においては、レーン候補点群毎にレーンの方向における単位長さ当たりのレーン候補点の数を計算し、レーン候補点の密度情報を求めて、密度が高いものを、最終的に求めるべきレーンの情報として選択する。
そして、最終的に求めるべきレーンの方向におけるレーン候補点の密度にしたがって、レーン候補点群を選択し、たとえば、主たるレーン（２重破線などの導流レーンなど）に沿って破線状の補助レーンが存在する場合には、補助レーンよりも主たるレーンを優先して、補助レーンに係わりなく主たるレーンを検出するようにしている。

特開２０００−２４２７６９号公報

従来のレーン認識装置によれば、たとえば無限遠点近くにおいては、同一水平ライン上に検出されたレーン候補点の間隔が狭いので、前回同定されたレーンから等距離にあるレーン候補点が復数存在することになり、所望のレーン候補点を選択できないという課題があった。
また、各レーン候補点群の単位長さ当たりの密度が高いものを、求めるべきレーンの情報として選択しているので、たとえば２重破線などの導流レーンの場合、主たるレーンと補助レーンとの密度情報の違いが生じにくく、さらに、進行方向のレーン探索範囲（検出するレーンの距離）が短く候補点数が少ない場合には、主たるレーンの間欠部において密度の高低が逆転し、主たるレーンを検出できないという課題があった。

この発明は、上記課題を解決し、車載のカメラにより撮像された道路画像に基づいて、検出したレーンまでの距離やレーン種類などに係わりなく、走行レーン（白線）を確実に認識することのできるレーン認識装置を得ることを目的とする。

この発明によるレーン認識装置は、車両に搭載されて車両の前方を撮影するカメラと、カメラにより撮影された画像データに対してあらかじめ定めたレーン探索ラインに着目してレーン候補点を求めるレーン候補点検出部と、レーン候補点検出部により求められたレーン候補点を所要数だけ選択するレーン候補点選択部と、レーン候補点選択部により求められたレーン候補点群からレーン数式を求めるレーン形状同定部とを備え、レーン候補点検出部は、レーン種類を検出するレーン種類検出部を含み、レーン候補点選択部は、レーン種類が多重線を示す場合にレーン候補点の内側候補点を選択する内側候補点検出部と、内側候補点を系列に分離するための系列分離部と、系列に分離された内側候補点から所要数の候補点のみを選択する内側系列候補点選択部とを含み、系列分離部は、レーン種類検出部により検出されたレーン種類が多重線を示す場合に、無限遠点とレーン開始候補点との傾きとレーン候補点同士の傾きとを比較して、符号が反対であるか否かを判定し、同符号の場合はその傾きの絶対値が２倍より大きいか否かを判定した結果でインクリメントまたはデクリメントする処理を繰り返してラベルを付与し、レーン候補点選択部により算出された各レーン候補点のラベルを用いて、各レーン候補点を系列に分離し、内側系列候補点選択部は、各候補点に付与されるラベルの最大値を基準値として、各レーン候補点のラベルの中で、あらかじめ設定した基準値と等しいラベルを持つレーン候補点のみを選択するものである。

この発明によれば、検出したレーンまでの距離やレーン種類などに係わりなく、走行レーン（白線）を確実に認識することができる。

実施の形態１．
以下、この発明の実施の形態１について、図面を参照しながら詳細に説明する。
図１はこの発明の実施の形態１によるレーン認識装置を概略的に示すブロック構成図である。
図１において、車両に搭載されたレーン認識装置は、カメラ１、増幅器２、Ａ／Ｄ変換器３および画像メモリ４を有する撮像部と、レーン種類検出部８を有するレーン候補点検出部５と、内側候補点検出部９、系列分離部１０および系列選択部１１を有するレーン候補点選択部６と、レーン形状同定部７とを備えている。

カメラ１は車両前方の道路画像を撮像し、カメラ１で撮像された道路画像信号は、増幅器２を介して所定信号レベルに増幅され、Ａ／Ｄ変換器３を介してデジタル信号に変換された後、画像メモリ４に格納される。このとき、画像メモリ４への道路画像信号の格納処理は、所定のフレーム周期毎に実行される。
レーン候補点検出部５、レーン候補点選択部６およびレーン形状同定部７は、たとえばマイクロプロセッサを主体とする画像処理部によって構成されており、画像メモリ４に格納された道路画像中から走行レーンを認識して、走行レーンの位置および方向を検出する機能を有している。

レーン候補点検出部５内のレーン種類検出部８は、水平方向に設定された所定のレーン探索ライン上におけるレーン候補点の密度情報によりレーン種類を決定する。
レーン候補点選択部６内の内側候補点検出部９は、レーン種類が多重線を示す場合に、前回同定されたレーン形状に係わりなく、内側のレーン候補点を検出する。
レーン候補点選択部６内の系列分離部１０は、内側レーン候補点を、無限遠点と開始レーン候補点とを結ぶ直線の傾きＢＡ＿ＳＬと、レーン候補点同士の傾きＳＬとに基づいて、各候補点に基準点ラベルＬＡを付けて系列に分離する。
レーン候補点選択部６内の系列選択部１１は、各候補点の基準点ラベルＬＡにより、レーン内側の系列を選択する。
レーン形状同定部７は、レーン内側系列に選択されたレーン候補点から、レーン数式を同定する。

次に、図１とともに、図２を参照しながら、この発明の実施の形態１によるレーン認識処理について説明する。
図２はこの発明の実施の形態１によるレーン認識処理を示す説明図であり、（ａ）は画像メモリ４に格納された道路画像信号、（ｂ）は各水平位置における道路画像信号の輝度レベルを示している。
図２（ａ）においては、道路画像Ｇ内の探索ラインＬ、陰影Ｑ、画像探索領域Ｓおよびレーン像Ｗが示されている。
また、図２（ｂ）においては、水平方向に対する輝度信号Ｉの変化によりレーン候補点Ｐが示されている。

まず、レーン候補点検出部５は、たとえば、図２（ａ）に示すように、所々に陰影Ｑを含む道路画像Ｇに対して、あらかじめ設定された画像探索領域Ｓにおいて、水平方向に定められた所定の探索ラインＬにおける、図２（ｂ）に示すような輝度信号Ｉの変化に着目して、レーン候補点Ｐを求める。ここで、レーン候補点Ｐは、レーン数式を同定するために用いられる。
また、前述した通り、レーン候補点検出部５は、一定処理周期間のレーン候補点の密度情報および形状情報からレーン種類を検出するためのレーン種類検出部８を備えている。

図２（ａ）内において、画像領域Ｓは、カメラ１の取り付け角度に応じて、車両前方の所定の距離範囲内におけるレーン像Ｗを検出するために設定される。
また、レーン探索ラインＬは、画像領域Ｓにおける、たとえば道路画像Ｇを形成する水平走査ライン中の連続する所定数（３０ライン程度）に設定される。
したがって、レーン候補点検出部５は、レーン探索ラインＬ毎に、レーン候補点の検出処理を実行する。

以下、図３を参照しながら、レーン候補点検出部５内のレーン種類検出部８による具体的な処理について説明する。
図３はレーン種類検出部８による処理手順を示すフローチャートである。
図３において、まず、図２に示す画像探索領域Ｓ中の探索ラインＬの開始ラインから数ラインを選択する（ステップＳ３０１）。探索ラインＬの数は、たとえば、走行ラインの破線長さ程度に設定される。
続いて、選択ラインで検出されたレーン候補点の数ｓｕｍを求め（ステップＳ３０２）、一定処理周期分の候補点数ｓｕｍを記憶する（ステップＳ３０３）。
このように、一定処理周期分を記憶することにより、道路補修部や陰影Ｑを含む画像によって不要なレーン候補点を検出した場合でも、レーン種類が変化することを防ぐ効果がある。

次に、一定処理周期中に候補点数ｓｕｍが閾値ｔｈを下回っているか否かを判定し（ステップＳ３０４）、ｓｕｍ＜ｔｈ（すなわち、ＹＥＳ）と判定されれば、フラグＦＬをセットして「１」に設定する（ステップＳ３０５）。
一方、ステップＳ３０４において、ｓｕｍ≧ｔｈ（すなわち、ＮＯ）と判定されれば、フラグＦＬをクリアして「０」に設定する（ステップＳ３０６）。
最後に、一定処理周期分だけ記憶した候補点数ｓｕｍの平均値ａｖｅとフラグＦＬ（＝１）とからレーン種類を決定し（ステップＳ３０７）、図３の処理ルーチンを終了する。

次に、レーン候補点選択部６は、レーン候補点検出部５によって求められたレーン候補点に基づいて、以下のように、レーンの認識処理を実行する。
まず、レーン候補点選択部６は、道路画像Ｇからレーン候補点を選択する。
ここで、レーン種類検出部８により検出されたレーン種類が多重線となる場合には、たとえば、内側候補点検出部９によるレーン候補点の選択処理が実行される。
なお、他のレーン種類の場合には、前回同定されたレーン形状からレーン候補点を選択し、レーン形状同定部７による処理が実行される。

図４はレーン候補点Ｐの例を示す説明図、図５は前回同定されたレーンに係わらず求められたレーン内側のレーン候補点Ｐ１の例を示す説明図である。
内側候補点検出部９による内側候補点選択処理により、図４に示すレーン候補点Ｐは、図５に示すようなレーン内側のレーン候補点Ｐ１となる。
このように、図５内のレーン候補点Ｐ１のみを系列に分離する手法は、図４の全レーン候補点Ｐを系列に分離する手法に比べて、計算量を大幅に減少させる効果がある。

次に、図６のフローチャートとともに、図７および図８の説明図を参照しながら、レーン候補点選択部６内の系列分離部１０による具体的な系列分離処理について説明する。
図７は図６内のステップＳ６０１の処理に対応した説明図であり、無限遠点と開始レーン候補点Ａとの傾きＢＡ＿ＳＬを求める例を示している。
図８は図６内のステップＳ６０２の処理に対応した説明図であり、隣り合うレーン候補点同士の傾きＳＬを求める例を示している。
系列分離部１０は、内側候補点検出部９により選択された内側候補点を、図６の処理ルーチンにしたがって、内側および外側の系列に分離する。

図６において、まず、系列分離部１０は、レーン開始候補点である第１のレーン候補点Ａと無限遠点とを結ぶ直線の傾きＢＡ＿ＳＬを、垂直成分ΔＶおよび水平成分ΔＨを用いて、以下の式（１）（図７参照）により算出する（ステップＳ６０１）。

ＢＡ＿ＳＬ＝ΔＶ／ΔＨ ・・・（１）

このとき、第１のレーン候補点Ａが存在しない場合には、第２、第３、・・・のレーン候補点を算出対象とする。
続いて、隣り合うレーン候補点同士の傾きＳＬ（図８参照）を全候補点に対して算出する（ステップＳ６０２）。
このとき、隣り合うレーン候補点が存在しない場合には、次のレーン候補点を算出対象とする。

次に、各候補点の基準点ラベルＬＡを「０」に設定し（ステップＳ６０３）、第１のレーン候補点Ａと無限遠点とを結ぶ直線の傾きＢＡ＿ＳＬと、レーン候補点同士の傾きＳＬとを比較し（ステップＳ６０４）、ＢＡ＿ＳＬとＳＬとの符号が反対であるか否かを判定する（ステップＳ６０５）。
ステップＳ６０５において、ＢＡ＿ＳＬとＳＬとの符号が反対である（すなわち、ＹＥＳ）と判定されれば、各候補点の基準点ラベルＬＡを「１」だけ減算（デクリメント）し（ステップＳ６０６）、続いて、次のレーン候補点同士の傾きＳＬが存在するか否かを判定する（ステップＳ６０７）。

一方、ステップＳ６０５において、レーン候補点Ａと無限遠点とを結ぶ直線の傾きＢＡ＿ＳＬとレーン候補点同士の傾きＳＬとが同符号である（すなわち、ＮＯ）と判定されれば、続いて、｜ＢＡ＿ＳＬ｜が｜ＳＬ｜の２倍よりも大きいか否かを判定する（ステップＳ６０８）。
ステップＳ６０８において、｜ＢＡ＿ＳＬ｜＞｜ＳＬ｜×２（すなわち、ＹＥＳ）と判定されれば、ＬＡを「１」だけ加算（インクリメント）し（ステップＳ６０９）、｜ＢＡ＿ＳＬ｜≦｜ＳＬ｜×２（すなわち、ＮＯ）と判定されれば、前回のＬＡの値を今回のＬＡし（ステップＳ６１０）、次の判定ステップＳ６０７に進む。

ステップＳ６０７において、次のＳＬが存在する（すなわち、ＹＥＳ）と判定されれば、比較ステップＳ６０４に戻って上記処理を繰り返し実行し、次のＳＬが存在しない（すなわち、ＮＯ）と判定されれば、図６の処理ルーチンを終了する。
以上のように、図６の処理は、各レーン候補点同士の傾きＳＬに対して実行され、これにより、各レーン候補点に基準点ラベルＬＡが付けられる。
なお、ここでは、片側におけるレーン候補点の検出処理について説明したが、反対側についても同様に実行される。

その後、レーン候補点選択部６内の系列選択部１１は、レーン内側系列の候補点選択処理を実行し、たとえば、車両の安全走行に活用すべきレーン内側の系列に分離されたレーン候補点を選択する。
このとき、系列選択部１１は、系列分離部１０による処理（図６参照）で求められた基準点ラベルＬＡの最大値がレーン内側系列となるので、基準点ラベルＬＡが最大値となるレーン候補点を選択する。
なお、開始レーン候補点は、基準点ラベルＬＡの最大値と、開始レーン候補点と第２のレーン候補点との傾きＳＬによって、系列分けが行われる。

このようにして、図５に示すようなレーン候補点群Ｊ（破線内参照）が選択されたならば、レーン形状同定部７は、レーン候補点群Ｊのレーン候補点の連なりを調べることにより、レーン数式を認識し、レーン候補点群Ｊの位置および方向を決定する。
レーン形状同定部７の認識結果は、たとえば、車両に搭載された自動走行制御装置およびレーン逸脱警報装置などに出力されるとともに、次の道路画像Ｇに対するレーン認識処理における前回のレーン情報として、レーン候補点検出部５にフィードバックされる。

以上のように、この発明によるレーン認識装置は、水平方向に設定された所定のレーン探索ラインＬにおける輝度信号の変化に着目してレーン候補点を求めるレーン候補点検出部５と、レーン種類が多重線を示す場合にレーン候補点を系列に分離するレーン候補点選択部６と、選択されたレーン候補点群からレーン認識を行うレーン形状同定部７を備えており、レーン候補点検出部５は、一定処理周期間のレーン候補点の密度情報と形状情報からレーン種類を検出するレーン種類検出部８を有している。
また、レーン候補点選択部６は、レーン種類が多重線となる場合に、レーン内側のレーン候補点を選択する内側候補点検出部９と、無限遠点と開始レーン候補点との傾きおよびレーン候補点同士の傾きからレーン内側のレーン候補点を内側および外側の系列に分離する系列分離部１０と、レーン内側の系列に分離されたレーン候補点を選択する系列選択部１１とを有している。
さらに、レーン形状同定部７は、レーン候補点選択部６で求められたレーン候補点群Ｊからレーン数式を求めるようになっている。

これにより、２重破線などの導流レーンマークのように、走行レーンを規定する本来のレーンに沿って、破線状の補助レーンが付されている場合であっても、車両の安全走行に活用すべきレーン（レーン内側の補助レーン）を確実に認識することができる。
すなわち、カメラ１により撮像される道路画像Ｇから、レーンの種類や検出したレーンの距離などの影響を受けることなく、レーンの情報を容易に且つ確実に検出することができる。
したがって、道路に付されたレーンを検出し、検出されたレーン情報に応じて安全走行を実現する際のレーン認識精度を顕著に高めることができ、実用上多大な効果を奏することができる。
また、無限遠点と開始レーン候補点とを結ぶ直線の傾きＢＡ＿ＳＬと、検出されたレーン候補点同士の傾きＳＬとに基づいて基準点ラベルＬＡを付け、レーン候補点群Ｊをレーンの内側および外側の系列に分けて、レーン内側系列のレーン候補点を選択してレーン数式を同定することにより、簡単に且つ確実にレーン形状を認識することができる。
なお、この発明は上述の実施の形態１に限定されるものではない。

この発明の実施の形態１によるレーン認識装置を概略的に示すブロック構成図である。 この発明の実施の形態１によるカメラで撮像される道路画像Ｇ、レーン認識処理のための探索ラインＬ、探索ライン上の輝度信号Ｉおよびレーン候補点Ｐの例を示す説明図である。 この発明の実施の形態１によるレーン種類を決定する処理手順を示すフローチャートである。 この発明の実施の形態１によるレーン候補点Ｐの例を示す説明図である。 この発明の実施の形態１により前回同定されたレーンに係わらず求められたレーン内側のレーン候補点Ｐ１の例を示す説明図である。 この発明の実施の形態１によるレーン内側のレーン候補点をレーン内側と外側との系列に分離する処理手順を示すフローチャートである。 この発明の実施の形態１による無限遠点と開始レーン候補点Ａの傾きＢＡ＿ＳＬを求める例を示す説明図である。 この発明の実施の形態１による隣り合うレーン候補点同士の傾きＳＬを求める例を示す説明図である。

符号の説明

１ カメラ、２ 増幅器、３ Ａ／Ｄ変換器、４ 画像メモリ、５ レーン候補点検出部、６ レーン候補点選択部、７ レーン形状同定部、８ レーン種類検出部、９ 内側候補点検出部、１０ 系列分離部、１１ 系列選択部。

Claims (2)

1. 車両に搭載されて前記車両の前方を撮影するカメラと、
   前記カメラにより撮影された画像データに対してあらかじめ定めたレーン探索ラインに着目してレーン候補点を求めるレーン候補点検出部と、
   前記レーン候補点検出部により求められたレーン候補点を所要数だけ選択するレーン候補点選択部と、
   前記レーン候補点選択部により求められたレーン候補点群からレーン数式を求めるレーン形状同定部とを備え、
   前記レーン候補点検出部は、レーン種類を検出するレーン種類検出部を含み、
   前記レーン候補点選択部は、
   前記レーン種類が多重線を示す場合に前記レーン候補点の内側候補点を選択する内側候補点検出部と、
   前記内側候補点を系列に分離するための系列分離部と、
   前記系列に分離された内側候補点から所要数の候補点のみを選択する内側系列候補点選択部とを含み、
   前記系列分離部は、前記レーン種類検出部により検出されたレーン種類が多重線を示す場合に、無限遠点とレーン開始候補点との傾きと前記レーン候補点同士の傾きとを比較して、符号が反対であるか否かを判定し、同符号の場合はその傾きの絶対値が２倍より大きいか否かを判定した結果でインクリメントまたはデクリメントする処理を繰り返してラベルを付与し、前記レーン候補点選択部により算出された各レーン候補点のラベルを用いて、前記各レーン候補点を系列に分離し、
   前記内側系列候補点選択部は、各候補点に付与されるラベルの最大値を基準値として、前記各レーン候補点のラベルの中で、あらかじめ設定した前記基準値と等しいラベルを持つレーン候補点のみを選択することを特徴とするレーン認識装置。
2. 前記レーン種類検出部は、一定処理周期の間に前記レーン候補点検出部により検出されるレーン候補点の密度情報および形状情報に基づいて、前記レーン種類を求めることを特徴とする請求項１記載のレーン認識装置。

Images