JP6132807B2 - レーンマーク認識装置 - Google Patents

Description

本発明は、車両に搭載されたカメラの撮像画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置に関する。

従来より、車載カメラにより撮像された車両前方の道路の画像から、道路に設けられたレーンマークを認識するレーンマーク認識装置が知られている。

この種のレーンマーク認識装置では、画像から輝度の高い画像部分を抽出してレーンマークを検知することが一般的である。しかし、路面が水たまりによって濡れていると、濡れている箇所の画像部分が高輝度となるため、その箇所をレーンマークとして誤検知してしまうおそれがあった。

このような問題点を解決するため、異なる位置で撮影した複数の周囲画像を比較し各画像間の変化に基づいて周囲画像に含まれる散乱反射光と鏡面反射光とを識別して前記鏡面反射光のみを周囲画像から除去する除去手段と、鏡面反射光を除去した周囲画像から散乱反射する前記撮影対象を認識する認識手段と、を含む撮影対象認識装置が提案されている（特許文献１参照）。

レーンマークの反射光は散乱反射光である一方、雨水等による反射光は鏡面反射光であるところ、特許文献１の技術によれば、雨水等によって反射した鏡面反射光を除去できるので、撮影対象で高輝度で反射する散乱反射光のみを確実に認識し撮影対象の抽出を正確に行うことができる。

特許第４９０１２７５号公報

しかしながら、特許文献１の技術には、計算コスト削減の観点から改良の余地がある。たとえば、降雨によって道路が広範囲に濡れていた場合、鏡面反射光の画像部分の除外処理に多くの計算コストがかかるおそれがある。

本発明はかかる背景に鑑みてなされたものであり、レーンマーク認識にあたって、道路状況に鑑みて適切に計算コストを削減することができるレーンマーク認識装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置、車両、及びレーンマーク認識方法に関する。

そして、本発明のレーンマーク認識装置は、
対応する実空間上の位置が前記カメラから所定の距離以上離れている画像部分であって、輝度が所定の輝度以上又は境界における輝度の変化量が所定の変化量以上である領域の割合が所定の割合以上である第１画像部分、及び特定色の領域の割合が所定の割合以上である第２画像部分のうちの少なくとも一方を前記画像から除外する特定候補除外部と、
前記特定候補除外部により除外された画像部分よりも対応する実空間上の位置が前記カメラ側となる前記画像の領域に基づいて、レーンマークを認識するレーンマーク認識部とを備えることを特徴とする。

降雨等があった場合、広範囲にわたって路面がぬれている蓋然性が高い。広範囲にわたって路面がぬれている場合には、すべて路面の画像部分に対してレーンマークの認識処理又は濡れている路面の除外処理を行うと、レーンマークの認識精度が向上しないにもかかわらず、計算コストが多大となるおそれがある。また、横断歩道等がある場合には、その遠方にレーンマークが存在しない交差点等がある蓋然性が高い。このような交差点等の画像部分においてレーンマークの認識処理又は濡れている路面の除外処理を行うと、レーンマークの認識精度が向上しないにもかかわらず、計算コストが多大となるおそれがある。

特に、ぬれた路面及び横断歩道等がカメラから遠方に存在していると、それらより遠方の領域においては、得られる情報量が少なくなる。このため、当該領域においてレーンマーク認識処理を行うと、レーンマークの認識精度の低いぬれた路面又は交差点等においてより少ない情報量に基づいてレーンマークの認識処理が行われることになる。この結果、レーンマークの認識精度が向上しないにもかかわらず、計算コストが多大となるおそれがある。

これらの点に着目して構成された当該構成のレーンマーク認識装置によれば、対応する実空間上の位置がカメラから所定の距離以上離れている画像部分であって、輝度が所定の輝度以上又は境界における輝度の変化量が所定の変化量以上である領域の割合が所定の割合以上である第１画像部分、及び特定色の領域の割合が所定の割合以上である第２画像部分のうちの少なくとも一方が除外される。これにより、雨水等によって濡れた路面又は横断歩道等の、通常の路面と異なる路面の画像部分が除外される。そして、除外された画像部分よりも手前の画像部分に基づいてレーンマークが認識される。この結果、本発明のレーンマーク認識装置によれば、道路状況に鑑みて適切に計算コストが削減されうる。

本発明のレーンマーク認識装置において、
前記カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が第１所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
近接した前記エッジ点を組み合わせてエッジ部分を作成するエッジ部分作成部とを備え、
前記所定の変化量が、前記第１所定値よりも大きい第２所定値に設定され、
前記特定候補除外部は、前記エッジ部分の数が所定の数以上であること、及び境界における輝度の変化量が前記第２所定値以上である領域の割合が前記所定の割合以上であることの少なくとも１つを満たす前記第１画像部分、並びに前記エッジ部分の数が所定の数以上であること、及び周辺部に対する輝度の変化量が前記第２所定値以上である複数のエッジ点により作成された前記エッジ部分を含むことの少なくとも１つを満たす前記第２画像部分のうちの少なくとも一方を除外するように構成されていることが好ましい。

当該構成のレーンマーク認識装置によれば、除外対象となる画像部分がレーンマークでない蓋然性が高まる。この結果、レーンマークの認識精度の向上と計算コストとの両立が図られうる。

本発明のレーンマーク認識装置において、
前記特定候補除外部は、前記第１画像部分に鏡面反射光の成分が所定の割合以上含まれている場合、対応する実空間における位置が当該画像部分に対応する位置よりも前記カメラからみて遠方となる画像部分を除外するように構成されていることが好ましい。

鏡面反射光の成分を多く含む画像部分は、水たまり又は雪等の画像部分である蓋然性が高い。

この点に着目して構成された当該構成のレーンマーク認識装置によれば、水たまり又は雪等の画像部分である蓋然性が高い画像部分より遠方の画像部分が除外される。この結果、道路の状況に鑑みて、適切に計算コストが削減されうる。

本発明のレーンマーク認識装置において、前記特定候補除外部は、前記第１画像部分に拡散反射光の成分が所定の割合以上含まれている場合、当該画像部分を横断歩道の画像部分と認識するように構成されていることが好ましい。

拡散反射光の成分を多く含む画像部分は、横断歩道等の画像部分である蓋然性が高い。

この点に着目して構成された当該構成のレーンマーク認識装置によれば、横断歩道が適切に認識される。この結果、道路の状況に鑑みて、適切に計算コストが削減されうる。

当該構成のレーンマーク認識装置において、前記レーンマーク認識部は、前記カメラから前記横断歩道の画像部分として認識された画像部分に対応する実空間上の位置までの距離が前記所定の距離以下である場合、前記横断歩道の画像部分よりも、対応する実空間上の位置が前記カメラから見て遠方となる画像部分を含めて、レーンマークを認識するように構成されている。

前記したように、遠方に交差点がある場合、得られる情報が少ないため、当該交差点及びその周辺の画像部分に基づいては、信頼性の高いレーンマーク認識処理を行うことは難しい。一方、車両から近いところにある交差点であれば、得られる情報が多いため、当該交差点及びその周辺の画像部分に基づいて、信頼性の高いレーンマーク認識処理を行うことができる。

当該構成のレーンマーク認識装置によれば、車両と横断歩道との距離が所定の距離以下である場合に、横断歩道の前方の路面の画像部分を含めてレーンマーク認識処理が行われる。これにより、車両と横断歩道との距離が所定の距離以上である場合、すなわち信頼性の高いレーンマーク認識処理が行えない蓋然性が高い場合には、横断歩道よりも遠方にある交差点等の画像部分が除外されるのに対し、車両と横断歩道との距離が所定の距離以内である場合、すなわち信頼性の高いレーンマーク認識処理が行える蓋然性が高い場合には、横断歩道よりも遠方にある交差点等の画像部分が除外されない。この結果、本発明のレーンマーク認識装置によれば、道路状況に鑑みて適切に計算コストが削減されうる。

これらのレーンマーク認識装置において、前記特定候補除外部は、前記第１画像部分について、過去に撮像された複数の画像における当該第１画像部分に相当する画像部分の輝度の変化に基づき、鏡面反射光又は拡散反射光の別を判定するように構成されていることが好ましい。

鏡面反射光は対象物の観察角度に応じた輝度の変化大きい一方、拡散反射光は対象物の観察角度に応じた輝度の変化は小さい。この点に鑑みて構成された当該構成のレーンマーク認識装置によれば、車両の移動に伴い、対象物の観察角度が変化するところ、当該観察角度の変化に伴う対象物の画像部分の輝度の変化に基づいて判断することにより、鏡面反射光と拡散反射光との別が精度よく判断されうる。

本発明のレーンマーク認識装置において、前記特定候補除外部は、前記画像を前記カメラから対応する実空間上の位置までの距離ごとに複数の領域の画像部分に分割し、当該分割された複数の領域ごとに、画像部分の除外処理を行うように構成されていることが好ましい。

水たまり、横断歩道等は、車両の進行方向と直交する方向にある程度広がって存在している蓋然性が高いところ、当該構成のレーンマーク認識装置によれば、車両の進行方向の画像部分が車両から当該画像部分に相当する実空間上の位置までの距離ごとに複数の領域に分割されて画像部分の除外処理が行われる。この結果、車両の進行方向と直交する方向にある程度広がって存在している水たまり、横断歩道等が前記複数の領域のうちの一部の領域にまとめて含まれうる。分割された領域ごとに画像部分の除外処理が行われることにより、所定範囲の水たまり、横断歩道等の各画像部分が個別に除外対象か否か判定されるよりも、水たまり全体または横断歩道全体がまとめて除外対象となるか否かが判定されやすくなる。したがって、当該構成のレーンマーク認識装置によれば、道路状況に鑑みて適切に計算コストが削減されうる。

本発明のレーンマーク認識装置において、前記特定候補除外部により一部の画像部分が除外された場合、前記所定の距離を長く変更する処理と、前記車両の操舵の制御開始の閾値を通常よりも低く設定する処理と、前記車両の運転者への通知をする処理とのうちの少なくとも１つ以上の処理を行う操舵制御部を備えることが好ましい。

当該構成のレーンマーク認識装置によれば、前記特定候補除外部により一部の画像部分が除外されることによりレーンマーク認識処理の処理対象の領域が狭くなった場合でも、前記所定の距離を長く変更するか、回避制御の閾値を通常よりも低く設定するか、前記車両の運転者への通知をするかの少なくとも１つの処理がなされるため、運転者に与える違和感が軽減または解消されうる。

本発明の車両は、
対応する実空間上の位置が前記カメラから所定の距離以上離れている画像部分であって、輝度が所定の輝度以上又は境界における輝度の変化量が所定の変化量以上である領域の割合が所定の割合以上である第１画像部分、及び特定色の領域の割合が所定の割合以上である第２画像部分のうちの少なくとも一方を前記画像から除外する特定候補除外部と、
前記特定候補除外部により除外された画像部分よりも対応する実空間上の位置が前記カメラ側となる前記画像の領域に基づいて、レーンマークを認識するレーンマーク認識部とを備える。

本発明の車両によれば、上述した本発明のレーンマーク認識装置と同様の作用効果を得ることができる。

本発明のレーンマーク認識方法は、
対応する実空間上の位置が前記カメラから所定の距離以上離れている画像部分であって、輝度が所定の輝度以上又は境界における輝度の変化量が所定の変化量以上である領域の割合が所定の割合以上である第１画像部分、及び特定色の領域の割合が所定の割合以上である第２画像部分のうちの少なくとも一方を前記画像から除外する特定候補除外工程と、
前記特定候補除外工程により除外された画像部分よりも対応する実空間上の位置が前記カメラ側となる前記画像の領域に基づいて、レーンマークを認識するレーンマーク認識工程とを備えることを特徴とする。

本発明のレーンマーク認識方法を車両に適用して実施することによって、上述した本発明のレーンマーク認識装置と同様の作用効果を得ることができる。

レーンマーク認識装置の構成図。 レーンマーク認識処理のフローチャート。 レーンマーク認識処理のフローチャート。 横断歩道が前方にある場合における撮像画像、エッジ画像及び画像部分の分割を説明する図で、（ａ）は撮像画像を説明する図、（ｂ）はエッジ画像を説明する図、（ｃ）は画像部分の分割の説明図。 水たまりが前方にある場合における撮像画像、エッジ画像及び画像部分の分割を説明する図で、（ａ）は撮像画像を説明する図、（ｂ）はエッジ画像を説明する図、（ｃ）は画像部分の分割の説明図。 レーンマークの認識と操舵制御との関係を説明する図で、（ａ）は横断歩道との距離が所定以上である場合の図、（ｂ）は横断歩道との距離が所定未満である場合の図。

本発明のレーンマーク認識装置の実施形態について、図１〜図５を参照して説明する。

（レーンマーク認識装置の構成）
図１を参照して、レーンマーク認識装置１０は、カメラ２（カラーカメラ）、スピーカ５、表示器６、及び操舵機構７を備えた車両１（本発明の車両に相当する）に搭載されている。

レーンマーク認識装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持されたレーンマーク認識及び操舵制御用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、エッジ画像生成部１２、候補画像部分抽出部１３（本発明のエッジ部分作成部、及び特定候補除外部の機能を含む。）、レーンマーク認識部１４及び操舵制御部１５として機能する。また、レーンマーク認識装置１０により、本発明のレーンマーク認識方法が実施される。

（レーンマーク認識処理）
以下、図２（ａ）及び図２（ｂ）に示したフローチャートに従って、レーンマーク認識装置１０により、道路に設けられたレーンマークを認識する処理について説明する。レーンマーク認識装置１０は、所定の制御周期毎に図２（ａ）及び図２（ｂ）に示したフローチャートによる処理を実行して、車両１が走行している道路のレーンマーク（連続線レーンマーク、及び破線レーンマーク）を認識する。

図２（ａ）／ＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、カメラ２から出力される車両１の前方（本発明の車両周囲に相当する）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像２１を取得する。取得された撮像画像２１のデータは画像メモリ２０に保持される。

続く図２（ａ）／ＳＴＥＰ２はエッジ画像生成部１２による処理である。

エッジ画像生成部１２は、撮像画像２１の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像（多値画像）を生成する。そして、エッジ画像生成部１２は、グレースケール画像からエッジ点（周囲部の画素（画像部分）との輝度差（輝度の変化量）が第１所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む）を抽出して、エッジ画像２２（図１参照）を生成する。

なお、カメラ２がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるので、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。

ここで、図３（ａ）に示したＩｍ１は撮像画像２１から生成されたグレースケール画像の例であり、車両１（自車両）が走行している車線を区画する左側の破線レーンマークの画像部分５１ａ〜５２ａと、右側の実線レーンマークの画像部分６１ａ、６２ａが含まれている。また、Ｉｍ１には、当該車線の遠方に横断歩道のマークの画像部分７１ａ、８１ａ、その遠方に左側の破線レーンマークの画像部分５３ａ〜５４ａ、右側破線レーンマークの画像部分６３ａが含まれている。

図３（ｂ）に示したＩｍ２は、グレースケール画像Ｉｍ１に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Ｉｍ２において、左側の破線レーンマークの画像部分５１ｃ〜５４ｃと、右側の実線レーンマークの画像部分６１ｃ〜６３ｃと、横断歩道のマークの画像部分７１ｃ、８１ｃとは、直線的に連続したエッジ点を多く含む画像部分となる。

図４（ａ）に示したＩｍ４は、撮像画像２１から生成されたグレースケール画像の他の例であり、車両１（自車両）が走行している車線を区画する右側の実線レーンマークの画像部分６４ａ、６５ａが含まれている。また、Ｉｍ４には、当該車線の前方に水たまりの画像部分９１ａが含まれている。

図４（ｂ）に示したＩｍ５は、グレースケール画像Ｉｍ４に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Ｉｍ５において、右側の実線レーンマークの画像部分６４ｃ、６５ｃとは、直線的に連続したエッジ点を多く含む画像部分となる。他方、水たまりの画像部分９１ｃは、曲線的に連続したエッジ点を多く含む画像部分となっている。

続く図２（ａ）／ＳＴＥＰ３〜図２（ａ）／ＳＴＥＰ１７は、候補画像部分抽出部１３による処理である。なお、候補画像部分抽出部１３によるＳＴＥＰ７〜ＳＴＥＰ１４の処理工程は、本発明のレーンマーク認識方法における特定候補除外工程に相当する。

候補画像部分抽出部１３は、エッジ画像２２に対して、一つの領域を区画するエッジペアを検出する（図２（ａ）／ＳＴＥＰ３）。たとえば、エッジ画像２２を水平方向に分割したときに、隣接する正のエッジ点と負のエッジ点とが一つのエッジペアとなりうる。

そして、候補画像部分抽出部１３は、エッジ画像２２に対して、エッジペアに基づき、ひとかたまりになっているエッジ点（以下、エッジ部分という）にラベルを付するラべリングと、近接したエッジ部分を同一物体の画像部分であるとして関連付けるクラスタリングを行う（図２（ａ）／ＳＴＥＰ４）。

図２（ａ）／ＳＴＥＰ４で関連付けられた画像部分に対して、カメラ座標から実空間座標への逆射影変換を行って、各候補画像部分に対応する実空間での物体の位置を算出する（図２（ａ）／ＳＴＥＰ５）。なお、大きさが所定サイズ（レーンマークの画像部分ではないと想定されるサイズ）以下である画像部分が候補画像部分から除外されてもよい。

候補画像部分抽出部１３は、エッジ画像Ｉｍ２における車両１の前方の路面を、対応する実空間上で横幅ｘ、縦幅ｙとなる複数の領域（以下、分割領域という。）Ｚ１〜Ｚ５に分割する（図２（ａ）／ＳＴＥＰ６）。この時、候補画像部分抽出部１３は、車両１の左右方向の中心Ｃを分割領域の横方向の中心とする。ここで、横幅ｘは、各国の法規によって定められた車線の横幅を基準としてレーンマークを認識するために必要な横幅（車線よりもやや大きい幅）である。縦幅ｙは、横断歩道又は水たまり等を除外するためにノイズが入り込み過ぎない程度の長さである。

図３（ｃ）におけるＩｍ３は、エッジ画像Ｉｍ２において、車両１の前方の路面が分割領域Ｚ１〜Ｚ５に分割された場合の画像を示している。

また、図４（ｃ）におけるＩｍ６は、エッジ画像Ｉｍ５において、車両１の前方の路面が分割領域Ｚ６〜Ｚ９に分割された場合の画像を示している。

候補画像部分抽出部１３は、分割領域のうち、図２（ａ）／ＳＴＥＰ７〜図２（ａ）／ＳＴＥＰ１６の処理を行っていない分割領域の中で、車両１に近い側の分割領域を選択する（図２（ａ）／ＳＴＥＰ７）。以下、選択された分割領域を、「今回の分割領域」という。

たとえば、分割領域Ｚ１〜Ｚ５のうち（図３（ｃ）参照）、いずれの分割領域Ｚ１〜Ｚ５も処理対象とされていない場合、車両１に最も近い分割領域Ｚ１が選択される。また、分割された領域の分割領域Ｚ１〜Ｚ５のうち（図３（ｃ）参照）、分割領域Ｚ１が処理済であり、他の分割領域Ｚ２〜Ｚ５が未処理である場合、未処理の中で車両１に最も近い分割領域Ｚ２が選択される。

また、分割領域がＺ６〜Ｚ９のうち（図４（ｃ）参照）、いずれの分割領域Ｚ６〜Ｚ９も処理対象とされていない場合、車両１に最も近い分割領域Ｚ６が選択される。また、分割領域がＺ６〜Ｚ９のうち（図４（ｃ）参照）、分割領域Ｚ６が処理済であり、他の分割領域Ｚ７〜Ｚ９が未処理である場合、未処理の中で車両１に最も近い分割領域Ｚ７が選択される。

候補画像部分抽出部１３は、今回の分割領域に対して、エッジ部分の数が所定の数か否かを判定する（図２（ａ）／ＳＴＥＰ８）。当該判定結果が肯定的である場合（図２（ａ）／ＳＴＥＰ８‥ＹＥＳ）、図２（ａ）／ＳＴＥＰ１０の処理に進む。

当該判定結果が否定的である場合（図２（ａ）／ＳＴＥＰ８‥ＮＯ）、候補画像部分抽出部１３は、今回の分割領域に含まれるエッジ部分の輝度変化量が第２所定値以上か否かを判定する（図２（ａ）／ＳＴＥＰ９）。第２所定値は、図２（ａ）／ＳＴＥＰ２のエッジ点抽出における第１所定値よりも大きい値である。

当該判定結果が肯定的である場合（図２（ａ）／ＳＴＥＰ９‥ＹＥＳ）、図２（ａ）／ＳＴＥＰ１０の処理に進む。当該判定結果が否定的である場合（図２（ａ）／ＳＴＥＰ９‥ＹＥＳ）、図２（ａ）／ＳＴＥＰ１６の処理に進む。

候補画像部分抽出部１３は、今回の分割領域に対して、図２（ａ）／ＳＴＥＰ３で作成されたエッジペアに基づき、高輝度な画像部分の幅を求める（図２（ａ）／ＳＴＥＰ１０）。より詳しくは、候補画像部分抽出部１３は、今回の分割領域を水平方向に走査したときに、正のエッジ点（輝度が暗から明に変化するエッジ点）から負のエッジ点（輝度が明から暗に変化するエッジ点）までの距離の合計を求める。このようにすることにより、今回の分割領域における高輝度な画像部分が占める割合（面積又は横幅）が求められる。

候補画像部分抽出部１３は、今回の分割領域において当該求められた高輝度な画像部分の合計幅が所定の幅以上であるか否かを判定する（図２（ａ）／ＳＴＥＰ１１）。当該所定の幅は、各国の法規で定められるレーンマークの幅に所定の閾値を足し合わせた値である。高輝度な画像部分の合計幅が当該所定の幅以上である場合、今回の分割領域は、水にぬれた路面、水たまり、又は横断歩道など、レーンマークを検出できない画像部分である蓋然性が高い。これに代えて又は加えて、候補画像部分抽出部１３は、今回の分割領域において当該求められた高輝度な画像部分の占める割合が所定の割合以上であるか否かを判定してもよい。

当該判定結果が肯定的である場合（図２（ａ）／ＳＴＥＰ１１‥ＹＥＳ）、候補画像部分抽出部１３は、当該分割領域における輝度を、過去複数フレームにおける当該分割領域に相当する画像部分の輝度と突き合わせることにより、当該高輝度な画像部分が鏡面反射光によるものか否かを判定する（図２（ａ）／ＳＴＥＰ１２）。

より詳しくは、車両１の移動に伴って、当該高輝度な画像部分に対するカメラ２からの観察角度、観察距離は変化する。ここで、一般に、反射光は、観察角度によって輝度が変化する鏡面反射光か、いずれの観察角度でもほぼ同様の輝度となる拡散反射光（散乱反射光）かに分類される。なお、一般に、反射光の輝度は、観察距離によっては変化しない。

このため、当該高輝度な画像部分に相当する部分の輝度が過去の複数フレームで変化していた場合、当該高輝度な画像部分は、鏡面反射光成分によるものと推定される。一方、当該高輝度な画像部分に相当する部分の輝度が過去の複数フレームでほぼ変化していない場合、当該高輝度な画像部分は、拡散反射光成分によるものと推定される。

図２（ａ）／ＳＴＥＰ１２の判定が肯定的である場合（図２（ａ）／ＳＴＥＰ１２‥ＹＥＳ）、候補画像部分抽出部１３は、今回の分割領域に横断歩道ではない水たまり、雪等が存在すると判断する（図２（ａ）／ＳＴＥＰ１３）。

図２（ａ）／ＳＴＥＰ１２の判定が否定的である場合（図２（ａ）／ＳＴＥＰ１２‥ＮＯ）、候補画像部分抽出部１３は、今回の分割領域に横断歩道が存在すると判断する（図２（ａ）／ＳＴＥＰ１４）。これは、道路標識に使用される塗料には、拡散反射光を出射する成分（ソリッド色の着色顔料）が多く含まれているためである。

図２（ａ）／ＳＴＥＰ１３又は図２（ａ）／ＳＴＥＰ１４の処理の後、今回の分割領域に相当する実空間上の位置が車両１（カメラ２）から所定の距離以上離れているか否かを判定する（図２（ａ）／ＳＴＥＰ１５）。

今回の分割領域に水たまり、雪等が存在する場合には、当該今回の分割領域よりも車両１（カメラ２）から遠方の画像部分にも水たまり、雪等が存在する可能性が高く、十分な情報がなければレーンマークを検出しにくいおそれがある。また、今回の分割領域に横断歩道が存在する場合には、当該今回の分割領域よりも車両１（カメラ２）から遠方が交差点となっている可能性があり、この場合、レーンマークが存在しない可能性がある。

このため、当該今回の分割領域が遠距離である場合（図２（ａ）／ＳＴＥＰ１５の判定結果が肯定的である場合、図２（ａ）／ＳＴＥＰ１５‥ＹＥＳ）、当該今回の分割領域より遠方の画像部分については十分な情報を得ることが難しい。このため、候補画像部分抽出部１３は、今回の分割領域よりも遠方の分割領域について、図２（ａ）／ＳＴＥＰ７〜図２（ａ）／ＳＴＥＰ１７の処理を行わず、図２（ｂ）／ＳＴＥＰ１８以降の処理に進む。

なお、分割領域に二つの横断歩道がある場合、カメラ２からみて近い横断歩道（一つ目の横断歩道）７１ｃは交差点の一端を示すが、カメラ２からみて遠い横断歩道（二つ目の横断歩道）８１ｃは交差点の他端を示すことが多い。この場合において、カメラ２から見て遠い横断歩道（二つ目の横断歩道）８１ｃの遠方に交差点がある可能性は低い。このため、候補画像部分抽出部１３は、図２（ａ）／ＳＴＥＰ１４で分割領域を横断歩道の画像部分と判定した場合でも、それが二つ目の横断歩道である場合には、図２（ａ）／ＳＴＥＰ１５の判定を省略してさらに遠方の分割領域について図２（ａ）／ＳＴＥＰ７〜図２（ａ）／ＳＴＥＰ１７の処理を行ってもよい。

一方、今回の分割領域が近距離の分割領域である場合（図２（ａ）／ＳＴＥＰ１５の判定結果が否定的である場合、図２（ａ）／ＳＴＥＰ１５‥ＮＯ）には、当該分割領域よりもカメラ２からみて遠方の分割領域についても十分な情報が得られうる。このため、候補画像部分抽出部１３は、図２（ａ）／ＳＴＥＰ７〜図２（ａ）／ＳＴＥＰ１７の処理を行う。

また、図２（ａ）／ＳＴＥＰ１１の判定結果が否定的な場合（図２（ａ）／ＳＴＥＰ１１‥ＮＯ）、候補画像部分抽出部１３は、今回の分割領域に含まれ、かつ、図２（ａ）／ＳＴＥＰ４でクラスタリングにより抽出された画像部分のうち、線特徴性を有する画像部分（例えば、直線的に連続したエッジ点の割合が所定レベル以上である画像部分）を、レーンマークの画像部分の候補である候補画像部分として抽出する（図２（ａ）／ＳＴＥＰ１６）。

そして、候補画像部分抽出部１３は、分割領域のうち、図２（ａ）／ＳＴＥＰ７〜図２（ａ）／ＳＴＥＰ１６の処理を行っていない分割領域があるか否かを判定する（図２（ａ）／ＳＴＥＰ１７）。

当該判定結果が肯定的である場合（図２（ａ）／ＳＴＥＰ１７‥ＹＥＳ）、候補画像部分抽出部１３は、図２（ａ）／ＳＴＥＰ７以下の処理を実行する。一方、当該判定結果が肯定的である場合（図２（ａ）／ＳＴＥＰ１７‥ＮＯ）、図２（ｂ）／ＳＴＥＰ１８の処理に進む。

続く図２（ｂ）／ＳＴＥＰ１８は、レーンマーク認識部１４による処理である。なお、レーンマーク認識部１４による処理工程は、本発明のレーンマーク認識方法におけるレーンマーク認識工程に相当する。

レーンマーク認識部１４は、図２（ａ）／ＳＴＥＰ５で求められた対応する実空間での長さが所定範囲（法規で定められた破線レーンマークの長さ（規定長）を基準として設定される）内であって、一定方向に連続した候補画像部分に基づいて、破線レーンマークの候補を検出する。

また、レーンマーク認識部１４は、車線が連続線レーンマーク（白線、黄線等）で区画されているときには、例えば特開平１１−２１９４３５号公報に記載された公知の手法により、連続線レーンマークの候補を検出する。

レーンマーク認識部１４は、これらのレーンマークの候補に基づき、レーンマークを認識する。

例えば、図５（ａ）に示されているように、車両１が走行している車線の左側に左レーンマーク５１ｂ〜５２ｂ、右側に右レーンマーク６１ｂ、６２ｂが認識される。

ここで、横断歩道７１ｂまでの距離ｄ１が所定の距離以上である場合、図２（ａ）／ＳＴＥＰ１５の処理でＹＥＳとなるため、横断歩道７１ｂより遠方についてはレーンマークの認識処理が行われない。

一方、図５（ｂ）に示されるように、横断歩道までの距離ｄ２が所定の距離未満である場合、図２（ａ）／ＳＴＥＰ１５の処理でＮＯとなるため、横断歩道より遠方についてはレーンマークの認識処理が行われる。この結果、車両１が走行している車線の左側に左レーンマーク５１ｂ〜５２ｂ、右側に右レーンマーク６１ｂ、６２ｂに加え、横断歩道７１ｂより遠方のレーンマーク５３ｂ、５４及び６３ｂが認識されうる。

続く図２（ｂ）／ＳＴＥＰ１９で、レーンマーク認識部１４は、左右のレーンマークの位置に基づいて、車線の中心位置を認識する。図５（ａ）の例では、左側の左レーンマーク５１ｂ〜５２ｂの内側位置ＸＬ１と、右側の右レーンマーク６１ｂの内側位置ＸＲ１との中心位置Ｘｃ１を認識する。図５（ｂ）の例では、レーンマーク認識部１４は、左側の左レーンマーク５１ｂ〜５２ｂの内側位置ＸＬ１と、右側の右レーンマーク６１ｂの内側位置ＸＲ１との中心位置Ｘｃ１に加え、遠方の左レーンマーク５３ｂ、５４ｂ及び右レーンマーク６３ｂに基づいて左側の左レーンマーク５３ｂ〜５４ｂの内側位置ＸＬ２と、右側の右レーンマーク６３ｂの内側位置ＸＲ２との中心位置Ｘｃ２を認識する。

次の図２（ｂ）／ＳＴＥＰ２０〜図２（ｂ）／ＳＴＥＰ２７は操舵制御部１５による処理である。

操舵制御部１５は、図２（ａ）／ＳＴＥＰ７〜ＳＴＥＰ１６について未処理の画像部分があるか否かを判定する（図２（ｂ）／ＳＴＥＰ２０）。当該判定結果が否定的である場合（図２（ｂ）／ＳＴＥＰ２０‥ＮＯ）、操舵制御部１５は、図２（ｂ）／ＳＴＥＰ２７の処理に進む。

一方、当該判定結果が肯定的である場合（図２（ｂ）／ＳＴＥＰ２０‥ＹＥＳ）、操舵制御部１５は、図２（ａ）／ＳＴＥＰ７〜図２（ａ）／ＳＴＥＰ１７により認識された前方の路面に基づき、探索範囲の拡大を行うか否かを判断する（図２（ｂ）／ＳＴＥＰ２１）。当該判定結果が肯定的である場合（図２（ｂ）／ＳＴＥＰ２１‥ＹＥＳ）、操舵制御部は、探索範囲の拡大処理を行う（図２（ｂ）／ＳＴＥＰ２２）。たとえば、車両１の進行方向について探索範囲を拡大する設定がある場合において、車両１の前方に横断歩道があり、ウィンカーが動作状態である場合、操舵制御部１５は、図２（ａ）／ＳＴＥＰ１５の所定の距離をより長い別の距離に変更し、かつ、ウィンカーが動作している方向の画像部分を次回のレーンマーク認識処理の対象に加えるように設定する。

当該判定結果が否定的である場合（図２（ｂ）／ＳＴＥＰ２１‥ＮＯ）、又は図２（ｂ）／ＳＴＥＰ２２の処理の後、続く図２（ｂ）／ＳＴＥＰ２３において、操舵制御部１５は、図２（ａ）／ＳＴＥＰ７〜図２（ａ）／ＳＴＥＰ１７により認識された前方の路面に基づき、回避制御の閾値を下げるか否かを判定する。当該判定結果が肯定的である場合（図２（ｂ）／ＳＴＥＰ２３‥ＹＥＳ）、操舵制御部１５は、回避制御の閾値を下げる処理を行う（図２（ｂ）／ＳＴＥＰ２４）。たとえば、車両１の前方に水たまりがある場合において、水たまりがある場合は回避制御の閾値を下げる設定の場合には、操舵制御部１５は、回避制御の閾値を下げ、早めの操舵制御を行う。これにより、操舵制御部１５は、たとえば水たまりを障害物とみなして、当該水たまりを車線を逸脱しない範囲で回避する等の操舵制御をなしうる。

また、車両１の前方に横断歩道がある場合において、操舵制御部１５は、回避制御の閾値を下げてもよい。

図２（ｂ）／ＳＴＥＰ２３の判定結果が否定的である場合（図２（ｂ）／ＳＴＥＰ２３‥ＮＯ）、又は図２（ｂ）／ＳＴＥＰ２４の処理の後、操舵制御部１５は、図２（ａ）／ＳＴＥＰ７〜図２（ａ）／ＳＴＥＰ１７により認識された前方の路面に基づき、運転者に通知するか否かを判定する（図２（ｂ）／ＳＴＥＰ２５）。当該判定結果が肯定的である場合（図２（ｂ）／ＳＴＥＰ２５‥ＹＥＳ）、操舵制御部１５は、前方に水たまり、雪等、又は横断歩道があることをスピーカ５及び表示器６の少なくとも一方を介して運転者に通知する（図２（ｂ）／ＳＴＥＰ２６）。

図２（ｂ）／ＳＴＥＰ２５の判定結果が否定的である場合（図２（ｂ）／ＳＴＥＰ２５‥ＮＯ）、又は図２（ｂ）／ＳＴＥＰ２６の処理の後、操舵制御部１５は、図２（ｂ）／ＳＴＥＰ２７の処理に進む。

操舵制御部１５は、車両１が車線内の中心位置Ｘｃ付近を走行するように、操舵機構７を作動させて車両１の運転者の運転操作をアシストする（図２（ｂ）／ＳＴＥＰ２７）。また、操舵制御部１５は、車両１の運転者に対し、必要に応じてスピーカ５及び表示器６の少なくとも一方による注意喚起を行う。

ここで、操舵制御部１５は、車両１と中心位置Ｘｃとのずれが大きくなって、車両１と右レーンマーク６１ｂとの間隔ＷＲ、又は車両１と左レーンマーク５１ｂ〜５４ｂとの間隔ＷＬが予め設定された判定値以下になったときに、操舵機構７を作動させて車両１を中心位置Ｘｃに近づける制御を行う。

（本実施形態の作用・効果）
降雨等があった場合、広範囲にわたって路面がぬれている蓋然性が高い。広範囲にわたって路面がぬれている場合には、すべて路面の画像部分Ｚ１〜Ｚ５又はＺ６〜Ｚ９に対してレーンマークの認識処理又は濡れている路面の除外処理を行うと、レーンマークの認識精度が向上しないにもかかわらず、計算コストが多大となるおそれがある。また、横断歩道等がある場合には、その遠方にレーンマークが存在しない交差点等がある蓋然性が高い。このような交差点等の画像部分Ｚ３においてレーンマークの認識処理又は濡れている路面の除外処理を行うと、レーンマークの認識精度が向上しないにもかかわらず、計算コストが多大となるおそれがある。

特に、ぬれた路面及び横断歩道等がカメラから遠方に存在していると、それらより遠方の領域Ｚ３〜Ｚ５、Ｚ８〜Ｚ９においては、得られる情報量が少なくなる。このため、当該領域においてレーンマーク認識処理を行うと、レーンマークの認識精度の低いぬれた路面又は交差点等の画像部分Ｚ３〜Ｚ５、Ｚ８〜Ｚ９においてより少ない情報量に基づいてレーンマークの認識処理が行われることになる。この結果、レーンマークの認識精度が向上しないにもかかわらず、計算コストが多大となるおそれがある。

これらの点に着目して構成された当該構成のレーンマーク認識装置１０によれば、対応する実空間上の位置が所定の距離以上離れている画像部分Ｚ２〜Ｚ５，Ｚ７〜Ｚ９であって、所定の輝度以上の輝度を有する画像部分Ｚ２、Ｚ７及び白色の色相を所定幅以上有する画像部分Ｚ２の少なくとも一方が除外されることにより、雨水等によって濡れた路面又は横断歩道等の、通常の路面と異なる路面の画像部分Ｚ２、Ｚ７が除外される。そして、除外された画像部分よりも手前の画像部分Ｚ１，Ｚ６に基づいてレーンマーク５１ｂ、５２ｂ、６１ｂ、６２ｂが認識される。この結果、本発明のレーンマーク認識装置１０によれば、道路状況に鑑みて適切に計算コストが削減されうる。

また、鏡面反射光の成分を多く含む画像部分Ｚ７は、水たまり又は雪等の画像部分である蓋然性が高い。

この点に着目して構成された当該構成のレーンマーク認識装置１０によれば、水たまり又は雪等の画像部分である蓋然性が高い画像部分Ｚ７の遠方の画像部分Ｚ８〜Ｚ９が除外される。この結果、道路の状況に鑑みて、適切に計算コストが削減されうる。

拡散反射光の成分を多く含む画像部分Ｚ２は、横断歩道等の画像部分である蓋然性が高い。

この点に着目して構成された当該構成のレーンマーク認識装置１０によれば、横断歩道７１ｂが適切に認識される。この結果、道路の状況に鑑みて、適切に計算コストが削減されうる。

前記したように、遠方に交差点がある場合、得られる情報が少ないため、当該交差点及びその周辺の画像部分Ｚ３〜Ｚ５に基づいては、信頼性の高いレーンマーク認識処理を行うことは難しい。一方、車両から近いところにある交差点であれば、得られる情報が多いため、当該交差点及びその周辺の画像部分に基づいて、信頼性の高いレーンマーク認識処理を行うことができる。

当該構成のレーンマーク認識装置によれば、車両１と横断歩道との距離ｄ２が所定の距離以下である場合に、横断歩道７１ｂの遠方の路面の画像部分を含めてレーンマーク認識処理が行われる。これにより、車両１と横断歩道との距離ｄ１が所定の距離以上である場合、すなわち信頼性の高いレーンマーク認識処理が行えない蓋然性が高い場合には、横断歩道７１ｂよりも遠方にある交差点等の画像部分が除外されるのに対し、車両１と横断歩道との距離ｄ２が所定の距離以内である場合、すなわち信頼性の高いレーンマーク認識処理が行える蓋然性が高い場合には、横断歩道よりも遠方にある交差点等の画像部分が除外されない。この結果、本発明のレーンマーク認識装置１０によれば、道路状況に鑑みて適切に計算コストが削減されうる。

鏡面反射光は対象物の観察角度に応じた輝度の変化大きい一方、拡散反射光は対象物の観察角度に応じた輝度の変化は小さい。この点に鑑みて構成された当該構成のレーンマーク認識装置１０によれば、車両１の移動に伴い、対象物の観察角度が変化するところ、当該観察角度の変化に伴う対象物の画像部分Ｚ２、Ｚ７の輝度の変化に基づいて判断することにより、鏡面反射光と拡散反射光との別が精度よく判断されうる。

水たまり、横断歩道等は、車両１の進行方向と直交する方向にある程度広がって存在している蓋然性が高いところ、当該構成のレーンマーク認識装置１０によれば、車両１の進行方向の画像部分が車両１から当該画像部分に相当する実空間上の位置までの距離ｙごとに複数の領域Ｚ１〜Ｚ５，Ｚ６〜Ｚ９に分割されて画像部分の除外処理が行われる。この結果、車両１の進行方向と直交する方向にある程度広がって存在している水たまり、横断歩道等が前記複数の領域Ｚ１〜Ｚ５，Ｚ６〜Ｚ９のうちの一部の領域Ｚ２、Ｚ７にまとめて含まれうる。分割された領域ごとに画像部分の除外処理が行われることにより、所定範囲の水たまり、横断歩道等の各画像部分が個別に除外対象か否か判定されるよりも、水たまり全体または横断歩道全体がまとめて除外対象となるか否かが判定されやすくなる。したがって、当該構成のレーンマーク認識装置１０によれば、道路状況に鑑みて適切に計算コストが削減されうる。

当該構成のレーンマーク認識装置によれば、特定候補除外部（候補画像部分抽出部１３）により一部の画像部分Ｚ２、Ｚ７以降が除外されることによりレーンマーク認識処理の処理対象の領域が狭くなった場合でも、前記所定の距離を長く変更するか、回避制御の閾値を通常よりも低く設定するか、車両１の運転者への通知をするかの少なくとも１つの処理がなされるため、運転者に与える違和感が軽減または解消されうる。

（変形態様）
図２（ａ）／ＳＴＥＰ１２〜図２（ａ）／ＳＴＥＰ１４の処理は省略されてもよい。図２（ｂ）／ＳＴＥＰ２０〜図２（ｂ）／ＳＴＥＰ２６の処理は省略されてもよい。

図２（ａ）／ＳＴＥＰ１１〜図２（ｂ）／ＳＴＥＰ１２の処理に加えてまたは代えて、今回の分割領域が特定色（たとえば白色）を持つ領域の割合が所定の割合以上であるか否かが判定されてもよい。この場合、たとえば、当該判定結果が肯定的である場合には、今回の分割領域には横断歩道が含まれると認識される一方、当該判定結果が否定的である場合には、レーンマークの認識処理が行われるように構成されてもよい。

１…車両（自車両）、２…カメラ、７…操舵機構、１０…レーンマーク認識装置、１１…撮像画像取得部、１２…エッジ画像生成部、１３…候補画像部分抽出部、１４…レーンマーク認識部、１５…操舵制御部、２０…画像メモリ、２１…撮像画像、２２…エッジ画像。

Claims (10)

1. 車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置であって、
   対応する実空間上の位置が前記カメラから所定の距離以上離れている画像部分であって、輝度が所定の輝度以上又は境界における輝度の変化量が所定の変化量以上である領域の割合が所定の割合以上である第１画像部分、及び特定色の領域の割合が所定の割合以上である第２画像部分のうちの少なくとも一方を前記画像から除外する特定候補除外部と、
   前記特定候補除外部により除外された画像部分よりも対応する実空間上の位置が前記カメラ側となる前記画像の領域に基づいて、レーンマークを認識するレーンマーク認識部とを備えることを特徴とするレーンマーク認識装置。
2. 請求項１記載のレーンマーク認識装置において、
   前記カメラにより撮像された道路の画像から、周囲部に対する輝度の変化量が第１所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
   近接した前記エッジ点を組み合わせてエッジ部分を作成するエッジ部分作成部とを備え、
   前記所定の変化量が、前記第１所定値よりも大きい第２所定値に設定され、
   前記特定候補除外部は、前記エッジ部分の数が所定の数以上であること、及び境界における輝度の変化量が前記第２所定値以上である領域の割合が前記所定の割合以上であることの少なくとも１つを満たす前記第１画像部分、並びに前記エッジ部分の数が所定の数以上であること、及び周辺部に対する輝度の変化量が前記第２所定値以上である複数のエッジ点により作成された前記エッジ部分を含むことの少なくとも１つを満たす前記第２画像部分のうちの少なくとも一方を除外するように構成されていることを特徴とするレーンマーク認識装置。
3. 請求項１又は２記載のレーンマーク認識装置において、
   前記特定候補除外部は、前記第１画像部分に鏡面反射光の成分が所定の割合以上含まれている場合、対応する実空間における位置が当該画像部分に対応する位置よりも前記カメラからみて遠方となる画像部分を除外するように構成されていることを特徴とするレーンマーク認識装置。
4. 請求項１〜３のうちのいずれか１項に記載のレーンマーク認識装置において、
   前記特定候補除外部は、前記第１画像部分に拡散反射光の成分が所定の割合以上含まれている場合、当該画像部分を横断歩道の画像部分と認識するように構成されていることを特徴とするレーンマーク認識装置。
5. 請求項４記載のレーンマーク認識装置において、
   前記レーンマーク認識部は、前記カメラから前記横断歩道の画像部分として認識された画像部分に対応する実空間上の位置までの距離が前記所定の距離以下である場合、前記横断歩道の画像部分よりも、対応する実空間上の位置が前記カメラから見て遠方となる画像部分を含めて、レーンマークを認識するように構成されていることを特徴とするレーンマーク認識装置。
6. 請求項３〜５のうちいずれか１項記載のレーンマーク認識装置において、
   前記特定候補除外部は、前記第１画像部分について、過去に撮像された複数の画像における当該第１画像部分に相当する画像部分の輝度の変化に基づき、鏡面反射光又は拡散反射光の別を判定するように構成されていることを特徴とするレーンマーク認識装置。
7. 請求項１〜６のいずれか１項に記載のレーンマーク認識装置において、
   前記特定候補除外部は、前記画像を前記カメラから対応する実空間上の位置までの距離ごとに複数の領域の画像部分に分割し、当該分割された複数の領域ごとに、画像部分の除外処理を行うように構成されていることを特徴とするレーンマーク認識装置。
8. 請求項１〜７のいずれか１項にレーンマーク認識装置において、
   前記特定候補除外部により一部の画像部分が除外された場合、前記所定の距離を長く変更する処理と、前記車両の操舵の制御開始の閾値を通常よりも低く設定する処理と、前記車両の運転者への通知をする処理とのうちの少なくとも１つ以上の処理を行う操舵制御部を備えることを特徴とするレーンマーク認識装置。
9. 車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識する車両であって、
   対応する実空間上の位置が前記カメラから所定の距離以上離れている画像部分であって、輝度が所定の輝度以上又は境界における輝度の変化量が所定の変化量以上である領域の割合が所定の割合以上である第１画像部分、及び特定色の領域の割合が所定の割合以上である第２画像部分のうちの少なくとも一方を前記画像から除外する特定候補除外部と、
   前記特定候補除外部により除外された画像部分よりも対応する実空間上の位置が前記カメラ側となる前記画像の領域に基づいて、レーンマークを認識するレーンマーク認識部とを備えることを特徴とする車両。
10. 車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識方法であって、
    対応する実空間上の位置が前記カメラから所定の距離以上離れている画像部分であって、輝度が所定の輝度以上又は境界における輝度の変化量が所定の変化量以上である領域の割合が所定の割合以上である第１画像部分、及び特定色の領域の割合が所定の割合以上である第２画像部分のうちの少なくとも一方を前記画像から除外する特定候補除外工程と、
    前記特定候補除外工程により除外された画像部分よりも対応する実空間上の位置が前記カメラ側となる前記画像の領域に基づいて、レーンマークを認識するレーンマーク認識工程とを備えることを特徴とするレーンマーク認識方法。