JP6185418B2 - 走路境界区画線検出装置 - Google Patents

Description

本発明は、走路境界区画線検出装置に関する。

近年では、車両の走行時の安全性やドライバの運転操作を支援するために、車両に搭載された撮像手段によって自車の周囲の状況を撮像し、撮像した画像情報より自車の前方の白線等を認識して、この白線等を自車の走行制御に利用しているものがある。例えば、特許文献１に記載された車両用白線認識装置では、自車走行路を撮像した画像に基づいて、左右それぞれに位置する白線を検出し、左右の白線のいずれか一方の検出信頼度が低い場合には、検出信頼度が高い白線を、信頼度の低い白線側にオフセットすることにより、信頼度の低い白線を補正している。これにより、分岐路等でノイズが存在する場合でも、自車走行路に対応する白線を、精度よく認識することを可能にしている。

特開２０１２−２２５７４号公報

しかしながら、白線のかすれ等によって、左右の一方の白線を認識できない場合において、認識できている方の白線をオフセットした場合、誤った補正が行われる虞がある。例えば、道路が分岐する部分で一部の白線の検出信頼度が低い場合において、検出信頼度が高い白線を検出信頼度が低い白線側にオフセットした際に、この検出信頼度が高い白線が、検出信頼度が低い白線に対して、車線の左右で対にはならない白線であった場合、この補正は誤った補正になる。つまり、検出信頼度が低い白線を、車線の左右で対とはなっていない白線をオフセットして補正した場合、補正した白線は、この検出信頼度が低い白線の実際の形状とは異なる形状になる。このように、検出信頼度が高い白線をオフセットすることによって、検出信頼度が低い白線の補正を行った場合、誤った補正が行われることにより、実際の白線の形状とは異なる形状で推定される虞があった。

本発明は、上記に鑑みてなされたものであって、誤った検出が行われることを抑制することのできる走路境界区画線検出装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る走路境界区画線検出装置は、自車両の前方を撮像する撮像装置と、前記撮像装置で撮像された撮像領域内の画像情報に基づいて前記自車両の走行する路面上の走路境界を検出する走路境界検出部と、前記走路境界検出部によって検出された走路境界であって、且つ、前記車両の両側の走路境界のうちの片側の走路境界の位置に基づいて、車幅方向において前記片側の走路境界に対して前記車両を挟んで反対側の路面上に走路境界区画線を探索する走路境界区画線探索部と、を備え、前記走路境界区画線探索部は、前記反対側の路面上の位置に、互いに走路上の位置が車幅方向に異なる複数の探索線を前記片側の走路境界の形状情報に基づいて設定し、複数の前記探索線のそれぞれの線上における輝度情報である探索線上輝度情報を前記画像に基づいて取得し、複数の前記探索線上輝度情報を比較することにより、複数の前記探索線の中に、走路境界区画線候補に用いることができる前記探索線として最も蓋然性の高い前記探索線があるか否かを判定し、前記走路境界区画線として最も蓋然性の高い前記探索線があると判定される場合は、当該探索線を走路境界区画線候補線として選択する一方で、前記走路境界区画線として最も蓋然性の高い前記探索線があると判定されない場合は、複数の前記探索線のいずれも前記走路境界区画線候補線として選択しないことを特徴とする。

また、上記走路境界区画線検出装置において、前記走路境界区画線探索部は、前記自車両の走行する路面上の車幅方向における端部に位置する立体的な走路境界の形状情報に基づいて前記探索線を設定することが好ましい。

また、上記走路境界区画線検出装置において、前記走路境界区画線探索部は、前記探索線の延在方向において複数の領域に複数の前記探索線を分割し、分割されたそれぞれの領域ごとに、前記走路境界区画線候補線として最も蓋然性の高い前記探索線があるか否かを判定し、前記走路境界区画線候補線として領域ごとに選択した前記探索線のうち、前記延在方向に隣接する領域の前記探索線同士の車幅方向における位置が所定の範囲内に位置する場合は、当該探索線同士を同一の走路境界区画線候補としてグループ化することが好ましい。

本発明に係る走路境界区画線検出装置は、誤った検出が行われることを抑制することができる、という効果を奏する。

図１は、実施形態に係る走路境界区画線検出装置を備える車両の平面図である。 図２は、図１のＡ−Ａ矢視図である。 図３は、実施形態に係る走路境界区画線検出装置の要部構成図である。 図４は、実施形態に係る走路境界区画線検出装置によって白線を検出する際におけるフロー図である。 図５は、カメラで撮像した画像の一例を示す説明図である。 図６は、エッジについての説明図である。 図７は、エッジ点についての説明図である。 図８は、エッジ点のペアリングと不要なエッジ点についての説明図である。 図９は、探索範囲についての説明図である。 図１０は、探索線についての説明図である。 図１１は、探索線の平均輝度についての説明図である。 図１２は、平均輝度が最大・極大になる探索線はあるか否かを判定する際における処理手順を示すフロー図である。 図１３は、白線候補線についての説明図である。 図１４は、探索線を複数の領域に分割して低信頼度白線を推定する際における処理手順を示すフロー図である。 図１５は、分割距離を設定して低信頼度白線を検出する場合の説明図である。 図１６は、領域ごとに白線候補線を選択した状態を示す説明図である。 図１７は、白線候補線として選択された探索線のグループ化についての説明図である。 図１８は、縁石に基づいて探索線を設定する場合の説明図である。 図１９は、縁石に基づいて探索線を設定する場合における処理手順を示すフロー図である。

以下に、本発明に係る走路境界区画線検出装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能、且つ、容易なもの、或いは実質的に同一のものが含まれる。

〔実施形態〕
図１は、実施形態に係る走路境界区画線検出装置を備える車両の平面図である。図２は、図１のＡ−Ａ矢視図である。なお、以下の説明では、走路境界区画線検出装置２が搭載される車両１の前後方向を、走路境界区画線検出装置２においても前後方向とし、車両１の左右方向を、走路境界区画線検出装置２においても左右方向とし、車両１の上下方向を、走路境界区画線検出装置２においても上下方向として説明する。

実施形態に係る走路境界区画線検出装置２は、車両１の前方を撮像する撮像手段であるカメラ１５を備えている。このカメラ１５は、車内に配設されており、例えば、車両１のルーフ１０の車内側に、前方を撮像することができる向きで取り付けられている。このように配設されるカメラ１５は、フロントウィンドウ１１越しに前方を撮影することにより、車両１が走行するレーンの境界を示す走路境界区画線である道路上の白線や、他の車両等を撮影することが可能になっている。なお、ここでいる走路境界区画線は、白線のみならず、追い越しのためのはみ出し通行の禁止を示す道路上のオレンジ色の線など、車両１が走行する走路における車幅方向における境界を示す線であれば、白線にはとらわれない。

図３は、実施形態に係る走路境界区画線検出装置の要部構成図である。カメラ１５は、車両１に搭載されると共に車両１の各部を制御する制御手段であるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）２０に接続されている。ＥＣＵ２０のハード構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を有する処理部や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶部等を備えた公知の構成であるため、説明は省略する。

このＥＣＵ２０の処理部は、画像取得部２５と、エッジ検出部３１と、エッジペアリング部３２と、エッジ線分検出部３３と、エッジ線分ペアリング部３４と、白線境界選択部３５と、走路パラメータ推定部３６と、走路パラメータ再推定部３７と、を機能的に備えている。これらを備えるＥＣＵ２０は、車両１が走行するレーンの境界を示す白線を、カメラ１５で撮像した画像に基づいて検出する境界区画線検出手段として設けられている。これらを備えるＥＣＵ２０は、車両１が走行する走路の境界である走路境界を、カメラ１５で撮像した画像に基づいて検出する走路境界検出手段として設けられている。なお、この場合における走路境界は、白線等の道路上に施された走路境界区画線のみでなく、路肩やガードレール、側壁等の立体的な形状によって走路の境界を区画するものも含まれる。

ＥＣＵ２０が備える各部のうち、画像取得部２５は、カメラ１５で撮像した画像を取得する画像取得手段になっている。また、エッジ検出部３１は、画像取得部２５で取得した画像より、画像上の輝度が大幅に変化する部分であるエッジを検出するエッジ検出手段になっている。このエッジ検出部３１は、画像取得部２５で取得した画像を一方向に走査することにより、明度が高くなる部分である上りエッジと、明度が低くなる部分である下りエッジとを検出することが可能になっている。また、エッジペアリング部３２は、エッジ検出部３１で検出した上りエッジと下りエッジとの間の幅や、輝度情報から、上りエッジと下りエッジとからなるペアであるエッジペアを検出するエッジペアリング手段になっている。

また、エッジ線分検出部３３は、上りエッジ及び下りエッジ毎に、直線状に並ぶ線であるエッジ線分を検出するエッジ線分検出手段になっている。また、エッジ線分ペアリング部３４は、エッジ線分検出部３３で検出した上りエッジ線分と下りエッジ線分とのうち、ペアになるものを検出するエッジ線分ペアリング手段になっている。また、白線境界選択部３５は、エッジ線分ペアリング部３４で検出したエッジ線分ペアに基づいて、過去の白線検出位置と近い線分を、自車が走行するレーンの白線として選択する白線境界選択手段になっている。このように、自車が走行するレーンの白線を選択する白線境界選択部３５は、即ち、カメラ１５で撮像された撮像領域内の画像情報に基づいて、自車両の走行する路面上の走路境界を検出する走路境界検出部として設けられている。

また、走路パラメータ推定部３６は、道路形状を表すパラメータを推定する走路パラメータ推定手段になっている。また、走路パラメータ再推定部３７は、自車が走行するレーンの左右両側に位置する白線のうち、既に検出している白線検出の結果を用いて、もう片方の白線を探索する走路パラメータ再推定手段になっている。換言すると、走路パラメータ再推定部３７は、白線境界選択部３５によって検出された走路境界であって、且つ、車両１の両側の走路境界のうちの片側の走路境界の位置に基づいて、車幅方向において片側の走路境界に対して車両１を挟んで反対側の路面上に走路境界区画線を探索する走路境界区画線探索部として設けられている。

本実施形態に係る走路境界区画線検出装置２は、以上のごとき構成からなり、以下、その作用について説明する。走路境界区画線検出装置２は、車両１の走行時にドライバの運転支援を行うために、フロントウィンドウ１１を介してカメラ１５で車両１の前方を撮像する。この運転支援としては、例えば、自車が走行するレーンを検出し、レーンに沿った走行をするようにドライバの運転操作のアシストをする制御等が挙げられる。運転支援制御では、カメラ１５で撮像した画像に基づいて白線を検出することにより、自車が走行するレーンを認識し、自車が認識したレーンに沿った走行を行うことができるように、旋回の補助制御等を行う。

次に、これらのように走路境界区画線検出装置２で白線を検知する場合における処理手順について説明する。図４は、実施形態に係る走路境界区画線検出装置によって白線を検出する際におけるフロー図である。図５は、カメラで撮像した画像の一例を示す説明図である。車両１の走行時には、カメラ１５で撮像した画像１６を取得する（ステップＳＴ１０１）。つまり、車両１の走行時には、フロントウィンドウ１１を介して自車の前方をカメラ１５で撮像し、撮像した画像１６をＥＣＵ２０の画像取得部２５で取得する。これにより例えば、図５に示すように、自車が走行するレーン４１や白線４５等の、現在走行している道路４０を撮像する。

次に、エッジ点を検出する（ステップＳＴ１０２）。図６は、エッジについての説明図である。本実施形態に係る走路境界区画線検出装置２では、画像取得部２５で取得した画像１６に基づいて、道路４０上の白線４５を検出する。この白線４５を検出する手法について説明すると、ＥＣＵ２０のエッジ検出部３１で画像１６中における左右方向、即ち、車両１の幅方向である車幅方向に走査することにより、画像１６中の明度５０を検出し、画像１６中において明度５０が変化する部分であるエッジを検出する。具体的には、Ｓｏｂｅｌフィルタ等を使用し、明度５０が低い部分から高い部分に変化する部分である上りエッジ５１や、明度５０が高い部分から低い部分に変化する部分である下りエッジ５２を検出する。このように、画像取得部２５で取得した画像１６中より、上りエッジ５１と下りエッジ５２とを検出することにより、白線４５を検出する。

図７は、エッジ点についての説明図である。上りエッジ５１や下りエッジ５２を検出する手法について具体的に説明すると、取得した画像１６に対して明度５０の変化を見ながら走査し、明度５０の変化が大きい部分であるエッジ点を検出することにより、画像１６中のエッジを検出する。

例えば、画像１６を左側から右側に向かって走査した際には、道路４０上の白線４５の部分では、白線４５の左側の部分で、白線４５が無い路面から白線４５に向けて走査される。このため、白線４５の左端付近の明度５０は、低い状態から高い状態になる。このように明度５０が変化する白線４５の部分について、Ｓｏｂｅｌフィルタ等の微分フィルタを用いて導出した明度の変化状態を示す明度変化線５５は、白線４５の左端が位置する部分で大きくなる。

また、画像１６を左側から右側に向かって走査した際において、白線４５の右側の部分では、白線４５上から、白線４５が無い路面に向けて走査されるため、明度５０は、高い状態から低い状態になる。このため、明度変化線５５は、白線４５の右端が位置する部分で小さくなる。

これらのように検出した明度変化線５５は、予め設定された閾値と比較し、明度変化線５５のピーク部分における強度の絶対値が、閾値の絶対値以上の場合は、その部分をエッジ点として検出する。つまり、閾値は、明度変化線５５における上り側、即ち＋側と、明度変化線５５における下り側、即ち−側とにそれぞれ設定し、明るくなる側に位置する明度変化線５５のピークの部分は、＋側の閾値と比較し、暗くなる側に位置する明度変化線５５のピークの部分は、−側の閾値と比較する。この比較により、＋側の閾値以上であると判断された明度変化線５５のピークの部分は、上りエッジ点５６として検出する。同様に、−側の閾値以下であると判断された明度変化線５５のピークの部分は、下りエッジ点５７として検出する。

次に、ＥＣＵ２０のエッジペアリング部３２でエッジ点のペアリングを行う（ステップＳＴ１０３）。図８は、エッジ点のペアリングと不要なエッジ点についての説明図である。エッジ検出部３１は、白線４５の部分のみでなく、画像取得部２５で取得した画像１６全体よりエッジ点を検出するため、検出されたエッジ点の中には、路面の汚れによるエッジ点など、白線４５と関係ないエッジ点も含まれていることがある。このため、エッジペアリング部３２で、エッジ点のペアリングを行うことにより、白線４５とは関係ないエッジ点の除去を行う。つまり、画像取得部２５で取得した画像１６より白線４５を検出した際には、通常はペアとなる上りエッジ５１と下りエッジ５２とが存在するため、これを利用し、ペアにならない孤立したエッジ点は、不要エッジ点５８であると判定して除去する。

エッジペアリング部３２でのエッジ点ペアの検出は、具体的には、エッジ検出部３１で検出した上りエッジ点５６と下りエッジ点５７との間隔が、想定している白線４５の幅Ｗａ以下の場合には、この上りエッジ点５６と下りエッジ点５７とをペアとして検出する。つまり、道路４０上の白線４５は、設定された幅で形成されているため、ＥＣＵ２０の記憶部には、画像取得部２５で取得した画像１６上において想定される白線４５の幅Ｗａが、ある程度のマージンをもった大きさで予め記憶されている。このため、例えば、画像１６を左側から右側に向かって走査した際において、検出した上りエッジ点５６の位置から、想定している白線４５の幅Ｗａの範囲内に下りエッジ点５７が位置する場合は、この上りエッジ点５６と下りエッジ点５７とは、ペアとして検出する。

また、上りエッジ点５６と下りエッジ点５７とがある場合でも、双方の間隔が、想定している白線４５の幅Ｗａよりも大きい場合も、一方のエッジ点は不要エッジ点５８であると判定して除去する。即ち、画像１６を左側から右側に向かって走査した際において、上りエッジ点５６と下りエッジ点５７とがある場合でも、検出した上りエッジ点５６の位置から、想定している白線４５の幅Ｗａの右側に下りエッジ点５７が位置する場合は、この下りエッジ点５７は、不要エッジ点５８であると判定して除去する。

これらにより、画像取得部２５で取得した画像１６中において、白線４５らしいと判断できる上りエッジ５１と下りエッジ５２とに該当する上りエッジ点５６と下りエッジ点５７とのペアを検出する。

次に、エッジ線分の検出を行う（ステップＳＴ１０４）。つまり、エッジペアリング部３２で検出された上りエッジ点５６と下りエッジ点５７とのペアに該当する画像１６中の上りエッジ５１と下りエッジ５２とについて、エッジ線分を検出する。即ち、画像１６中において上りエッジ点５６に該当する上りエッジ５１と、画像１６中において下りエッジ点５７に該当する下りエッジ５２とに対して、上りエッジ５１及び下りエッジ５２毎に、直線状に並ぶ線分であるエッジ線分を、ＥＣＵ２０のエッジ線分検出部３３で検出する。エッジ線分検出部３３は、例えば、ハフ変換を用いることにより、上りエッジ５１と下りエッジ５２とのそれぞれでエッジ線分を検出する。

次に、エッジ線分のペアリングを行う（ステップＳＴ１０５）。つまり、エッジ線分検出部３３で検出した、上りエッジ５１と下りエッジ５２とのそれぞれでエッジ線分の平行度合いや間隔等を利用して、上りエッジ５１のエッジ線分と、下りエッジ５２のエッジ線分とのペアを、ＥＣＵ２０のエッジ線分ペアリング部３４で抽出する。これにより、白線４５らしいと判断できる上りエッジ５１のエッジ線分と下りエッジ５２のエッジ線分とのペアを抽出する。

次に、白線境界を選択する（ステップＳＴ１０６）。この選択は、ＥＣＵ２０の白線境界選択部３５で行う。白線境界選択部３５は、過去の白線４５の検出位置と、エッジ線分ペアリング部３４で抽出した上りエッジ５１と下りエッジ５２とのエッジ線分のペアとを比較し、エッジ線分のペアのうち、過去の白線４５の検出位置に近いものを、自車が走行している道路４０に施されている白線４５として選択して検出する。

次に、走路パラメータを推定する（ステップＳＴ１０７）。この推定は、ＥＣＵ２０の走路パラメータ推定部３６で行う。つまり、白線境界選択部３５で選択した白線４５の検出位置や、検出した白線４５の形状を利用して、最小二乗法やカルマンフィルタ等を利用して、自車が走行をしている道路４０の形状を表現する曲率や横位置等のパラメータである走路パラメータを推定する。即ち、走路境界である白線４５の形状情報に基づいて、走路パラメータを推定する。この走路パラメータは、自車が走行するレーン４１の左右両側に位置する白線４５ごとに推定する。また、走路パラメータとしては、例えば、曲率、曲率変化率等を推定する。

なお、ＥＣＵ２０の記憶部には、この走路パラメータの検出状態を示すフラグである検出フラグが設定されており、走路パラメータ推定部３６で走路パラメータを推定した場合には、検出フラグをＯＮにする。また、検出フラグは、自車が走行するレーン４１の左右両側に位置する白線４５ごとに推定する走路パラメータごとに設定されており、それぞれの検出フラグは、対応する白線４５の走路パラメータの推定状態に応じて、ＯＮとＯＦＦとを切り替える。

次に、白線４５は左右両側検出できたか否かを判定する（ステップＳＴ１０８）。この判定は、走路パラメータの検出状態を示す検出フラグに基づいて行う。即ち、レーン４１の左右の白線４５に対応するそれぞれの検出フラグが、共にＯＮの場合は、左右の白線４５を検出できたと判定し、少なくとも一方の検出フラグがＯＦＦの場合は、白線４５は、左右両側では検出できていないと判定する。

この判定により、白線４５は左右両側では検出できていないと判定された場合（ステップＳＴ１０８、Ｎｏ判定）には、複数の探索線６２を作成する（ステップＳＴ１０９）。図９は、探索範囲についての説明図である。図１０は、探索線についての説明図である。検出できなかった白線４５は、検出できた白線４５を用いて再度推定する。検出できなかった白線４５を再度推定する際には、この白線４５が位置すると想定される位置に、互いに走路上の位置が左右方向に異なる複数の探索線６２を設定することによって推定する。

この探索線６２の設定は、ＥＣＵ２０の走路パラメータ再推定部３７で行い、走路パラメータ再推定部３７は、画像取得部２５で取得した画像１６に基づいて白線４５の検出を行った際に、レーン４１の左右に位置する白線４５のうちのいずれか一方の検出の信頼度が低い場合に、検出の信頼度が低い白線４５が位置すると想定される位置に、探索線６２を設定する。なお、ここでいう信頼度は、検出した位置に白線４５等の走路境界が存在するか否かの蓋然性をいう。即ち、以下の説明で、「信頼度が高い」という場合は、検出した位置に走路境界が存在する蓋然性が高い状況を示しており、「信頼度が低い」という場合は、検出した位置に走路境界が存在する蓋然性が低い状況を示している。

走路パラメータ再推定部３７は、車幅方向において白線４５の検出の信頼度が低い側の路面上の位置に、互いに走路上の位置が車幅方向に異なる複数の探索線６２を、白線４５の検出の信頼度が低い側の白線４５の形状情報に基づいて設定する。詳しくは、走路パラメータ再推定部３７は、検出の信頼度が高い側の白線４５であり、高信頼度走路境界区画線として扱われる高信頼度白線４６に対して、レーン４１の左右方向において、検出の信頼度が低い側の白線４５であり、低信頼度走路境界区画線として扱われる低信頼度白線４７が位置する側に探索線６２を設定する。この探索線６２は、互いに走路上の位置が左右方向に異なる位置に、複数を設定する。

具体的には、走路パラメータ再推定部３７は、高信頼度白線４６より推定した走路パラメータを基準に、低信頼度白線４７を探索する探索範囲６０を設定する。探索範囲６０の設定は、高信頼度白線４６から低信頼度白線４７側に走路幅Ｗｒの分シフトさせた位置から高信頼度白線４６に近付く方向に（走路幅Ｗｒ×α）となる位置から、高信頼度白線４６から低信頼度白線４７側に走路幅Ｗｒの分シフトさせた位置から高信頼度白線４６から離れる方向に（走路幅Ｗｒ×α）となる位置までの範囲である白線探索範囲Ｒｓを、探索範囲６０として設定する。

この場合における走路幅Ｗｒは、法規で定められているレーン４１の幅や、レーン４１の幅として一般的に用いられている幅に基づいた値を用いるのが好ましい。また、走路幅Ｗｒを設定する際の他の手法としては、レーン４１の左右両側の白線４５を高信頼度で検出できた時の走路幅を記憶しておき、最新の走路幅の値を用いたり、複数の走路幅の平均値を用いたりするのが好ましい。また、白線探索範囲Ｒｓを算出する際に用いるαは、走路境界区画線検出装置２での白線４５の検出精度等に基づいて、任意の値を設定するのが好ましい。

このように、探索範囲６０を設定したら、探索範囲６０内で、カメラ１５の性能等に応じて、所定の分解能で左右方向にシフトさせた線を複数設定し、この複数の線を探索線６２として設定する。これにより、探索範囲６０内には、左右方向にそれぞれ異なる位置に、互いに略平行に形成される複数の探索線６２を複数設定する。

次に、探索線６２の平均輝度を算出する（ステップＳＴ１１０）。図１１は、探索線の平均輝度についての説明図である。探索線６２の平均輝度７０の算出は、ＥＣＵ２０の走路パラメータ再推定部３７で行う。走路パラメータ再推定部３７は、探索範囲６０内の複数のそれぞれの探索線６２上における輝度情報である探索線上輝度情報を、画像取得部２５で取得した画像１６に基づいて取得し、白線４５の幅方向である左右方向における位置ごとに、探索線６２の輝度の平均値を算出する。これにより、画像取得部２５で取得した画像１６内における、または、自車の進行方向における所定の距離の範囲内における、左右方向の位置ごとの探索線６２の平均輝度７０を算出する。

なお、探索線６２の平均輝度７０を算出する際における輝度の加算方法は、例えば、画像１６の水平方向における左右１ｐｉｘｅｌずつや、自車からの距離に応じた左右方向の所定幅の分の範囲内で、最も輝度が高い画素を加算することにより、左右方向における位置ごとに、加算した輝度を算出してもよい。

次に、平均輝度７０が最大・極大になる探索線６２はあるか否かを判定する（ステップＳＴ１１１）。つまり、複数の探索線６２上の平均輝度７０が、最大で、且つ、極大になる探索線６２があるか否かを、走路パラメータ再推定部３７で判定する。このような探索線６２があるか否かの判定は、探索線６２ごとの平均輝度７０を算出した後、平均輝度７０において、周囲の探索線６２の平均輝度７０が高くなり、平均輝度７０同士を比較した場合の変曲点になる平均輝度最大値７５を算出し、この平均輝度最大値７５は極大値であるか否かを判定することにより行う。次に、このような探索線６２があるか否かを判定する際における処理手順について説明する。

図１２は、平均輝度が最大・極大になる探索線はあるか否かを判定する際における処理手順を示すフロー図である。平均輝度７０が最大で、且つ、極大になる探索線６２の有無を判定する際には、まず、ステップＳＴ１１０で各探索線６２上の平均輝度７０を算出（ステップＳＴ２０１）した後、各探索線６２の平均輝度７０の最大値を算出する（ステップＳＴ２０２）。つまり、探索線６２ごとの平均輝度７０同士を比較し、その中から、輝度値が最大値になる平均輝度７０である平均輝度最大値７５を算出する。

次に、算出した最大値と全探索線６２上の平均輝度７０の平均値との比率が一定以上であるか否かを判定する（ステップＳＴ２０３）。つまり、平均輝度７０の算出を行った全探索線６２の平均輝度７０の平均値である平均輝度平均値７１を算出し、平均輝度最大値７５と、この平均輝度平均値７１との比率が一定以上であるか否かを判定する。この判定を行う場合に用いる平均輝度最大値７５と平均輝度平均値７１との比率は、走路境界区画線検出装置２での白線４５の検出精度等に基づいて、任意の値を設定するのが好ましい。

この判定により、平均輝度最大値７５と平均輝度平均値７１との比率が一定以上ではないと判定された場合（ステップＳＴ２０３、Ｎｏ判定）には、これらを満たす探索線６２は未検出であると判定（ステップＳＴ２０４）し、この処理手順から抜け出る。

これに対し、平均輝度最大値７５と平均輝度平均値７１との比率が一定以上であると判定された場合（ステップＳＴ２０３、Ｙｅｓ判定）には、次に、平均輝度最大値７５は極大値であるか否かを判定する（ステップＳＴ２０５）。つまり、探索範囲６０には、塗料のかすれや路面の汚れ等によって複数の探索線６２の平均輝度７０に、平均輝度最大値７５が複数存在する場合もあり、複数の平均輝度最大値７５が、平均輝度平均値７１に対して比率が一定以上になることがある。このため、算出した平均輝度最大値７５は、平均輝度７０の中で、唯一の、平均輝度平均値７１に対して比率が一定以上となる平均輝度最大値７５である、平均輝度７０の極大値であるか否かを判定する。

この判定により、平均輝度最大値７５は極大値ではないと判定された場合（ステップＳＴ２０５、Ｎｏ判定）には、平均輝度７０の中で、唯一の、平均輝度平均値７１に対して比率が一定以上となる平均輝度最大値７５の輝度になる探索線６２は未検出であると判定（ステップＳＴ２０４）し、この処理手順から抜け出る。

これに対し、平均輝度最大値７５は極大値であると判定された場合（ステップＳＴ２０５、Ｙｅｓ判定）には、平均輝度７０の中で、唯一の、平均輝度平均値７１に対して比率が一定以上となる平均輝度最大値７５の輝度になる探索線６２を検出したと判定する（ステップＳＴ２０６）。

図１３は、白線候補線についての説明図である。平均輝度最大値７５となる平均輝度７０を有し、当該平均輝度最大値７５の輝度が、平均輝度平均値７１に対して一定以上になる探索線６２であると検出された探索線６２は、低信頼度白線４７の推定に用いる走路境界区画線候補となる白線候補線６５として設定する。つまり、走路パラメータ再推定部３７は、複数の探索線上輝度情報を比較することにより、複数の探索線６２の中に、低信頼度白線４７を推定する白線候補線６５に用いることができる探索線６２として、最も信頼度の高い探索線６２があるか否かを判定する。走路パラメータ再推定部３７は、この判定により、白線候補線６５として最も信頼度の高い探索線６２があると判定される場合は、当該探索線６２を走路境界区画線候補線である白線候補線６５として選択し、白線候補線６５として最も信頼度の高い探索線６２はないと判定される場合は、複数の探索線６２のいずれも白線候補線６５として選択しない。

走路パラメータ再推定部３７は、これらの処理を行うことにより、白線候補線６５として選択することができる、平均輝度７０が最大・極大になる探索線６２はあるか否かを判定する。この判定により、平均輝度７０の中で、唯一の、平均輝度平均値７１に対して比率が一定以上となる平均輝度最大値７５の輝度になる探索線６２を検出したと判定され（ステップＳＴ２０６）、平均輝度７０が最大・極大になる探索線６２はあると判定された場合（ステップＳＴ１１１、Ｙｅｓ判定）は、検出フラグをＯＮにする（ステップＳＴ１１２）。即ち、平均輝度７０が最大・極大になる探索線６２はあると判定され、この探索線６２が白線候補線６５として選択されたら、低信頼度白線４７に対応する検出フラグをＯＮにする。

低信頼度白線４７に対応する検出フラグをＯＮにしたら、走路パラメータを出力する（ステップＳＴ１１３）。つまり、高信頼度白線４６の走路パラメータと、低信頼度白線４７の走路パラメータとを出力する。このうち、低信頼度白線４７の走路パラメータは、高信頼度白線４６に対する白線候補線６５のオフセット量を、高信頼度白線４６の走路パラメータに追加したものを、低信頼度白線４７のパラメータとして出力する。走路境界区画線検出装置２は、このように左右両側の白線４５の走路パラメータを出力することにより、カメラ１５で撮像した画像１６中におけるレーン４１の左右両側に位置する白線４５の検出結果を出力する。走路境界区画線検出装置２から出力された白線４５の走路パラメータは、車両１の走行時の安全制御や、ドライバの運転支援をするための制御など、車両１の走行制御時における他の制御で適宜使用される。

また、白線４５は左右両側検出できたと判定された場合（ステップＳＴ１０８、Ｙｅｓ判定）も同様に、走路パラメータを出力する（ステップＳＴ１１３）。この場合は、自車が走行するレーン４１の左右両側に位置する白線４５のそれぞれの走路パラメータの推定が完了しているので、左右両側の白線４５の走路パラメータを出力する。

これらに対し、平均輝度７０の中で、唯一の、平均輝度平均値７１に対して比率が一定以上となる平均輝度最大値７５の輝度になる探索線６２は未検出であると判定され（ステップＳＴ２０４）、平均輝度７０が最大・極大になる探索線６２は無いと判定された場合（ステップＳＴ１１１、Ｎｏ判定）は、検出フラグを維持する（ステップＳＴ１１４）。即ち、平均輝度７０が最大・極大になる探索線６２は無いと判定され、いずれの探索線６２も白線候補線６５として選択されない場合は、低信頼度白線４７に対応する検出フラグは、ＯＦＦの状態を維持する。

このように、白線候補線６５が未選択で、検出フラグが維持される場合も、走路パラメータを出力する（ステップＳＴ１１３）。この場合は、高信頼度白線４６の走路パラメータのみを出力する。つまり、低信頼度白線４７を推定することができる白線候補線６５が、複数の探索線６２の中から選択されない場合は、低信頼度白線４７の走路パラメータを精度よく推定することは、困難なものとなる。このため、白線候補線６５が未選択であることにより、低信頼度白線４７に対応する検出フラグがＯＦＦの状態で維持される場合は、低信頼度白線４７の走路パラメータは出力せず、高信頼度白線４６の走路パラメータのみを出力する。

以上の実施形態に係る走路境界区画線検出装置２は、カメラ１５で撮像した画像１６より道路４０の白線４５を検出し、左右の白線４５のうち一方の白線４５の検出信頼度が低い場合は、複数の探索線６２を設定して、複数の探索線６２の探索線上輝度情報を比較することにより、複数の探索線６２の中に白線候補線６５に用いることができる探索線６２があるか否かを判定する。この判定によって、白線候補線６５として最も信頼度の高い探索線６２はないと判定される場合は、複数の探索線６２のいずれも白線候補線６５として選択しないため、検出信頼度が低い状態で白線４５を補正すること抑制することができる。この結果、誤った検出が行われることを抑制することができる。

〔変形例〕
なお、上述した実施形態に係る走路境界区画線検出装置２では、複数の探索線６２の中から白線候補線６５を選択する際に、画像１６中の高信頼度白線４６に基づいて設定した探索線６２より、白線候補線６５の有無を判定しているのみであるが、低信頼度白線４７の検出精度をより高める手法を用いてもよい。低信頼度白線４７の検出精度をより高める際には、例えば探索線６２を複数の領域に分割してそれぞれの領域ごとに白線候補線６５を選択し、白線候補線６５として選択した探索線６２をグループ化することにより、低信頼度白線４７の推定を行ってもよい。

図１４は、探索線を複数の領域に分割して低信頼度白線を推定する際における処理手順を示すフロー図である。図１５は、分割距離を設定して低信頼度白線を検出する場合の説明図である。低信頼度白線４７の検出精度をより高める際には、まず、探索範囲６０を複数の領域に分割する（ステップＳＴ３０１）。具体的には、図１５に示すように、ＥＣＵ２０の走路パラメータ再推定部３７で低信頼度白線４７の探索を行う範囲を、探索線６２の延在方向において、所定の分割距離Ｄｓごとに複数の領域に複数の探索線６２を分割し、分割距離Ｄｓごとに分割された探索領域８０を複数設定する。

図１６は、領域ごとに白線候補線を選択した状態を示す説明図である。次に、各探索領域８０毎に、白線候補線６５を探索する（ステップＳＴ３０２）。つまり、各探索領域８０ごとに探索線６２の平均輝度７０を算出し、算出した平均輝度７０に基づいて、白線候補線６５として最も信頼度の高い探索線６２があるか否かを判定することにより、探索領域８０毎に白線候補線６５を探索する。

図１７は、白線候補線として選択された探索線のグループ化についての説明図である。次に、各探索領域８０の白線候補線６５のグループ化を行う（ステップＳＴ３０３）。このグループ化を行う際には、まず、白線候補線６５として探索領域８０ごとに選択した探索線６２のうち、探索線６２の延在方向に隣接する探索領域８０の探索線６２同士の車幅方向における位置を比較する。即ち、隣接する探索領域８０同士で、それぞれ白線候補線６５として選択した探索線６２同士の左右方向における距離が、所定の範囲内に位置しているか否かを判定する。この判定により、隣接する探索領域８０で、それぞれ白線候補線６５として選択した探索線６２同士の左右方向における位置が、所定の範囲内に位置する場合は、当該探索線６２同士を、同一の走路境界区画線候補としてグループＧ化する。これに対し、探索線６２の延在方向に隣接する領域の探索線６２同士の車幅方向における位置が所定の範囲内に位置しない場合は、当該探索線６２同士を同一の走路境界区画線候補としてグループＧ化しない

なお、このグループＧの判定を行う際に用いる探索線６２同士の左右方向における所定の範囲は、例えば、白線４５の幅相当の幅など、隣接する探索領域８０でそれぞれ白線候補線６５として選択した探索線６２同士が、１つの白線４５を示していると判断できる範囲を予め設定し、ＥＣＵ２０の記憶部に記憶しておくのが好ましい。

これらのように、複数の探索領域８０ごとに、白線候補線６５として信頼度の高い探索線６２を選択し、これらの探索線６２同士が所定の範囲内に位置する場合はグループＧ化することにより、道路４０上のかすれ線等の中から、白線４５であると判断できる線を検出し易くすることができる。この結果、より確実に、検出信頼度が低い状態で白線４５を補正すること抑制することができ、誤った検出が行われることを抑制することができる。

また、上述した実施形態に係る走路境界区画線検出装置２は、レーン４１の左右に位置する白線４５のうちのいずれか一方の検出の信頼度が低い場合は、高信頼度白線４６に基づいて複数の探索線６２を設定しているが、探索線６２は、高信頼度白線４６以外に基づいて設定してもよい。

図１８は、縁石に基づいて探索線を設定する場合の説明図である。探索線６２を高信頼度白線４６以外に基づいて設定する際には、例えば、前記自車両の走行する路面上の車幅方向における端部に位置する縁石９０等の立体的な走路境界の形状情報に基づいて設定してもよい。なお、走路境界としては、縁石９０以外を用いてもよく、例えば、道路４０の端部に位置する路肩や、道路４０の端部に設置されるガードレール、側壁等を、探索線６２の設定に用いる走路境界として用いてもよい。以下の説明では、走路境界として縁石９０を用いる場合について説明する。

図１９は、縁石に基づいて探索線を設定する場合における処理手順を示すフロー図である。探索線６２の設定に縁石９０を用いる場合も、まず、カメラ１５で撮像した画像１６を画像取得部２５で取得（ステップＳＴ１０１）し、取得した画像１６に基づいて、縁石９０があるか否かを判定する（ステップＳＴ４０１）。つまり、画像取得部２５で取得した画像１６に基づいて、自車が走行している道路４０の左右方向における端部に縁石９０があるか否かを、ＥＣＵ２０の走路パラメータ再推定部３７で判定する。この判定により、縁石９０はないと判定された場合（ステップＳＴ４０１、Ｎｏ判定）は、画像取得部２５で取得した画像１６中のエッジ点を検出し、このエッジ点に基づいて、白線４５の検出を行う。

これに対し、縁石９０はあると判定された場合（ステップＳＴ４０１、Ｙｅｓ判定）は、縁石９０の検出処理を行う（ステップＳＴ４０２）。この縁石９０の検出処理は、公知の手法により行い、例えば、ステレオカメラを用いたり、レーザーを用いたりすることにより、縁石９０の立体形状を含む縁石９０の形状を検出し、縁石９０から得られる走路パラメータを検出する。つまり、縁石９０の形状に基づいて、曲率や曲率変化率、オフセット、ヨー角等の走路パラメータを推定する。

縁石９０の検出処理を行ったら、次に、複数の探索線６２を作成する（ステップＳＴ４０３）。つまり、縁石９０の形状に基づいて推定した走路パラメータを基準に、低信頼度白線４７を探索する探索範囲６０を設定する。この探索範囲６０は、実施形態に係る走路境界区画線検出装置２において、高信頼度白線４６に基づいて探索範囲６０を設定する場合と同様に、縁石９０から低信頼度白線４７側に走路幅Ｗｒの分シフトさせた位置から縁石９０に近付く方向に（走路幅Ｗｒ×α）となる位置から、縁石９０から低信頼度白線４７側に走路幅Ｗｒの分シフトさせた位置から縁石９０から離れる方向に（走路幅Ｗｒ×α）となる位置までの範囲である白線探索範囲Ｒｓを、探索範囲６０として設定する。探索範囲６０を設定したら、探索範囲６０内に、左右方向にそれぞれ異なる位置に、探索線６２を複数設定する。

このように、縁石９０に基づいて複数の探索線６２を作成し、白線４５の検出を行うことにより、左側の白線４５と右側の白線４５とが未検出の場合でも、縁石９０に基づいて白線４５の検出を行うことができる。例えば、自車が走行する道路４０の左端に位置する縁石９０が検出できた場合は、過去の縁石９０の検出結果とレーン４１の左端に位置する白線４５の走路パラメータとに基づいて、検出した縁石９０と、レーン４１の左端に位置する白線４５の左右方向における位置の差に基づいて、探索範囲６０を設定する。左端に位置する白線４５を探索する探索範囲６０を設定したら、複数の探索線６２を設定し、この探索線６２に基づいて、左端に位置する白線４５を推定する（ステップＳＴ１１０〜ＳＴ１１４）。

これにより、レーン４１の左端に位置する白線４５を推定したら、この白線４５の走路パラメータを基準に、レーン４１の右端に位置する白線４５を探索する探索範囲６０を設定する。さらに、この探索範囲６０に、複数の探索線６２を設定することにより、この探索線６２に基づいて、レーン４１の右端に位置する白線４５を推定する（ステップＳＴ１１０〜ＳＴ１１４）。

このように、縁石９０等の走路境界に基づいて白線４５の検出を行うことにより、複数の検出基準に基づいて白線４５を検出するため、白線４５の検出精度を高めると共に、誤った検出が行われることを、より確実に抑制することができ、また、左右両端の白線４５の検出信頼度が低い場合でも、縁石９０等の走路境界に基づいて白線４５を検出することができる。また、縁石９０等の走路境界に基づいて白線４５の検出を行うことにより、路面の端部に白線４５などの走路境界区画線が存在しない走行環境であっても、路肩やガードレール、側壁などの立体的な走路境界の検出結果に基づいて、もう一方側の走路境界区画線の探索を実行することができる。

また、上述した走路境界区画線検出装置２では、自車が走行するレーン４１の左右両端に位置する白線４５の検出を行っているが、自車が走行するレーン４１以外の白線４５の検出を行ってもよい。例えば、自車が走行するレーン４１の白線４５の検出を行った後、検出した白線４５の走路パラメータを基準に、自車が走行するレーン４１に隣接するレーン４１の白線４５を検出してもよい。これにより、隣接するレーン４１の状態を認識することができ、車両１の走行時の安全性やドライバの運転操作を支援する制御を行う際に、より広範囲の情報に基づいた適切な制御を行うことができる。

１ 車両
２ 走路境界区画線検出装置
１０ ルーフ
１１ フロントウィンドウ
１５ カメラ（撮像手段）
１６ 画像
２０ ＥＣＵ（境界区画線検出手段）
２５ 画像取得部
３１ エッジ検出部
３２ エッジペアリング部
３３ エッジ線分検出部
３４ エッジ線分ペアリング部
３５ 白線境界選択部（走路境界検出部）
３６ 走路パラメータ推定部
３７ 走路パラメータ再推定部（走路境界区画線探索部）
４０ 道路
４１ レーン
４５ 白線（走路境界区画線）
４６ 高信頼度白線（高信頼度走路境界区画線）
４７ 低信頼度白線（低信頼度走路境界区画線）
５０ 明度
５１ 上りエッジ
５２ 下りエッジ
５５ 明度変化線
５６ 上りエッジ点
５７ 下りエッジ点
５８ 不要エッジ点
６０ 探索範囲
６２ 探索線
６５ 白線候補線
７０ 平均輝度
７１ 平均輝度平均値
７５ 平均輝度最大値
８０ 探索領域
９０ 縁石（走路境界）

Claims (3)

1. 自車両の前方を撮像する撮像装置と、
   前記撮像装置で撮像された撮像領域内の画像情報に基づいて前記自車両の走行する路面上の走路境界を検出する走路境界検出部と、
   前記走路境界検出部によって検出された走路境界であって、且つ、前記車両の両側の走路境界のうちの片側の走路境界の位置に基づいて、車幅方向において前記片側の走路境界に対して前記車両を挟んで反対側の路面上に走路境界区画線を探索する走路境界区画線探索部と、
   を備え、
   前記走路境界区画線探索部は、前記反対側の路面上の位置に、互いに走路上の位置が車幅方向に異なる複数の探索線を前記片側の走路境界の形状情報に基づいて設定し、
   複数の前記探索線のそれぞれの線上における輝度情報である探索線上輝度情報を前記画像に基づいて取得し、複数の前記探索線上輝度情報を比較することにより、複数の前記探索線の中に、走路境界区画線候補に用いることができる前記探索線として最も蓋然性の高い前記探索線があるか否かを判定し、
   前記走路境界区画線として最も蓋然性の高い前記探索線があると判定される場合は、当該探索線を走路境界区画線候補線として選択する一方で、前記走路境界区画線として最も蓋然性の高い前記探索線があると判定されない場合は、複数の前記探索線のいずれも前記走路境界区画線候補線として選択しないことを特徴とする走路境界区画線検出装置。
2. 前記走路境界区画線探索部は、前記自車両の走行する路面上の車幅方向における端部に位置する立体的な走路境界の形状情報に基づいて前記探索線を設定する請求項１に記載の走路境界区画線検出装置。
3. 前記走路境界区画線探索部は、前記探索線の延在方向において複数の領域に複数の前記探索線を分割し、分割されたそれぞれの領域ごとに、前記走路境界区画線候補線として最も蓋然性の高い前記探索線があるか否かを判定し、
   前記走路境界区画線候補線として領域ごとに選択した前記探索線のうち、前記延在方向に隣接する領域の前記探索線同士の車幅方向における位置が所定の範囲内に位置する場合は、当該探索線同士を同一の走路境界区画線候補としてグループ化する請求項１または２に記載の走路境界区画線検出装置。

Images