JP2003067755A - 道路白線認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 道路白線を誤検出した場合における、道路パ
ラメータの精度の低下を抑制し、道路パラメータを用い
た処理の継続を可能にする。 【解決手段】 カメラ１で撮像した撮像画像に対し、撮
像画像において左右の道路白線を検出するための複数の
ウィンドウＷｗを設定し（ステップＳ１、Ｓ２）、各ウ
ィンドウＷｗ毎に白線候補点Ｌを検出し（ステップＳ
３）、これに基づいて道路パラメータＳを推定する（ス
テップＳ４）。左右の道路白線に対応するステップＳ３
で検出した白線候補点Ｌに基づいて、左右の検出白線が
実線であるか破線であるかを判定し（ステップＳ６）、
一方が実線、他方が破線であるとき、破線側の検出白線
の信頼度評価を行い（ステップＳ７）、破線側の検出白
線の信頼度が低いときには実線側の検出白線のみに基づ
いて道路パラメータＳを推定し直す（ステップＳ９）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、道路上の通行区
分帯表示用の白線を認識するための道路白線認識装置に
関する。

【０００２】

【従来の技術】従来より、画像によって白線を認識し、
自車両と白線との関係から、車両の自動制御又は一部自
動制御に用いたりする技術が提案されている。例えば、
特開平８−２６１７５６号公報では、車載テレビカメラ
で撮像した撮像画像に対し、エッジ強調等の画像処理を
施して、道路白線候補箇所を強調した後、前回のレーン
形状を表すパラメータ及びその分散に基づいて探索領域
を設定し、この探索領域内のエッジ線分を道路白線候補
として選択し、エッジ線分の画像上の位置に基づいてレ
ーン形状のパラメータとその分散とを更新するようにし
ている。

【０００３】そして、このようにして更新したレーン形
状のパラメータとその分散とをもとに、撮像画像に対し
次の探索領域を設定し、上記と同様にしてレーン形状の
パラメータ及びその分散を算出し、この処理を繰り返す
ことによって、図１１に示すように、撮像画像におい
て、自車両近傍から前方方向に向けて左右の白線に順次
探索領域を設定し、レーン形状のパラメータ及びその分
散を順次算出するようになっている。このようにするこ
とによって、レーン形状のパラメータとその分散とに基
づいて探索領域の幅を適切に狭めることができ、紛らわ
しいエッジ線分との誤認を防止するようにしている。

【０００４】

【発明が解決しようとする課題】ここで、上記従来の方
法にあっては、車両近傍においては、レーン境界と、例
えばガードレール、車両等といった他の構造物との誤認
が少ないということを前提としている。しかしながら、
実際には、例えば雨天時等には、車両近傍であっても水
膜のエッジが白線として誤認識される場合がある。この
ような場合には、誤認識結果を用いて遠方の探索領域が
狭められるため、道路白線候補を見失ったり、さらに
は、誤って設定された探索領域において、別のエッジを
道路白線として誤認識してしまう可能性もある。このた
め、レーン形状のパラメータの精度が低下し、例えば上
位プログラムにおいて、算出されたレーン形状のパラメ
ータに基づいて処理を行っているような場合等には、パ
ラメータの精度によっては、処理を中断せざるを得ない
という問題がある。

【０００５】そこで、この発明は、上記従来の未解決の
問題に着目してなされたものであり、道路白線を誤検出
した場合における、道路形状を表すパラメータの推定精
度の低下を抑制し、継続して道路白線認識を行うことの
可能な道路白線認識装置を提供することを目的としてい
る。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１に係る道路白線認識装置は、車両
周囲の画像を撮像する撮像手段と、当該撮像手段の撮像
画像を処理して道路上の左右の道路白線を検出する白線
検出手段と、当該白線検出手段の検出結果に基づいて道
路形状を表すパラメータを推定するパラメータ推定手段
と、前記白線検出手段で検出した道路白線が破線である
か実線であるかを検出する破線検出手段と、当該破線検
出手段での検出結果に基づき、前記左右の道路白線とし
て検出された道路白線のうち一方のみが破線であると判
定されるときに、当該破線側の道路白線の検出信頼度を
評価する評価手段と、当該評価手段で、前記破線側の道
路白線の検出信頼度が低いと判定されるとき、実線側の
道路白線のみに基づいて前記パラメータを推定し直すパ
ラメータ再推定手段と、を備えることを特徴としてい
る。

【０００７】また、請求項２に係る道路白線認識装置
は、車両周囲の画像を撮像する撮像手段と、当該撮像手
段の撮像画像を処理して道路上の左右の道路白線を検出
する白線検出手段と、当該白線検出手段の検出結果に基
づいて道路形状を表すパラメータを推定するパラメータ
推定手段と、前記白線検出手段で検出した道路白線が破
線であるか実線であるかを検出する破線検出手段と、当
該破線検出手段での検出結果に基づき、前記左右の道路
白線として検出された道路白線のうち一方のみが破線で
あると判定されるときに、当該破線側の道路白線の検出
信頼度を評価する評価手段と、当該評価手段で、前記破
線側の道路白線の検出信頼度が低いと判定されるとき、
実線側の道路白線のみに基づいて前記パラメータを再度
推定する実線側パラメータ推定手段と、当該実線側パラ
メータ推定手段で推定した実線側パラメータに基づき、
破線側の道路白線を再検出するための探索領域を前記撮
像画像に対して設定し、この探索領域について破線側の
道路白線を再度検出する白線再検出手段と、前記白線検
出手段で検出された実線側の道路白線と前記白線再検出
手段で検出された破線側の道路白線とに基づいて前記パ
ラメータを推定し直すパラメータ再推定手段と、を備え
ることを特徴としている。

【０００８】また、請求項３に係る道路白線認識装置
は、車両周囲の画像を撮像する撮像手段と、当該撮像手
段の撮像画像に対して道路形状を表すパラメータ及びそ
の誤差共分散に基づいて探索領域を設定し、当該探索領
域毎に白線候補点を検出して左右の道路白線を検出する
白線検出手段と、当該白線検出手段で検出した白線候補
点に基づいて、拡張カルマンフィルタを用いて前記パラ
メータ及びその誤差共分散を推定するパラメータ推定手
段と、前記白線検出手段で検出した道路白線が破線であ
るか実線であるかを検出する破線検出手段と、当該破線
検出手段での検出結果に基づき、前記左右の道路白線と
して検出された道路白線のうち一方のみが破線であると
判定されるときに、当該破線側の道路白線の検出信頼度
を評価する評価手段と、当該評価手段で、前記破線側の
道路白線の検出信頼度が低いと判定されるとき、実線側
の道路白線を構成する前記白線候補点のみに基づいて前
記パラメータ及びその誤差共分散を再度推定する実線側
パラメータ推定手段と、当該実線側パラメータ推定手段
で推定した実線側パラメータに基づき、破線側の道路白
線を再検出するための探索領域を前記撮像画像に対して
設定し、この探索領域について破線側の道路白線を再度
検出する白線再検出手段と、前記白線検出手段で検出さ
れた実線側の道路白線を構成する白線候補点及び前記白
線再検出手段で検出された破線側の道路白線を構成する
白線候補点に基づいて前記パラメータ及びその誤差共分
散を推定し直すパラメータ再推定手段と、を備えること
を特徴としている。

【０００９】また、請求項４に係る道路白線認識装置
は、前記実線側パラメータ推定手段は、前記白線候補点
に基づいて前記実線側の道路白線の検出信頼度を評価
し、この検出信頼度が低いと判定されるときには前記白
線候補点のうち誤差が最大のものを検出して当該白線候
補点を除く白線候補点を用いて前記実線側パラメータを
再度推定し、前記実線側の道路白線の検出信頼度が高い
と判定されるまで前記白線候補点を順次除去して前記実
線側パラメータを推定し、前記パラメータ再推定手段
は、前記実線側パラメータ推定手段での前記実線側パラ
メータの推定の際に、前記白線候補点の個数がしきい値
を下回るときには、予め設定した所定値を前記パラメー
タ及びパラメータ共分散の推定値として設定し直すよう
になっていることを特徴としている。

【００１０】また、請求項５に係る道路白線認識装置
は、車両周囲の画像を撮像する撮像手段と、当該撮像手
段の撮像画像を処理して道路上の左右の道路白線を検出
する白線検出手段と、当該白線検出手段の検出結果に基
づいて道路形状を表すパラメータを推定するパラメータ
推定手段と、前記白線検出手段で検出された左右の道路
白線に対し、その検出信頼度を評価する評価手段と、当
該評価手段で、検出信頼度が高いと判定された側の道路
白線のみに基づいて前記パラメータを再度推定する高信
頼度側パラメータ推定手段と、当該高信頼度側パラメー
タ推定手段で推定した高信頼度側パラメータに基づき、
検出信頼度が低いと判定された側の道路白線を再検出す
るための探索領域を前記撮像画像に対して設定し、この
探索領域について道路白線を再度検出する白線再検出手
段と、前記白線検出手段で検出され且つ前記検出信頼度
が高いと判定された側の道路白線と前記白線再検出手段
で検出された道路白線とに基づいて前記パラメータを推
定し直すパラメータ再推定手段と、を備えることを特徴
としている。

【００１１】また、請求項６に係る道路白線認識装置
は、車両周囲の画像を撮像する撮像手段と、当該撮像手
段の撮像画像に対して道路形状を表すパラメータ及びそ
の誤差共分散に基づいて探索領域を設定し、当該探索領
域毎に白線候補点を検出して左右の道路白線を検出する
白線検出手段と、当該白線検出手段で検出した白線候補
点に基づいて、拡張カルマンフィルタを用いて前記パラ
メータ及びその誤差共分散を推定するパラメータ推定手
段と、前記白線検出手段で検出された左右の道路白線に
対し、その検出信頼度を評価する評価手段と、当該評価
手段で、検出信頼度が高いと判定された側の道路白線の
みに基づいて前記パラメータ及びその誤差共分散を再度
推定する高信頼度側パラメータ推定手段と、当該高信頼
度側パラメータ推定手段で推定した高信頼度側パラメー
タに基づき、検出信頼度が低いと判定された側の道路白
線を再検出するための探索領域を前記撮像画像に対して
設定し、この探索領域について道路白線を再度検出する
白線再検出手段と、前記白線検出手段で検出され且つ前
記検出信頼度が高いと判定された側の道路白線を構成す
る白線候補点と前記白線再検出手段で検出された道路白
線を構成する白線候補点とに基づいて前記パラメータ及
びその誤差共分散を推定し直すパラメータ再推定手段
と、を備えることを特徴としている。

【００１２】また、請求項７に係る道路白線認識装置
は、前記評価手段は、前記パラメータから想定される道
路白線の推定位置と、前記白線検出手段及び／又は前記
白線再検出手段で検出された道路白線との偏差に基づく
指標がしきい値を超えるとき、信頼度が低いと評価する
ようになっていることを特徴としている。さらに、請求
項８に係る道路白線認識装置は、前記白線検出手段及び
／又は前記白線再検出手段は、前記撮像画像に対して複
数の探索領域を設定し、当該探索領域毎に白線候補点を
検出してこれに基づき道路白線を検出する手段であっ
て、前記評価手段は、前記白線検出手段で検出された白
線候補点の数がしきい値を下回るとき、信頼度が低いと
評価するようになっていることを特徴としている。

【００１３】

【発明の効果】本発明の請求項１乃至３に係る道路白線
認識装置によれば、撮像画像から検出した左右の道路白
線の一方のみが破線であり、且つその検出信頼度が低い
と評価されるときには、実線側の道路白線のみに基づい
てパラメータを推定し直すようにしたから、疑似白線の
誤検出等によって破線側の道路白線が誤検出された場合
であっても、誤検出の生じる可能性の少ない実線側の道
路白線のみに基づくパラメータを得ることができる。よ
って、疑似白線の誤検出等に起因するパラメータの推定
精度の低下を抑制することができ、前記パラメータに基
づき上位プログラムにおいて処理を行うような場合であ
っても、処理を継続して行うことができる。

【００１４】また、請求項２及び３に係る道路白線認識
装置によれば、撮像画像から検出した左右の道路白線の
一方のみが破線であり、且つその検出信頼度が低いと評
価されるときには、実線側の道路白線のみに基づいてパ
ラメータを推定し、この推定したパラメータに基づいて
探索領域を再度設定して破線側の道路白線を再度検出
し、この再度検出した破線側の道路白線と、先に検出し
た道路白線とに基づいてパラメータを推定し直すように
したから、信頼度の高いと予測される実線側の道路白線
と、この実線側の道路白線に基づき探索領域を設定して
検出した破線側の道路白線とに基づいてパラメータが推
定されることになって、実線側の道路白線のみに基づい
てパラメータを再度推定する場合に比較して、よりパラ
メータの推定精度を向上させることができる。

【００１５】特に、請求項３に係る道路白線認識装置に
よれば、拡張カルマンフィルタを用いてパラメータ及び
その誤差共分散を検出しこれに基づいて撮像画像から道
路白線を検出するための探索領域や、破線側の道路白線
を再検出するための探索領域を設定するようにしている
から、探索領域を的確に設定することができ、その分道
路白線の検出精度を向上させることができる。

【００１６】また、請求項４に係る道路白線認識装置に
よれば、実線側の道路白線のみに基づいてパラメータを
推定する際に、実線側の道路白線の検出信頼度が低いと
評価された場合には、実線側の道路白線を構成する白線
候補点のうちの誤差が最大のものを除去し、残りの白線
候補点を用いて実線側パラメータを検出して信頼度の高
い実線側パラメータを得るようにしたから、パラメータ
の推定精度をより向上させることができる。また、この
とき、残りの白線候補点数がしきい値を下回るときには
これらに基づくパラメータの推定を行わず予め設定した
所定値をパラメータとして設定し直すようにしているか
ら、信頼度の評価において白線候補点数が少ないことに
起因して信頼性が高いと誤判定されることを回避するこ
とができる。

【００１７】また、請求項５及び６に係る道路白線認識
装置によれば、撮像画像から検出した左右の道路白線の
うち、検出信頼度が高いと判定された側の道路白線のみ
に基づいてパラメータを再度推定し、この再度推定した
高信頼度側パラメータに基づき設定した探索領域におい
て道路白線を再度検出し、先に検出信頼度が高いと判定
された側の道路白線と再度検出した信頼度が低いと判定
された側の道路白線とに基づいてパラメータを推定し直
すようにしたから、信頼度の低い側の道路白線の信頼度
をより向上させ、これに基づいてパラメータを推定する
ことによって、その推定精度をより向上させることがで
きる。

【００１８】特に、請求項６に係る道路白線認識装置に
よれば、拡張カルマンフィルタを用いてパラメータ及び
その誤差共分散を検出しこれに基づいて撮像画像から道
路白線を検出するための探索領域や、検出信頼度の低い
側の道路白線を再検出するための探索領域を設定するよ
うにしているから、探索領域を的確に設定することがで
き、その分道路白線の検出精度を向上させることができ
る。

【００１９】また、請求項７に係る道路白線認識装置に
よれば、推定したパラメータから想定される道路白線の
推定位置と、白線検出手段或いは白線再検出手段で検出
された道路白線との偏差に基づく指標に基づいて、前記
道路白線の検出信頼度の評価を行うようにしたから、容
易且つ的確に検出信頼度の評価を行うことができる。さ
らに、請求項８に係る道路白線認識装置によれば、道路
白線を構成する白線候補点の検出数が、しきい値を下回
るときには道路白線の検出信頼度が低いと評価するよう
にしているから、道路白線の信頼度の評価を的確に行う
ことができる。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。まず、本発明の第１の実施の形態
を説明する。図１は、第１の実施の形態の構成を示す図
である。ＣＣＤカメラ等で構成されるカメラ１は、図２
に示すように、車幅方向中央の、車室内のフロントウィ
ンドウ上部に、レンズの光軸と車両中心線とのヨー角が
零、ピッチ角がαとなるように取り付けられ、車両前部
の道路を含む車両の周囲環境を撮像する。画像処理装置
２は、カメラ１からの撮像情報に対し所定の処理を行
う。メモリ３は、後述する道路白線検出処理プログラム
や道路形状及び車両挙動を表す道路パラメータ等を記憶
する。制御コントローラ４は、画像処理装置２で所定の
処理を施した画像データをもとに白線検出を行い、白線
検出の結果に基づいて道路パラメータを推定し、推定結
果を前記メモリ３に記憶する。

【００２１】図３は、制御コントローラ４で実行される
道路白線を検出するための道路白線検出処理の処理手順
の一例を示すフローチャートである。なお、この道路白
線検出処理は、予め設定した所定周期で実行される。ま
ず、ステップＳ１で、画像処理装置２から１フレームの
画像データを読み込み、次いでステップＳ２に移行し、
ステップＳ１で読み込んだ画像データに対し、例えば図
４に示すように、複数のウィンドウＷｗ（ｗ＝１〜ｗn
（ｗn はウィンドウの数））を設定する。

【００２２】なお、各フレームでは、図４に示すよう
に、例えばその左上を原点とし、画像右方をＸ軸の正方
向、画像左方向をＸ軸の負方向とする。また、各ウィン
ドウのＹ方向、つまり画像上下方向のウィンドウ位置を
予め設定しておき、例えば、各ウィンドウＷｗの上辺及
び下辺のｙ座標をそれぞれ設定しておく。前記ウィンド
ウＷｗは、図５に示すように、ウィンドウ中心座標ＷＭ
ｗ（ＸＭ、ＹＭ）を基準として設定する。なお、各ウィ
ンドウＷｗの上辺及び下辺のＹ座標は前述のように予め
設定されているので、ここではウィンドウＷｗの左右方
向の幅を設定する。

【００２３】ここで、例えば本出願人が先に提案した特
開平１１−２８１３５２号公報に記載されているよう
に、画像データから検出される道路白線であると予測さ
れる白線候補点（Ｘ，Ｙ）では、道路モデルを、各種道
路パラメータを用いて次式（１）で近似することができ
る。なお、この（１）式は、例えば、「自動車技術学会
２０００年秋季大会前刷集 拡張カルマンフィルタを用
いた車線追従制御の検討」等に、（１）式と等価な式が
記載されている。

【００２４】 Ｘ＝(-A+I*E0) ×(Y+f*D+D0)／(H+H0)−B*(H+H0)*f² ／(Y+f*D+D0)−C*f ……（１） したがって、前記ウィンドウ中心座標ＷＭｗ（ＸＭ、Ｙ
Ｍ）が白線候補点であるならば、ウィンドウ中心座標Ｗ
Ｍｗ（ＸＭ、ＹＭ）についても同様に、前記（１）式が
成り立つ。

【００２５】なお、式中の、｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝
は、レーン形状を指定するパラメータであり、Ａは自車
両の車線に対する横変位、Ｂは道路曲率、Ｃは自車両の
車線に対するヨー角、（Ｄ＋Ｄ０）はカメラ１の光軸に
対するピッチ角であり、Ｄ０は定常値である。また、
（Ｈ＋Ｈ０）はカメラ１の路面からの高さであって、Ｈ
０は定常値である。また、Ｅ０は車線幅つまり、左白線
及び右白線間の距離であり、ここでは定数とする。ま
た、ｆはカメラ１のカメラ透視変換係数であり、さら
に、Ｉは左白線であるときには“０”、右白線であると
きには“１”に設定される。

【００２６】前記（１）式を用いて、ウィンドウＷｗの
Ｘ方向の片幅ｘｄｗを算出する。この片幅ｘｄｗの算出
は、例えば、特開平８−２６１７５６号公報に記載され
た方法を用いて行う。まず、前記（１）式を道路パラメ
ータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の線形結合として近似す
る。前記道路モデル式（１）をＸ＝ｆ（Ａ，Ｂ，Ｃ，
Ｄ，Ｈ、Ｙ）と表すものとすると、これは、次式（２）
で近似することができる。

【００２７】 Ｘ＝df/dA*A ＋df/dB*B ＋df/dC*C ＋df/dD*D ＋df/dH*H ……（２） なお、（３）式中のdf/dβ（β＝Ａ〜Ｈ）は、関数ｆを
変数βで偏微分することを意味する。続いて、前記
（２）式を次式（３）に置き換える。 Ｘ＝[df/dA df/dB df/dC df/dD df/dH] ×[A B C D H] ^T ……（３） この（３）式を次式（４）のように定義すると、各ウィ
ンドウＷｗにおける白線候補点は、次式（５）で表すこ
とができる。

【００２８】なお、式中の添え字ｗは、各ウィンドウを
識別するための符号であって、１からウィンドウの設定
数までの値をとる。 Ｘ＝ＣＭ×[A B C D H] ^T ……（４） Ｘｗ＝ＣＭｗ×[A B C D H] ^T ……（５） ここで、〔Ｘ１ Ｘ２ ……〕^T をＺとし、〔ＣＭ１；
ＣＭ２；……〕をＣＭとし、道路パラメータ[A B C D
H] ^T をＳとすると前記（５）式は、次式（６）で表す
ことができる。なお、「；」は改行を表す。

【００２９】 Ｚ＝ＣＭ＊Ｓ ……（６） 前記道路パラメータＳの共分散行列をＭ、Ｚの観測ノイ
ズＶをＺ＝ＣＭ＊Ｓ＋Ｖと定義し、その共分散ＲをＥ
（Ｖ＊Ｖ^T ）＝Ｒとすると、ウィンドウＷｗの片側幅ｘ
ｄｗは、次式（７）で表すことができる。 ｘｄｗ＝｛３＊ｓｑｒｔ（ＣＭ＊Ｍ＊ＣＭ^T ＋Ｒ｝ｗｗ ……（７） なお、ｓｑｒｔは平方根を表し、｛ ｝ｗｗは、行列の
ｗｗ要素を表す。

【００３０】したがって、後述のステップＳ４での道路
パラメータの推定処理時に算出される、前回処理実行時
に算出した道路パラメータ推定値Ｓｂａｒ及び暫定の共
分散行列Ｍとこれらに基づき前記（１）式から算出され
るＣＭと、観測ノイズの共分散Ｒとに基づいて、前記
（７）式にしたがって、片側幅ｘｄｗを算出する。ま
た、道路パラメータ推定値Ｓｂａｒと前記（１）式の道
路モデルとに基づいて、ウィンドウ中心座標ＷＭｗのＹ
Ｍ位置に対応するＸ座標位置を算出し、これをウィンド
ウ中心座標ＷＭｗのＸ座標ＸＭとして設定する。そし
て、このウィンドウ中心座標ＷＭｗ、すなわち、白線候
補点を基準として、前記片側幅ｘｄｗを有するウィンド
ウＷｗを設定する。

【００３１】次いで、ステップＳ３に移行し、各ウィン
ドウＷｗ毎に白線候補線を設定する。この白線候補線の
設定は、例えば、まず、画像データに対し、ｓｏｂｌｅ
フィルタを適用し、輝度変化を利用して白線のエッジ検
知を行う。例えば、隣り合う画素について、左側の画素
の輝度が右側の画素の輝度よりも大きい場合に、フィル
タの出力が正値となり、逆に右側の画素の輝度が左側の
画素の輝度よりも大きい場合に、フィルタの出力が負値
となるものとすると、左白線の場合のエッジ候補点の場
合には、フィルタの出力は正値となり、右白線の場合の
エッジ候補点の場合には、フィルタの出力が負値とな
る。

【００３２】そして、このようにして得た白線のエッジ
候補点の集合から、白線候補線を得る。この処理は、例
えば公知のハフ変換、最小自乗法等を適用することがで
きる。例えばハフ変換直線近似を行う場合には、ウィン
ドウ内を通過する直線のうち、最も白線のエッジ候補点
を多く貫いたものを、白線候補線として選択する。そし
て、選択した白線候補線上の任意の点をこのウィンドウ
Ｗｗの白線候補点Ｌとして選択する。例えば、白線候補
線とウィンドウの上辺との交点を白線候補点Ｌとし、こ
の位置座標（Ｘｗｉ，Ｙｗｉ）を算出する。

【００３３】この処理を左右の各ウィンドウ毎に行い、
各ウィンドウ毎に白線候補点Ｌ（Ｘｗｉ，Ｙｗｉ）を検
出する。そして、全てのウィンドウのうち、白線候補点
Ｌを得られたウィンドウについて、その白線候補点Ｌの
位置座標（Ｘｗｉ，Ｙｗｉ）を、ウィンドウの識別番号
の順に、（Ｘｊ，Ｙｊ）として設定し、前記（６）式に
おけるＺを得る。なお、ｊ＝０〜ｊ_N であって、ｊ_N は
利用するデータの総数、つまり、ステップＳ２で設定し
た複数のウィンドウのうち、白線候補点Ｌを得られたウ
ィンドウの数に相当する。

【００３４】次いで、ステップＳ４に移行し、道路パラ
メータの推定を行う。この道路パラメータの推定は、例
えばカルマンフィルタを用いて行う。まず、道路パラメ
ータＳの振る舞いを次式（８）に示すように予め設定す
る。ここでは、道路パラメータＡ，Ｂ，Ｃ，Ｄの振る舞
いをランダムウォークモデルで記述し、Ｈの振る舞いを
一次遅れモデルで記述した例を示す。また、連続系で表
現する。

【００３５】

【数１】

【００３６】次いで、前記（８）式を離散化し、次式
（９）を得る。 Ｓ（ｉ＋１）＝Φ＊Ｓ（ｉ）＋Γ＊ｐｎｚ ……（９） なお、式（９）中のｉはサンプリングタイムであり、ま
た、ｐｎｚはプロセスノイズ、Φは離散系における推移
行列、Γは既知の行列である。ここで、前記プロセスノ
イズｐｎｚの分散を、次式（１０）と定義する。

【００３７】 Ｅ（ｐｎｚ＊ｐｎｚ^T ）＝Ｑ ……（１０） 前記（８）式中のθ及び（１０）式中のＱは、車両の振
る舞いから、公知の手順にしたがって近似される。な
お、この近似の詳細は、「最適制御入門 加藤寛一郎著
東京大学出版会」に記載されている。前記道路パラメ
ータＳは次式（１１）〜（１４）の離散系のカルマンフ
ィルタを用いて推定する。

【００３８】 Ｐ＝（Ｍ^-1＋ＣＭ^T ＊Ｒ^-1＊ＣＭ）^-1 ……（１１） Ｓ＝Ｓｂａｒ＋Ｋ（Ｚ−ＣＭ＊Ｓｂａｒ） ……（１２） Ｋ＝Ｐ＊ＣＭ^T ＊Ｒ^-1 Ｍ＝Φ＊Ｐ＊Φ^T ＋Γ＊Ｑ＊Γ^T ……（１３） Ｓｂａｒ＝Φ＊Ｓ ……（１４） なお、（１１）〜（１４）式において、Ｍ及びＳｂａｒ
は、サンプリング時間推移させたことによる暫定のパラ
メータ共分散及びパラメータ推定値である。また、Ｐ及
びＳは、前記暫定のパラメータ共分散及びパラメータ推
定値に観測の補正を加えた各サンプリングタイム最終の
パラメータ共分散及びパラメータ推定値である。また、
ウィンドウＷｗを設定する場合には、サンプリング時間
推移後、観測以前の状態であるから、前記（７）式で示
すように、パラメータ共分散はＭを使用する。

【００３９】また、前記ウィンドウ中心座標ＷＭｗ（Ｘ
Ｍ、ＹＭ）もＳｂａｒを使用した方がその精度は向上す
る。そのため、前記（１１）及び（１２）式の演算を行
った後、前記（１３）及び（１４）式の演算を行う。こ
のようにして道路パラメータを推定した後、ステップＳ
５に移行し、前記複数の白線候補点Ｌに基づいて特定さ
れる検出白線が、実線であるか破線であるかの判断を行
う。

【００４０】この判断は、左側及び右側の検出白線それ
ぞれについて行い、片側の検出白線における白線候補点
Ｌの個数が、実線判断のしきい値個数を超える状態が、
所定時間継続したときに、実線と判断する。また、片側
の検出白線における白線候補点の個数が破線判断のしき
い値個数を下回る状態が、所定時間継続したときに、破
線と判断する。なお、前記実線判断のしきい値個数及び
破線判断のしきい値個数、また、前記所定時間は、予め
実験等によって、実線又は破線とみなすことの可能な値
に設定される。

【００４１】次いで、ステップＳ６に移行し、ステップ
Ｓ５の実線破線判断処理の結果に基づき、左右の検出白
線のうち、一方が実線であり且つ他方が破線であるかど
うかを判定し、一方が実線、他方が破線であると判定さ
れる場合にはステップＳ７に移行し、一方が実線であり
且つ他方が破線ではないと判断されるとき、つまり、両
方とも実線又は両方とも破線であると判定されるときに
はそのまま処理を終了する。

【００４２】前記ステップＳ７では、破線であると判断
された検出白線の信頼度評価を行う。まず、指標ＩＮＤ
ＥＸを次式（１５）にしたがって算出する。なお、式中
のＸｈｕは、白線候補点のＸ座標の推定値であって、ス
テップＳ４で算出した道路パラメータＳと、ウィンドウ
中心座標ＷＭｗのＹ座標ＹＭと、前記（１）式とから算
出した、ウィンドウ中心座標ＷＭｗのＸ座標ＸＭであ
る。また、Ｘｍｕは、白線候補点のＸ座標の検出値であ
って、ステップＳ３の処理において算出される、白線候
補点ＬのＸ座標である。なお、ｕ＝１〜ｕ_N であって、
ｕ_N は、ステップＳ３の処理で検出される破線側の白線
候補点Ｌの検出個数である。

【００４３】 ＩＮＤＥＸ ＝｛（Ｘｈ１−Ｘｍ１）² ＋……＋（Ｘｈｕ_N −Ｘｍｕ_N ）² ｝／ｕ_N ……（１５） 前記（１５）式に示すように、ＩＮＤＥＸは、白線候補
点のＸ座標の推定値と検出値との二乗誤差を表してい
る。本来、画素の分解能に起因する誤差しか発生しない
はずであるため、この二乗誤差が大きいほど、信頼度が
低いことを意味する。したがって、ＩＮＤＥＸがしきい
値を超えたときに、信頼度が低いと判断する。

【００４４】また、前記白線候補点Ｌの検出個数ｕ_N の
数が低下すると、たとえ、検出した白線候補点Ｌが誤認
識であっても、ＩＮＤＥＸは低下する可能性がある。ま
た、白線候補点Ｌの検出点数が多いほど、それを満たす
条件が厳しくなり、誤認識箇所の推定値と検出値との偏
差が増大する。しかしながら、逆に見ると、白線候補点
Ｌの検出点数が少ないほど、それがいえなくなることを
意味する。したがって、前記ＩＮＤＥＸがしきい値を超
えたときに信頼度が低いと判断すると共に、片側の白線
候補点Ｌの検出点数ｕ_N が所定値を下回った場合にも、
信頼度が低いと判断する。

【００４５】続いて、ステップＳ８に移行し、ステップ
Ｓ７の処理で、破線の信頼度が低いと判断されたかどう
かを判定し、信頼度が低いと判断されたときにはステッ
プＳ９に移行し、信頼度が低いと判断されないときには
そのまま処理を終了する。前記ステップＳ９では、道路
パラメータＳを前回の処理結果に戻し、実線側の検出白
線のみに基づいて、再度道路パラメータＳを推定する。
なお、実線側の検出白線のみを用いて道路パラメータを
推定する際のカルマンフィルタの構造は、前記（１１）
及び（１２）式において、ＣＭ行列が異なること以外は
同じである。

【００４６】つまり、前記（５）式から、次式（１６）
を得ることができる。 ｘｊｋ＝ＣＭｋ＊[A B C D H] ^T ｋ＝１〜ｋ０ ……（１６） なお、式（１６）中の、ｘｊは実線側の検出白線におけ
る白線候補点ＬのＸ座標、ｋ０は実線側の検出白線の、
道路白線検出数である。前記（１６）式は次式（１７）
と表すことができる。

【００４７】 Ｚ＝ＣＭ＊Ｓ Ｚ＝[xj1,xj2,xj3, ……,xjk0] ^T ＣＭ＝[CMj1,CMj2,CMj3,……,CMjk0] ……（１７） したがって、この（１７）式と前記（１１）〜（１４）
式とに基づいて上記ステップＳ４での処理と同様にして
道路パラメータＳを推定する。

【００４８】次に、上記第１の実施の形態の動作を説明
する。カメラ１で撮像された画像情報は、画像処理装置
２に入力され、ここで所定の処理が行われ、１フレーム
毎の画像データとして、制御コントローラ４に出力され
る。制御コントローラ４では、所定周期で画像データを
読み込み（ステップＳ１）、画像データに対し、図４に
示すようにウィンドウを設定する（ステップＳ２）。こ
のとき、各ウィンドウＷｗを設定する際に、前回処理実
行時に推定した道路パラメータＳｂａｒ及び共分散行列
Ｍとに基づいてウィンドウＷｗの片幅ｘｄｗが算出さ
れ、これと、前回処理実行時に推定した道路パラメータ
Ｓに基づき推定した、ウィンドウの中心座標ＷＭ（Ｘ
Ｍ，ＹＭ）とに基づいて、各ウィンドウＷｗが設定され
る。

【００４９】そして、各ウィンドウＷｗ毎に、白線候補
線が設定されてこれに基づき白線候補点Ｌが検出され
（ステップＳ３）、さらに、ステップＳ４で道路パラメ
ータＳが推定される（ステップＳ４）。そして、ステッ
プＳ３で検出された各ウィンドウＷｗ毎の白線候補点Ｌ
に基づいて、左右の検出白線それぞれについて、実線で
あるか、破線であるかの推定が行われる。例えば、ステ
ップＳ３で検出された白線候補点Ｌの検出個数が、実線
判断のしきい値の個数を超えており、この状態が所定時
間継続したとき、実線であると判断される。逆に、白線
候補点Ｌの検出個数が、破線判断のしきい値を下回って
おり、この状態が所定時間継続したとき、破線であると
判断される。なお、何れの条件を満足しない場合には、
実線及び破線の何れでもないと判定される。

【００５０】そして、例えば、左右の検出白線が両方と
も実線であると判定される場合には、実線の場合、白線
の誤検出はほとんど生じないから、推定された道路パラ
メータＳの信頼度は高いものとしてそのまま処理を終了
する。また、例えば、左右の白線のうち、一方が破線、
他方が実線であると判定された場合には、ステップＳ７
に移行し、破線側の検出白線の信頼度評価が行われる。
つまり、ステップＳ４で算出した道路パラメータＳと、
ウィンドウ中心座標ＷＭｗのＹ座標ＹＭと、前記（１）
式とから算出される、ウィンドウ中心座標ＷＭｗのＸ座
標ＸＭである、白線候補点のＸ座標の推定値Ｘｈｕと、
ステップＳ３の処理で検出される白線候補点ＬのＸ座標
である白線候補点のＸ座標の検出値Ｘｍｕとに基づき前
記（１５）式に基づいて指標ＩＮＤＥＸを算出する。

【００５１】この指標ＩＮＤＥＸが、しきい値を超えた
ときには、白線候補点の推定値Ｘｈｕと検出値Ｘｍｕと
の偏差が大きく信頼度が低いと予測され、また、白線候
補点Ｌの検出点数がしきい値を下回る場合には、検出点
数が少ないほど偏差が小さくなるため、信頼度が低いと
予測されるため、ステップＳ８からステップＳ９に移行
し、信頼度の低い破線側の検出白線は用いず、実線側の
検出白線のみを用いて道路パラメータＳの推定が行われ
る。

【００５２】ここで、図６に示すように、道路白線の近
傍に疑似白線があった場合、ハフ変換を用いて白線候補
線を選択する場合には、エッジ候補点数の多い方を白線
として選択するため、道路白線が実線である場合には、
ほぼ誤認識することなく、真の白線が選択される。しか
しながら、道路白線が破線であったときには、場合によ
っては、疑似白線を道路白線として選択してしまう場合
がある。

【００５３】このとき、上述のように、検出白線が破線
であると判定される場合には、ステップＳ５からステッ
プＳ６を経てステップＳ７に移行し、ここで、破線の信
頼度評価が行われる。そして、疑似白線が検出白線とし
て検出されている場合には、白線候補点のＸ座標の推定
値Ｘｈｕと検出値Ｘｍｕとの偏差が大きくなり、指標Ｉ
ＮＤＥＸがしきい値を超えると信頼度が低いと判断さ
れ、実線側のみ、つまり、誤検出された疑似白線は用い
ずに道路パラメータＳの推定が行われる。

【００５４】この道路パラメータＳの推定は、片側のみ
による推定であるため、カメラ高さ相当値の近似等を行
っている点からも、その精度は低下するが、疑似白線を
用いた誤推定による道路パラメータよりも精度は高い。
したがって、道路白線を的確に検出することができない
場合であってもその精度の低下を抑制することができ、
このようにして片側の検出白線のみに基づいて推定した
道路パラメータを用いることによって、この推定された
道路パラメータＳに基づいて上位プログラム等において
処理を行っているような場合に道路白線を的確に検出す
ることができなかったとしても、上位プログラムでは、
上述のようにして推定した道路パラメータＳを用いるこ
とによって、道路パラメータＳを利用した処理を継続し
て行うことができる。

【００５５】また、このとき、白線候補点のＸ座標の推
定値Ｘｈｕと検出値Ｘｍｕとの偏差に基づいて指標ＩＮ
ＤＥＸを算出し、本来、検出白線が誤認識されていない
状態では、画素の分解能に起因するノイズしか存在しな
いという点を判断基準とし、指標ＩＮＤＥＸに基づいて
誤認識判断を行うようにしているから、検出白線の誤認
識を合理的に且つ容易に検出することができる。

【００５６】また、前記指標ＩＮＤＥＸに基づいて誤認
識判断を行う場合、白線候補点Ｌの検出点数が少ない場
合には、例えば図７に示すように、一点の誤差の、道路
パラメータの推定精度に与える影響は大きくなり、場合
によっては、白線候補点Ｌが誤認識データであっても、
検出点数が少ないために、白線候補点のＸ座標の推定値
Ｘｈｕと検出値Ｘｍｕとの偏差が小さくなり、誤認識を
検出することができない場合がある。しかしながら、上
記第１の実施の形態においては、白線候補点Ｌの検出点
数がしきい値以下の場合には、信頼度が低いと判断する
ようにしているから、信頼度の評価において、誤った判
断を行うことを回避することができる。

【００５７】ここで、カメラ１が撮像手段に対応し、図
３のステップＳ２及びＳ３の処理が白線検出手段に対応
し、ステップＳ４の処理がパラメータ推定手段に対応
し、ステップＳ５の処理が破線検出手段に対応し、ステ
ップＳ６及びＳ７の処理が評価手段に対応し、ステップ
Ｓ８及びＳ９の処理がパラメータ再推定手段に対応して
いる。

【００５８】次に、本発明の第２の実施の形態を説明す
る。この第２の実施の形態は、上記第１の実施の形態に
おいて、図３の道路白線検出処理の処理手順が異なるこ
と以外は同様であるので、同一部には、同一符号を付与
し、その詳細な説明は省略する。第２の実施の形態にお
いては、図８に示すフローチャートに基づいて道路白線
検出処理を行う。

【００５９】上記第１の実施の形態と同様に、処理を実
行し、画像データに対して、ウィンドウＷｗを設定し
（ステップＳ１、Ｓ２）、白線候補点Ｌを検出した後
（ステップＳ３）、道路パラメータの推定を行い（ステ
ップＳ４）、左右の検出白線が実線であるか破線である
かの判断を行う（ステップＳ５）。そして、一方のみが
破線である場合には、ステップＳ６からステップＳ７に
移行し、破線の信頼度評価を行う。

【００６０】そして、この第２の実施の形態では、ステ
ップＳ７の破線信頼度評価において、破線の信頼度が低
くはないと判断された場合には、上記第１の実施の形態
と同様にそのまま処理を終了するが、破線の信頼度が低
いと判断された場合には、ステップＳ８からステップＳ
２１に移行し、実線側の検出白線の白線候補点Ｌの検出
点数が、予め設定したしきい値以上であるかどうかを判
定する。このしきい値は、実線側の白線候補点Ｌに基づ
いて道路パラメータＳの推定を行った場合に、その信頼
度を確保することの可能な検出点数に応じて設定され
る。

【００６１】そして、白線候補点Ｌの検出個数が前記し
きい値以上である場合には、ステップＳ２２に移行し、
上記第１の実施の形態の図３におけるステップＳ９の処
理と同様に、実線側の白線のみに基づいて道路パラメー
タＳの推定を行うが、このステップＳ２２の処理では、
道路パラメータＳの推定を行う前に、道路パラメータＳ
を初期値に戻しておく。

【００６２】そしてステップＳ２３に移行し、実線側の
検出白線に対し、前記図３のステップＳ７の処理と同様
にして信頼度評価を行う。次いで、ステップＳ２４に移
行し、実線側の検出白線の信頼度が高いか否かを判定
し、実線側の検出白線の信頼度が高い場合にはステップ
Ｓ２５に移行し、破線側の白線を再度検出するためのウ
ィンドウを設定する。

【００６３】この破線側の白線に対するウィンドウの設
定は、前記図３のステップＳ４における（１１）式及び
（１２）式に基づいて行う。前記（１３）式及び（１
４）式の演算は行わない。つまり、第１の実施の形態に
おいては、暫定のパラメータ共分散Ｍ及びパラメータ推
定値Ｓｂａｒを用いて、ウィンドウの中心座標ＷＭ（Ｘ
Ｍ，ＹＭ）及び片幅ｘｄｗを算出したが、この第２の実
施の形態においては、サンプリングタイム最終のパラメ
ータ共分散Ｐ及びパラメータ推定値Ｓを用いてウィンド
ウの中心座標ＷＭ（ＸＭ，ＹＭ）及び片幅ｘｄｗを算出
しこれに基づいてウィンドウを設定する。この処理を、
破線側の白線について行う。その手順は、前記ステップ
Ｓ４と同様である。

【００６４】ここで、前記（１３）及び（１４）式の演
算を行わないのは、実線側の検出白線に対する処理から
破線側の検出白線に対する処理に移行する時点で、画像
フレーム上において時間の更新が行われないためであ
る。また、一般に、前記（１３）式によって、道路パラ
メータの共分散Ｍは増加し、前記（１１）式によって、
道路パラメータの共分散Ｐは減少し、これらを繰り返す
ことによって、共分散は増減を繰り返す。このステップ
Ｓ２５の処理においては、（１１）式によって算出した
道路パラメータの共分散Ｐを用いて、ウィンドウＷｗの
片幅ｘｄｗを算出するようにしているから、ウィンドウ
の幅が減少し、その分、誤認識を回避することができ
る。

【００６５】上述のようにしてステップＳ２５の処理で
破線側の白線検出のためのウィンドウを設定すると、次
に、ステップＳ２６に移行し、設定された各ウィンドウ
に対し、白線候補点Ｌの算出を行う。ここでは、前記ス
テップＳ３で得られた白線候補点Ｌが、新たに設定した
ウィンドウに含まれているか否かを判断し、含まれてい
る場合には、このデータを白線候補点Ｌとし、含まれて
いない場合には、白線候補点Ｌは存在しないと判断す
る。

【００６６】次いで、ステップＳ２７に移行し、道路パ
ラメータＳを初期値にリセットし、再度両側の検出白線
による道路パラメータＳの推定を行う。つまり、破線側
はステップＳ２６の処理で検出した検出白線、実線側は
ステップＳ２の処理で検出した検出白線を用い、これら
両側の検出白線を用いて道路パラメータＳを推定する。
そして処理を終了する。

【００６７】一方、前記ステップＳ２４で、実線側の検
出白線の信頼度が高くないと判定された場合にはステッ
プＳ２８に移行し、実線側の検出白線の白線候補点Ｌの
検出点数を削減する。つまり、誤認識された白線候補点
Ｌを含んで道路パラメータを推定した場合、これに基づ
き推定される白線のラインに対し、誤認識された白線候
補点Ｌは、図９に示すように、その偏差が最も大きくな
る。

【００６８】したがって、実線側の検出白線について、
ステップＳ２３で推定した道路パラメータＳと、ウィン
ドウ中心座標ＷＭｗのＹ座標ＹＭと、前記（１）式とか
ら算出した、ウィンドウ中心座標ＷＭｗのＸ座標ＸＭと
白線候補点ＬのＸ座標との偏差が最も大きい白線候補点
Ｌを選択し、このデータを削除する。そして、ステップ
Ｓ２１に戻る。

【００６９】そして、ステップＳ２１の処理で実線側の
白線候補点Ｌの検出数がしきい値を下回るときには、ス
テップＳ２９に移行し、例外処理を行う。具体的には、
道路パラメータＳを初期値に戻し、処理を終了する。つ
まり、画像情報に基づき推定した道路パラメータの信頼
度が低いため、有効な道路パラメータを得ることはでき
ないものとして、道路パラメータを初期値に戻し処理を
終了する。

【００７０】したがって、この第２の実施の形態におい
ては、破線側の検出白線の信頼度が低い場合には、ステ
ップＳ８からステップＳ２１に移行し、このとき、実線
側の検出白線の白線候補点Ｌの検出点数がしきい値以上
であり、白線候補点Ｌの検出点数の点については信頼度
を確保することができると予測されるときにはステップ
Ｓ２２に移行して、実線側の検出白線のみに基づいて道
路パラメータＳの推定が行われる。そして、再度その信
頼度の評価が行われ、白線候補点の推定値Ｘｈｕと検出
値Ｘｍｕとのノルムに基づく信頼度が高いと予測される
ときには、この信頼度の高い道路パラメータＳに基づい
て、破線側の白線を検出するためのウィンドウの片幅ｘ
ｄｗが算出され、このウィンドウに基づいて、新たに白
線候補点Ｌが算出される。

【００７１】そして、この新たに検出した破線側の道路
白線の白線候補点Ｌと、ステップＳ３で検出した実線側
の道路白線の白線候補点Ｌとに基づいて、再度道路パラ
メータＳの推定が行われる。したがって、破線側の検出
白線の信頼度が低いと予測されるときには、これを用い
ずに、信頼度の高い実線側の検出白線に基づく道路パラ
メータＳに基づいて再度ウィンドウを設定しこれに基づ
いて新たに破線側の道路白線の検出を行うようにし、信
頼度の向上を図った破線側の検出白線と信頼度の高い実
線側の検出白線とに基づいて、道路パラメータＳを推定
するから、誤推定の可能性のある破線側の検出白線の信
頼度を向上させた状態で、左右の検出白線に基づいて道
路パラメータを推定することができ、破線側の検出白線
の信頼度が低い場合であっても、道路パラメータの推定
精度を向上させることができる。

【００７２】また、破線側の道路白線を検出するための
ウィンドウを再設定する際には、信頼度の高い実線側の
検出白線のみに基づく道路パラメータに基づいてウィン
ドウ幅を設定するようにしているから、ウィンドウ幅を
的確に設定することができ、そのウィンドウ幅を合理的
に狭めることができる。よって、的確に白線検出を行う
ことができる。

【００７３】また、このとき、実線側の検出白線のみに
よる道路パラメータの推定結果に基づく信頼度評価にお
いて、信頼度が低いと判定されるときには、信頼度を低
くしている要因と考えられる実線側の検出白線の白線候
補点Ｌを削除し、これを除いた白線候補点Ｌに基づいて
道路パラメータを再度推定するようにしているから、合
理的に不要な白線候補点Ｌを除去することができ、ま
た、推定精度を合理的に向上させることができる。

【００７４】また、実線側の検出白線の白線候補点Ｌの
検出点数がしきい値を下回ったときには、道路パラメー
タの推定を中止するようにし、白線候補点数が少なく、
信頼度の高い白線を検出することのできないと予測され
る場合には、処理を行わないから、信頼度の低い道路パ
ラメータの推定を行うような不要な処理を行うことを回
避することができる。

【００７５】ここで、ステップＳ２２の処理が実線側パ
ラメータ推定手段に対応し、ステップＳ２１、ステップ
Ｓ２３〜ステップＳ２６及びステップＳ２８の処理が白
線再検出手段に対応し、ステップＳ２７の処理がパラメ
ータ再推定手段に対応している。次に、本発明の第３の
実施の形態を説明する。

【００７６】この第３の実施の形態は、上記第２の実施
の形態において、道路白線検出処理の処理手順が異なる
こと以外は同様である。同一部には、同一符号を付与し
その詳細な説明は省略する。この第３の実施の形態にお
いては、図１０に示すフローチャートに基づいて道路白
線検出処理を行う。

【００７７】上記第１の実施の形態と同様に処理を実行
し、画像データに対して、ウィンドウＷｗを設定し（ス
テップＳ１、Ｓ２）、白線候補点Ｌを検出した後（ステ
ップＳ３）、道路パラメータの推定を行う（ステップＳ
４）。そして、ステップＳ３１に移行し、上記第１の実
施の形態における図３のステップＳ７の処理と同様の手
順で、左右の検出白線それぞれについて、信頼度評価を
行う。

【００７８】次いで、ステップＳ３２に移行し、ステッ
プＳ３１での信頼度評価の結果、信頼度がより高いと判
定された検出白線の白線候補点Ｌに基づいて、道路パラ
メータＳを推定する。この推定は、処理を行う前に、道
路パラメータＳを初期値に戻した後、上記第１の実施の
形態のステップＳ９の処理と同様に行う。次いで、ステ
ップＳ３３に移行し、ステップＳ３１での信頼度評価の
結果、信頼度がより低いと判定された検出白線につい
て、ウィンドウを再設定する。このウィンドウの設定
は、上記第２の実施の形態におけるステップＳ２５の処
理と同様に行う。

【００７９】次いでステップＳ３４に移行し、上記第２
の実施の形態におけるステップＳ２６の処理と同様にし
て白線候補点Ｌを検出する。そして、ステップＳ３５に
移行し、上記第２の実施の形態におけるステップＳ２７
の処理と同様にして、新たに設定したウィンドウに基づ
き検出した検出白線と、ステップＳ３１で信頼度がより
高いと判定された方の検出白線とに基づき再度道路パラ
メータＳの推定を行う。そして、処理を終了する。

【００８０】このように、この第３の実施の形態におい
ては、左右の検出白線の何れか信頼度の高い方を用い
て、他方の側のウィンドウを再設定するようにしている
から、左右の検出白線のうち何れか一方が破線である場
合には、一般に実線側の方が信頼度が高いため、実線側
の検出白線に基づいて破線側の道路白線を再度検出する
ためのウィンドウが再度設定されて白線検出が行われ、
これらに基づいて道路パラメータの推定が行われること
になる。逆に、破線側の検出白線の方が信頼度が高いと
判定される場合には、破線側の検出白線に基づいて実線
側の道路白線を再度検出するためのウィンドウが設定さ
れて再度白線検出が行われ、道路パラメータの推定が行
われることになる。

【００８１】また、左右の検出白線が共に実線或いは破
線の場合には、何れか信頼度の高い方に基づいて、他方
の道路白線を再度検出するためのウィンドウが設定され
て再度白線検出が行われ、道路パラメータの推定が行わ
れることになる。したがって、信頼度の低い側の検出白
線については、この信頼度の低い側の道路白線を再度検
出するためのウィンドウを、信頼度の高い側の検出白線
をもとに再設定してその誤検出の可能性を低減し、この
ように誤検出の可能性を低減した状態で検出した検出白
線に基づいて道路パラメータを推定するようにしたか
ら、左右の検出白線が実線或いは破線であるに関わら
ず、道路パラメータの推定精度を向上させることができ
る。

【００８２】ここで、図１０のステップＳ４の処理が評
価手段に対応し、ステップＳ３２の処理が高信頼度側パ
ラメータ推定手段に対応し、ステップＳ３３及びＳ３４
の処理が白線再検出手段に対応し、ステップＳ３５の処
理がパラメータ再推定手段に対応している。なお、上記
各実施の形態においては、道路幅Ｅ０を固定値として定
式化した場合について説明したが、カメラ高さＨを固定
値とし、道路幅Ｅ０を変数とした場合でも適用すること
ができ、この場合も上記各実施の形態と同等の作用効果
を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示す概略構成図で
ある。

【図２】カメラの取付位置を示す説明図である。

【図３】第１の実施の形態における道路白線検出処理の
処理手順の一例を示すフローチャートである。

【図４】ウィンドウの設定位置を示す説明図である。

【図５】ウィンドウＷｗの設定方法を説明するための説
明図である。

【図６】本発明の動作説明に供する説明図である。

【図７】本発明の動作説明に供する説明図である。

【図８】本発明の第２の実施の形態における道路白線検
出処理の処理手順の一例を示すフローチャートである。

【図９】本発明の動作説明に供する説明図である。

【図１０】本発明の第３の実施の形態における道路白線
検出処理の処理手順の一例を示すフローチャートであ
る。

【図１１】従来の動作説明に供する説明図である。

【符号の説明】

１ カメラ ２ 画像処理装置 ３ メモリ ４ 制御コントローラ

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ Ｆターム(参考） 5B057 AA16 BA02 CA12 CA16 DA07 DB02 DC09 DC16 DC36 5C054 AA01 AA04 CC02 FC12 HA28 5H180 AA01 CC04 LL02 5L096 BA02 BA04 CA02 FA03 FA06 JA11

Claims (8)

【特許請求の範囲】
1. 【請求項１】 車両周囲の画像を撮像する撮像手段と、 当該撮像手段の撮像画像を処理して道路上の左右の道路
   白線を検出する白線検出手段と、 当該白線検出手段の検出結果に基づいて道路形状を表す
   パラメータを推定するパラメータ推定手段と、 前記白線検出手段で検出した道路白線が破線であるか実
   線であるかを検出する破線検出手段と、 当該破線検出手段での検出結果に基づき、前記左右の道
   路白線として検出された道路白線のうち一方のみが破線
   であると判定されるときに、当該破線側の道路白線の検
   出信頼度を評価する評価手段と、 当該評価手段で、前記破線側の道路白線の検出信頼度が
   低いと判定されるとき、実線側の道路白線のみに基づい
   て前記パラメータを推定し直すパラメータ再推定手段
   と、を備えることを特徴とする道路白線認識装置。
2. 【請求項２】 車両周囲の画像を撮像する撮像手段と、 当該撮像手段の撮像画像を処理して道路上の左右の道路
   白線を検出する白線検出手段と、 当該白線検出手段の検出結果に基づいて道路形状を表す
   パラメータを推定するパラメータ推定手段と、 前記白線検出手段で検出した道路白線が破線であるか実
   線であるかを検出する破線検出手段と、 当該破線検出手段での検出結果に基づき、前記左右の道
   路白線として検出された道路白線のうち一方のみが破線
   であると判定されるときに、当該破線側の道路白線の検
   出信頼度を評価する評価手段と、 当該評価手段で、前記破線側の道路白線の検出信頼度が
   低いと判定されるとき、実線側の道路白線のみに基づい
   て前記パラメータを再度推定する実線側パラメータ推定
   手段と、 当該実線側パラメータ推定手段で推定した実線側パラメ
   ータに基づき、破線側の道路白線を再検出するための探
   索領域を前記撮像画像に対して設定し、この探索領域に
   ついて破線側の道路白線を再度検出する白線再検出手段
   と、 前記白線検出手段で検出された実線側の道路白線と前記
   白線再検出手段で検出された破線側の道路白線とに基づ
   いて前記パラメータを推定し直すパラメータ再推定手段
   と、を備えることを特徴とする道路白線認識装置。
3. 【請求項３】 車両周囲の画像を撮像する撮像手段と、 当該撮像手段の撮像画像に対して道路形状を表すパラメ
   ータ及びその誤差共分散に基づいて探索領域を設定し、
   当該探索領域毎に白線候補点を検出して左右の道路白線
   を検出する白線検出手段と、 当該白線検出手段で検出した白線候補点に基づいて、拡
   張カルマンフィルタを用いて前記パラメータ及びその誤
   差共分散を推定するパラメータ推定手段と、 前記白線検出手段で検出した道路白線が破線であるか実
   線であるかを検出する破線検出手段と、 当該破線検出手段での検出結果に基づき、前記左右の道
   路白線として検出された道路白線のうち一方のみが破線
   であると判定されるときに、当該破線側の道路白線の検
   出信頼度を評価する評価手段と、 当該評価手段で、前記破線側の道路白線の検出信頼度が
   低いと判定されるとき、実線側の道路白線を構成する前
   記白線候補点のみに基づいて前記パラメータ及びその誤
   差共分散を再度推定する実線側パラメータ推定手段と、 当該実線側パラメータ推定手段で推定した実線側パラメ
   ータに基づき、破線側の道路白線を再検出するための探
   索領域を前記撮像画像に対して設定し、この探索領域に
   ついて破線側の道路白線を再度検出する白線再検出手段
   と、 前記白線検出手段で検出された実線側の道路白線を構成
   する白線候補点及び前記白線再検出手段で検出された破
   線側の道路白線を構成する白線候補点に基づいて前記パ
   ラメータ及びその誤差共分散を推定し直すパラメータ再
   推定手段と、を備えることを特徴とする道路白線認識装
   置。
4. 【請求項４】 前記実線側パラメータ推定手段は、前記
   白線候補点に基づいて前記実線側の道路白線の検出信頼
   度を評価し、この検出信頼度が低いと判定されるときに
   は前記白線候補点のうち誤差が最大のものを検出して当
   該白線候補点を除く白線候補点を用いて前記実線側パラ
   メータを再度推定し、前記実線側の道路白線の検出信頼
   度が高いと判定されるまで前記白線候補点を順次除去し
   て前記実線側パラメータを推定し、 前記パラメータ再推定手段は、前記実線側パラメータ推
   定手段での前記実線側パラメータの推定の際に、前記白
   線候補点の個数がしきい値を下回るときには、予め設定
   した所定値を前記パラメータ及びパラメータ共分散の推
   定値として設定し直すようになっていることを特徴とす
   る請求項３記載の道路白線認識装置。
5. 【請求項５】 車両周囲の画像を撮像する撮像手段と、 当該撮像手段の撮像画像を処理して道路上の左右の道路
   白線を検出する白線検出手段と、 当該白線検出手段の検出結果に基づいて道路形状を表す
   パラメータを推定するパラメータ推定手段と、 前記白線検出手段で検出された左右の道路白線に対し、
   その検出信頼度を評価する評価手段と、 当該評価手段で、検出信頼度が高いと判定された側の道
   路白線のみに基づいて前記パラメータを再度推定する高
   信頼度側パラメータ推定手段と、 当該高信頼度側パラメータ推定手段で推定した高信頼度
   側パラメータに基づき、検出信頼度が低いと判定された
   側の道路白線を再検出するための探索領域を前記撮像画
   像に対して設定し、この探索領域について道路白線を再
   度検出する白線再検出手段と、 前記白線検出手段で検出され且つ前記検出信頼度が高い
   と判定された側の道路白線と前記白線再検出手段で検出
   された道路白線とに基づいて前記パラメータを推定し直
   すパラメータ再推定手段と、を備えることを特徴とする
   道路白線認識装置。
6. 【請求項６】 車両周囲の画像を撮像する撮像手段と、 当該撮像手段の撮像画像に対して道路形状を表すパラメ
   ータ及びその誤差共分散に基づいて探索領域を設定し、
   当該探索領域毎に白線候補点を検出して左右の道路白線
   を検出する白線検出手段と、 当該白線検出手段で検出した白線候補点に基づいて、拡
   張カルマンフィルタを用いて前記パラメータ及びその誤
   差共分散を推定するパラメータ推定手段と、 前記白線検出手段で検出された左右の道路白線に対し、
   その検出信頼度を評価する評価手段と、 当該評価手段で、検出信頼度が高いと判定された側の道
   路白線のみに基づいて前記パラメータ及びその誤差共分
   散を再度推定する高信頼度側パラメータ推定手段と、 当該高信頼度側パラメータ推定手段で推定した高信頼度
   側パラメータに基づき、検出信頼度が低いと判定された
   側の道路白線を再検出するための探索領域を前記撮像画
   像に対して設定し、この探索領域について道路白線を再
   度検出する白線再検出手段と、 前記白線検出手段で検出され且つ前記検出信頼度が高い
   と判定された側の道路白線を構成する白線候補点と前記
   白線再検出手段で検出された道路白線を構成する白線候
   補点とに基づいて前記パラメータ及びその誤差共分散を
   推定し直すパラメータ再推定手段と、を備えることを特
   徴とする道路白線認識装置。
7. 【請求項７】 前記評価手段は、前記パラメータから想
   定される道路白線の推定位置と、前記白線検出手段及び
   ／又は前記白線再検出手段で検出された道路白線との偏
   差に基づく指標がしきい値を超えるとき、信頼度が低い
   と評価するようになっていることを特徴とする請求項１
   乃至６の何れかに記載の道路白線認識装置。
8. 【請求項８】 前記白線検出手段及び／又は前記白線再
   検出手段は、前記撮像画像に対して複数の探索領域を設
   定し、当該探索領域毎に白線候補点を検出してこれに基
   づき道路白線を検出する手段であって、 前記評価手段は、前記白線検出手段で検出された白線候
   補点の数がしきい値を下回るとき、信頼度が低いと評価
   するようになっていることを特徴とする請求項１乃至７
   の何れかに記載の道路白線認識装置。