JP3700625B2 - 道路白線認識装置 - Google Patents
道路白線認識装置 Download PDFInfo
- Publication number
- JP3700625B2 JP3700625B2 JP2001258722A JP2001258722A JP3700625B2 JP 3700625 B2 JP3700625 B2 JP 3700625B2 JP 2001258722 A JP2001258722 A JP 2001258722A JP 2001258722 A JP2001258722 A JP 2001258722A JP 3700625 B2 JP3700625 B2 JP 3700625B2
- Authority
- JP
- Japan
- Prior art keywords
- white line
- road
- line
- parameter
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の白線を認識するための道路白線認識装置に関する。
【０００２】
【従来の技術】
従来より、画像によって白線を認識し、自車両と白線との関係から、車両の自動制御又は一部自動制御に用いたりする技術が提案されている。
例えば、特開平８−２６１７５６号公報では、車載テレビカメラで撮像した撮像画像に対し、エッジ強調等の画像処理を施して、道路白線候補箇所を強調した後、前回のレーン形状を表すパラメータ及びその分散に基づいて探索領域を設定し、この探索領域内のエッジ線分を道路白線候補として選択し、エッジ線分の画像上の位置に基づいてレーン形状のパラメータとその分散とを更新するようにしている。
【０００３】
そして、このようにして更新したレーン形状のパラメータとその分散とをもとに、撮像画像に対し次の探索領域を設定し、上記と同様にしてレーン形状のパラメータ及びその分散を算出し、この処理を繰り返すことによって、図１１に示すように、撮像画像において、自車両近傍から前方方向に向けて左右の白線に順次探索領域を設定し、レーン形状のパラメータ及びその分散を順次算出するようになっている。このようにすることによって、レーン形状のパラメータとその分散とに基づいて探索領域の幅を適切に狭めることができ、紛らわしいエッジ線分との誤認を防止するようにしている。
【０００４】
【発明が解決しようとする課題】
ここで、上記従来の方法にあっては、車両近傍においては、レーン境界と、例えばガードレール、車両等といった他の構造物との誤認が少ないということを前提としている。
しかしながら、実際には、例えば雨天時等には、車両近傍であっても水膜のエッジが白線として誤認識される場合がある。このような場合には、誤認識結果を用いて遠方の探索領域が狭められるため、道路白線候補を見失ったり、さらには、誤って設定された探索領域において、別のエッジを道路白線として誤認識してしまう可能性もある。このため、レーン形状のパラメータの精度が低下し、例えば上位プログラムにおいて、算出されたレーン形状のパラメータに基づいて処理を行っているような場合等には、パラメータの精度によっては、処理を中断せざるを得ないという問題がある。
【０００５】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、道路白線を誤検出した場合における、道路形状を表すパラメータの推定精度の低下を抑制し、継続して道路白線認識を行うことの可能な道路白線認識装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線のみに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【０００７】
また、請求項２に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線のみに基づいて前記パラメータを再度推定する実線側パラメータ推定手段と、当該実線側パラメータ推定手段で推定した実線側パラメータに基づき、破線側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について破線側の道路白線を再度検出する白線再検出手段と、前記白線検出手段で検出された実線側の道路白線と前記白線再検出手段で検出された破線側の道路白線とに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【０００８】
また、請求項３に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像に対して道路形状を表すパラメータ及びその誤差共分散に基づいて探索領域を設定し、当該探索領域毎に白線候補点を検出して左右の道路白線を検出する白線検出手段と、当該白線検出手段で検出した白線候補点に基づいて、拡張カルマンフィルタを用いて前記パラメータ及びその誤差共分散を推定するパラメータ推定手段と、前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線を構成する前記白線候補点のみに基づいて前記パラメータ及びその誤差共分散を再度推定する実線側パラメータ推定手段と、当該実線側パラメータ推定手段で推定した実線側パラメータに基づき、破線側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について破線側の道路白線を再度検出する白線再検出手段と、前記白線検出手段で検出された実線側の道路白線を構成する白線候補点及び前記白線再検出手段で検出された破線側の道路白線を構成する白線候補点に基づいて前記パラメータ及びその誤差共分散を推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【０００９】
また、請求項４に係る道路白線認識装置は、前記実線側パラメータ推定手段は、前記白線候補点に基づいて前記実線側の道路白線の検出信頼度を評価し、この検出信頼度が低いと判定されるときには前記白線候補点のうち誤差が最大のものを検出して当該白線候補点を除く白線候補点を用いて前記実線側パラメータを再度推定し、前記実線側の道路白線の検出信頼度が高いと判定されるまで前記白線候補点を順次除去して前記実線側パラメータを推定し、前記パラメータ再推定手段は、前記実線側パラメータ推定手段での前記実線側パラメータの推定の際に、前記白線候補点の個数がしきい値を下回るときには、予め設定した所定値を前記パラメータ及びパラメータ共分散の推定値として設定し直すようになっていることを特徴としている。
【００１０】
また、請求項５に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、前記白線検出手段で検出された左右の道路白線に対し、その検出信頼度を評価する評価手段と、当該評価手段で、検出信頼度が高いと判定された側の道路白線のみに基づいて前記パラメータを再度推定する高信頼度側パラメータ推定手段と、当該高信頼度側パラメータ推定手段で推定した高信頼度側パラメータに基づき、検出信頼度が低いと判定された側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について道路白線を再度検出する白線再検出手段と、前記白線検出手段で検出され且つ前記検出信頼度が高いと判定された側の道路白線と前記白線再検出手段で検出された道路白線とに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【００１１】
また、請求項６に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像に対して道路形状を表すパラメータ及びその誤差共分散に基づいて探索領域を設定し、当該探索領域毎に白線候補点を検出して左右の道路白線を検出する白線検出手段と、当該白線検出手段で検出した白線候補点に基づいて、拡張カルマンフィルタを用いて前記パラメータ及びその誤差共分散を推定するパラメータ推定手段と、前記白線検出手段で検出された左右の道路白線に対し、その検出信頼度を評価する評価手段と、当該評価手段で、検出信頼度が高いと判定された側の道路白線のみに基づいて前記パラメータ及びその誤差共分散を再度推定する高信頼度側パラメータ推定手段と、当該高信頼度側パラメータ推定手段で推定した高信頼度側パラメータに基づき、検出信頼度が低いと判定された側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について道路白線を再度検出する白線再検出手段と、前記白線検出手段で検出され且つ前記検出信頼度が高いと判定された側の道路白線を構成する白線候補点と前記白線再検出手段で検出された道路白線を構成する白線候補点とに基づいて前記パラメータ及びその誤差共分散を推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【００１２】
また、請求項７に係る道路白線認識装置は、前記評価手段は、前記パラメータから想定される道路白線の推定位置と、前記白線検出手段及び／又は前記白線再検出手段で検出された道路白線との偏差に基づく指標がしきい値を超えるとき、信頼度が低いと評価するようになっていることを特徴としている。
さらに、請求項８に係る道路白線認識装置は、前記白線検出手段及び／又は前記白線再検出手段は、前記撮像画像に対して複数の探索領域を設定し、当該探索領域毎に白線候補点を検出してこれに基づき道路白線を検出する手段であって、前記評価手段は、前記白線検出手段で検出された白線候補点の数がしきい値を下回るとき、信頼度が低いと評価するようになっていることを特徴としている。
【００１３】
【発明の効果】
本発明の請求項１乃至３に係る道路白線認識装置によれば、撮像画像から検出した左右の道路白線の一方のみが破線であり、且つその検出信頼度が低いと評価されるときには、実線側の道路白線のみに基づいてパラメータを推定し直すようにしたから、疑似白線の誤検出等によって破線側の道路白線が誤検出された場合であっても、誤検出の生じる可能性の少ない実線側の道路白線のみに基づくパラメータを得ることができる。よって、疑似白線の誤検出等に起因するパラメータの推定精度の低下を抑制することができ、前記パラメータに基づき上位プログラムにおいて処理を行うような場合であっても、処理を継続して行うことができる。
【００１４】
また、請求項２及び３に係る道路白線認識装置によれば、撮像画像から検出した左右の道路白線の一方のみが破線であり、且つその検出信頼度が低いと評価されるときには、実線側の道路白線のみに基づいてパラメータを推定し、この推定したパラメータに基づいて探索領域を再度設定して破線側の道路白線を再度検出し、この再度検出した破線側の道路白線と、先に検出した道路白線とに基づいてパラメータを推定し直すようにしたから、信頼度の高いと予測される実線側の道路白線と、この実線側の道路白線に基づき探索領域を設定して検出した破線側の道路白線とに基づいてパラメータが推定されることになって、実線側の道路白線のみに基づいてパラメータを再度推定する場合に比較して、よりパラメータの推定精度を向上させることができる。
【００１５】
特に、請求項３に係る道路白線認識装置によれば、拡張カルマンフィルタを用いてパラメータ及びその誤差共分散を検出しこれに基づいて撮像画像から道路白線を検出するための探索領域や、破線側の道路白線を再検出するための探索領域を設定するようにしているから、探索領域を的確に設定することができ、その分道路白線の検出精度を向上させることができる。
【００１６】
また、請求項４に係る道路白線認識装置によれば、実線側の道路白線のみに基づいてパラメータを推定する際に、実線側の道路白線の検出信頼度が低いと評価された場合には、実線側の道路白線を構成する白線候補点のうちの誤差が最大のものを除去し、残りの白線候補点を用いて実線側パラメータを検出して信頼度の高い実線側パラメータを得るようにしたから、パラメータの推定精度をより向上させることができる。また、このとき、残りの白線候補点数がしきい値を下回るときにはこれらに基づくパラメータの推定を行わず予め設定した所定値をパラメータとして設定し直すようにしているから、信頼度の評価において白線候補点数が少ないことに起因して信頼性が高いと誤判定されることを回避することができる。
【００１７】
また、請求項５及び６に係る道路白線認識装置によれば、撮像画像から検出した左右の道路白線のうち、検出信頼度が高いと判定された側の道路白線のみに基づいてパラメータを再度推定し、この再度推定した高信頼度側パラメータに基づき設定した探索領域において道路白線を再度検出し、先に検出信頼度が高いと判定された側の道路白線と再度検出した信頼度が低いと判定された側の道路白線とに基づいてパラメータを推定し直すようにしたから、信頼度の低い側の道路白線の信頼度をより向上させ、これに基づいてパラメータを推定することによって、その推定精度をより向上させることができる。
【００１８】
特に、請求項６に係る道路白線認識装置によれば、拡張カルマンフィルタを用いてパラメータ及びその誤差共分散を検出しこれに基づいて撮像画像から道路白線を検出するための探索領域や、検出信頼度の低い側の道路白線を再検出するための探索領域を設定するようにしているから、探索領域を的確に設定することができ、その分道路白線の検出精度を向上させることができる。
【００１９】
また、請求項７に係る道路白線認識装置によれば、推定したパラメータから想定される道路白線の推定位置と、白線検出手段或いは白線再検出手段で検出された道路白線との偏差に基づく指標に基づいて、前記道路白線の検出信頼度の評価を行うようにしたから、容易且つ的確に検出信頼度の評価を行うことができる。さらに、請求項８に係る道路白線認識装置によれば、道路白線を構成する白線候補点の検出数が、しきい値を下回るときには道路白線の検出信頼度が低いと評価するようにしているから、道路白線の信頼度の評価を的確に行うことができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、本発明の第１の実施の形態を説明する。
図１は、第１の実施の形態の構成を示す図である。ＣＣＤカメラ等で構成されるカメラ１は、図２に示すように、車幅方向中央の、車室内のフロントウィンドウ上部に、レンズの光軸と車両中心線とのヨー角が零、ピッチ角がαとなるように取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。画像処理装置２は、カメラ１からの撮像情報に対し所定の処理を行う。メモリ３は、後述する道路白線検出処理プログラムや道路形状及び車両挙動を表す道路パラメータ等を記憶する。制御コントローラ４は、画像処理装置２で所定の処理を施した画像データをもとに白線検出を行い、白線検出の結果に基づいて道路パラメータを推定し、推定結果を前記メモリ３に記憶する。
【００２１】
図３は、制御コントローラ４で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
まず、ステップＳ１で、画像処理装置２から１フレームの画像データを読み込み、次いでステップＳ２に移行し、ステップＳ１で読み込んだ画像データに対し、例えば図４に示すように、複数のウィンドウＷｗ（ｗ＝１〜ｗn （ｗn はウィンドウの数））を設定する。
【００２２】
なお、各フレームでは、図４に示すように、例えばその左上を原点とし、画像右方をＸ軸の正方向、画像左方向をＸ軸の負方向とする。また、各ウィンドウのＹ方向、つまり画像上下方向のウィンドウ位置を予め設定しておき、例えば、各ウィンドウＷｗの上辺及び下辺のｙ座標をそれぞれ設定しておく。
前記ウィンドウＷｗは、図５に示すように、ウィンドウ中心座標ＷＭｗ（ＸＭ、ＹＭ）を基準として設定する。なお、各ウィンドウＷｗの上辺及び下辺のＹ座標は前述のように予め設定されているので、ここではウィンドウＷｗの左右方向の幅を設定する。
【００２３】
ここで、例えば本出願人が先に提案した特開平１１−２８１３５２号公報に記載されているように、画像データから検出される道路白線であると予測される白線候補点（Ｘ，Ｙ）では、道路モデルを、各種道路パラメータを用いて次式（１）で近似することができる。なお、この（１）式は、例えば、「自動車技術学会２０００年秋季大会前刷集 拡張カルマンフィルタを用いた車線追従制御の検討」等に、（１）式と等価な式が記載されている。
【００２４】
Ｘ＝(-A+I*E0) ×(Y+f*D+D0)／(H+H0)−B*(H+H0)*f2 ／(Y+f*D+D0)−C*f ……（１）
したがって、前記ウィンドウ中心座標ＷＭｗ（ＸＭ、ＹＭ）が白線候補点であるならば、ウィンドウ中心座標ＷＭｗ（ＸＭ、ＹＭ）についても同様に、前記（１）式が成り立つ。
【００２５】
なお、式中の、｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝は、レーン形状を指定するパラメータであり、Ａは自車両の車線に対する横変位、Ｂは道路曲率、Ｃは自車両の車線に対するヨー角、（Ｄ＋Ｄ０）はカメラ１の光軸に対するピッチ角であり、Ｄ０は定常値である。また、（Ｈ＋Ｈ０）はカメラ１の路面からの高さであって、Ｈ０は定常値である。また、Ｅ０は車線幅つまり、左白線及び右白線間の距離であり、ここでは定数とする。また、ｆはカメラ１のカメラ透視変換係数であり、さらに、Ｉは左白線であるときには“０”、右白線であるときには“１”に設定される。
【００２６】
前記（１）式を用いて、ウィンドウＷｗのＸ方向の片幅ｘｄｗを算出する。この片幅ｘｄｗの算出は、例えば、特開平８−２６１７５６号公報に記載された方法を用いて行う。
まず、前記（１）式を道路パラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の線形結合として近似する。前記道路モデル式（１）をＸ＝ｆ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ、Ｙ）と表すものとすると、これは、次式（２）で近似することができる。
【００２７】
Ｘ＝df/dA*A ＋df/dB*B ＋df/dC*C ＋df/dD*D ＋df/dH*H ……（２）
なお、（３）式中のdf/dβ（β＝Ａ〜Ｈ）は、関数ｆを変数βで偏微分することを意味する。
続いて、前記（２）式を次式（３）に置き換える。
Ｘ＝[df/dA df/dB df/dC df/dD df/dH] ×[A B C D H] T ……（３）
この（３）式を次式（４）のように定義すると、各ウィンドウＷｗにおける白線候補点は、次式（５）で表すことができる。
【００２８】
なお、式中の添え字ｗは、各ウィンドウを識別するための符号であって、１からウィンドウの設定数までの値をとる。
Ｘ＝ＣＭ×[A B C D H] T ……（４）
Ｘｗ＝ＣＭｗ×[A B C D H] T ……（５）
ここで、〔Ｘ１ Ｘ２ ……〕T をＺとし、〔ＣＭ１；ＣＭ２；……〕をＣＭとし、道路パラメータ[A B C D H] T をＳとすると前記（５）式は、次式（６）で表すことができる。なお、「；」は改行を表す。
【００２９】
Ｚ＝ＣＭ＊Ｓ ……（６）
前記道路パラメータＳの共分散行列をＭ、Ｚの観測ノイズＶをＺ＝ＣＭ＊Ｓ＋Ｖと定義し、その共分散ＲをＥ（Ｖ＊ＶT ）＝Ｒとすると、ウィンドウＷｗの片側幅ｘｄｗは、次式（７）で表すことができる。
ｘｄｗ＝｛３＊ｓｑｒｔ（ＣＭ＊Ｍ＊ＣＭT ＋Ｒ｝ｗｗ ……（７）
なお、ｓｑｒｔは平方根を表し、｛ ｝ｗｗは、行列のｗｗ要素を表す。
【００３０】
したがって、後述のステップＳ４での道路パラメータの推定処理時に算出される、前回処理実行時に算出した道路パラメータ推定値Ｓｂａｒ及び暫定の共分散行列Ｍとこれらに基づき前記（１）式から算出されるＣＭと、観測ノイズの共分散Ｒとに基づいて、前記（７）式にしたがって、片側幅ｘｄｗを算出する。また、道路パラメータ推定値Ｓｂａｒと前記（１）式の道路モデルとに基づいて、ウィンドウ中心座標ＷＭｗのＹＭ位置に対応するＸ座標位置を算出し、これをウィンドウ中心座標ＷＭｗのＸ座標ＸＭとして設定する。そして、このウィンドウ中心座標ＷＭｗ、すなわち、白線候補点を基準として、前記片側幅ｘｄｗを有するウィンドウＷｗを設定する。
【００３１】
次いで、ステップＳ３に移行し、各ウィンドウＷｗ毎に白線候補線を設定する。この白線候補線の設定は、例えば、まず、画像データに対し、ｓｏｂｌｅフィルタを適用し、輝度変化を利用して白線のエッジ検知を行う。例えば、隣り合う画素について、左側の画素の輝度が右側の画素の輝度よりも大きい場合に、フィルタの出力が正値となり、逆に右側の画素の輝度が左側の画素の輝度よりも大きい場合に、フィルタの出力が負値となるものとすると、左白線の場合のエッジ候補点の場合には、フィルタの出力は正値となり、右白線の場合のエッジ候補点の場合には、フィルタの出力が負値となる。
【００３２】
そして、このようにして得た白線のエッジ候補点の集合から、白線候補線を得る。この処理は、例えば公知のハフ変換、最小自乗法等を適用することができる。例えばハフ変換直線近似を行う場合には、ウィンドウ内を通過する直線のうち、最も白線のエッジ候補点を多く貫いたものを、白線候補線として選択する。
そして、選択した白線候補線上の任意の点をこのウィンドウＷｗの白線候補点Ｌとして選択する。例えば、白線候補線とウィンドウの上辺との交点を白線候補点Ｌとし、この位置座標（Ｘｗｉ，Ｙｗｉ）を算出する。
【００３３】
この処理を左右の各ウィンドウ毎に行い、各ウィンドウ毎に白線候補点Ｌ（Ｘｗｉ，Ｙｗｉ）を検出する。
そして、全てのウィンドウのうち、白線候補点Ｌを得られたウィンドウについて、その白線候補点Ｌの位置座標（Ｘｗｉ，Ｙｗｉ）を、ウィンドウの識別番号の順に、（Ｘｊ，Ｙｊ）として設定し、前記（６）式におけるＺを得る。なお、ｊ＝０〜ｊN であって、ｊN は利用するデータの総数、つまり、ステップＳ２で設定した複数のウィンドウのうち、白線候補点Ｌを得られたウィンドウの数に相当する。
【００３４】
次いで、ステップＳ４に移行し、道路パラメータの推定を行う。この道路パラメータの推定は、例えばカルマンフィルタを用いて行う。
まず、道路パラメータＳの振る舞いを次式（８）に示すように予め設定する。ここでは、道路パラメータＡ，Ｂ，Ｃ，Ｄの振る舞いをランダムウォークモデルで記述し、Ｈの振る舞いを一次遅れモデルで記述した例を示す。また、連続系で表現する。
【００３５】
【数１】
【００３６】
次いで、前記（８）式を離散化し、次式（９）を得る。
Ｓ（ｉ＋１）＝Φ＊Ｓ（ｉ）＋Γ＊ｐｎｚ ……（９）
なお、式（９）中のｉはサンプリングタイムであり、また、ｐｎｚはプロセスノイズ、Φは離散系における推移行列、Γは既知の行列である。
ここで、前記プロセスノイズｐｎｚの分散を、次式（１０）と定義する。
【００３７】
Ｅ（ｐｎｚ＊ｐｎｚT ）＝Ｑ ……（１０）
前記（８）式中のθ及び（１０）式中のＱは、車両の振る舞いから、公知の手順にしたがって近似される。なお、この近似の詳細は、「最適制御入門 加藤寛一郎著 東京大学出版会」に記載されている。
前記道路パラメータＳは次式（１１）〜（１４）の離散系のカルマンフィルタを用いて推定する。
【００３８】
Ｐ＝（Ｍ-1＋ＣＭT ＊Ｒ-1＊ＣＭ）-1 ……（１１）
Ｓ＝Ｓｂａｒ＋Ｋ（Ｚ−ＣＭ＊Ｓｂａｒ） ……（１２）
Ｋ＝Ｐ＊ＣＭT ＊Ｒ-1
Ｍ＝Φ＊Ｐ＊ΦT ＋Γ＊Ｑ＊ΓT ……（１３）
Ｓｂａｒ＝Φ＊Ｓ ……（１４）
なお、（１１）〜（１４）式において、Ｍ及びＳｂａｒは、サンプリング時間推移させたことによる暫定のパラメータ共分散及びパラメータ推定値である。また、Ｐ及びＳは、前記暫定のパラメータ共分散及びパラメータ推定値に観測の補正を加えた各サンプリングタイム最終のパラメータ共分散及びパラメータ推定値である。また、ウィンドウＷｗを設定する場合には、サンプリング時間推移後、観測以前の状態であるから、前記（７）式で示すように、パラメータ共分散はＭを使用する。
【００３９】
また、前記ウィンドウ中心座標ＷＭｗ（ＸＭ、ＹＭ）もＳｂａｒを使用した方がその精度は向上する。そのため、前記（１１）及び（１２）式の演算を行った後、前記（１３）及び（１４）式の演算を行う。
このようにして道路パラメータを推定した後、ステップＳ５に移行し、前記複数の白線候補点Ｌに基づいて特定される検出白線が、実線であるか破線であるかの判断を行う。
【００４０】
この判断は、左側及び右側の検出白線それぞれについて行い、片側の検出白線における白線候補点Ｌの個数が、実線判断のしきい値個数を超える状態が、所定時間継続したときに、実線と判断する。また、片側の検出白線における白線候補点の個数が破線判断のしきい値個数を下回る状態が、所定時間継続したときに、破線と判断する。なお、前記実線判断のしきい値個数及び破線判断のしきい値個数、また、前記所定時間は、予め実験等によって、実線又は破線とみなすことの可能な値に設定される。
【００４１】
次いで、ステップＳ６に移行し、ステップＳ５の実線破線判断処理の結果に基づき、左右の検出白線のうち、一方が実線であり且つ他方が破線であるかどうかを判定し、一方が実線、他方が破線であると判定される場合にはステップＳ７に移行し、一方が実線であり且つ他方が破線ではないと判断されるとき、つまり、両方とも実線又は両方とも破線であると判定されるときにはそのまま処理を終了する。
【００４２】
前記ステップＳ７では、破線であると判断された検出白線の信頼度評価を行う。まず、指標ＩＮＤＥＸを次式（１５）にしたがって算出する。
なお、式中のＸｈｕは、白線候補点のＸ座標の推定値であって、ステップＳ４で算出した道路パラメータＳと、ウィンドウ中心座標ＷＭｗのＹ座標ＹＭと、前記（１）式とから算出した、ウィンドウ中心座標ＷＭｗのＸ座標ＸＭである。また、Ｘｍｕは、白線候補点のＸ座標の検出値であって、ステップＳ３の処理において算出される、白線候補点ＬのＸ座標である。なお、ｕ＝１〜ｕN であって、ｕN は、ステップＳ３の処理で検出される破線側の白線候補点Ｌの検出個数である。
【００４３】
ＩＮＤＥＸ
＝｛（Ｘｈ１−Ｘｍ１）2 ＋……＋（ＸｈｕN −ＸｍｕN ）2 ｝／ｕN ……（１５）
前記（１５）式に示すように、ＩＮＤＥＸは、白線候補点のＸ座標の推定値と検出値との二乗誤差を表している。本来、画素の分解能に起因する誤差しか発生しないはずであるため、この二乗誤差が大きいほど、信頼度が低いことを意味する。したがって、ＩＮＤＥＸがしきい値を超えたときに、信頼度が低いと判断する。
【００４４】
また、前記白線候補点Ｌの検出個数ｕN の数が低下すると、たとえ、検出した白線候補点Ｌが誤認識であっても、ＩＮＤＥＸは低下する可能性がある。また、白線候補点Ｌの検出点数が多いほど、それを満たす条件が厳しくなり、誤認識箇所の推定値と検出値との偏差が増大する。しかしながら、逆に見ると、白線候補点Ｌの検出点数が少ないほど、それがいえなくなることを意味する。したがって、前記ＩＮＤＥＸがしきい値を超えたときに信頼度が低いと判断すると共に、片側の白線候補点Ｌの検出点数ｕN が所定値を下回った場合にも、信頼度が低いと判断する。
【００４５】
続いて、ステップＳ８に移行し、ステップＳ７の処理で、破線の信頼度が低いと判断されたかどうかを判定し、信頼度が低いと判断されたときにはステップＳ９に移行し、信頼度が低いと判断されないときにはそのまま処理を終了する。
前記ステップＳ９では、道路パラメータＳを前回の処理結果に戻し、実線側の検出白線のみに基づいて、再度道路パラメータＳを推定する。なお、実線側の検出白線のみを用いて道路パラメータを推定する際のカルマンフィルタの構造は、前記（１１）及び（１２）式において、ＣＭ行列が異なること以外は同じである。
【００４６】
つまり、前記（５）式から、次式（１６）を得ることができる。
ｘｊｋ＝ＣＭｋ＊[A B C D H] T ｋ＝１〜ｋ０ ……（１６）
なお、式（１６）中の、ｘｊは実線側の検出白線における白線候補点ＬのＸ座標、ｋ０は実線側の検出白線の、道路白線検出数である。
前記（１６）式は次式（１７）と表すことができる。
【００４７】
Ｚ＝ＣＭ＊Ｓ
Ｚ＝[xj1,xj2,xj3, ……,xjk0] T
ＣＭ＝[CMj1,CMj2,CMj3,……,CMjk0] ……（１７）
したがって、この（１７）式と前記（１１）〜（１４）式とに基づいて上記ステップＳ４での処理と同様にして道路パラメータＳを推定する。
【００４８】
次に、上記第１の実施の形態の動作を説明する。
カメラ１で撮像された画像情報は、画像処理装置２に入力され、ここで所定の処理が行われ、１フレーム毎の画像データとして、制御コントローラ４に出力される。
制御コントローラ４では、所定周期で画像データを読み込み（ステップＳ１）、画像データに対し、図４に示すようにウィンドウを設定する（ステップＳ２）。このとき、各ウィンドウＷｗを設定する際に、前回処理実行時に推定した道路パラメータＳｂａｒ及び共分散行列Ｍとに基づいてウィンドウＷｗの片幅ｘｄｗが算出され、これと、前回処理実行時に推定した道路パラメータＳに基づき推定した、ウィンドウの中心座標ＷＭ（ＸＭ，ＹＭ）とに基づいて、各ウィンドウＷｗが設定される。
【００４９】
そして、各ウィンドウＷｗ毎に、白線候補線が設定されてこれに基づき白線候補点Ｌが検出され（ステップＳ３）、さらに、ステップＳ４で道路パラメータＳが推定される（ステップＳ４）。
そして、ステップＳ３で検出された各ウィンドウＷｗ毎の白線候補点Ｌに基づいて、左右の検出白線それぞれについて、実線であるか、破線であるかの推定が行われる。例えば、ステップＳ３で検出された白線候補点Ｌの検出個数が、実線判断のしきい値の個数を超えており、この状態が所定時間継続したとき、実線であると判断される。逆に、白線候補点Ｌの検出個数が、破線判断のしきい値を下回っており、この状態が所定時間継続したとき、破線であると判断される。なお、何れの条件を満足しない場合には、実線及び破線の何れでもないと判定される。
【００５０】
そして、例えば、左右の検出白線が両方とも実線であると判定される場合には、実線の場合、白線の誤検出はほとんど生じないから、推定された道路パラメータＳの信頼度は高いものとしてそのまま処理を終了する。
また、例えば、左右の白線のうち、一方が破線、他方が実線であると判定された場合には、ステップＳ７に移行し、破線側の検出白線の信頼度評価が行われる。つまり、ステップＳ４で算出した道路パラメータＳと、ウィンドウ中心座標ＷＭｗのＹ座標ＹＭと、前記（１）式とから算出される、ウィンドウ中心座標ＷＭｗのＸ座標ＸＭである、白線候補点のＸ座標の推定値Ｘｈｕと、ステップＳ３の処理で検出される白線候補点ＬのＸ座標である白線候補点のＸ座標の検出値Ｘｍｕとに基づき前記（１５）式に基づいて指標ＩＮＤＥＸを算出する。
【００５１】
この指標ＩＮＤＥＸが、しきい値を超えたときには、白線候補点の推定値Ｘｈｕと検出値Ｘｍｕとの偏差が大きく信頼度が低いと予測され、また、白線候補点Ｌの検出点数がしきい値を下回る場合には、検出点数が少ないほど偏差が小さくなるため、信頼度が低いと予測されるため、ステップＳ８からステップＳ９に移行し、信頼度の低い破線側の検出白線は用いず、実線側の検出白線のみを用いて道路パラメータＳの推定が行われる。
【００５２】
ここで、図６に示すように、道路白線の近傍に疑似白線があった場合、ハフ変換を用いて白線候補線を選択する場合には、エッジ候補点数の多い方を白線として選択するため、道路白線が実線である場合には、ほぼ誤認識することなく、真の白線が選択される。しかしながら、道路白線が破線であったときには、場合によっては、疑似白線を道路白線として選択してしまう場合がある。
【００５３】
このとき、上述のように、検出白線が破線であると判定される場合には、ステップＳ５からステップＳ６を経てステップＳ７に移行し、ここで、破線の信頼度評価が行われる。そして、疑似白線が検出白線として検出されている場合には、白線候補点のＸ座標の推定値Ｘｈｕと検出値Ｘｍｕとの偏差が大きくなり、指標ＩＮＤＥＸがしきい値を超えると信頼度が低いと判断され、実線側のみ、つまり、誤検出された疑似白線は用いずに道路パラメータＳの推定が行われる。
【００５４】
この道路パラメータＳの推定は、片側のみによる推定であるため、カメラ高さ相当値の近似等を行っている点からも、その精度は低下するが、疑似白線を用いた誤推定による道路パラメータよりも精度は高い。
したがって、道路白線を的確に検出することができない場合であってもその精度の低下を抑制することができ、このようにして片側の検出白線のみに基づいて推定した道路パラメータを用いることによって、この推定された道路パラメータＳに基づいて上位プログラム等において処理を行っているような場合に道路白線を的確に検出することができなかったとしても、上位プログラムでは、上述のようにして推定した道路パラメータＳを用いることによって、道路パラメータＳを利用した処理を継続して行うことができる。
【００５５】
また、このとき、白線候補点のＸ座標の推定値Ｘｈｕと検出値Ｘｍｕとの偏差に基づいて指標ＩＮＤＥＸを算出し、本来、検出白線が誤認識されていない状態では、画素の分解能に起因するノイズしか存在しないという点を判断基準とし、指標ＩＮＤＥＸに基づいて誤認識判断を行うようにしているから、検出白線の誤認識を合理的に且つ容易に検出することができる。
【００５６】
また、前記指標ＩＮＤＥＸに基づいて誤認識判断を行う場合、白線候補点Ｌの検出点数が少ない場合には、例えば図７に示すように、一点の誤差の、道路パラメータの推定精度に与える影響は大きくなり、場合によっては、白線候補点Ｌが誤認識データであっても、検出点数が少ないために、白線候補点のＸ座標の推定値Ｘｈｕと検出値Ｘｍｕとの偏差が小さくなり、誤認識を検出することができない場合がある。しかしながら、上記第１の実施の形態においては、白線候補点Ｌの検出点数がしきい値以下の場合には、信頼度が低いと判断するようにしているから、信頼度の評価において、誤った判断を行うことを回避することができる。
【００５７】
ここで、カメラ１が撮像手段に対応し、図３のステップＳ２及びＳ３の処理が白線検出手段に対応し、ステップＳ４の処理がパラメータ推定手段に対応し、ステップＳ５の処理が破線検出手段に対応し、ステップＳ６及びＳ７の処理が評価手段に対応し、ステップＳ８及びＳ９の処理がパラメータ再推定手段に対応している。
【００５８】
次に、本発明の第２の実施の形態を説明する。
この第２の実施の形態は、上記第１の実施の形態において、図３の道路白線検出処理の処理手順が異なること以外は同様であるので、同一部には、同一符号を付与し、その詳細な説明は省略する。
第２の実施の形態においては、図８に示すフローチャートに基づいて道路白線検出処理を行う。
【００５９】
上記第１の実施の形態と同様に、処理を実行し、画像データに対して、ウィンドウＷｗを設定し（ステップＳ１、Ｓ２）、白線候補点Ｌを検出した後（ステップＳ３）、道路パラメータの推定を行い（ステップＳ４）、左右の検出白線が実線であるか破線であるかの判断を行う（ステップＳ５）。そして、一方のみが破線である場合には、ステップＳ６からステップＳ７に移行し、破線の信頼度評価を行う。
【００６０】
そして、この第２の実施の形態では、ステップＳ７の破線信頼度評価において、破線の信頼度が低くはないと判断された場合には、上記第１の実施の形態と同様にそのまま処理を終了するが、破線の信頼度が低いと判断された場合には、ステップＳ８からステップＳ２１に移行し、実線側の検出白線の白線候補点Ｌの検出点数が、予め設定したしきい値以上であるかどうかを判定する。このしきい値は、実線側の白線候補点Ｌに基づいて道路パラメータＳの推定を行った場合に、その信頼度を確保することの可能な検出点数に応じて設定される。
【００６１】
そして、白線候補点Ｌの検出個数が前記しきい値以上である場合には、ステップＳ２２に移行し、上記第１の実施の形態の図３におけるステップＳ９の処理と同様に、実線側の白線のみに基づいて道路パラメータＳの推定を行うが、このステップＳ２２の処理では、道路パラメータＳの推定を行う前に、道路パラメータＳを初期値に戻しておく。
【００６２】
そしてステップＳ２３に移行し、実線側の検出白線に対し、前記図３のステップＳ７の処理と同様にして信頼度評価を行う。
次いで、ステップＳ２４に移行し、実線側の検出白線の信頼度が高いか否かを判定し、実線側の検出白線の信頼度が高い場合にはステップＳ２５に移行し、破線側の白線を再度検出するためのウィンドウを設定する。
【００６３】
この破線側の白線に対するウィンドウの設定は、前記図３のステップＳ４における（１１）式及び（１２）式に基づいて行う。前記（１３）式及び（１４）式の演算は行わない。
つまり、第１の実施の形態においては、暫定のパラメータ共分散Ｍ及びパラメータ推定値Ｓｂａｒを用いて、ウィンドウの中心座標ＷＭ（ＸＭ，ＹＭ）及び片幅ｘｄｗを算出したが、この第２の実施の形態においては、サンプリングタイム最終のパラメータ共分散Ｐ及びパラメータ推定値Ｓを用いてウィンドウの中心座標ＷＭ（ＸＭ，ＹＭ）及び片幅ｘｄｗを算出しこれに基づいてウィンドウを設定する。この処理を、破線側の白線について行う。その手順は、前記ステップＳ４と同様である。
【００６４】
ここで、前記（１３）及び（１４）式の演算を行わないのは、実線側の検出白線に対する処理から破線側の検出白線に対する処理に移行する時点で、画像フレーム上において時間の更新が行われないためである。
また、一般に、前記（１３）式によって、道路パラメータの共分散Ｍは増加し、前記（１１）式によって、道路パラメータの共分散Ｐは減少し、これらを繰り返すことによって、共分散は増減を繰り返す。このステップＳ２５の処理においては、（１１）式によって算出した道路パラメータの共分散Ｐを用いて、ウィンドウＷｗの片幅ｘｄｗを算出するようにしているから、ウィンドウの幅が減少し、その分、誤認識を回避することができる。
【００６５】
上述のようにしてステップＳ２５の処理で破線側の白線検出のためのウィンドウを設定すると、次に、ステップＳ２６に移行し、設定された各ウィンドウに対し、白線候補点Ｌの算出を行う。ここでは、前記ステップＳ３で得られた白線候補点Ｌが、新たに設定したウィンドウに含まれているか否かを判断し、含まれている場合には、このデータを白線候補点Ｌとし、含まれていない場合には、白線候補点Ｌは存在しないと判断する。
【００６６】
次いで、ステップＳ２７に移行し、道路パラメータＳを初期値にリセットし、再度両側の検出白線による道路パラメータＳの推定を行う。つまり、破線側はステップＳ２６の処理で検出した検出白線、実線側はステップＳ２の処理で検出した検出白線を用い、これら両側の検出白線を用いて道路パラメータＳを推定する。そして処理を終了する。
【００６７】
一方、前記ステップＳ２４で、実線側の検出白線の信頼度が高くないと判定された場合にはステップＳ２８に移行し、実線側の検出白線の白線候補点Ｌの検出点数を削減する。
つまり、誤認識された白線候補点Ｌを含んで道路パラメータを推定した場合、これに基づき推定される白線のラインに対し、誤認識された白線候補点Ｌは、図９に示すように、その偏差が最も大きくなる。
【００６８】
したがって、実線側の検出白線について、ステップＳ２３で推定した道路パラメータＳと、ウィンドウ中心座標ＷＭｗのＹ座標ＹＭと、前記（１）式とから算出した、ウィンドウ中心座標ＷＭｗのＸ座標ＸＭと白線候補点ＬのＸ座標との偏差が最も大きい白線候補点Ｌを選択し、このデータを削除する。そして、ステップＳ２１に戻る。
【００６９】
そして、ステップＳ２１の処理で実線側の白線候補点Ｌの検出数がしきい値を下回るときには、ステップＳ２９に移行し、例外処理を行う。具体的には、道路パラメータＳを初期値に戻し、処理を終了する。つまり、画像情報に基づき推定した道路パラメータの信頼度が低いため、有効な道路パラメータを得ることはできないものとして、道路パラメータを初期値に戻し処理を終了する。
【００７０】
したがって、この第２の実施の形態においては、破線側の検出白線の信頼度が低い場合には、ステップＳ８からステップＳ２１に移行し、このとき、実線側の検出白線の白線候補点Ｌの検出点数がしきい値以上であり、白線候補点Ｌの検出点数の点については信頼度を確保することができると予測されるときにはステップＳ２２に移行して、実線側の検出白線のみに基づいて道路パラメータＳの推定が行われる。そして、再度その信頼度の評価が行われ、白線候補点の推定値Ｘｈｕと検出値Ｘｍｕとのノルムに基づく信頼度が高いと予測されるときには、この信頼度の高い道路パラメータＳに基づいて、破線側の白線を検出するためのウィンドウの片幅ｘｄｗが算出され、このウィンドウに基づいて、新たに白線候補点Ｌが算出される。
【００７１】
そして、この新たに検出した破線側の道路白線の白線候補点Ｌと、ステップＳ３で検出した実線側の道路白線の白線候補点Ｌとに基づいて、再度道路パラメータＳの推定が行われる。
したがって、破線側の検出白線の信頼度が低いと予測されるときには、これを用いずに、信頼度の高い実線側の検出白線に基づく道路パラメータＳに基づいて再度ウィンドウを設定しこれに基づいて新たに破線側の道路白線の検出を行うようにし、信頼度の向上を図った破線側の検出白線と信頼度の高い実線側の検出白線とに基づいて、道路パラメータＳを推定するから、誤推定の可能性のある破線側の検出白線の信頼度を向上させた状態で、左右の検出白線に基づいて道路パラメータを推定することができ、破線側の検出白線の信頼度が低い場合であっても、道路パラメータの推定精度を向上させることができる。
【００７２】
また、破線側の道路白線を検出するためのウィンドウを再設定する際には、信頼度の高い実線側の検出白線のみに基づく道路パラメータに基づいてウィンドウ幅を設定するようにしているから、ウィンドウ幅を的確に設定することができ、そのウィンドウ幅を合理的に狭めることができる。よって、的確に白線検出を行うことができる。
【００７３】
また、このとき、実線側の検出白線のみによる道路パラメータの推定結果に基づく信頼度評価において、信頼度が低いと判定されるときには、信頼度を低くしている要因と考えられる実線側の検出白線の白線候補点Ｌを削除し、これを除いた白線候補点Ｌに基づいて道路パラメータを再度推定するようにしているから、合理的に不要な白線候補点Ｌを除去することができ、また、推定精度を合理的に向上させることができる。
【００７４】
また、実線側の検出白線の白線候補点Ｌの検出点数がしきい値を下回ったときには、道路パラメータの推定を中止するようにし、白線候補点数が少なく、信頼度の高い白線を検出することのできないと予測される場合には、処理を行わないから、信頼度の低い道路パラメータの推定を行うような不要な処理を行うことを回避することができる。
【００７５】
ここで、ステップＳ２２の処理が実線側パラメータ推定手段に対応し、ステップＳ２１、ステップＳ２３〜ステップＳ２６及びステップＳ２８の処理が白線再検出手段に対応し、ステップＳ２７の処理がパラメータ再推定手段に対応している。
次に、本発明の第３の実施の形態を説明する。
【００７６】
この第３の実施の形態は、上記第２の実施の形態において、道路白線検出処理の処理手順が異なること以外は同様である。同一部には、同一符号を付与しその詳細な説明は省略する。
この第３の実施の形態においては、図１０に示すフローチャートに基づいて道路白線検出処理を行う。
【００７７】
上記第１の実施の形態と同様に処理を実行し、画像データに対して、ウィンドウＷｗを設定し（ステップＳ１、Ｓ２）、白線候補点Ｌを検出した後（ステップＳ３）、道路パラメータの推定を行う（ステップＳ４）。そして、ステップＳ３１に移行し、上記第１の実施の形態における図３のステップＳ７の処理と同様の手順で、左右の検出白線それぞれについて、信頼度評価を行う。
【００７８】
次いで、ステップＳ３２に移行し、ステップＳ３１での信頼度評価の結果、信頼度がより高いと判定された検出白線の白線候補点Ｌに基づいて、道路パラメータＳを推定する。この推定は、処理を行う前に、道路パラメータＳを初期値に戻した後、上記第１の実施の形態のステップＳ９の処理と同様に行う。
次いで、ステップＳ３３に移行し、ステップＳ３１での信頼度評価の結果、信頼度がより低いと判定された検出白線について、ウィンドウを再設定する。このウィンドウの設定は、上記第２の実施の形態におけるステップＳ２５の処理と同様に行う。
【００７９】
次いでステップＳ３４に移行し、上記第２の実施の形態におけるステップＳ２６の処理と同様にして白線候補点Ｌを検出する。そして、ステップＳ３５に移行し、上記第２の実施の形態におけるステップＳ２７の処理と同様にして、新たに設定したウィンドウに基づき検出した検出白線と、ステップＳ３１で信頼度がより高いと判定された方の検出白線とに基づき再度道路パラメータＳの推定を行う。そして、処理を終了する。
【００８０】
このように、この第３の実施の形態においては、左右の検出白線の何れか信頼度の高い方を用いて、他方の側のウィンドウを再設定するようにしているから、左右の検出白線のうち何れか一方が破線である場合には、一般に実線側の方が信頼度が高いため、実線側の検出白線に基づいて破線側の道路白線を再度検出するためのウィンドウが再度設定されて白線検出が行われ、これらに基づいて道路パラメータの推定が行われることになる。逆に、破線側の検出白線の方が信頼度が高いと判定される場合には、破線側の検出白線に基づいて実線側の道路白線を再度検出するためのウィンドウが設定されて再度白線検出が行われ、道路パラメータの推定が行われることになる。
【００８１】
また、左右の検出白線が共に実線或いは破線の場合には、何れか信頼度の高い方に基づいて、他方の道路白線を再度検出するためのウィンドウが設定されて再度白線検出が行われ、道路パラメータの推定が行われることになる。
したがって、信頼度の低い側の検出白線については、この信頼度の低い側の道路白線を再度検出するためのウィンドウを、信頼度の高い側の検出白線をもとに再設定してその誤検出の可能性を低減し、このように誤検出の可能性を低減した状態で検出した検出白線に基づいて道路パラメータを推定するようにしたから、左右の検出白線が実線或いは破線であるに関わらず、道路パラメータの推定精度を向上させることができる。
【００８２】
ここで、図１０のステップＳ４の処理が評価手段に対応し、ステップＳ３２の処理が高信頼度側パラメータ推定手段に対応し、ステップＳ３３及びＳ３４の処理が白線再検出手段に対応し、ステップＳ３５の処理がパラメータ再推定手段に対応している。
なお、上記各実施の形態においては、道路幅Ｅ０を固定値として定式化した場合について説明したが、カメラ高さＨを固定値とし、道路幅Ｅ０を変数とした場合でも適用することができ、この場合も上記各実施の形態と同等の作用効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す概略構成図である。
【図２】カメラの取付位置を示す説明図である。
【図３】第１の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図４】ウィンドウの設定位置を示す説明図である。
【図５】ウィンドウＷｗの設定方法を説明するための説明図である。
【図６】本発明の動作説明に供する説明図である。
【図７】本発明の動作説明に供する説明図である。
【図８】本発明の第２の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図９】本発明の動作説明に供する説明図である。
【図１０】本発明の第３の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図１１】従来の動作説明に供する説明図である。
【符号の説明】
１ カメラ
２ 画像処理装置
３ メモリ
４ 制御コントローラ
【発明の属する技術分野】
この発明は、道路上の通行区分帯表示用の白線を認識するための道路白線認識装置に関する。
【０００２】
【従来の技術】
従来より、画像によって白線を認識し、自車両と白線との関係から、車両の自動制御又は一部自動制御に用いたりする技術が提案されている。
例えば、特開平８−２６１７５６号公報では、車載テレビカメラで撮像した撮像画像に対し、エッジ強調等の画像処理を施して、道路白線候補箇所を強調した後、前回のレーン形状を表すパラメータ及びその分散に基づいて探索領域を設定し、この探索領域内のエッジ線分を道路白線候補として選択し、エッジ線分の画像上の位置に基づいてレーン形状のパラメータとその分散とを更新するようにしている。
【０００３】
そして、このようにして更新したレーン形状のパラメータとその分散とをもとに、撮像画像に対し次の探索領域を設定し、上記と同様にしてレーン形状のパラメータ及びその分散を算出し、この処理を繰り返すことによって、図１１に示すように、撮像画像において、自車両近傍から前方方向に向けて左右の白線に順次探索領域を設定し、レーン形状のパラメータ及びその分散を順次算出するようになっている。このようにすることによって、レーン形状のパラメータとその分散とに基づいて探索領域の幅を適切に狭めることができ、紛らわしいエッジ線分との誤認を防止するようにしている。
【０００４】
【発明が解決しようとする課題】
ここで、上記従来の方法にあっては、車両近傍においては、レーン境界と、例えばガードレール、車両等といった他の構造物との誤認が少ないということを前提としている。
しかしながら、実際には、例えば雨天時等には、車両近傍であっても水膜のエッジが白線として誤認識される場合がある。このような場合には、誤認識結果を用いて遠方の探索領域が狭められるため、道路白線候補を見失ったり、さらには、誤って設定された探索領域において、別のエッジを道路白線として誤認識してしまう可能性もある。このため、レーン形状のパラメータの精度が低下し、例えば上位プログラムにおいて、算出されたレーン形状のパラメータに基づいて処理を行っているような場合等には、パラメータの精度によっては、処理を中断せざるを得ないという問題がある。
【０００５】
そこで、この発明は、上記従来の未解決の問題に着目してなされたものであり、道路白線を誤検出した場合における、道路形状を表すパラメータの推定精度の低下を抑制し、継続して道路白線認識を行うことの可能な道路白線認識装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線のみに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【０００７】
また、請求項２に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線のみに基づいて前記パラメータを再度推定する実線側パラメータ推定手段と、当該実線側パラメータ推定手段で推定した実線側パラメータに基づき、破線側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について破線側の道路白線を再度検出する白線再検出手段と、前記白線検出手段で検出された実線側の道路白線と前記白線再検出手段で検出された破線側の道路白線とに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【０００８】
また、請求項３に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像に対して道路形状を表すパラメータ及びその誤差共分散に基づいて探索領域を設定し、当該探索領域毎に白線候補点を検出して左右の道路白線を検出する白線検出手段と、当該白線検出手段で検出した白線候補点に基づいて、拡張カルマンフィルタを用いて前記パラメータ及びその誤差共分散を推定するパラメータ推定手段と、前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線を構成する前記白線候補点のみに基づいて前記パラメータ及びその誤差共分散を再度推定する実線側パラメータ推定手段と、当該実線側パラメータ推定手段で推定した実線側パラメータに基づき、破線側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について破線側の道路白線を再度検出する白線再検出手段と、前記白線検出手段で検出された実線側の道路白線を構成する白線候補点及び前記白線再検出手段で検出された破線側の道路白線を構成する白線候補点に基づいて前記パラメータ及びその誤差共分散を推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【０００９】
また、請求項４に係る道路白線認識装置は、前記実線側パラメータ推定手段は、前記白線候補点に基づいて前記実線側の道路白線の検出信頼度を評価し、この検出信頼度が低いと判定されるときには前記白線候補点のうち誤差が最大のものを検出して当該白線候補点を除く白線候補点を用いて前記実線側パラメータを再度推定し、前記実線側の道路白線の検出信頼度が高いと判定されるまで前記白線候補点を順次除去して前記実線側パラメータを推定し、前記パラメータ再推定手段は、前記実線側パラメータ推定手段での前記実線側パラメータの推定の際に、前記白線候補点の個数がしきい値を下回るときには、予め設定した所定値を前記パラメータ及びパラメータ共分散の推定値として設定し直すようになっていることを特徴としている。
【００１０】
また、請求項５に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、前記白線検出手段で検出された左右の道路白線に対し、その検出信頼度を評価する評価手段と、当該評価手段で、検出信頼度が高いと判定された側の道路白線のみに基づいて前記パラメータを再度推定する高信頼度側パラメータ推定手段と、当該高信頼度側パラメータ推定手段で推定した高信頼度側パラメータに基づき、検出信頼度が低いと判定された側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について道路白線を再度検出する白線再検出手段と、前記白線検出手段で検出され且つ前記検出信頼度が高いと判定された側の道路白線と前記白線再検出手段で検出された道路白線とに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【００１１】
また、請求項６に係る道路白線認識装置は、車両周囲の画像を撮像する撮像手段と、当該撮像手段の撮像画像に対して道路形状を表すパラメータ及びその誤差共分散に基づいて探索領域を設定し、当該探索領域毎に白線候補点を検出して左右の道路白線を検出する白線検出手段と、当該白線検出手段で検出した白線候補点に基づいて、拡張カルマンフィルタを用いて前記パラメータ及びその誤差共分散を推定するパラメータ推定手段と、前記白線検出手段で検出された左右の道路白線に対し、その検出信頼度を評価する評価手段と、当該評価手段で、検出信頼度が高いと判定された側の道路白線のみに基づいて前記パラメータ及びその誤差共分散を再度推定する高信頼度側パラメータ推定手段と、当該高信頼度側パラメータ推定手段で推定した高信頼度側パラメータに基づき、検出信頼度が低いと判定された側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について道路白線を再度検出する白線再検出手段と、前記白線検出手段で検出され且つ前記検出信頼度が高いと判定された側の道路白線を構成する白線候補点と前記白線再検出手段で検出された道路白線を構成する白線候補点とに基づいて前記パラメータ及びその誤差共分散を推定し直すパラメータ再推定手段と、を備えることを特徴としている。
【００１２】
また、請求項７に係る道路白線認識装置は、前記評価手段は、前記パラメータから想定される道路白線の推定位置と、前記白線検出手段及び／又は前記白線再検出手段で検出された道路白線との偏差に基づく指標がしきい値を超えるとき、信頼度が低いと評価するようになっていることを特徴としている。
さらに、請求項８に係る道路白線認識装置は、前記白線検出手段及び／又は前記白線再検出手段は、前記撮像画像に対して複数の探索領域を設定し、当該探索領域毎に白線候補点を検出してこれに基づき道路白線を検出する手段であって、前記評価手段は、前記白線検出手段で検出された白線候補点の数がしきい値を下回るとき、信頼度が低いと評価するようになっていることを特徴としている。
【００１３】
【発明の効果】
本発明の請求項１乃至３に係る道路白線認識装置によれば、撮像画像から検出した左右の道路白線の一方のみが破線であり、且つその検出信頼度が低いと評価されるときには、実線側の道路白線のみに基づいてパラメータを推定し直すようにしたから、疑似白線の誤検出等によって破線側の道路白線が誤検出された場合であっても、誤検出の生じる可能性の少ない実線側の道路白線のみに基づくパラメータを得ることができる。よって、疑似白線の誤検出等に起因するパラメータの推定精度の低下を抑制することができ、前記パラメータに基づき上位プログラムにおいて処理を行うような場合であっても、処理を継続して行うことができる。
【００１４】
また、請求項２及び３に係る道路白線認識装置によれば、撮像画像から検出した左右の道路白線の一方のみが破線であり、且つその検出信頼度が低いと評価されるときには、実線側の道路白線のみに基づいてパラメータを推定し、この推定したパラメータに基づいて探索領域を再度設定して破線側の道路白線を再度検出し、この再度検出した破線側の道路白線と、先に検出した道路白線とに基づいてパラメータを推定し直すようにしたから、信頼度の高いと予測される実線側の道路白線と、この実線側の道路白線に基づき探索領域を設定して検出した破線側の道路白線とに基づいてパラメータが推定されることになって、実線側の道路白線のみに基づいてパラメータを再度推定する場合に比較して、よりパラメータの推定精度を向上させることができる。
【００１５】
特に、請求項３に係る道路白線認識装置によれば、拡張カルマンフィルタを用いてパラメータ及びその誤差共分散を検出しこれに基づいて撮像画像から道路白線を検出するための探索領域や、破線側の道路白線を再検出するための探索領域を設定するようにしているから、探索領域を的確に設定することができ、その分道路白線の検出精度を向上させることができる。
【００１６】
また、請求項４に係る道路白線認識装置によれば、実線側の道路白線のみに基づいてパラメータを推定する際に、実線側の道路白線の検出信頼度が低いと評価された場合には、実線側の道路白線を構成する白線候補点のうちの誤差が最大のものを除去し、残りの白線候補点を用いて実線側パラメータを検出して信頼度の高い実線側パラメータを得るようにしたから、パラメータの推定精度をより向上させることができる。また、このとき、残りの白線候補点数がしきい値を下回るときにはこれらに基づくパラメータの推定を行わず予め設定した所定値をパラメータとして設定し直すようにしているから、信頼度の評価において白線候補点数が少ないことに起因して信頼性が高いと誤判定されることを回避することができる。
【００１７】
また、請求項５及び６に係る道路白線認識装置によれば、撮像画像から検出した左右の道路白線のうち、検出信頼度が高いと判定された側の道路白線のみに基づいてパラメータを再度推定し、この再度推定した高信頼度側パラメータに基づき設定した探索領域において道路白線を再度検出し、先に検出信頼度が高いと判定された側の道路白線と再度検出した信頼度が低いと判定された側の道路白線とに基づいてパラメータを推定し直すようにしたから、信頼度の低い側の道路白線の信頼度をより向上させ、これに基づいてパラメータを推定することによって、その推定精度をより向上させることができる。
【００１８】
特に、請求項６に係る道路白線認識装置によれば、拡張カルマンフィルタを用いてパラメータ及びその誤差共分散を検出しこれに基づいて撮像画像から道路白線を検出するための探索領域や、検出信頼度の低い側の道路白線を再検出するための探索領域を設定するようにしているから、探索領域を的確に設定することができ、その分道路白線の検出精度を向上させることができる。
【００１９】
また、請求項７に係る道路白線認識装置によれば、推定したパラメータから想定される道路白線の推定位置と、白線検出手段或いは白線再検出手段で検出された道路白線との偏差に基づく指標に基づいて、前記道路白線の検出信頼度の評価を行うようにしたから、容易且つ的確に検出信頼度の評価を行うことができる。さらに、請求項８に係る道路白線認識装置によれば、道路白線を構成する白線候補点の検出数が、しきい値を下回るときには道路白線の検出信頼度が低いと評価するようにしているから、道路白線の信頼度の評価を的確に行うことができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
まず、本発明の第１の実施の形態を説明する。
図１は、第１の実施の形態の構成を示す図である。ＣＣＤカメラ等で構成されるカメラ１は、図２に示すように、車幅方向中央の、車室内のフロントウィンドウ上部に、レンズの光軸と車両中心線とのヨー角が零、ピッチ角がαとなるように取り付けられ、車両前部の道路を含む車両の周囲環境を撮像する。画像処理装置２は、カメラ１からの撮像情報に対し所定の処理を行う。メモリ３は、後述する道路白線検出処理プログラムや道路形状及び車両挙動を表す道路パラメータ等を記憶する。制御コントローラ４は、画像処理装置２で所定の処理を施した画像データをもとに白線検出を行い、白線検出の結果に基づいて道路パラメータを推定し、推定結果を前記メモリ３に記憶する。
【００２１】
図３は、制御コントローラ４で実行される道路白線を検出するための道路白線検出処理の処理手順の一例を示すフローチャートである。なお、この道路白線検出処理は、予め設定した所定周期で実行される。
まず、ステップＳ１で、画像処理装置２から１フレームの画像データを読み込み、次いでステップＳ２に移行し、ステップＳ１で読み込んだ画像データに対し、例えば図４に示すように、複数のウィンドウＷｗ（ｗ＝１〜ｗn （ｗn はウィンドウの数））を設定する。
【００２２】
なお、各フレームでは、図４に示すように、例えばその左上を原点とし、画像右方をＸ軸の正方向、画像左方向をＸ軸の負方向とする。また、各ウィンドウのＹ方向、つまり画像上下方向のウィンドウ位置を予め設定しておき、例えば、各ウィンドウＷｗの上辺及び下辺のｙ座標をそれぞれ設定しておく。
前記ウィンドウＷｗは、図５に示すように、ウィンドウ中心座標ＷＭｗ（ＸＭ、ＹＭ）を基準として設定する。なお、各ウィンドウＷｗの上辺及び下辺のＹ座標は前述のように予め設定されているので、ここではウィンドウＷｗの左右方向の幅を設定する。
【００２３】
ここで、例えば本出願人が先に提案した特開平１１−２８１３５２号公報に記載されているように、画像データから検出される道路白線であると予測される白線候補点（Ｘ，Ｙ）では、道路モデルを、各種道路パラメータを用いて次式（１）で近似することができる。なお、この（１）式は、例えば、「自動車技術学会２０００年秋季大会前刷集 拡張カルマンフィルタを用いた車線追従制御の検討」等に、（１）式と等価な式が記載されている。
【００２４】
Ｘ＝(-A+I*E0) ×(Y+f*D+D0)／(H+H0)−B*(H+H0)*f2 ／(Y+f*D+D0)−C*f ……（１）
したがって、前記ウィンドウ中心座標ＷＭｗ（ＸＭ、ＹＭ）が白線候補点であるならば、ウィンドウ中心座標ＷＭｗ（ＸＭ、ＹＭ）についても同様に、前記（１）式が成り立つ。
【００２５】
なお、式中の、｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝は、レーン形状を指定するパラメータであり、Ａは自車両の車線に対する横変位、Ｂは道路曲率、Ｃは自車両の車線に対するヨー角、（Ｄ＋Ｄ０）はカメラ１の光軸に対するピッチ角であり、Ｄ０は定常値である。また、（Ｈ＋Ｈ０）はカメラ１の路面からの高さであって、Ｈ０は定常値である。また、Ｅ０は車線幅つまり、左白線及び右白線間の距離であり、ここでは定数とする。また、ｆはカメラ１のカメラ透視変換係数であり、さらに、Ｉは左白線であるときには“０”、右白線であるときには“１”に設定される。
【００２６】
前記（１）式を用いて、ウィンドウＷｗのＸ方向の片幅ｘｄｗを算出する。この片幅ｘｄｗの算出は、例えば、特開平８−２６１７５６号公報に記載された方法を用いて行う。
まず、前記（１）式を道路パラメータ｛Ａ，Ｂ，Ｃ，Ｄ，Ｈ｝の線形結合として近似する。前記道路モデル式（１）をＸ＝ｆ（Ａ，Ｂ，Ｃ，Ｄ，Ｈ、Ｙ）と表すものとすると、これは、次式（２）で近似することができる。
【００２７】
Ｘ＝df/dA*A ＋df/dB*B ＋df/dC*C ＋df/dD*D ＋df/dH*H ……（２）
なお、（３）式中のdf/dβ（β＝Ａ〜Ｈ）は、関数ｆを変数βで偏微分することを意味する。
続いて、前記（２）式を次式（３）に置き換える。
Ｘ＝[df/dA df/dB df/dC df/dD df/dH] ×[A B C D H] T ……（３）
この（３）式を次式（４）のように定義すると、各ウィンドウＷｗにおける白線候補点は、次式（５）で表すことができる。
【００２８】
なお、式中の添え字ｗは、各ウィンドウを識別するための符号であって、１からウィンドウの設定数までの値をとる。
Ｘ＝ＣＭ×[A B C D H] T ……（４）
Ｘｗ＝ＣＭｗ×[A B C D H] T ……（５）
ここで、〔Ｘ１ Ｘ２ ……〕T をＺとし、〔ＣＭ１；ＣＭ２；……〕をＣＭとし、道路パラメータ[A B C D H] T をＳとすると前記（５）式は、次式（６）で表すことができる。なお、「；」は改行を表す。
【００２９】
Ｚ＝ＣＭ＊Ｓ ……（６）
前記道路パラメータＳの共分散行列をＭ、Ｚの観測ノイズＶをＺ＝ＣＭ＊Ｓ＋Ｖと定義し、その共分散ＲをＥ（Ｖ＊ＶT ）＝Ｒとすると、ウィンドウＷｗの片側幅ｘｄｗは、次式（７）で表すことができる。
ｘｄｗ＝｛３＊ｓｑｒｔ（ＣＭ＊Ｍ＊ＣＭT ＋Ｒ｝ｗｗ ……（７）
なお、ｓｑｒｔは平方根を表し、｛ ｝ｗｗは、行列のｗｗ要素を表す。
【００３０】
したがって、後述のステップＳ４での道路パラメータの推定処理時に算出される、前回処理実行時に算出した道路パラメータ推定値Ｓｂａｒ及び暫定の共分散行列Ｍとこれらに基づき前記（１）式から算出されるＣＭと、観測ノイズの共分散Ｒとに基づいて、前記（７）式にしたがって、片側幅ｘｄｗを算出する。また、道路パラメータ推定値Ｓｂａｒと前記（１）式の道路モデルとに基づいて、ウィンドウ中心座標ＷＭｗのＹＭ位置に対応するＸ座標位置を算出し、これをウィンドウ中心座標ＷＭｗのＸ座標ＸＭとして設定する。そして、このウィンドウ中心座標ＷＭｗ、すなわち、白線候補点を基準として、前記片側幅ｘｄｗを有するウィンドウＷｗを設定する。
【００３１】
次いで、ステップＳ３に移行し、各ウィンドウＷｗ毎に白線候補線を設定する。この白線候補線の設定は、例えば、まず、画像データに対し、ｓｏｂｌｅフィルタを適用し、輝度変化を利用して白線のエッジ検知を行う。例えば、隣り合う画素について、左側の画素の輝度が右側の画素の輝度よりも大きい場合に、フィルタの出力が正値となり、逆に右側の画素の輝度が左側の画素の輝度よりも大きい場合に、フィルタの出力が負値となるものとすると、左白線の場合のエッジ候補点の場合には、フィルタの出力は正値となり、右白線の場合のエッジ候補点の場合には、フィルタの出力が負値となる。
【００３２】
そして、このようにして得た白線のエッジ候補点の集合から、白線候補線を得る。この処理は、例えば公知のハフ変換、最小自乗法等を適用することができる。例えばハフ変換直線近似を行う場合には、ウィンドウ内を通過する直線のうち、最も白線のエッジ候補点を多く貫いたものを、白線候補線として選択する。
そして、選択した白線候補線上の任意の点をこのウィンドウＷｗの白線候補点Ｌとして選択する。例えば、白線候補線とウィンドウの上辺との交点を白線候補点Ｌとし、この位置座標（Ｘｗｉ，Ｙｗｉ）を算出する。
【００３３】
この処理を左右の各ウィンドウ毎に行い、各ウィンドウ毎に白線候補点Ｌ（Ｘｗｉ，Ｙｗｉ）を検出する。
そして、全てのウィンドウのうち、白線候補点Ｌを得られたウィンドウについて、その白線候補点Ｌの位置座標（Ｘｗｉ，Ｙｗｉ）を、ウィンドウの識別番号の順に、（Ｘｊ，Ｙｊ）として設定し、前記（６）式におけるＺを得る。なお、ｊ＝０〜ｊN であって、ｊN は利用するデータの総数、つまり、ステップＳ２で設定した複数のウィンドウのうち、白線候補点Ｌを得られたウィンドウの数に相当する。
【００３４】
次いで、ステップＳ４に移行し、道路パラメータの推定を行う。この道路パラメータの推定は、例えばカルマンフィルタを用いて行う。
まず、道路パラメータＳの振る舞いを次式（８）に示すように予め設定する。ここでは、道路パラメータＡ，Ｂ，Ｃ，Ｄの振る舞いをランダムウォークモデルで記述し、Ｈの振る舞いを一次遅れモデルで記述した例を示す。また、連続系で表現する。
【００３５】
【数１】
次いで、前記（８）式を離散化し、次式（９）を得る。
Ｓ（ｉ＋１）＝Φ＊Ｓ（ｉ）＋Γ＊ｐｎｚ ……（９）
なお、式（９）中のｉはサンプリングタイムであり、また、ｐｎｚはプロセスノイズ、Φは離散系における推移行列、Γは既知の行列である。
ここで、前記プロセスノイズｐｎｚの分散を、次式（１０）と定義する。
【００３７】
Ｅ（ｐｎｚ＊ｐｎｚT ）＝Ｑ ……（１０）
前記（８）式中のθ及び（１０）式中のＱは、車両の振る舞いから、公知の手順にしたがって近似される。なお、この近似の詳細は、「最適制御入門 加藤寛一郎著 東京大学出版会」に記載されている。
前記道路パラメータＳは次式（１１）〜（１４）の離散系のカルマンフィルタを用いて推定する。
【００３８】
Ｐ＝（Ｍ-1＋ＣＭT ＊Ｒ-1＊ＣＭ）-1 ……（１１）
Ｓ＝Ｓｂａｒ＋Ｋ（Ｚ−ＣＭ＊Ｓｂａｒ） ……（１２）
Ｋ＝Ｐ＊ＣＭT ＊Ｒ-1
Ｍ＝Φ＊Ｐ＊ΦT ＋Γ＊Ｑ＊ΓT ……（１３）
Ｓｂａｒ＝Φ＊Ｓ ……（１４）
なお、（１１）〜（１４）式において、Ｍ及びＳｂａｒは、サンプリング時間推移させたことによる暫定のパラメータ共分散及びパラメータ推定値である。また、Ｐ及びＳは、前記暫定のパラメータ共分散及びパラメータ推定値に観測の補正を加えた各サンプリングタイム最終のパラメータ共分散及びパラメータ推定値である。また、ウィンドウＷｗを設定する場合には、サンプリング時間推移後、観測以前の状態であるから、前記（７）式で示すように、パラメータ共分散はＭを使用する。
【００３９】
また、前記ウィンドウ中心座標ＷＭｗ（ＸＭ、ＹＭ）もＳｂａｒを使用した方がその精度は向上する。そのため、前記（１１）及び（１２）式の演算を行った後、前記（１３）及び（１４）式の演算を行う。
このようにして道路パラメータを推定した後、ステップＳ５に移行し、前記複数の白線候補点Ｌに基づいて特定される検出白線が、実線であるか破線であるかの判断を行う。
【００４０】
この判断は、左側及び右側の検出白線それぞれについて行い、片側の検出白線における白線候補点Ｌの個数が、実線判断のしきい値個数を超える状態が、所定時間継続したときに、実線と判断する。また、片側の検出白線における白線候補点の個数が破線判断のしきい値個数を下回る状態が、所定時間継続したときに、破線と判断する。なお、前記実線判断のしきい値個数及び破線判断のしきい値個数、また、前記所定時間は、予め実験等によって、実線又は破線とみなすことの可能な値に設定される。
【００４１】
次いで、ステップＳ６に移行し、ステップＳ５の実線破線判断処理の結果に基づき、左右の検出白線のうち、一方が実線であり且つ他方が破線であるかどうかを判定し、一方が実線、他方が破線であると判定される場合にはステップＳ７に移行し、一方が実線であり且つ他方が破線ではないと判断されるとき、つまり、両方とも実線又は両方とも破線であると判定されるときにはそのまま処理を終了する。
【００４２】
前記ステップＳ７では、破線であると判断された検出白線の信頼度評価を行う。まず、指標ＩＮＤＥＸを次式（１５）にしたがって算出する。
なお、式中のＸｈｕは、白線候補点のＸ座標の推定値であって、ステップＳ４で算出した道路パラメータＳと、ウィンドウ中心座標ＷＭｗのＹ座標ＹＭと、前記（１）式とから算出した、ウィンドウ中心座標ＷＭｗのＸ座標ＸＭである。また、Ｘｍｕは、白線候補点のＸ座標の検出値であって、ステップＳ３の処理において算出される、白線候補点ＬのＸ座標である。なお、ｕ＝１〜ｕN であって、ｕN は、ステップＳ３の処理で検出される破線側の白線候補点Ｌの検出個数である。
【００４３】
ＩＮＤＥＸ
＝｛（Ｘｈ１−Ｘｍ１）2 ＋……＋（ＸｈｕN −ＸｍｕN ）2 ｝／ｕN ……（１５）
前記（１５）式に示すように、ＩＮＤＥＸは、白線候補点のＸ座標の推定値と検出値との二乗誤差を表している。本来、画素の分解能に起因する誤差しか発生しないはずであるため、この二乗誤差が大きいほど、信頼度が低いことを意味する。したがって、ＩＮＤＥＸがしきい値を超えたときに、信頼度が低いと判断する。
【００４４】
また、前記白線候補点Ｌの検出個数ｕN の数が低下すると、たとえ、検出した白線候補点Ｌが誤認識であっても、ＩＮＤＥＸは低下する可能性がある。また、白線候補点Ｌの検出点数が多いほど、それを満たす条件が厳しくなり、誤認識箇所の推定値と検出値との偏差が増大する。しかしながら、逆に見ると、白線候補点Ｌの検出点数が少ないほど、それがいえなくなることを意味する。したがって、前記ＩＮＤＥＸがしきい値を超えたときに信頼度が低いと判断すると共に、片側の白線候補点Ｌの検出点数ｕN が所定値を下回った場合にも、信頼度が低いと判断する。
【００４５】
続いて、ステップＳ８に移行し、ステップＳ７の処理で、破線の信頼度が低いと判断されたかどうかを判定し、信頼度が低いと判断されたときにはステップＳ９に移行し、信頼度が低いと判断されないときにはそのまま処理を終了する。
前記ステップＳ９では、道路パラメータＳを前回の処理結果に戻し、実線側の検出白線のみに基づいて、再度道路パラメータＳを推定する。なお、実線側の検出白線のみを用いて道路パラメータを推定する際のカルマンフィルタの構造は、前記（１１）及び（１２）式において、ＣＭ行列が異なること以外は同じである。
【００４６】
つまり、前記（５）式から、次式（１６）を得ることができる。
ｘｊｋ＝ＣＭｋ＊[A B C D H] T ｋ＝１〜ｋ０ ……（１６）
なお、式（１６）中の、ｘｊは実線側の検出白線における白線候補点ＬのＸ座標、ｋ０は実線側の検出白線の、道路白線検出数である。
前記（１６）式は次式（１７）と表すことができる。
【００４７】
Ｚ＝ＣＭ＊Ｓ
Ｚ＝[xj1,xj2,xj3, ……,xjk0] T
ＣＭ＝[CMj1,CMj2,CMj3,……,CMjk0] ……（１７）
したがって、この（１７）式と前記（１１）〜（１４）式とに基づいて上記ステップＳ４での処理と同様にして道路パラメータＳを推定する。
【００４８】
次に、上記第１の実施の形態の動作を説明する。
カメラ１で撮像された画像情報は、画像処理装置２に入力され、ここで所定の処理が行われ、１フレーム毎の画像データとして、制御コントローラ４に出力される。
制御コントローラ４では、所定周期で画像データを読み込み（ステップＳ１）、画像データに対し、図４に示すようにウィンドウを設定する（ステップＳ２）。このとき、各ウィンドウＷｗを設定する際に、前回処理実行時に推定した道路パラメータＳｂａｒ及び共分散行列Ｍとに基づいてウィンドウＷｗの片幅ｘｄｗが算出され、これと、前回処理実行時に推定した道路パラメータＳに基づき推定した、ウィンドウの中心座標ＷＭ（ＸＭ，ＹＭ）とに基づいて、各ウィンドウＷｗが設定される。
【００４９】
そして、各ウィンドウＷｗ毎に、白線候補線が設定されてこれに基づき白線候補点Ｌが検出され（ステップＳ３）、さらに、ステップＳ４で道路パラメータＳが推定される（ステップＳ４）。
そして、ステップＳ３で検出された各ウィンドウＷｗ毎の白線候補点Ｌに基づいて、左右の検出白線それぞれについて、実線であるか、破線であるかの推定が行われる。例えば、ステップＳ３で検出された白線候補点Ｌの検出個数が、実線判断のしきい値の個数を超えており、この状態が所定時間継続したとき、実線であると判断される。逆に、白線候補点Ｌの検出個数が、破線判断のしきい値を下回っており、この状態が所定時間継続したとき、破線であると判断される。なお、何れの条件を満足しない場合には、実線及び破線の何れでもないと判定される。
【００５０】
そして、例えば、左右の検出白線が両方とも実線であると判定される場合には、実線の場合、白線の誤検出はほとんど生じないから、推定された道路パラメータＳの信頼度は高いものとしてそのまま処理を終了する。
また、例えば、左右の白線のうち、一方が破線、他方が実線であると判定された場合には、ステップＳ７に移行し、破線側の検出白線の信頼度評価が行われる。つまり、ステップＳ４で算出した道路パラメータＳと、ウィンドウ中心座標ＷＭｗのＹ座標ＹＭと、前記（１）式とから算出される、ウィンドウ中心座標ＷＭｗのＸ座標ＸＭである、白線候補点のＸ座標の推定値Ｘｈｕと、ステップＳ３の処理で検出される白線候補点ＬのＸ座標である白線候補点のＸ座標の検出値Ｘｍｕとに基づき前記（１５）式に基づいて指標ＩＮＤＥＸを算出する。
【００５１】
この指標ＩＮＤＥＸが、しきい値を超えたときには、白線候補点の推定値Ｘｈｕと検出値Ｘｍｕとの偏差が大きく信頼度が低いと予測され、また、白線候補点Ｌの検出点数がしきい値を下回る場合には、検出点数が少ないほど偏差が小さくなるため、信頼度が低いと予測されるため、ステップＳ８からステップＳ９に移行し、信頼度の低い破線側の検出白線は用いず、実線側の検出白線のみを用いて道路パラメータＳの推定が行われる。
【００５２】
ここで、図６に示すように、道路白線の近傍に疑似白線があった場合、ハフ変換を用いて白線候補線を選択する場合には、エッジ候補点数の多い方を白線として選択するため、道路白線が実線である場合には、ほぼ誤認識することなく、真の白線が選択される。しかしながら、道路白線が破線であったときには、場合によっては、疑似白線を道路白線として選択してしまう場合がある。
【００５３】
このとき、上述のように、検出白線が破線であると判定される場合には、ステップＳ５からステップＳ６を経てステップＳ７に移行し、ここで、破線の信頼度評価が行われる。そして、疑似白線が検出白線として検出されている場合には、白線候補点のＸ座標の推定値Ｘｈｕと検出値Ｘｍｕとの偏差が大きくなり、指標ＩＮＤＥＸがしきい値を超えると信頼度が低いと判断され、実線側のみ、つまり、誤検出された疑似白線は用いずに道路パラメータＳの推定が行われる。
【００５４】
この道路パラメータＳの推定は、片側のみによる推定であるため、カメラ高さ相当値の近似等を行っている点からも、その精度は低下するが、疑似白線を用いた誤推定による道路パラメータよりも精度は高い。
したがって、道路白線を的確に検出することができない場合であってもその精度の低下を抑制することができ、このようにして片側の検出白線のみに基づいて推定した道路パラメータを用いることによって、この推定された道路パラメータＳに基づいて上位プログラム等において処理を行っているような場合に道路白線を的確に検出することができなかったとしても、上位プログラムでは、上述のようにして推定した道路パラメータＳを用いることによって、道路パラメータＳを利用した処理を継続して行うことができる。
【００５５】
また、このとき、白線候補点のＸ座標の推定値Ｘｈｕと検出値Ｘｍｕとの偏差に基づいて指標ＩＮＤＥＸを算出し、本来、検出白線が誤認識されていない状態では、画素の分解能に起因するノイズしか存在しないという点を判断基準とし、指標ＩＮＤＥＸに基づいて誤認識判断を行うようにしているから、検出白線の誤認識を合理的に且つ容易に検出することができる。
【００５６】
また、前記指標ＩＮＤＥＸに基づいて誤認識判断を行う場合、白線候補点Ｌの検出点数が少ない場合には、例えば図７に示すように、一点の誤差の、道路パラメータの推定精度に与える影響は大きくなり、場合によっては、白線候補点Ｌが誤認識データであっても、検出点数が少ないために、白線候補点のＸ座標の推定値Ｘｈｕと検出値Ｘｍｕとの偏差が小さくなり、誤認識を検出することができない場合がある。しかしながら、上記第１の実施の形態においては、白線候補点Ｌの検出点数がしきい値以下の場合には、信頼度が低いと判断するようにしているから、信頼度の評価において、誤った判断を行うことを回避することができる。
【００５７】
ここで、カメラ１が撮像手段に対応し、図３のステップＳ２及びＳ３の処理が白線検出手段に対応し、ステップＳ４の処理がパラメータ推定手段に対応し、ステップＳ５の処理が破線検出手段に対応し、ステップＳ６及びＳ７の処理が評価手段に対応し、ステップＳ８及びＳ９の処理がパラメータ再推定手段に対応している。
【００５８】
次に、本発明の第２の実施の形態を説明する。
この第２の実施の形態は、上記第１の実施の形態において、図３の道路白線検出処理の処理手順が異なること以外は同様であるので、同一部には、同一符号を付与し、その詳細な説明は省略する。
第２の実施の形態においては、図８に示すフローチャートに基づいて道路白線検出処理を行う。
【００５９】
上記第１の実施の形態と同様に、処理を実行し、画像データに対して、ウィンドウＷｗを設定し（ステップＳ１、Ｓ２）、白線候補点Ｌを検出した後（ステップＳ３）、道路パラメータの推定を行い（ステップＳ４）、左右の検出白線が実線であるか破線であるかの判断を行う（ステップＳ５）。そして、一方のみが破線である場合には、ステップＳ６からステップＳ７に移行し、破線の信頼度評価を行う。
【００６０】
そして、この第２の実施の形態では、ステップＳ７の破線信頼度評価において、破線の信頼度が低くはないと判断された場合には、上記第１の実施の形態と同様にそのまま処理を終了するが、破線の信頼度が低いと判断された場合には、ステップＳ８からステップＳ２１に移行し、実線側の検出白線の白線候補点Ｌの検出点数が、予め設定したしきい値以上であるかどうかを判定する。このしきい値は、実線側の白線候補点Ｌに基づいて道路パラメータＳの推定を行った場合に、その信頼度を確保することの可能な検出点数に応じて設定される。
【００６１】
そして、白線候補点Ｌの検出個数が前記しきい値以上である場合には、ステップＳ２２に移行し、上記第１の実施の形態の図３におけるステップＳ９の処理と同様に、実線側の白線のみに基づいて道路パラメータＳの推定を行うが、このステップＳ２２の処理では、道路パラメータＳの推定を行う前に、道路パラメータＳを初期値に戻しておく。
【００６２】
そしてステップＳ２３に移行し、実線側の検出白線に対し、前記図３のステップＳ７の処理と同様にして信頼度評価を行う。
次いで、ステップＳ２４に移行し、実線側の検出白線の信頼度が高いか否かを判定し、実線側の検出白線の信頼度が高い場合にはステップＳ２５に移行し、破線側の白線を再度検出するためのウィンドウを設定する。
【００６３】
この破線側の白線に対するウィンドウの設定は、前記図３のステップＳ４における（１１）式及び（１２）式に基づいて行う。前記（１３）式及び（１４）式の演算は行わない。
つまり、第１の実施の形態においては、暫定のパラメータ共分散Ｍ及びパラメータ推定値Ｓｂａｒを用いて、ウィンドウの中心座標ＷＭ（ＸＭ，ＹＭ）及び片幅ｘｄｗを算出したが、この第２の実施の形態においては、サンプリングタイム最終のパラメータ共分散Ｐ及びパラメータ推定値Ｓを用いてウィンドウの中心座標ＷＭ（ＸＭ，ＹＭ）及び片幅ｘｄｗを算出しこれに基づいてウィンドウを設定する。この処理を、破線側の白線について行う。その手順は、前記ステップＳ４と同様である。
【００６４】
ここで、前記（１３）及び（１４）式の演算を行わないのは、実線側の検出白線に対する処理から破線側の検出白線に対する処理に移行する時点で、画像フレーム上において時間の更新が行われないためである。
また、一般に、前記（１３）式によって、道路パラメータの共分散Ｍは増加し、前記（１１）式によって、道路パラメータの共分散Ｐは減少し、これらを繰り返すことによって、共分散は増減を繰り返す。このステップＳ２５の処理においては、（１１）式によって算出した道路パラメータの共分散Ｐを用いて、ウィンドウＷｗの片幅ｘｄｗを算出するようにしているから、ウィンドウの幅が減少し、その分、誤認識を回避することができる。
【００６５】
上述のようにしてステップＳ２５の処理で破線側の白線検出のためのウィンドウを設定すると、次に、ステップＳ２６に移行し、設定された各ウィンドウに対し、白線候補点Ｌの算出を行う。ここでは、前記ステップＳ３で得られた白線候補点Ｌが、新たに設定したウィンドウに含まれているか否かを判断し、含まれている場合には、このデータを白線候補点Ｌとし、含まれていない場合には、白線候補点Ｌは存在しないと判断する。
【００６６】
次いで、ステップＳ２７に移行し、道路パラメータＳを初期値にリセットし、再度両側の検出白線による道路パラメータＳの推定を行う。つまり、破線側はステップＳ２６の処理で検出した検出白線、実線側はステップＳ２の処理で検出した検出白線を用い、これら両側の検出白線を用いて道路パラメータＳを推定する。そして処理を終了する。
【００６７】
一方、前記ステップＳ２４で、実線側の検出白線の信頼度が高くないと判定された場合にはステップＳ２８に移行し、実線側の検出白線の白線候補点Ｌの検出点数を削減する。
つまり、誤認識された白線候補点Ｌを含んで道路パラメータを推定した場合、これに基づき推定される白線のラインに対し、誤認識された白線候補点Ｌは、図９に示すように、その偏差が最も大きくなる。
【００６８】
したがって、実線側の検出白線について、ステップＳ２３で推定した道路パラメータＳと、ウィンドウ中心座標ＷＭｗのＹ座標ＹＭと、前記（１）式とから算出した、ウィンドウ中心座標ＷＭｗのＸ座標ＸＭと白線候補点ＬのＸ座標との偏差が最も大きい白線候補点Ｌを選択し、このデータを削除する。そして、ステップＳ２１に戻る。
【００６９】
そして、ステップＳ２１の処理で実線側の白線候補点Ｌの検出数がしきい値を下回るときには、ステップＳ２９に移行し、例外処理を行う。具体的には、道路パラメータＳを初期値に戻し、処理を終了する。つまり、画像情報に基づき推定した道路パラメータの信頼度が低いため、有効な道路パラメータを得ることはできないものとして、道路パラメータを初期値に戻し処理を終了する。
【００７０】
したがって、この第２の実施の形態においては、破線側の検出白線の信頼度が低い場合には、ステップＳ８からステップＳ２１に移行し、このとき、実線側の検出白線の白線候補点Ｌの検出点数がしきい値以上であり、白線候補点Ｌの検出点数の点については信頼度を確保することができると予測されるときにはステップＳ２２に移行して、実線側の検出白線のみに基づいて道路パラメータＳの推定が行われる。そして、再度その信頼度の評価が行われ、白線候補点の推定値Ｘｈｕと検出値Ｘｍｕとのノルムに基づく信頼度が高いと予測されるときには、この信頼度の高い道路パラメータＳに基づいて、破線側の白線を検出するためのウィンドウの片幅ｘｄｗが算出され、このウィンドウに基づいて、新たに白線候補点Ｌが算出される。
【００７１】
そして、この新たに検出した破線側の道路白線の白線候補点Ｌと、ステップＳ３で検出した実線側の道路白線の白線候補点Ｌとに基づいて、再度道路パラメータＳの推定が行われる。
したがって、破線側の検出白線の信頼度が低いと予測されるときには、これを用いずに、信頼度の高い実線側の検出白線に基づく道路パラメータＳに基づいて再度ウィンドウを設定しこれに基づいて新たに破線側の道路白線の検出を行うようにし、信頼度の向上を図った破線側の検出白線と信頼度の高い実線側の検出白線とに基づいて、道路パラメータＳを推定するから、誤推定の可能性のある破線側の検出白線の信頼度を向上させた状態で、左右の検出白線に基づいて道路パラメータを推定することができ、破線側の検出白線の信頼度が低い場合であっても、道路パラメータの推定精度を向上させることができる。
【００７２】
また、破線側の道路白線を検出するためのウィンドウを再設定する際には、信頼度の高い実線側の検出白線のみに基づく道路パラメータに基づいてウィンドウ幅を設定するようにしているから、ウィンドウ幅を的確に設定することができ、そのウィンドウ幅を合理的に狭めることができる。よって、的確に白線検出を行うことができる。
【００７３】
また、このとき、実線側の検出白線のみによる道路パラメータの推定結果に基づく信頼度評価において、信頼度が低いと判定されるときには、信頼度を低くしている要因と考えられる実線側の検出白線の白線候補点Ｌを削除し、これを除いた白線候補点Ｌに基づいて道路パラメータを再度推定するようにしているから、合理的に不要な白線候補点Ｌを除去することができ、また、推定精度を合理的に向上させることができる。
【００７４】
また、実線側の検出白線の白線候補点Ｌの検出点数がしきい値を下回ったときには、道路パラメータの推定を中止するようにし、白線候補点数が少なく、信頼度の高い白線を検出することのできないと予測される場合には、処理を行わないから、信頼度の低い道路パラメータの推定を行うような不要な処理を行うことを回避することができる。
【００７５】
ここで、ステップＳ２２の処理が実線側パラメータ推定手段に対応し、ステップＳ２１、ステップＳ２３〜ステップＳ２６及びステップＳ２８の処理が白線再検出手段に対応し、ステップＳ２７の処理がパラメータ再推定手段に対応している。
次に、本発明の第３の実施の形態を説明する。
【００７６】
この第３の実施の形態は、上記第２の実施の形態において、道路白線検出処理の処理手順が異なること以外は同様である。同一部には、同一符号を付与しその詳細な説明は省略する。
この第３の実施の形態においては、図１０に示すフローチャートに基づいて道路白線検出処理を行う。
【００７７】
上記第１の実施の形態と同様に処理を実行し、画像データに対して、ウィンドウＷｗを設定し（ステップＳ１、Ｓ２）、白線候補点Ｌを検出した後（ステップＳ３）、道路パラメータの推定を行う（ステップＳ４）。そして、ステップＳ３１に移行し、上記第１の実施の形態における図３のステップＳ７の処理と同様の手順で、左右の検出白線それぞれについて、信頼度評価を行う。
【００７８】
次いで、ステップＳ３２に移行し、ステップＳ３１での信頼度評価の結果、信頼度がより高いと判定された検出白線の白線候補点Ｌに基づいて、道路パラメータＳを推定する。この推定は、処理を行う前に、道路パラメータＳを初期値に戻した後、上記第１の実施の形態のステップＳ９の処理と同様に行う。
次いで、ステップＳ３３に移行し、ステップＳ３１での信頼度評価の結果、信頼度がより低いと判定された検出白線について、ウィンドウを再設定する。このウィンドウの設定は、上記第２の実施の形態におけるステップＳ２５の処理と同様に行う。
【００７９】
次いでステップＳ３４に移行し、上記第２の実施の形態におけるステップＳ２６の処理と同様にして白線候補点Ｌを検出する。そして、ステップＳ３５に移行し、上記第２の実施の形態におけるステップＳ２７の処理と同様にして、新たに設定したウィンドウに基づき検出した検出白線と、ステップＳ３１で信頼度がより高いと判定された方の検出白線とに基づき再度道路パラメータＳの推定を行う。そして、処理を終了する。
【００８０】
このように、この第３の実施の形態においては、左右の検出白線の何れか信頼度の高い方を用いて、他方の側のウィンドウを再設定するようにしているから、左右の検出白線のうち何れか一方が破線である場合には、一般に実線側の方が信頼度が高いため、実線側の検出白線に基づいて破線側の道路白線を再度検出するためのウィンドウが再度設定されて白線検出が行われ、これらに基づいて道路パラメータの推定が行われることになる。逆に、破線側の検出白線の方が信頼度が高いと判定される場合には、破線側の検出白線に基づいて実線側の道路白線を再度検出するためのウィンドウが設定されて再度白線検出が行われ、道路パラメータの推定が行われることになる。
【００８１】
また、左右の検出白線が共に実線或いは破線の場合には、何れか信頼度の高い方に基づいて、他方の道路白線を再度検出するためのウィンドウが設定されて再度白線検出が行われ、道路パラメータの推定が行われることになる。
したがって、信頼度の低い側の検出白線については、この信頼度の低い側の道路白線を再度検出するためのウィンドウを、信頼度の高い側の検出白線をもとに再設定してその誤検出の可能性を低減し、このように誤検出の可能性を低減した状態で検出した検出白線に基づいて道路パラメータを推定するようにしたから、左右の検出白線が実線或いは破線であるに関わらず、道路パラメータの推定精度を向上させることができる。
【００８２】
ここで、図１０のステップＳ４の処理が評価手段に対応し、ステップＳ３２の処理が高信頼度側パラメータ推定手段に対応し、ステップＳ３３及びＳ３４の処理が白線再検出手段に対応し、ステップＳ３５の処理がパラメータ再推定手段に対応している。
なお、上記各実施の形態においては、道路幅Ｅ０を固定値として定式化した場合について説明したが、カメラ高さＨを固定値とし、道路幅Ｅ０を変数とした場合でも適用することができ、この場合も上記各実施の形態と同等の作用効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す概略構成図である。
【図２】カメラの取付位置を示す説明図である。
【図３】第１の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図４】ウィンドウの設定位置を示す説明図である。
【図５】ウィンドウＷｗの設定方法を説明するための説明図である。
【図６】本発明の動作説明に供する説明図である。
【図７】本発明の動作説明に供する説明図である。
【図８】本発明の第２の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図９】本発明の動作説明に供する説明図である。
【図１０】本発明の第３の実施の形態における道路白線検出処理の処理手順の一例を示すフローチャートである。
【図１１】従来の動作説明に供する説明図である。
【符号の説明】
１ カメラ
２ 画像処理装置
３ メモリ
４ 制御コントローラ
Claims (8)
- 車両周囲の画像を撮像する撮像手段と、
当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、
当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、
前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、
当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、
当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線のみに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴とする道路白線認識装置。 - 車両周囲の画像を撮像する撮像手段と、
当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、
当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、
前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、
当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、
当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線のみに基づいて前記パラメータを再度推定する実線側パラメータ推定手段と、
当該実線側パラメータ推定手段で推定した実線側パラメータに基づき、破線側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について破線側の道路白線を再度検出する白線再検出手段と、
前記白線検出手段で検出された実線側の道路白線と前記白線再検出手段で検出された破線側の道路白線とに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴とする道路白線認識装置。 - 車両周囲の画像を撮像する撮像手段と、
当該撮像手段の撮像画像に対して道路形状を表すパラメータ及びその誤差共分散に基づいて探索領域を設定し、当該探索領域毎に白線候補点を検出して左右の道路白線を検出する白線検出手段と、
当該白線検出手段で検出した白線候補点に基づいて、拡張カルマンフィルタを用いて前記パラメータ及びその誤差共分散を推定するパラメータ推定手段と、
前記白線検出手段で検出した道路白線が破線であるか実線であるかを検出する破線検出手段と、
当該破線検出手段での検出結果に基づき、前記左右の道路白線として検出された道路白線のうち一方のみが破線であると判定されるときに、当該破線側の道路白線の検出信頼度を評価する評価手段と、
当該評価手段で、前記破線側の道路白線の検出信頼度が低いと判定されるとき、実線側の道路白線を構成する前記白線候補点のみに基づいて前記パラメータ及びその誤差共分散を再度推定する実線側パラメータ推定手段と、
当該実線側パラメータ推定手段で推定した実線側パラメータに基づき、破線側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について破線側の道路白線を再度検出する白線再検出手段と、
前記白線検出手段で検出された実線側の道路白線を構成する白線候補点及び前記白線再検出手段で検出された破線側の道路白線を構成する白線候補点に基づいて前記パラメータ及びその誤差共分散を推定し直すパラメータ再推定手段と、を備えることを特徴とする道路白線認識装置。 - 前記実線側パラメータ推定手段は、前記白線候補点に基づいて前記実線側の道路白線の検出信頼度を評価し、この検出信頼度が低いと判定されるときには前記白線候補点のうち誤差が最大のものを検出して当該白線候補点を除く白線候補点を用いて前記実線側パラメータを再度推定し、前記実線側の道路白線の検出信頼度が高いと判定されるまで前記白線候補点を順次除去して前記実線側パラメータを推定し、
前記パラメータ再推定手段は、前記実線側パラメータ推定手段での前記実線側パラメータの推定の際に、前記白線候補点の個数がしきい値を下回るときには、予め設定した所定値を前記パラメータ及びパラメータ共分散の推定値として設定し直すようになっていることを特徴とする請求項３記載の道路白線認識装置。 - 車両周囲の画像を撮像する撮像手段と、
当該撮像手段の撮像画像を処理して道路上の左右の道路白線を検出する白線検出手段と、
当該白線検出手段の検出結果に基づいて道路形状を表すパラメータを推定するパラメータ推定手段と、
前記白線検出手段で検出された左右の道路白線に対し、その検出信頼度を評価する評価手段と、
当該評価手段で、検出信頼度が高いと判定された側の道路白線のみに基づいて前記パラメータを再度推定する高信頼度側パラメータ推定手段と、
当該高信頼度側パラメータ推定手段で推定した高信頼度側パラメータに基づき、検出信頼度が低いと判定された側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について道路白線を再度検出する白線再検出手段と、
前記白線検出手段で検出され且つ前記検出信頼度が高いと判定された側の道路白線と前記白線再検出手段で検出された道路白線とに基づいて前記パラメータを推定し直すパラメータ再推定手段と、を備えることを特徴とする道路白線認識装置。 - 車両周囲の画像を撮像する撮像手段と、
当該撮像手段の撮像画像に対して道路形状を表すパラメータ及びその誤差共分散に基づいて探索領域を設定し、当該探索領域毎に白線候補点を検出して左右の道路白線を検出する白線検出手段と、
当該白線検出手段で検出した白線候補点に基づいて、拡張カルマンフィルタを用いて前記パラメータ及びその誤差共分散を推定するパラメータ推定手段と、
前記白線検出手段で検出された左右の道路白線に対し、その検出信頼度を評価する評価手段と、
当該評価手段で、検出信頼度が高いと判定された側の道路白線のみに基づいて前記パラメータ及びその誤差共分散を再度推定する高信頼度側パラメータ推定手段と、
当該高信頼度側パラメータ推定手段で推定した高信頼度側パラメータに基づき、検出信頼度が低いと判定された側の道路白線を再検出するための探索領域を前記撮像画像に対して設定し、この探索領域について道路白線を再度検出する白線再検出手段と、
前記白線検出手段で検出され且つ前記検出信頼度が高いと判定された側の道路白線を構成する白線候補点と前記白線再検出手段で検出された道路白線を構成する白線候補点とに基づいて前記パラメータ及びその誤差共分散を推定し直すパラメータ再推定手段と、を備えることを特徴とする道路白線認識装置。 - 前記評価手段は、前記パラメータから想定される道路白線の推定位置と、前記白線検出手段及び／又は前記白線再検出手段で検出された道路白線との偏差に基づく指標がしきい値を超えるとき、信頼度が低いと評価するようになっていることを特徴とする請求項１乃至６の何れかに記載の道路白線認識装置。
- 前記白線検出手段及び／又は前記白線再検出手段は、前記撮像画像に対して複数の探索領域を設定し、当該探索領域毎に白線候補点を検出してこれに基づき道路白線を検出する手段であって、
前記評価手段は、前記白線検出手段で検出された白線候補点の数がしきい値を下回るとき、信頼度が低いと評価するようになっていることを特徴とする請求項１乃至７の何れかに記載の道路白線認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001258722A JP3700625B2 (ja) | 2001-08-28 | 2001-08-28 | 道路白線認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001258722A JP3700625B2 (ja) | 2001-08-28 | 2001-08-28 | 道路白線認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003067755A JP2003067755A (ja) | 2003-03-07 |
| JP3700625B2 true JP3700625B2 (ja) | 2005-09-28 |
Family
ID=19086192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001258722A Expired - Fee Related JP3700625B2 (ja) | 2001-08-28 | 2001-08-28 | 道路白線認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3700625B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1714108A4 (en) * | 2003-12-24 | 2010-01-13 | Automotive Systems Lab | ROAD curvature ESTIMATES SYSTEM |
| JP4776587B2 (ja) | 2007-06-13 | 2011-09-21 | 国立大学法人北海道大学 | 画像処理装置，運転支援装置 |
| JP4697480B2 (ja) | 2008-01-11 | 2011-06-08 | 日本電気株式会社 | 車線認識装置、車線認識方法および車線認識プログラム |
| JP4988786B2 (ja) | 2009-04-09 | 2012-08-01 | 株式会社日本自動車部品総合研究所 | 境界線認識装置 |
| JP5220787B2 (ja) | 2010-03-08 | 2013-06-26 | 株式会社日本自動車部品総合研究所 | 車載白線認識装置 |
| JP5957315B2 (ja) * | 2012-07-03 | 2016-07-27 | クラリオン株式会社 | 車載用車線認識装置 |
| JP6171612B2 (ja) * | 2013-06-20 | 2017-08-02 | 株式会社豊田中央研究所 | 仮想レーン生成装置及びプログラム |
| JP6220327B2 (ja) * | 2014-07-23 | 2017-10-25 | 株式会社Ｓｏｋｅｎ | 走行区画線認識装置、走行区画線認識プログラム |
| JP6492469B2 (ja) * | 2014-09-08 | 2019-04-03 | 株式会社豊田中央研究所 | 自車走行レーン推定装置及びプログラム |
| JP6106229B2 (ja) | 2015-08-10 | 2017-03-29 | 富士重工業株式会社 | 車線認識装置 |
| JP6649047B2 (ja) * | 2015-11-11 | 2020-02-19 | トヨタ自動車株式会社 | 車両走行制御装置 |
| CN110140158A (zh) * | 2017-01-10 | 2019-08-16 | 三菱电机株式会社 | 行驶路径识别装置及行驶路径识别方法 |
| JP7325620B2 (ja) * | 2020-04-13 | 2023-08-14 | 三菱電機株式会社 | 走行路認識装置及び走行路認識方法 |
-
2001
- 2001-08-28 JP JP2001258722A patent/JP3700625B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003067755A (ja) | 2003-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002197444A (ja) | 車両の走行路認識装置 | |
| JP3700625B2 (ja) | 道路白線認識装置 | |
| JP3780922B2 (ja) | 道路白線認識装置 | |
| US8687896B2 (en) | Picture image processor, method for processing picture image and method for processing picture image | |
| KR101609303B1 (ko) | 카메라 캘리브레이션 방법 및 그 장치 | |
| US20090010482A1 (en) | Diagrammatizing Apparatus | |
| JP5258859B2 (ja) | 走路推定装置及びプログラム | |
| US8730325B2 (en) | Traveling lane detector | |
| CN101029823B (zh) | 基于车辆状态分类的车辆跟踪方法和装置 | |
| JP2002197469A (ja) | 車線検出装置 | |
| JP3603836B2 (ja) | 道路白線認識装置 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JP5855756B2 (ja) | レーンマーク認識装置 | |
| JP5141599B2 (ja) | 車線認識装置及び方法 | |
| JP3823782B2 (ja) | 先行車両認識装置 | |
| JP2005157731A (ja) | 車線認識装置および車線認識方法 | |
| JP3589293B2 (ja) | 道路の白線検出方法 | |
| JP2850608B2 (ja) | 車両用走行路検出装置 | |
| JP3882304B2 (ja) | 自動走行用自車位置検出装置 | |
| JP7191671B2 (ja) | キャリブレーション装置、キャリブレーション方法 | |
| JP2005157733A (ja) | 車線認識装置および車線認識方法 | |
| JP4070450B2 (ja) | 前方車両認識装置及び認識方法 | |
| JPH08320998A (ja) | レーンマーカ検出装置 | |
| JP3194301B2 (ja) | ガイドライン検出装置 | |
| JP3700675B2 (ja) | 道路白線認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080722 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |