JP3731464B2

JP3731464B2 - Road white line recognition device

Info

Publication number: JP3731464B2
Application number: JP2000301150A
Authority: JP
Inventors: 裕之古性
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2000-09-29
Filing date: 2000-09-29
Publication date: 2006-01-05
Anticipated expiration: 2020-09-29
Also published as: JP2002109549A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両の自動操縦や予防安全運転などのために、車両の進行方向前方の道路を画像として取得して道路白線を認識し、この道路白線から道路形状を推定するようにした道路白線認識装置に関する。
【０００２】
【従来の技術】
この種の画像により道路白線を認識する従来の手法としては、特開平７−２４４７１７号に開示される車両用走行環境認識装置や特開平９−３５０６５号に開示される車載用画像処理装置などがある。前者の特開平７−２４４７１７号ではエッジ検知の問題点を空間積分で克服しようとするものであり、また、後者の特開平９−３５０６５号では時間積分で問題点を克服するものである。更に、これら以外にも取得した画像上に設けられるウインドウの輝度値の平均値をもってそのウインドウのしきい値とし、このしきい値以上の輝度をもって道路白線と見なす手法が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる従来の白線認識の方法では、特開平７−２４４７１７号の空間積分する場合は結果的に積分の変化を計算するものであり、満足のいくノイズの除去性能に劣り、また、特開平９−３５０６５号の時間積分する場合は道路が時間とともに画像上を移動するため、時間積分の出力画像はぼかし状態となって道路白線の検知性能が劣化することになる。
【０００４】
更に、ウインドウにしきい値を設けて道路白線を検知する手法では、実際の道路白線の輝度と路面の輝度との間にしきい値となる平均値が来ないことが多い。図１５はそのときの累積輝度分布の一例を示し、これは右軸に輝度、縦軸に輝度の分布度数をそれぞれ表し、輝度は右に行くほど高くなって０〜２５５まで変化するとともに、度数は上に行くほど大きくなって１００パーセントまで到達している。同図中輝度Ｖ0に対して度数Ｔ0が対応しているが、これは輝度Ｖ0以上の度数がＴ0パーセントであることを意味する。また、輝度０（黒）以上は全ての輝度を意味するため、縦軸の切片は必ず１００パーセントとなる。
【０００５】
ここで、上記輝度分布の平均輝度をＶave、道路白線輝度をＶref（Ｖave＜Ｖref）とした場合、画面全体は黒っぽく、道路白線の占める部分が少ないことから、輝度の平均が黒寄りに設定されることになる。従って、この場合はＶaveとＶrefとの間に存在する輝度は誤検知の対象となる。
【０００６】
また、これとは逆にＶave＞Ｖrefとなる同様の累積輝度分布を図１６に示すが、これは一部のノイズの輝度が高くて平均輝度を押し上げている場合で、ＶaveとＶrefとの間に存在する輝度は道路白線として認識することができなくなる。
【０００７】
本発明はかかる従来の課題に鑑みて成されたもので、道路白線を探索するために道路画像上に設けた複数のウインドウ内で、道路白線を認識するためのしきい値を路面面積と道路白線面積とを考慮して設定することにより、道路白線を精度良く認識できるようにした道路白線認識装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に記載の本発明は、車両前方の道路画像を取得する画像取得手段と、取得した道路画像内に道路白線を探索する複数のウインドウを設けるウインドウ設定手段と、各ウインドウそれぞれに設定された輝度のしきい値によって道路白線の候補点を認識する白線候補点選択手段とを備え、この白線候補点の集合から、前記道路画像で認識される道路形状を推定するようにした道路白線認識装置であって、前記道路形状を推定する動作が繰り返し行われる道路白線認識で前回の道路形状推定値から次回のウインドウ内に占めると想定される道路白線の面積を推定する道路面積推定手段と、それぞれのウインドウに対してしきい値以上の輝度を持つ画素の面積が上記道路面積推定手段で推定された道路白線の面積以上となるように上記輝度のしきい値を個々に設定するしきい値設定手段と、を設けたことを要旨とする。
【０００９】
請求項２に記載の本発明は、車両前方の道路画像を取得する画像取得手段と、取得した道路画像内に道路白線を探索する複数のウインドウを設けるウインドウ設定手段と、各ウインドウに設定された輝度のしきい値によって道路白線の候補点を認識する白線候補点選択手段とを備え、この白線候補点の集合から、前記道路画像で認識される道路形状を推定するようにした道路白線認識装置であって、前記道路形状を推定する動作が繰り返し行われる道路白線認識で前回の道路形状推定値から次回のウインドウ内に占めると想定される道路白線の面積を推定する道路面積推定手段と、所定のウインドウにおいてしきい値以上の輝度を持つ画素の面積が上記道路面積推定手段で推定された道路白線の面積以上となるように上記輝度のしきい値を設定するしきい値設定手段とを設け、このしきい値を全ウインドウに適用することを要旨とする。
【００１０】
請求項３に記載の本発明は、請求項２の道路白線認識装置にあって、所定のウインドウを、画像取得手段に近い道路白線を透視するウインドウに選定したことを要旨とする。
【００１１】
請求項４に記載の本発明は、請求項１〜３のいずれか１つの道路白線認識装置にあって、道路認識を繰り返し行い、前回の道路形状推定値から次回のウインドウ位置を想定することを要旨とする。
【００１２】
請求項５に記載の本発明は、請求項１〜４のいずれか１つの道路白線認識装置にあって、ウインドウの上下両端が道路白線と重なると想定されるそれぞれの幅を上底および下底として道路白線を台形と見立て、その面積を近似的に求めることを要旨とする。
【００１３】
請求項６に記載の本発明は、請求項１〜４のいずれか１つの道路白線認識装置にあって、ウインドウの上下一方の端が道路白線と重なると想定される幅を１辺として道路白線を平行四辺形と見立て、その面積を近似的に求めることを要旨とする。
【００１４】
【発明の効果】
請求項１に記載の本発明によれば、道路白線は、車両前方の道路画像上に設けた複数のウインドウ内で探索されるようになっており、各ウインドウに個々に設定されるしきい値以上の輝度（以下、高輝度という）をもって道路白線を判別できる。このとき、各ウインドウの道幅方向の幅は、道路が存在すると想定される画像上の領域を含むように複数個設定しておけばよく、また、上記高輝度の画素は道路白線以外にも道路条件、例えば水の反射やランプおよび太陽光の直射・反射光などによって現れる場合があり、これが疑似白線となって本来の道路白線と混同する要因となる。従って、この疑似白線を含めて上記高輝度の画素を道路白線候補点と見なして取り込んだ上で、この道路白線候補点の連続性などから道路白線を検知することができる。
【００１５】
このとき、それぞれのウインドウでは高輝度を持つ画素の面積、つまり疑似白線を含む道路白線候補点の画素の面積が、ウインドウ内に占めると想定される道路白線の面積以上となるようにそのしきい値が設定されるため、高輝度を持つ画素の集合に道路白線が確実に含まれることになる。そして、このようにしきい値が高輝度を持つ画素の面積と道路白線の面積との対比で決定されるため、ウインドウ内の路面面積が占める割合が大きくなった場合にも、しきい値が黒寄り、つまり低輝度側に設定されるのが防止される。また、ウインドウ内の一部に高輝度のノイズが現れた場合にも、その面積が小さければしきい値にほとんど影響されることは無い。つまり、しきい値はウインドウ内全体の路面面積に対して、そのウインドウ内に占める道路白線面積を考慮して決定されるものであり、これによってウインドウ内の道路白線候補点を確実に認識でき、ひいては、この道路白線候補点から道路白線を精度良く認識することができる。
【００１６】
請求項２に記載の本発明によれば、上記請求項１の道路白線認識装置と同様の手法をもってしきい値が設定されるが、この請求項２の道路白線認識装置の場合は、所定のウインドウで設定したしきい値を共通のしきい値として、複数のウインドウ全てに設定するようになっているため、このしきい値の設定計算が全てのウインドウに対して１回、つまり１画面に付き１回で済むことになる。従って、しきい値を高速で設定できるため道路白線の認識をよりリアルタイムで実行できる。従って、高速処理を要求されるシステムに有利となり、例えば高速走行する車両の走行案内を確実かつ安全に行うことができるようになる。
【００１７】
請求項３に記載の本発明によれば、上記請求項２の道路白線認識装置にあって、所定のウインドウを、画像取得手段に近い道路白線を透視するウインドウに選定したので、この画像取得手段に近いウインドウでは、より遠くにあるウインドウに比較して道路白線が拡大されているため、道路白線面積の変化が抑制されることになる。従って、ノイズがしきい値に影響しづらくなるため、繰り返し行われるしきい値設定をより高速に対応させることができるようになり、高速処理を要求されるシステムで有利となる。
【００１８】
請求項４に記載の本発明よれば、上記請求項１〜３のいずれか１つの道路白線認識装置にあって、道路認識を繰り返し行い、前回の道路形状推定値から次回のウインドウ位置を想定するようにしたので、ウインドウ位置を道路形状に応じてその都度適切に設定できるようになる。従って、ウインドウを固定的に設けた場合は道路の存在しうる領域を全てカバーする必要があるが、その都度設定するウインドウでは道路白線を取得するに十分な面積を確保すればよく、ウインドウの面積を小さくすることができる。つまり、このようにウインドウを小さくすることにより、道路白線以外の疑似白線が取り込まれる確率が少なくなるため、しきい値の設定精度が向上される。
【００１９】
請求項５に記載の本発明によれば、上記請求項１〜４のいずれか１つの道路白線認識装置にあって、ウインドウの上下両端が道路白線と重なると想定されるそれぞれの幅を上底および下底として道路白線を台形と見立て、その面積を近似的に求めるようにしたので、ウインドウの上下高さが既知であるため、道路白線の面積は上記上底と下底の２箇所の長さを求めるのみで高速に演算できるようになる。
【００２０】
請求項６に記載の本発明によれば、請求項１〜４のいずれか１つの道路白線認識装置にあって、ウインドウの上下一方の端が道路白線と重なると想定される幅を１辺として道路白線を平行四辺形と見立て、その面積を近似的に求めるようにしたので、この場合は道路白線が重なるウインドウの上下一方の端の１箇所の長さを求めるのみで道路白線の面積を決定でき、演算の更なる高速化を達成できるようになる。
【００２１】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照して詳細に説明する。
【００２２】
図１は本発明にかかる道路白線認識装置１０の一実施形態を示す基本的な構成で、車両前方の道路画像を取得する画像取得手段１４と、取得した道路画像内に道路白線１８を探索する複数のウインドウ２０を設けるウインドウ設定手段１０１と、各ウインドウ２０それぞれに設定されたしきい値ｖnによって道路白線１８の候補点２１を認識する白線候補点選択手段１０２とを備え、この白線候補点２１の集合から道路モデルを推定するようになっており、繰り返し行われる道路白線認識で前回の道路モデル推定値から次回のウインドウ２０内に占めると想定される道路白線１８の面積ｓnを推定する道路面積推定手段１０３と、それぞれのウインドウ２０に対してしきい値ｖn以上の輝度を持つ画素の面積が上記道路面積推定手段１０３で推定された道路白線１８の面積ｓn以上となるように上記しきい値ｖnを個々に設定するしきい値設定手段１０４とを設けて構成される。
【００２３】
図２は上記道路白線認識装置１０を搭載した車両１２の一実施形態を示す概略図で、画像取得手段１４とこの画像取得手段１４で取得した画像信号（以下、単に画像という）を処理するプロセッサ１６とが車両１２に設置される。画像取得手段１４は高感度撮像が可能なＣＣＤカメラなどが好ましく、この画像取得手段（以下、カメラという）１４は室内天井１２ａの前方中央部に前方下方を指向して取り付けられ、フロントガラス１２ｂを通して車両１２前方の道路Ｒ画像を取得するようになっている。上記プロセッサ１６は車両１２の熱や風雨の影響のない適宜箇所に設置され、上記カメラ１４で取得した道路Ｒ画像から道路白線１８を認識して道路モデル（道路形状）を推定する制御が実行される。
【００２４】
図３はプロセッサ１６によって道路モデルを想定するプログラムＰ1を実行するためのフローチャートを示す。即ち、このフローチャートでは前方画像取込処理により車両前方画像を取り込んだ後（ステップＳ１）、ウインドウ設定処理により画像内に複数のウインドウを設ける（ステップＳ２）。次にステップＳ４〜Ｓ７の処理を完了したかどうかを判断（ステップＳ３）した後、道路パラメータ推定処理により道路モデルを想定する（ステップＳ８）ようになっている。
【００２５】
ステップＳ４は画像内に設けられた上記複数のウインドウ全てにステップＳ５〜７の処理が実行されるように順に次のウインドウを選択する。そして、ステップＳ５の白線候補点選択処理によってしきい値より高輝度の画素を取り込んだ後、ステップＳ６の白線候補線算出処理によりステップＳ５で取り込んだ白線候補点の連続性から白線と見なすことができる線を算出し、ステップＳ７の道路座標算出処理では白線候補線とウインドウの上辺との交点座標を求める。また、ステップＳ８の処理後はステップＳ１に戻り、一連のプログラムＰ1が所定時間毎に実行されることになる。
【００２６】
以下、上記プログラムＰ1の処理を各ステップＳ１〜Ｓ８毎に詳述する。
【００２７】
（１）前方画像取込（Ｓ１）
上記カメラ１４によって撮像された画像信号を、プログラムＰ1を処理する所定時間毎に取り込む。
【００２８】
（２）ウインドウ設定（Ｓ２）
ウインドウ２０は、図４に示すように道路白線１８の延長方向に沿って複数が設けられ、前回の画像処理結果によって得られた道路モデルにより、それぞれのウインドウ２０に道路白線１８が取り込まれるように、それぞれの位置が設定される。図中の縦方向は画像座標ｙ軸方向を示し、図中下方がｙプラスである。また、図中の横方向は画像座標ｘ軸方向を示し、図中右方がｘプラスである。図５に示すようにウインドウ２０のｘ方向の幅Ｗは道路が存在すると想定される画像上の領域をカバーするように、各ウインドウ２０（同図では１つのウインドウ２０を例にとって示してある。）が設定される。各ウインドウ２０の上辺２０ａの座標ｙ0と下辺２０ｂの座標ｙ1とは固定とする。また、道路モデルは式１によって得られる（特開平６−２０１８９号参照）。
【００２９】
【数１】

パラメータＡ、Ｂ、Ｃ、Ｄ、Ｈはそれぞれ自車両の車線に対する横位置、道路曲率、自車両の車線に対するヨー角、ピッチ角、カメラ高さに相当する。Ｅ0は車線幅（左右白線の内側間の距離）、ｆV、ｆhはカメラ透視変換定数で縦方向、横方向をそれぞれ表す。（ｘ，ｙ）は自車両に対して白線内側の画像上の座標（以下、道路座標という）であり、以下においてｘ，ｙは画像上の座標を意味するものとする。また、ｉは左白線では「０」、右白線では「１」を表す。
【００３０】
また、式１は道路モデルを表す一手法を示したものであり、例えば、Ｅ0を変数にしたもの、Ｈを固定したもの、車線幅を左白線中央と右白線中央の距離とし、（ｘ，ｙ）を白線中央の画像座標として定義することもできる。
【００３１】
ここで、Ｎ番目のウインドウの上辺２０ａのｙ座標をｙnとし、前回のパラメータ推定結果を｛Ａ（−１），Ｂ（−１），Ｃ（−１），Ｄ（−１），Ｈ（−１）｝とすると、式１より今回のウインドウ２０の中心座標ｘestは式２で示される。
【００３２】
【数２】

ウインドウ２０のｘ方向の幅は固定値もあれば、特開平８−２６１７５６号に示されるように、パラメータの分散から合理的に設定する方法も提示されている。
【００３３】
（３）すべてのウインドウ完了？（Ｓ３）
ステップＳ３〜Ｓ７のループ内処理を各ウインドウ２０全てに対して実行したかどうかを判断する。
【００３４】
（４）次のウインドウへ（Ｓ４）
ステップＳ３〜Ｓ７のループ内処理が各ウインドウ２０全てに対して実行されない場合に、処理していないウインドウ２０を順次選択する。
【００３５】
（５）白線候補点選択（Ｓ５）
この白線候補点選択を処理するプログラムＰ2は、図６に示すフローチャートによって実行される。即ち、このプログラムＰ2は、道路面積を推定（ステップＳ１０）した後に度数分布を算出（ステップＳ１１）し、これらからしきい値を設定する（ステップＳ１２）とともに、しきい値による選択が行われる（ステップＳ１３）。
【００３６】
ここで、上記プログラムＰ2の処理を各ステップＳ１０〜Ｓ１３毎に詳述する。（５−１）道路面積推定（Ｓ１０）
前回処理の結果から該当するウインドウ２０での道路面積を推定する。N番目となるウインドウ２０の上辺２０ａのｙ座標をｙnとする。道路モデルを表す式１より、このウインドウ２０での予想ｘ座標ｘnは式３で示される。
【００３７】
【数３】

Ａは自車両の車線に対する横変位を表す。車両が白線幅だけずれた場合の画像上のずれは、白線幅の画像上での幅を表している。従って、widthを実際の白線の幅（例えば１５cm）とすると、式３より画像上の白線の幅ｗnは式４で示される。この場合、添え字nはN番目を表す。
【００３８】
【数４】

道路面積はウインドウ２０の面積で正規化される。即ち、ウインドウ２０面積と一致した場合には、面積＝１００パーセントとする。ウインドウ２０の面積はプログラムＰ1のステップＳ２で既知であり、それをｕnとする。この場合、道路白線１８を上底と下底がウインドウ枠に接した平行四辺形と見なす。つまり、ウインドウ２０の上辺２０ａと下辺２０ｂの一方が道路白線１８と重なると想定される幅を１辺としてこの道路白線１８を平行四辺形と見立て、その面積を近似的に求めるようになっている。この場合の正規化された道路白線面積ｓnは式５で表される。ただし、ｄnはウインドウ２０のｙ方向の幅を表す。
【００３９】
【数５】

（５−２）度数分布算出（Ｓ１１）
ウインドウ２０の画素をすべて走査して輝度分布を調べる。ところで、この輝度分布を調べるにあたって、図１５の累積輝度分布によって輝度が０〜２５５まで変化する従来技術を説明したが、このように輝度カウンタを０〜２５５まで別々に用意すると、プロセッサ１６のメモリが膨大となる。このため、本実施形態では図７に示すようにカウンタを１０毎にまとめ、輝度０〜９をカウンタ０として置き換えるとともに、輝度１０から１９をカウンタ１０として順次置き換えてある。この場合、同図ではカウンタを一部省略してある。
【００４０】
（５−３）しきい値設定（Ｓ１２）
図７に示した各カウンタの合計、つまりウインドウ２０の画素数の合計をｂnとすると、道路白線１８上の画素数ｋnは式６によって与えられる。
【００４１】
【数６】

また、各輝度のカウンタ数をｃ0〜ｃ25とする。ただし、ｃ1は輝度０〜９の画素のカウンタのように定義する。また、ｃ25だけは２５０〜２５５の画素のカウンタとする。次に、輝度の高い方のカウンタからカウンタ値を累積する変数ｊnを用意し、式７をｍが２５から初めて１づつ下げて繰り返し実行する。そして、その繰り返し最中に（ｊn≧ｋn）の条件が満たされた場合に計算を停止する。
【００４２】
【数７】

その繰り返し最中に以下の式８に示す条件が満たされた場合に計算を停止する。
【００４３】
【数８】

このときに、始めて道路白線面積がしきい値以上の領域に包含されたことを意味する。そして、計算が中止された時のｍの値をもってしきい値ｖnを式９によって計算する。
【００４４】
【数９】

（５−４）しきい値による選択（Ｓ１３）
ウインドウ２０内の画素を再走査し、上記ｖn以上の輝度を白線候補点２１とする。これによって図８に示すように白線候補点２１がウインドウ２０に多数プロットされた集合群として表される。
【００４５】
次に、上記プログラムＰ1に戻って説明を進める。
【００４６】
（６）白線候補線算出（Ｓ６）
ウインドウ２０内にプロットされた白線候補点２１の連続性から白線候補線２２を探索する。この探索にはハフ変換や最小自乗法などを用いることができる。例えば、ハフ変換直線近似では図９に示すようにウインドウ２０内を通過する直線のうち、最も白線候補点２１を多く貫いたものが選択される。
【００４７】
（７）道路座標算出（Ｓ７）
図１０に示すように白線候補線２２とウインドウ２０の上辺２０ａとの交点座標（ｘn，ｙn）を求める。これがそのウインドウ２０での道路座標となり、白線候補線２２の数に応じて道路座標の集合（ｘ0，ｙ0）〜（ｘn0，ｙn0）が得られる。
【００４８】
（８）道路パラメータ推定（Ｓ８）
道路座標の集合（ｘ0，ｙ0）〜（ｘn0，ｙn0）と上記式１の構造に基づいて、道路モデル（Ａ，Ｂ，Ｃ，Ｄ，Ｈ）の推定が行われる。この推定を行う方式の代表的なものとして、最小自乗法やカルマンフィルタを用いることができる。
【００４９】
以下、本実施形態の道路白線認識装置１０の作用を述べる。即ち、この道路白線認識装置１０は、各ウインドウ２０に設定されるしきい値が、カメラ１４によって取得した道路画面内の路面面積と道路白線面積とを考慮に入れて適切に決定され、これにより道路白線１８を精度良く認識できるものであり、これを用いることによって道路モデル（形状）を正確に推定することができる。
【００５０】
即ち、上記道路白線認識装置１０はプログラムＰ1のステップＳ５によって白線候補点２１が選択されるが、この白線候補点２１はプログラムＰ2の道路面積推定（ステップＳ１０）と度数分布算出（ステップＳ１１）とを経て設定されるしきい値ｖnを基準として検出される。このとき、画面に取り込まれる高輝度なものは道路白線１８とは限ることなく、例えば、前方車両の窓の照り返し、ランプ、その他太陽光の直射・反射光などは輝度が高いものである。しかし、ウインドウ２０内に限定した場合、それらが入る確率は大幅に減少する。即ち、ウインドウ２０内で道路白線１８が高輝度を示す可能性が高くなり、よって、所定値以上の輝度を有する画素の集合に道路白線１８が確実に含まれることになる。ここで、上記しきい値ｖnの設定が問題となることは従来に述べた通りであり、これを本発明が解決することにより精度良く道路白線１８を認識できるのである。
【００５１】
即ち、本実施形態では図１１に示すように道路白線１８の最低輝度をＶrefとすると、Ｖref以上の輝度を有する画素の度数はＴrefパーセントとなる。このことは、例えば道路白線１８以上の輝度を持つものが無い場合、ウインドウ２０に占める白線面積がＴrefパーセントであることを意味する。従って、ウインドウ２０内に限定したことにより、白線以上の輝度を持つ画素は存在する可能性が低くなり、また、ウインドウ２０の面積は既知であるため、道路白線１８の面積が判っていれば、図１１を逆に利用して分布がＴrefパーセント以下になる輝度をしきい値ｖnとして設定すればよいことなる。
【００５２】
つまり、従来例として図１５に示した従来の平均手法は黒寄りのしきい値を採るため誤認識を起こすことを既に述べたが、本実施形態の手法では路面（アスファルト）面積と道路白線面積を考慮に入れてしきい値ｖnを設定しているため、いくら路面が占める面積が大きくても、しきい値ｖnが黒寄りに設定されることは無い。
【００５３】
また、従来例として図１６の場合では白寄りのしきい値を採るためロストを起こすが、この場合にあっても本実施形態では、上述したように路面面積と道路白線面積を考慮に入れてしきい値ｖnを設定しているため、一部に高輝度のノイズが現れてもその面積が小さければ影響は出にくくなる。例えば、図１２に示すように１画素の輝度が極端に高いと、平均輝度はそれに応じて変化するが、度数分布は極端に高い輝度の値のみが変わるのであって、白線近傍のしきい値ｖnは変化しない。
【００５４】
更に、本実施形態の道路白線認識装置１０にあっては、プログラムＰ1の処理によって道路認識を繰り返し行い、前回の道路モデル推定値から次回のウインドウ２０位置を想定することができるようになり、ウインドウ２０位置を道路モデルに応じてその都度適切に設定できるようになる。このため、ウインドウ２０を固定的に設けた場合は道路の存在しうる領域を全てカバーする必要があるが、その都度設定するウインドウ２０では道路白線１８を取得するに十分な面積を確保すればよく、ウインドウ２０の面積を小さくことができる。つまり、このようにウインドウ２０を小さくすることにより、道路白線１８以外の疑似白線が取り込まれる確率が少なくなるため、しきい値ｖnの設定精度を向上することができる。
【００５５】
また、本実施形態では道路白線１８の面積を推定するために式４および式５を用いて、道路白線１８の面積を平行四辺形として近似したので、道路白線１８が重なるウインドウ２０の上下一方の端の１箇所の長さを求めるのみで道路白線１８の面積を決定できるため、演算の高速化を達成できる。
【００５６】
ところで、上記実施形態では各ウインドウ２０それぞれに対して道路白線１８を認識するためのしきい値ｖnを設定した場合を開示したが、これに限ることなく全ウインドウ２０に対して共通のしきい値ｖnを設定することができる。即ち、この共通のしきい値ｖnを設定する場合の道路白線認識装置１０は、上記実施形態に示した図１と同様の構成となるが、ただ、しきい値設定手段１０４で設定されるしきい値ｖnが、複数のウインドウ２０のうちの１つのウインドウ２０で実行されることになる。そして、この１つのウインドウ２０で設定されたしきい値ｖnが、その他の全ウインドウ２０に適用されるようになっている。
【００５７】
従って、このように共通のしきい値ｖnを全ウインドウ２０に適用することにより、このしきい値の設定計算が１画面に付き１回で済むことになる。従って、しきい値を高速で設定できるため道路白線１８の認識をよりリアルタイムで実行できるようになり、高速処理を要求されるシステムに有利となり、例えば高速走行する車両の走行案内を確実かつ安全に行うことができるようになる。
【００５８】
また、上記実施形態では道路白線１８の面積を平行四辺形として近似して推定した場合を開示したが、この道路面積の推定は平行四辺形に限ることは無く、例えば、画面に取り込まれる道路白線１８を台形状として捉えることができる。図１３は道路白線１８を台形状として捉える場合の手法を示し、N番目のウインドウ２０の上辺２０ａのｙ座標をｙｕn、下辺２０ｂの同座標をｙｄnとすると、ウインドウ上辺２０ａでの白線の幅ｗｕnは式１０で示される。
【００５９】
【数１０】

同様に画像上、ウインドウ下辺２０ｂでの白線の幅ｗｄnは式１１で示される。
【００６０】
【数１１】

そして、道路面積をウインドウ２０の面積で正規化する。即ち、ウインドウ２０の面積と一致した場合には面積＝１００パーセントとする。ウインドウ２０の面積はプログラムＰ1で既に設定されており、その面積をｕnとする。そして、道路白線１８の上底および下底がウインドウ枠に接した台形となるように近似すると、正規化された道路白線面積Ｓnは式１２で表される。このとき、ｄnはウインドウ２０のｙ方向の幅を表す。
【００６１】
【数１２】

従って、この場合は道路白線１８を画面に現れるより実際に近い形として捉え、より正確な白線面積を求めることができ、ひいては、しきい値の最適化を図ることができる。
【００６２】
図１４は更に他の実施形態を示し、カメラ１４に最も近い道路白線１８を透視するウインドウ２０でしきい値設定し、これを全てのウインドウ２０に適用するようにしたプログラムＰ3である。即ち、このプログラムＰ3は、図２に示したプログラムＰ1のステップＳ５で処理される白線候補点選択に代えて実行され、まずステップＳ２０で探索１番目のウインドウ２０かどうかを判断する。つまり、この１番目のウインドウ２０はカメラ１４に最も近くに設定されたものである。
【００６３】
そして、ウインドウ２０が１番目の場合はステップＳ２１の道路面積推定と、ステップＳ２２の度数分布算出と、ステップＳ２３のしきい値設定とが順に実行される。そして、この設定されたしきい値がステップＳ２４によって選択されて高輝度の画素が画面にプロットされる。一方、ステップＳ２０で２番目以降であると判断した場合は、ステップＳ２１〜２３をジャンプしてステップＳ２４に進み、１番目のウインドウ２０で設定したしきい値によって白線候補点が選択される。
【００６４】
従って、このようにカメラ１４に最も近い一番目のウインドウ２０で設定したしきい値を全ウインドウ２０で用いることにより、より遠くにあるウインドウ２０に比較して道路白線１８が拡大されているため、道路白線面積の変化が抑制されることになる。従って、ノイズがしきい値に影響しづらくなるため、繰り返し行われるしきい値設定をより高速に対応させることができるようになり、高速処理を要求されるシステムで有利となる。
【図面の簡単な説明】
【図１】本発明にかかる道路白線認識装置の一実施形態の基本構造を示す概略構成図である。
【図２】本発明にかかる道路白線認識装置を搭載した車両の一実施形態を示す概略構成図である。
【図３】本発明にかかる道路白線認識装置の一実施形態による画像処理プログラムを実行するためのフローチャートである。
【図４】本発明にかかる道路白線認識装置の一実施形態で画面に設定される複数のウインドウの配列状態を示す説明図である。
【図５】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウの配置状態を示す説明図である。
【図６】本発明にかかる道路白線認識装置の一実施形態による白線候補点選択を実行するためのフローチャートである。
【図７】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウの輝度分布を示す説明図である。
【図８】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウ内の白線候補点のプロット状態を示す説明図である。
【図９】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウ内の白線候補線の選択状態を示す説明図である。
【図１０】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウに白線候補線が接する道路座標を示す説明図である。
【図１１】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウの輝度分布に対するしきい値の選定状態を示す説明図である。
【図１２】本発明にかかる道路白線認識装置の一実施形態で設定されるウインドウの輝度分布に作用する高輝度ノイズの影響を示す説明図である。
【図１３】本発明にかかる道路白線認識装置の他の実施形態で設定されるウインドウに道路白線を台形に近似させた状態を示す説明図である。
【図１４】本発明にかかる道路白線認識装置の他の実施形態による白線候補点選択を実行するためのフローチャートである。
【図１５】従来の道路白線認識により得られる輝度分布に対する平均輝度の位置関係を示す説明図である。
【図１６】従来の道路白線認識により得られる輝度分布に対する平均輝度の他の位置関係を示す説明図である。
【符号の説明】
１０道路白線認識装置
１２車両
１４カメラ（画像取得手段）
１６プロセッサ
１８道路白線
２０ウインドウ
２１白線候補点
２２白線候補線
１０１ウインドウ設定手段
１０２白線候補点選択手段
１０３道路面積推定手段
１０４しきい値設定手段[0001]
BACKGROUND OF THE INVENTION
The present invention acquires, for example, a road ahead of the vehicle as an image, recognizes a road white line, and estimates the shape of the road from the road white line, for example, for automatic driving or preventive safety driving of the vehicle. The present invention relates to a white line recognition device.
[0002]
[Prior art]
Conventional methods for recognizing a road white line from this type of image include a vehicle travel environment recognition device disclosed in Japanese Patent Laid-Open No. 7-244717 and an in-vehicle image processing device disclosed in Japanese Patent Laid-Open No. 9-35065. is there. The former Japanese Patent Laid-Open No. 7-244717 attempts to overcome the problem of edge detection by spatial integration, and the latter Japanese Patent Laid-Open No. 9-35065 overcomes the problem by time integration. In addition to these methods, there is known a method in which an average value of luminance values of windows provided on an acquired image is used as a threshold value of the window, and a luminance equal to or higher than the threshold value is regarded as a road white line.
[0003]
[Problems to be solved by the invention]
However, in such a conventional white line recognition method, when spatial integration of Japanese Patent Laid-Open No. 7-244717 is performed, a change in integration is calculated as a result, and satisfactory noise removal performance is poor. In the case of time integration of No. 9-35065, since the road moves on the image with time, the output image of the time integration becomes a blurred state and the detection performance of the road white line is deteriorated.
[0004]
Furthermore, in the method of detecting a road white line by providing a threshold value in a window, an average value serving as a threshold value often does not come between the actual road white line luminance and the road surface luminance. Figure 15 Shows an example of the cumulative luminance distribution at that time, which represents the luminance on the right axis and the luminance distribution frequency on the vertical axis, and the luminance increases from 0 to 255 as it goes to the right. It gets bigger as it goes to 100%. In the figure, the frequency T0 corresponds to the luminance V0, which means that the frequency equal to or higher than the luminance V0 is T0 percent. Further, since luminance of 0 (black) or higher means all luminances, the intercept on the vertical axis is always 100%.
[0005]
Here, when the average luminance of the luminance distribution is Vave and the road white line luminance is Vref (Vave <Vref), the entire screen is dark and the road white line occupies a small portion. Will be. Accordingly, in this case, the luminance existing between Vave and Vref is a subject of erroneous detection.
[0006]
On the contrary, the same cumulative luminance distribution with Vave> Vref is shown. 16 This is a case where the luminance of some noise is high and the average luminance is pushed up, and the luminance existing between Vave and Vref cannot be recognized as a road white line.
[0007]
The present invention has been made in view of such a conventional problem, and the threshold value for recognizing a road white line in a plurality of windows provided on the road image for searching for the road white line is determined based on the road surface area and the road. An object of the present invention is to provide a road white line recognizing device that can recognize a road white line with high accuracy by setting the white line area in consideration.
[0008]
[Means for Solving the Problems]
The present invention as set forth in claim 1 is set for each window, image acquisition means for acquiring a road image ahead of the vehicle, window setting means for providing a plurality of windows for searching for road white lines in the acquired road image, and each window. The Brightness White line candidate point selection means for recognizing a candidate point of a road white line by a threshold value, and from the set of white line candidate points , Recognized by the road image road shape A road white line recognition device for estimating The operation of estimating the road shape Previous road with repeated white road recognition shape Road area estimation means for estimating the area of the road white line that is assumed to occupy in the next window from the estimated value, and the area of pixels having a luminance equal to or higher than a threshold value for each window is the road area estimation means. The above so that it is more than the area of the estimated road white line Brightness The gist is that a threshold setting means for individually setting the threshold is provided.
[0009]
The present invention described in claim 2 is an image acquisition means for acquiring a road image ahead of the vehicle, a window setting means for providing a plurality of windows for searching for road white lines in the acquired road image, and set in each window Brightness White line candidate point selection means for recognizing a candidate point of a road white line by a threshold value, and from the set of white line candidate points , Recognized by the road image road shape A road white line recognition device for estimating The operation of estimating the road shape Previous road with repeated white road recognition shape The road area estimation means for estimating the area of the road white line that is assumed to be occupied in the next window from the estimated value, and the area of pixels having a luminance equal to or higher than the threshold in the predetermined window is estimated by the road area estimation means. Above the area of the white road Brightness The gist is to provide threshold setting means for setting a threshold and apply the threshold to all windows.
[0010]
The gist of the present invention described in claim 3 is the road white line recognition device according to claim 2, wherein the predetermined window is selected as a window through which the road white line close to the image acquisition means is seen.
[0011]
The present invention according to claim 4 is the road white line recognition device according to any one of claims 1 to 3, wherein the road recognition is repeated, and the previous road shape The gist is to assume the next window position from the estimated value.
[0012]
The present invention according to claim 5 is the road white line recognition device according to any one of claims 1 to 4, wherein the upper and lower ends are assumed to have respective widths assumed that the upper and lower ends of the window overlap with the road white line. Assuming that the road white line is a trapezoid, the area is approximated.
[0013]
A sixth aspect of the present invention is the road white line recognition device according to any one of the first to fourth aspects, wherein the road white line has a width that is assumed to be overlapped with the road white line at one of the upper and lower ends of the window. Is a parallelogram and the area is approximately determined.
[0014]
【The invention's effect】
According to the first aspect of the present invention, the road white line is searched in a plurality of windows provided on the road image ahead of the vehicle, and a threshold value set individually for each window. A road white line can be identified with the above luminance (hereinafter referred to as high luminance). At this time, the width in the road width direction of each window may be set in plural so as to include an area on the image where a road is assumed to exist, and the high-intensity pixels include roads other than road white lines. It may appear due to conditions such as water reflection, direct sunlight or reflected light of lamps and sunlight, and this becomes a pseudo white line and becomes a factor confusing with the original road white line. Accordingly, it is possible to detect the road white line from the continuity of the road white line candidate points after taking in the high brightness pixels including the pseudo white line as the road white line candidate points.
[0015]
At this time, in each window, the threshold is set so that the area of pixels having high luminance, that is, the area of the pixel of the road white line candidate point including the pseudo white line is equal to or larger than the area of the road white line assumed to occupy in the window. Since the value is set, the road white line is surely included in the set of pixels having high luminance. Since the threshold value is determined by comparing the area of the pixel having high luminance and the area of the road white line, the threshold value is black even when the ratio of the road surface area in the window increases. It is prevented from being set on the low brightness side. Further, even when high luminance noise appears in a part of the window, the threshold is hardly affected if the area is small. That is, the threshold value is determined in consideration of the road white line area occupied in the window with respect to the entire road surface area in the window, thereby reliably recognizing the road white line candidate points in the window, As a result, the road white line can be accurately recognized from the road white line candidate point.
[0016]
According to the second aspect of the present invention, the threshold value is set by the same method as that of the road white line recognition device of the first aspect. In the case of the road white line recognition device of the second aspect, a predetermined value is set. Since the threshold value set in the window is set as a common threshold value for all of the plurality of windows, this threshold setting calculation is performed once for all windows, that is, on one screen. One time is enough. Therefore, since the threshold value can be set at high speed, white road recognition can be performed in real time. Therefore, it is advantageous for a system that requires high-speed processing, and for example, traveling guidance for a vehicle traveling at high speed can be reliably and safely performed.
[0017]
According to the third aspect of the present invention, in the road white line recognition apparatus according to the second aspect, since the predetermined window is selected as a window through which the road white line close to the image acquisition means is seen, the image acquisition means In the window close to, the road white line is enlarged as compared with the window farther away, so that the change of the road white line area is suppressed. Accordingly, since noise is less likely to affect the threshold value, repeated threshold setting can be handled at higher speed, which is advantageous in a system that requires high-speed processing.
[0018]
According to the fourth aspect of the present invention, in the road white line recognition device according to any one of the first to third aspects, the road recognition is repeated, and the previous road shape Since the next window position is assumed from the estimated value, the window position is shape It becomes possible to set appropriately each time. Therefore, when a window is fixedly provided, it is necessary to cover all areas where roads can exist. However, the window to be set each time needs to secure an area sufficient to obtain a road white line. The smaller Do be able to. That is, by reducing the window in this way, the probability that a pseudo white line other than the road white line is captured is reduced, and the threshold setting accuracy is improved.
[0019]
According to this invention of Claim 5, in the road white line recognition apparatus of any one of the said Claims 1-4, each width | variety assumed that the upper and lower ends of a window overlap with a road white line is set to upper bottom Since the road white line is assumed to be a trapezoid as the lower base and the area is approximately calculated, the height of the window is known, so the area of the road white line is the length of the upper and lower bases. It is possible to calculate at high speed only by obtaining the thickness.
[0020]
According to this invention of Claim 6, in the road white line recognition apparatus of any one of Claims 1-4, the width | variety assumed that the upper and lower one ends of a window overlap with a road white line is made into 1 side. The road white line is regarded as a parallelogram, and the area is approximately calculated. In this case, the area of the road white line is determined simply by determining the length of one of the top and bottom edges of the window where the road white line overlaps. It is possible to achieve higher speed of computation.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0022]
FIG. 1 shows a basic configuration of an embodiment of a road white line recognition apparatus 10 according to the present invention. The image acquisition unit 14 acquires a road image ahead of the vehicle, and searches for a road white line 18 in the acquired road image. A window setting means 101 for providing a plurality of windows 20 and a white line candidate point selection means 102 for recognizing a candidate point 21 of the road white line 18 by a threshold value vn set for each window 20 are provided. The road model is estimated from the set of roads, and the road area for estimating the area sn of the road white line 18 that is assumed to occupy in the next window 20 from the previous road model estimated value in the repeated road white line recognition is performed. The road area estimation unit 103 estimates the area of pixels having a luminance equal to or higher than the threshold value vn for each window 20 with the estimation unit 103. Constituted by providing a threshold value setting means 104 for setting the threshold vn individually so that the above area sn road white line 18.
[0023]
FIG. 2 is a schematic diagram showing an embodiment of a vehicle 12 equipped with the road white line recognition device 10. The image acquisition means 14 and a processor for processing an image signal (hereinafter simply referred to as an image) acquired by the image acquisition means 14. 16 are installed in the vehicle 12. The image acquisition means 14 is preferably a CCD camera or the like capable of high-sensitivity imaging, and this image acquisition means (hereinafter referred to as a camera) 14 is attached to the front center portion of the indoor ceiling 12a so as to be directed downward and forward, and passes through the windshield 12b. A road R image ahead of the vehicle 12 is acquired. The processor 16 is installed at an appropriate location where there is no influence of heat or wind and rain of the vehicle 12, and control for recognizing the road white line 18 from the road R image acquired by the camera 14 and estimating the road model (road shape) is executed. The
[0024]
FIG. 3 shows a flowchart for executing the program P1 assuming a road model by the processor 16. That is, in this flowchart, after the vehicle front image is captured by the front image capturing process (step S1), a plurality of windows are provided in the image by the window setting process (step S2). Next, after determining whether or not the processing of steps S4 to S7 is completed (step S3), a road model is assumed by the road parameter estimation processing (step S8).
[0025]
In step S4, the next window is selected in order so that the processes in steps S5 to S7 are executed on all the plurality of windows provided in the image. Then, after capturing pixels with higher brightness than the threshold value by the white line candidate point selection process in step S5, the white line candidate line calculation process in step S6 can be regarded as a white line from the continuity of the white line candidate points captured in step S5. A possible line is calculated, and the intersection coordinate between the white line candidate line and the upper side of the window is obtained in the road coordinate calculation process in step S7. In addition, after the process of step S8, the process returns to step S1, and a series of programs P1 are executed every predetermined time.
[0026]
Hereinafter, the processing of the program P1 will be described in detail for each step S1 to S8.
[0027]
(1) Front image capture (S1)
The image signal picked up by the camera 14 is taken in every predetermined time for processing the program P1.
[0028]
(2) Window setting (S2)
As shown in FIG. 4, a plurality of windows 20 are provided along the extending direction of the road white line 18 so that the road white line 18 is captured in each window 20 by the road model obtained by the previous image processing result. , Each position is set. The vertical direction in the figure indicates the image coordinate y-axis direction, and the lower part in the figure is y plus. The horizontal direction in the figure indicates the image coordinate x-axis direction, and the right side in the figure is x plus. As shown in FIG. 5, the width W in the x direction of the window 20 is shown by taking each window 20 (one window 20 in the figure as an example) so as to cover an area on the image where a road is assumed to exist. ) Is set. The coordinate y0 of the upper side 20a of each window 20 and the coordinate y1 of the lower side 20b are fixed. Further, the road model is obtained by Equation 1 (see JP-A-6-20189).
[0029]
[Expression 1]

The parameters A, B, C, D, and H correspond to the lateral position of the own vehicle with respect to the lane, the road curvature, the yaw angle, the pitch angle, and the camera height with respect to the lane of the own vehicle. E0 is the lane width (the distance between the insides of the left and right white lines), and fV and fh are the camera perspective conversion constants representing the vertical direction and the horizontal direction, respectively. (X, y) are coordinates on the image inside the white line with respect to the host vehicle (hereinafter referred to as road coordinates). In the following, x and y mean coordinates on the image. Further, i represents “0” for the left white line and “1” for the right white line.
[0030]
Formula 1 shows a method for representing a road model. For example, E0 is a variable, H is fixed, and the lane width is the center of the left white line. right The distance at the center of the white line can be defined, and (x, y) can be defined as the image coordinates at the center of the white line.
[0031]
Here, the y coordinate of the upper side 20a of the Nth window is set to yn, and the previous parameter estimation results are {A (-1), B (-1), C (-1), D (-1), H ( −1)}, the center coordinate xest of the current window 20 is expressed by Equation 2 from Equation 1.
[0032]
[Expression 2]

The width of the window 20 in the x direction may be a fixed value, or a method for rationally setting from the dispersion of parameters as disclosed in Japanese Patent Laid-Open No. 8-261756 is proposed.
[0033]
(3) All windows completed? (S3)
It is determined whether the in-loop processing of steps S3 to S7 has been executed for all the windows 20.
[0034]
(4) To the next window (S4)
When the in-loop processing in steps S3 to S7 is not executed for all the windows 20, the unprocessed windows 20 are sequentially selected.
[0035]
(5) White line candidate point selection (S5)
The program P2 for processing this white line candidate point selection is executed by the flowchart shown in FIG. That is, the program P2 estimates the road area (step S10), calculates the frequency distribution (step S11), sets a threshold value from these (step S12), and performs selection based on the threshold value (step S12). Step S13).
[0036]
Here, the processing of the program P2 will be described in detail for each step S10 to S13. (5-1) Road area estimation (S10)
The road area in the corresponding window 20 is estimated from the result of the previous process. The y coordinate of the upper side 20a of the Nth window 20 is defined as yn. From Equation 1 representing the road model, the expected x-coordinate xn in this window 20 is given by Equation 3.
[0037]
[Equation 3]

A represents the lateral displacement of the host vehicle with respect to the lane. The shift on the image when the vehicle is shifted by the white line width represents the width of the white line width on the image. Accordingly, when width is the actual width of the white line (for example, 15 cm), the width wn of the white line on the image is expressed by Equation 4 from Equation 3. In this case, the subscript n represents the Nth.
[0038]
[Expression 4]

The road area is normalized by the area of the window 20. That is, when the area coincides with the window 20 area, the area = 100%. The area of the window 20 is known at step S2 of the program P1, and is defined as un. In this case, the road white line 18 is regarded as a parallelogram whose upper and lower bases are in contact with the window frame. That is, assuming that one of the upper side 20a and the lower side 20b of the window 20 overlaps with the road white line 18, the road white line 18 is regarded as a parallelogram, and the area is approximately obtained. . The normalized road white line area sn in this case is expressed by Equation 5. Here, dn represents the width of the window 20 in the y direction.
[0039]
[Equation 5]

(5-2) Frequency distribution calculation (S11)
All the pixels in the window 20 are scanned to examine the luminance distribution. Incidentally, in examining the luminance distribution, the prior art in which the luminance changes from 0 to 255 according to the cumulative luminance distribution of FIG. 15 has been described. However, if the luminance counter is separately prepared from 0 to 255 as described above, the memory of the processor 16 Becomes enormous. For this reason, in this embodiment, as shown in FIG. 7, the counters are grouped every ten, the luminances 0 to 9 are replaced with the counter 0, and the luminances 10 to 19 are sequentially replaced with the counter 10. In this case, a part of the counter is omitted in FIG.
[0040]
(5-3) Threshold value setting (S12)
If the total of the counters shown in FIG. 7, that is, the total number of pixels of the window 20 is bn, the number of pixels kn on the road white line 18 is given by Equation 6.
[0041]
[Formula 6]

The number of counters for each luminance is c0 to c25. However, c1 is defined like a counter of pixels with luminance 0-9. Further, only c25 is a counter for pixels of 250 to 255. Next, a variable jn for accumulating the counter value is prepared from the counter having the higher luminance, and Expression 7 is repeatedly executed while m is decreased by 1 from 25 for the first time. Then, the calculation is stopped when the condition (jn ≧ kn) is satisfied during the repetition.
[0042]
[Expression 7]

When the condition shown in the following formula 8 is satisfied during the repetition, the calculation is stopped.
[0043]
[Equation 8]

This means that for the first time, the road white line area is included in a region equal to or greater than the threshold value. Then, the threshold value vn is calculated by Equation 9 with the value of m when the calculation is stopped.
[0044]
[Equation 9]

(5-4) Selection by threshold value (S13)
The pixels in the window 20 are rescanned, and the white line candidate point 21 has a luminance of vn or higher. As a result, white line candidate points 21 are represented as a set of groups plotted in the window 20 as shown in FIG.
[0045]
Next, returning to the program P1, the description will proceed.
[0046]
(6) White line candidate line calculation (S6)
The white line candidate line 22 is searched from the continuity of the white line candidate points 21 plotted in the window 20. For this search, Hough transform, least squares, or the like can be used. For example, in the Hough transform straight line approximation, the straight line passing through the window 20 as shown in FIG.
[0047]
(7) Road coordinate calculation (S7)
White line candidate lines as shown in FIG. 22 And the intersection coordinates (xn, yn) of the upper side 20a of the window 20 are obtained. This becomes the road coordinates in the window 20, and the white line candidate line 22 A set of road coordinates (x0, y0) to (xn0, yn0) is obtained according to the number of.
[0048]
(8) Road parameter estimation (S8)
Based on the set of road coordinates (x0, y0) to (xn0, yn0) and the structure of Equation 1 above, the road model (A, B, C, D, H) is estimated. As a representative method for this estimation, a least square method or a Kalman filter can be used.
[0049]
Hereinafter, the operation of the road white line recognition device 10 of the present embodiment will be described. That is, the road white line recognition apparatus 10 appropriately determines the threshold value set in each window 20 in consideration of the road surface area and the road white line area in the road screen acquired by the camera 14, thereby The road white line 18 can be accurately recognized, and the road model (shape) can be accurately estimated by using this.
[0050]
That is, in the road white line recognition device 10, the white line candidate point 21 is selected in step S5 of the program P1, and the white line candidate point 21 is obtained by estimating the road area (step S10) and calculating the frequency distribution (step S11) of the program P2. Is detected with reference to the threshold value vn set through the above. At this time, the high brightness captured on the screen is not limited to the road white line 18, and for example, the reflection of the window of the vehicle ahead, the lamp, and other direct sunlight / reflected light have high brightness. However, when limited to the window 20, the probability of entering them is greatly Decrease To do. That is, there is a high possibility that the road white line 18 shows high luminance in the window 20, and therefore, the road white line 18 is surely included in a set of pixels having luminance equal to or higher than a predetermined value. Here, as described above, the setting of the threshold value vn becomes a problem. By solving this problem, the road white line 18 can be recognized with high accuracy.
[0051]
That is, in this embodiment, as shown in FIG. 11, when the minimum brightness of the road white line 18 is Vref, the frequency of pixels having a brightness equal to or higher than Vref is Tref percent. This means that the area of the white line in the window 20 is Tref percent, for example, when there is nothing having a luminance of the road white line 18 or higher. Therefore, by limiting to the inside of the window 20, there is a low possibility that a pixel having luminance higher than that of the white line exists, and since the area of the window 20 is known, if the area of the road white line 18 is known, The luminance at which the distribution is equal to or less than Tref percent can be set as the threshold value vn by using FIG.
[0052]
That is, the conventional average method shown in FIG. 15 as a conventional example has already been described as causing a false recognition because it takes a black threshold, but in the method of this embodiment, the road surface (asphalt) area and the road white line area Since the threshold value vn is set in consideration of the above, the threshold value vn is not set to be close to black even if the area occupied by the road surface is large.
[0053]
In addition, in the case of FIG. 16 as a conventional example, the loss occurs due to the white threshold, but even in this case, in this embodiment, the road surface area and the road white line area are taken into consideration as described above. Since the threshold value vn is set, even if high-intensity noise appears in part, if the area is small, the influence is less likely to occur. For example, as shown in FIG. 12, when the luminance of one pixel is extremely high, the average luminance changes accordingly, but the frequency distribution changes only the extremely high luminance value, and the threshold value near the white line vn does not change.
[0054]
Furthermore, in the road white line recognition apparatus 10 of this embodiment, road recognition is repeatedly performed by the processing of the program P1, and the next window 20 position can be assumed from the previous road model estimated value. The 20 positions can be set appropriately according to the road model each time. For this reason, when the window 20 is fixedly provided, it is necessary to cover the entire area where the road can exist. However, the window 20 to be set each time needs to secure a sufficient area for acquiring the road white line 18. , Window 20 area Can be reduced. That is, by reducing the window 20 in this way, the probability that a pseudo white line other than the road white line 18 is captured is reduced, so that the setting accuracy of the threshold value vn can be improved.
[0055]
Further, in the present embodiment, since the area of the road white line 18 is approximated as a parallelogram using Formula 4 and Formula 5 in order to estimate the area of the road white line 18, one of the upper and lower sides of the window 20 where the road white line 18 overlaps is approximated. Since the area of the road white line 18 can be determined only by obtaining the length of one end, the calculation speed can be increased.
[0056]
In the above embodiment, the case where the threshold value vn for recognizing the road white line 18 is set for each window 20 has been disclosed. vn can be set. That is, the road white line recognition device 10 for setting the common threshold value vn has the same configuration as that of FIG. 1 shown in the above embodiment, but is set by the threshold value setting means 104. The threshold value vn is executed in one of the plurality of windows 20. The threshold value vn set in this one window 20 is applied to all the other windows 20.
[0057]
Therefore, by applying the common threshold value vn to all the windows 20 in this way, this threshold value setting calculation can be performed once per screen. Accordingly, since the threshold value can be set at high speed, the recognition of the road white line 18 can be executed in real time, which is advantageous for a system that requires high-speed processing. Will be able to do.
[0058]
Moreover, although the case where the area of the road white line 18 was approximated and estimated as a parallelogram was disclosed in the above embodiment, the estimation of the road area is not limited to the parallelogram, and for example, the road white line captured on the screen 18 can be understood as a trapezoidal shape. FIG. 13 shows a method for capturing the road white line 18 as a trapezoidal shape. When the y coordinate of the upper side 20a of the Nth window 20 is yun and the same coordinate of the lower side 20b is ydn, the width wun of the white line on the upper side 20a of the window is shown. Is shown in Equation 10.
[0059]
[Expression 10]

Similarly, on the image, the width wdn of the white line at the window lower side 20b is expressed by Expression 11.
[0060]
## EQU11 ##

Then, the road area is normalized by the area of the window 20. That is, if the area of the window 20 coincides, the area = 100%. The area of the window 20 is already set by the program P1, and the area is defined as un. Then, when approximated so that the upper and lower bases of the road white line 18 form a trapezoid in contact with the window frame, the normalized road white line area Sn is expressed by Expression 12. At this time, dn represents the width of the window 20 in the y direction.
[0061]
[Expression 12]

Therefore, in this case, the road white line 18 can be regarded as a shape that is closer to the actual appearance than appears on the screen, and a more accurate white line area can be obtained, and thus the threshold value can be optimized.
[0062]
FIG. 14 shows still another embodiment, which is a program P3 in which a threshold value is set in a window 20 through which the road white line 18 closest to the camera 14 is seen and this is applied to all windows 20. That is, this program P3 is executed in place of the white line candidate point selection processed in step S5 of the program P1 shown in FIG. 2, and it is first determined in step S20 whether or not it is the first window 20 for search. That is, the first window 20 is set closest to the camera 14.
[0063]
If the window 20 is the first, the road area estimation in step S21, the frequency distribution calculation in step S22, and the threshold setting in step S23 are executed in order. Then, the set threshold value is selected in step S24, and high luminance pixels are plotted on the screen. On the other hand, if it is determined in step S20 that it is the second or later, the process skips steps S21 to 23 to proceed to step S24, and a white line candidate point is selected according to the threshold set in the first window 20.
[0064]
Therefore, by using the threshold value set in the first window 20 closest to the camera 14 in all windows 20 in this way, the road white line 18 is enlarged compared to the window 20 farther away. The change of the road white line area will be suppressed. Accordingly, since noise is less likely to affect the threshold value, repeated threshold setting can be handled at higher speed, which is advantageous in a system that requires high-speed processing.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing a basic structure of an embodiment of a road white line recognition apparatus according to the present invention.
FIG. 2 is a schematic configuration diagram showing an embodiment of a vehicle equipped with a road white line recognition device according to the present invention.
FIG. 3 is a flowchart for executing an image processing program according to an embodiment of a road white line recognition apparatus according to the present invention;
FIG. 4 is an explanatory diagram showing an arrangement state of a plurality of windows set on the screen in the embodiment of the road white line recognition apparatus according to the present invention.
FIG. 5 is an explanatory diagram showing a window arrangement state set in an embodiment of the road white line recognition apparatus according to the present invention.
FIG. 6 is a flowchart for executing white line candidate point selection according to an embodiment of the road white line recognition apparatus of the present invention.
FIG. 7 is an explanatory diagram showing a luminance distribution of a window set in an embodiment of the road white line recognition device according to the present invention.
FIG. 8 is an explanatory diagram showing a plot state of white line candidate points in a window set in an embodiment of a road white line recognition apparatus according to the present invention.
FIG. 9 is an explanatory diagram showing a selection state of white line candidate lines in a window set in an embodiment of a road white line recognition apparatus according to the present invention.
FIG. 10 is an explanatory diagram showing road coordinates where a white line candidate line is in contact with a window set in an embodiment of the road white line recognition apparatus according to the present invention.
FIG. 11 is an explanatory diagram showing a selection state of threshold values for the luminance distribution of the window set in the embodiment of the road white line recognition apparatus according to the present invention.
FIG. 12 is an explanatory diagram showing the influence of high luminance noise acting on the luminance distribution of the window set in the embodiment of the road white line recognition apparatus according to the present invention.
FIG. 13 is an explanatory diagram showing a state in which a road white line is approximated to a trapezoid in a window set in another embodiment of the road white line recognition apparatus according to the present invention.
FIG. 14 is a flowchart for executing white line candidate point selection according to another embodiment of the road white line recognition apparatus of the present invention.
FIG. 15 is an explanatory diagram showing the positional relationship of average luminance with respect to luminance distribution obtained by conventional road white line recognition.
FIG. 16 is an explanatory diagram showing another positional relationship of average luminance with respect to luminance distribution obtained by conventional road white line recognition.
[Explanation of symbols]
10 Road white line recognition device
12 vehicles
14 Camera (Image acquisition means)
16 processor
18 road white line
20 windows
21 White line candidate points
22 White line candidate line
101 Window setting means
102 White line candidate point selection means
103 Road area estimation means
104 Threshold setting means

Claims

車両前方の道路画像を取得する画像取得手段と、取得した道路画像内に道路白線を探索する複数のウインドウを設けるウインドウ設定手段と、各ウインドウそれぞれに設定された輝度のしきい値によって道路白線の候補点を認識する白線候補点選択手段とを備え、この白線候補点の集合から、前記道路画像で認識される道路形状を推定するようにした道路白線認識装置であって、前記道路形状を推定する動作が繰り返し行われる道路白線認識で前回の道路形状推定値から次回のウインドウ内に占めると想定される道路白線の面積を推定する道路面積推定手段と、それぞれのウインドウに対してしきい値以上の輝度を持つ画素の面積が上記道路面積推定手段で推定された道路白線の面積以上となるように上記輝度のしきい値を個々に設定するしきい値設定手段と、を設けたことを特徴とする道路白線認識装置。An image acquisition means for acquiring a road image ahead of the vehicle, a window setting means for providing a plurality of windows for searching for a road white line in the acquired road image, and a road white line according to a brightness threshold value set for each window. A white line candidate point selecting means for recognizing a candidate point, and a road white line recognition device for estimating a road shape recognized in the road image from a set of white line candidate points, wherein the road shape is estimated Road area estimation means that estimates the area of the road white line that is assumed to occupy in the next window from the previous road shape estimated value in road white line recognition that is repeatedly performed, and a threshold value or more for each window it area of pixels having a brightness of individually set the brightness threshold to be equal to or greater than the area of the lane marker that is estimated by the road area estimation means Road white line recognition apparatus characterized by comprising a had value setting means.

車両前方の道路画像を取得する画像取得手段と、取得した道路画像内に道路白線を探索する複数のウインドウを設けるウインドウ設定手段と、各ウインドウに設定された輝度のしきい値によって道路白線の候補点を認識する白線候補点選択手段とを備え、この白線候補点の集合から、前記道路画像で認識される道路形状を推定するようにした道路白線認識装置であって、前記道路形状を推定する動作が繰り返し行われる道路白線認識で前回の道路形状推定値から次回のウインドウ内に占めると想定される道路白線の面積を推定する道路面積推定手段と、所定のウインドウにおいてしきい値以上の輝度を持つ画素の面積が上記道路面積推定手段で推定された道路白線の面積以上となるように上記輝度のしきい値を設定するしきい値設定手段とを設け、このしきい値を全ウインドウに適用することを特徴とする道路白線認識装置。Image acquisition means for acquiring a road image ahead of the vehicle, window setting means for providing a plurality of windows for searching for road white lines in the acquired road image, and road white line candidates according to the threshold value of brightness set in each window A white line candidate point selecting means for recognizing a point, and a road white line recognition device for estimating a road shape recognized in the road image from a set of white line candidate points, wherein the road shape is estimated. Road area estimation means for estimating the area of the road white line that is assumed to occupy in the next window from the previous road shape estimated value in road white line recognition in which the operation is repeatedly performed, and brightness exceeding a threshold value in a predetermined window a threshold value setting means the area of a pixel having sets the brightness threshold to be equal to or greater than the area of the lane marker that is estimated by the road area estimation means Only, road white line recognition apparatus characterized by applying the threshold to the entire window.

請求項２において、所定のウインドウを、画像取得手段に近い道路白線を透視するウインドウに選定したことを特徴とする道路白線認識装置。3. The road white line recognition apparatus according to claim 2, wherein the predetermined window is selected as a window for seeing through the road white line close to the image acquisition means.

請求項１〜３のいずれか１つにおいて、道路認識を繰り返し行い、前回の道路形状推定値から次回のウインドウ位置を想定することを特徴とする道路白線認識装置。4. The road white line recognition apparatus according to claim 1, wherein road recognition is repeatedly performed, and a next window position is assumed from a previous road shape estimation value.

請求項１〜４のいずれか１つにおいて、ウインドウの上下両端が道路白線と重なると想定されるそれぞれの幅を上底および下底として道路白線を台形と見立て、その面積を近似的に求めることを特徴とする道路白線認識装置。5. The road white line is regarded as a trapezoid with each width assumed to be overlapped with the road white line at the upper and lower ends of the window according to claim 1, and the area is approximately obtained. A road white line recognition device.

請求項１〜４のいずれか１つにおいて、ウインドウの上下一方の端が道路白線と重なると想定される幅を１辺として道路白線を平行四辺形と見立て、その面積を近似的に求めることを特徴とする道路白線認識装置。In any one of Claims 1-4, considering the road white line as a parallelogram on the assumption that the width of the upper and lower ends of the window overlaps with the road white line is one side, and calculating the area approximately. A feature road white line recognition device.