JP2007179386A - 白線認識方法及び白線認識装置 - Google Patents

Abstract

【課題】各種未認識、誤認識発生状況においても、白線を正常認識することができ、これにより白線認識精度を格段に向上させること。
【解決手段】路面Ａを撮影して得られる道路画像の微分処理及び２値化処理により白線ａの候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、白線ａと白線ａ以外の道路との濃度差が大きい場合、小さい場合用の少なくとも２つの２値化処理用の閾値を設定しておき、白線の候補エッジの抽出時に、それらの閾値を切り替えて使用する。
【選択図】 図１

Description

本発明は、車載カメラにより路面を撮影して得られた道路画像から白線位置を認識する方法及び装置に関するものである。

近年、道路の白線位置を認識し、車両の操舵を制御して車線を維持しながら走行するシステムが提案されている。この技術では、車両に搭載された白線認識装置がＣＣＤカメラ等の撮像手段により車両前方の道路画像を取り込み、白線位置で明度が高いことを利用して白線を検出する。具体的には、例えば画像の微分処理および２値化処理によるエッジ（エッジ点列）抽出を行い、その抽出エッジについて白線エッジか否かの判定を行う。さらに、抽出エッジについて、直線検出法として知られるハフ（Hough）変換を行うことで、
白線位置を決定する。

このようなシステムでは、撮影された道路画像から白線をいかに正確に検出するかが重要な課題となっている。しかし、以下のような状況においては白線位置が認識できないという問題があった。
（１）白線が影内にある場合、白線と道路の輝度差が小さいため、白線エッジを抽出できず、未認識となる。
（２）白線の外側に路肩、溝等が存在する場合、それらのエッジを白線エッジと判断し、誤認識となる。
（３）白線が破線の場合、画像の取得タイミングによっては画像内に白線が存在しないため、未認識となる。
（４）前方に、車両、建物等が存在する場合、それらのエッジを白線エッジと判断し、誤認識となる。

特許文献１には、走行レーン内の白線の認識精度の向上を図った白線認識技術が記載されている。この技術は、撮影された道路画像を近距離領域と遠距離領域の２つの領域に分割し、各領域で白線の検出を以下のように行っている。

まず、近距離領域において、画像中のエッジから白線を認識して確定する。次に、その近距離領域において確定された白線に基づいて、遠距離領域上で、その延長線上の領域を含むエッジ追跡領域を設定する。そして、その設定されたエッジ追跡領域内でエッジを追跡し、エッジが不連続の場合は、これを飛び越えて先のエッジを追跡して白線を認識確定する。この白線認識技術によれば、撮影画像の遠距離領域における白線の認識で問題となる、前方車両、街路樹、建物などの影の影響による白線の誤認識を少なくすることができる。

特許文献２には、白線自体のかすれや白線画像が不鮮明なことによる白線の誤認識を防止し、白線検出精度の向上を図れるようにした技術が記載されている。この技術では、車両前方を撮影して得られる道路の白線画像から白線の候補点を抽出し、その白線候補点列と近似する直線を求めてこれを白線として認識する際に、白線画像にかすれがあるか否かを判定し、かすれがある場合は、現在の白線画像から抽出された白線候補点列に一定時間前の白線画像から抽出された白線候補点列を重ね合せ、その重ね合せた白線候補点列と近似する直線を求めてこれを白線として認識するようにしたものである。
特開平９−７３５４５号公報 特開２００１−２３６５０６号公報

特許文献１の技術では、撮影画像の遠距離領域における前方車両、街路樹、建物などの影の影響による白線の誤認識を少なくすることができるものの、近距離領域における画像中のエッジから白線を認識する際に、白線が影内にある場合、白線の外側に路肩、溝等が存在する場合、白線が破線の場合、等においては、依然として誤認識や未認識になる問題が残されている。

特許文献２の技術では、白線自体のかすれや白線画像が不鮮明なことによる誤認識を防止し、白線検出精度の向上を図ることができるものの、上記（１）〜（４）で例示したように、白線が影内にある場合、白線の外側に路肩、溝等が存在する場合、白線が破線の場合、前方に車両、建物等が存在する場合、等においては、依然として誤認識や未認識になる問題が残されている。

よって、本発明は、例えば上述したような未認識、誤認識発生状況においても、白線を正常認識することができ、これにより白線認識精度を格段に向上させることができる技術を提供することを課題とする。

本発明は、上記課題を解決するため、以下の手段を採用した。
本発明は、路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、少なくとも２つの２値化処理用の閾値を設定しておき、それらの閾値を切り替えて使用することを特徴としている。

本発明の白線認識方法によれば、少なくとも２つの２値化処理用の閾値を設定しておき、それらの閾値を切り替えて使用する方法を採用しているで、閾値を１つに固定して使用する場合に比べて、例えば白線と道路とのコントラストが大きい場合や、小さい場合に生じやすい未認識、誤認識発生状況においても、白線を正常認識することができる。例えば白線が影内にあってコントラストが小さい場合でも閾値小であれば白線を正常認識することができる。これにより白線認識精度を格段に向上させることができる。

本発明において、前記２つの閾値は、道路画像を得る撮影間隔に合わせて交互に切り替えて使用することが望ましい。このようにすれば、例えば白線と道路とのコントラストが大きい場合や小さい場合に生じやすい未認識、誤認識発生状況においても、白線を正常認識する精度を更に高めることができる。

本発明では、路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する方法において、時系列で取得される複数の道路画像のうち、前回取得した道路画像から白線位置が認識できた場合、その認識された白線位置が走査範囲の中央となるように走査範囲を設定することが望ましい。このようにすれば、演算処理が早くなるように走査範囲を短くでき、しかも、白線周辺の路肩、溝等による誤認識を防ぐことができる。

本発明では、路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する方法において、時系列で取得される複数の道路画像のうち、前回取得した道路画像から白線位置が認識できた場合には走査範囲を短くし、認識できなかった場合には走査範囲を長くすることが望ましい。このようにすれば、走査エリアを必要な範囲に収めて、白線周辺の路肩、溝等による白線の誤認識や未認識を防ぐことができる。

本発明では、路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する方法において、前記白線候補エッジから白線幅を算出し、算出した白線幅が規定範囲の場合に白線エッジと判断するステップを採用することが望ましい。このステップを採用すれば、白線幅を検出しない認識方法に比べて白線認識精度をさらに向上させることができる。

本発明では、車両側から路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する方法において、前記車両を基準にして左側白線及び右側白線の各白線候補エッジからレーン幅を算出し、算出したレーン幅が規定範囲の場合に白線エッジと判断するステップを採用することが望ましい。このステップを採用すれば、レーン幅を検出しない方法に比べて白線認識精度をさらに向上させることができる。

本発明では、路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する方法において、１本の走査線に対して１つの白線エッジを抽出する際に、白線エッジが抽出できなかった走査範囲については過去の規定時間前までにその走査範囲で取得した白線エッジで補完することが望ましい。このステップを採用すれば、例えば白線が破線の場合でも、過去エッジで補うことで、白線エッジの取得を可能にすることができる。

本発明では、路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する方法において、抽出した白線エッジに対してHough変換により近似直線を取得する際、道
路画像の下部で抽出した信頼性の高い白線エッジにはHough変換の投票値に大きな重みを
持たせることが望ましい。このようにすれば、道路画像の上側走査範囲で僅かにノイズを抽出しても、下側走査範囲で正しい白線エッジが抽出できていれば、白線の認識を成功させることができる。また、下側走査範囲で僅かにノイズを抽出しても、上側走査範囲で正しい白線エッジが取得できていれば、白線の認識を成功させることができる。これにより、白線認識精度をさらに向上させることができる。

本発明は、路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識装置であって、２つの２値化処理用の閾値を設定可能な閾値設定手段と、前記閾値を前記道路画像の撮影間隔に合わせて交互に切り替えて使用する閾値切換手段と、を有することを特徴としている。

本発明によれば、種々の未認識、誤認識発生状況においても、白線を正常認識することができ、これにより白線認識精度を格段に向上させることができる

以下、図面を参照し、本発明に係る白線認識方法及び装置の実施例について説明する。尚、本実施例の白線認識技術は、乗用車に適用する例について説明するが、他の各種車両にも適用することができる。
（ハードウエア構成）
図１及び図２に、本実施例に係る白線認識装置のブロック図を示す。この白線認識装置は、画像入力部としてのカメラ部１と、カメラ部１から入力される画像の画像処理部２とを備えている。カメラ部１は、光学フィルタ１１、レンズ１２、イメージセンサ１３等を
有するＣＣＤカメラより構成され、そのＣＣＤカメラで撮影された車両前方の道路画像が画像処理部２に入力される。

画像処理部２は、画像処理用集積回路としてのＡＳＩＣ（Application Specific Integrated Circuit）２０、このＡＳＩＣ（エーシック）２０を含む各装置の制御やデータの
演算、加工を行うマイクロプロセッサからなるＣＰＵ（Central Processing Unit）３
０、各制御システムや各センサ５０等の外部機器インターフェース（Ｉ／Ｆ）としてのコネクタ４０を備えている。

ＡＳＩＣ２０は、カメラ部１から入力される道路画像を取得する画像取得部２１、その取得した道路画像から白線候補点を抽出する際に必要な前処理を行う微分処理部２２、及び２値化処理部２３を有する。さらに、ＡＳＩＣ２０は、道路画像の微分処理および２値化処理による白線候補エッジ抽出の際、白線と道路の輝度差（濃度差）が大きい場合、小さい場合用にそれぞれ設定される２つの固定閾値（高い閾値と低い閾値）を交互にあるいは選択的に切り替えて使用するための閾値選択部（図２参照）を有している。

ＣＰＵ３０は、予め、図示しないメモリに記憶された画像処理プログラムを読み出して実行することにより、ＡＳＩＣ２０から出力される２値化処理された道路画像から白線候補点を抽出する機能（白線候補点抽出部３１）、及び抽出された白線候補点列に近似する直線をHough変換により求めてこれを白線として認識する機能（白線認識部３２）を有す
る。

画像処理部２の有する各部の機能をより具体的に例示したのが図２の機能ブロック図である。この図２に示すように、画像入力部１から白線候補点抽出部３１に入力される道路画像は、まず前処理部（ＡＳＩＣ）２０によって処理される。前処理部２０は、閾値選択機能、微分処理機能、２値化処理機能を有している。

白線候補点抽出部３１は、２値化処理されて入力された道路画像から白線候補点を抽出するための走査線の走査位置や走査幅等を決定する走査エリア決定機能、白線エッジ候補取得機能、白線エッジ判定機能、過去の白線エッジによる補完機能等を有している。白線認識部３２は、周知のHough変換による直線近似処理機能を有するが、後述のように、画
像下部で取得した信頼性の高い白線エッジにはHough変換の投票値に大きな重み付けを行
うことができる機能を含む。

次に、この白線認識技術について、そのシミュレーション結果や実車での走行実験例と共により具体的に説明する。
（課題対策と新規アルゴリズム）
従来のアルゴリズムにおいて課題であった未認識・誤認識を改善するために、以下に順次説明する新規アルゴリズムを開発し、ＰＣ上でのシミュレーション、実車での評価を行い効果の確認を行った。なお、アルゴリズムの詳細については後述する。

（Hough変換におけるθ範囲の縮小）
従来のアルゴリズムでは、Hough変換で扱うθ値の範囲をθ＝０°〜１８０°としてい
た。それにより、画像中に現れるすべての傾きの直線を検出するため、例えばθ＝０°（直線）となる建物や車両等の立体物までも認識していた。ここで、θ＝０°（直線）となる建物や車両等の立体物とは、例えば上下に延びる建物の左右の直線部分や、トラックの荷台を後方から見て、左端部分や右端部分のように画像上でも上下方向に延びる直線部分を有するものを意味する。

＜新規アルゴリズム１＞
新規アルゴリズム１では、Hough変換で扱うθ値の範囲を設定し、θ＝３０°〜７０°
とした。その根拠について以下に示す。
（１）白線認識の要件定義
白線認識の要件については以下のように定義した。
１）車両が自レーンを走行している状況において、１秒後に白線を逸脱する状況を検知できること。
２）対応する車速は５０ｋｍ〜１２０ｋｍ。
３）車両が自レーンの白線を逸脱した状態とは、車両の一部が自レーンの白線からはみ出した状態とする。

（２）環境定義
高速道路における白線認識を想定しているので、車線の幅は３．５ｍとした。また、車両のサイズは実験車両と同一とし、全長４９００ｍｍ、全幅１７９５ｍｍの乗用車とした。

（３）θの下限値の決定。
図３（ａ）に示すように、１秒後に車両３が自レーンの白線（左側白線）ａ１を逸脱する状況を考えた場合、図３（ｂ）に示すθの値が最小となるのは、左側白線ａ１に隣接した状態（基準位置）で、かつ車両がわずかでも左側に傾いている場合である。即ち、車両３の走行方向が左側白線ａ１と並行ではなく、わずかでも左側白線ａ１の方向に向いている場合である。

なお、図３（ｂ）は、カメラ画像による左側白線ａ１とθとの関係を示している。ここで、左側白線ａ１は、カメラ画像の場合、遠近感のある実像に基づいて表示されるため、車両から離れた位置の左側白線ａ１ほど次第に画像の中央側へ寄る傾斜表示となる。従って、θは、左側白線ａ１に対する垂線４と、画像の上限線（白線と平行でない車両の走行方向に対応する線）５とで形成される角度に相当することになる。

図３（ｂ）におけるθの下限値の取得に必要な値を算出した（図４参照）。その際、計算を容易にするために、図４に示すように車両の向きは左側白線ａ１と平行とした。また、θの下限値算出条件として、車両３が毎時５０ｋｍ／ｈで、１秒間に進む距離Ｌ０＝１３８８８ｍｍ、Ｌ０の１／２の距離Ｌ１＝６９４４．０ｍｍ、車両の中央（車載カメラ搭載位置）から左側白線ａ１までの距離Ｌ２＝９３７．２１ｍｍとした。

図４における車載カメラの画像座標系を図５に示す。点Ａの座標（−６６．７７８、７２．９７４）及び点Ｂの座標（−１３３．５５、３２．３７７）から、図５におけるθの下限値は３２．３６７°であったが、カメラの取付誤差を考慮して３０°とした。

（４）θの上限値の決定
１秒後に車両３が自レーン左側白線ａ１を逸脱する状況を考えた場合、θの値が最大となるのは、図６（ａ）、（ｂ）のように車両３が自レーンＲの右側白線ａ２に隣接した状態（基準位置）で、かつ１秒後に左側白線ａ１を逸脱する場合である。図６（ｂ）においてθの上限値の取得に必要な値を算出した（図７参照）。図７では計算を容易にするため、車両３ではなくカメラの位置を白線に隣接するように定義した。

従って、図７では、車両３が毎時５０ｋｍ／ｈで、１秒間に進む距離Ｌ０＝１３８８８ｍｍ、車両の左側から左側白線ａ１との交点Ａまでの距離Ｌ１＝１０４４２ｍｍ、車両の右側から左側白線あ１との交点Ｂまでの距離Ｌ２＝１７５６７ｍｍ、車両の中央（車載カメラ搭載位置）から左側白線ａ１までの距離Ｌ２＝８９７．５ｍｍとした。

図７のθの上限値における車載カメラの画像座標系を図８に示す。点Ａの座標（８８．８１６、３７．７８８）及び点Ｂの座標（５２．７９３、９５．５２１）から、図８においてθの下限値は６７．８１９°であったが、カメラの取付誤差を考慮して７０°とした。

（上側走査線幅縮小）
従来のアルゴリズムでは、図９に示すように、白線ａ（以下、左側白線、右側白線及びセンターライン等を含めて白線ａと総称する）を走査する走査線ｂの幅（走査範囲）はすべて一定（例えば１５０画素）としていた。しかし、画像上での道路は無限遠にむけて狭くなっていくため、従来のアルゴリズムでは道路からはみ出した部分（白線の判定範囲として不適切なエリア）まで走査範囲が及んでいた。

＜新規アルゴリズム２＞
新規アルゴリズム２では、図１０に示すように、上半分の走査線ｂの捜査範囲を従来の半分（例えば７５画素）とすることにより道路の外側に走査線ｂよる走査範囲がはみだすことを防止した。この画素数（７５画素）はシミュレーションで得た最適値である。また、時系列で取得される複数の道路画像のうち、前回取得した道路画像から白線位置が認識できた場合、その認識された白線位置が走査範囲の中央となるように走査範囲を設定するようにした。これにより、演算処理が早くなるように走査範囲を短くでき、しかも、白線周辺の路肩、溝等による誤認識を防ぐことができる。

さらに、前回取得した道路画像から白線位置が認識できた場合には走査範囲を短くし、認識できなかった場合には走査範囲を長くすることもできる。これにより、走査エリアを必要な範囲に収めて、白線周辺の路肩、溝等による白線の誤認識や未認識を防ぐことができる。

（走査範囲の開始・終了位置の最適化）
従来のアルゴリズムでは、図１１に示すように、走査線ｂの走査開始位置が高すぎる位置に、終了位置が低すぎる位置にあった。そのため、画像上方の走査線ｂは空や風景を、下方の走査線ｂは車両のボンネットの上を走査してしまい、白線の判定範囲として不適切なエリアまで走査線が及んでいた。

＜新規アルゴリズム３＞
新規アルゴリズム３では、図１２に示すように、走査線ｂによる走査範囲の縦方向の開始位置を画像の無限遠に、終了位置を車両のボンネットの手前に設定した。これにより、演算処理が早くなるように走査線数を少なくでき、しかも、白線周辺の路肩、溝等による誤認識を防ぐことができる。

（Hough変換時の投票に重み付け）
従来のアルゴリズムでは、Hough変換時の投票値をすべて「１」としていた。つまり白
線エッジ抽出において信頼性の高い画像下方（車両近傍）も、信頼性の劣る画像上方もHough変換時に同じ値で投票する設定としていた。

＜新規アルゴリズム４＞
新規アルゴリズム４では、白線エッジ抽出において信頼性の高い画像下方（車両近傍）に対して、Hough変換時の投票値に大きな重みを持たせた。具体的には、下半分の走査線
で抽出したエッジの投票値を「３」、上半分の走査線で抽出したエッジの投票値を「２」とした。投票値の「３」、「２」はシミュレーションで得た最適値である。ただし、投票値の重みは白線エッジ抽出方式を変更した場合、再度調整する必要がある（白線エッジ抽出における上側と下側の信頼性の比が変わるため）。

このようにすれば、道路画像の上側走査範囲で僅かにノイズを抽出しても、下側走査範囲で正しい白線エッジが抽出できていれば、白線の認識を成功させることができる。また、下側走査範囲で僅かにノイズを抽出しても、上側走査範囲で正しい白線エッジが取得できていれば、白線の認識を成功させることができる。これにより、白線認識精度をさらに向上させることができる。

（白線エッジの両端抽出と両端のエッジ間距離判定）
従来のアルゴリズムでは、次の（１）、（２）の手順で白線エッジの抽出を行っていた。
（１）内側エッジ抽出のために、捜査線上を内側から外側へ探索し、幅が３画素以上のHigh画素（内側エッジ）を抽出する。
（２）５連続近傍抽出のために、（１）で抽出したエッジの垂直方向に５連続で幅が３画素以上のHigh画素が存在することを確認する。

白線（右側）のエッジ抽出例を図１３、図１４に示す。微分フィルタ＋２値化処理を行った画像が図１３に示す画像である。同図においてｄはノイズを示している。図１３の画像の太枠ｃ内を拡大し、エッジの抽出状況を表したのが図１４である。図１４の例では走査線ｂ１は白線エッジが抽出できている。しかし、走査線ｂ２、ｂ３は白線エッジの内側のノイズを抽出し、誤認識となっている。

＜新規アルゴリズム５＞
新規アルゴリズム５では、白線を判別するために、以下の（１）〜（５）の手順により、白線の両端（内側と外側）のエッジの抽出と、両端のエッジ間の距離による判定を行う。その抽出手順を図式化したものを図１５に示す。

（１） 内側エッジ抽出のために、捜査線上を内側から外側へ探索し、幅が３画素以上のHigh画素（内側エッジ）を抽出する。
（２） ５連続近傍抽出のために、（１）で抽出したエッジの垂直方向に５連続で幅が３画素以上のHigh画素が存在することを確認する。
（３） Low画素抽出のために、（１）で抽出したエッジの外側を探索し、幅が３画素以
上のLow画素が存在することを確認する。
（４） 外側エッジ抽出のために、（３）のLow画素の外側を探索し、幅が３画素以上のHigh画素（外側エッジ）を抽出する。
（５） ５連続近傍抽出のために、（４）で抽出したエッジの垂直方向に５連続で幅が３画素以上のHigh画素が存在することを確認する。
（６） 白線幅チェックのために、（１）で抽出した内側エッジと、（４）で抽出した外側エッジの間隔が４０画素以下（規定範囲内）であることを確認し、規定範囲内であればそれを白線として認識する。なお、４０画素とした理由は、シミュレーションで使用した画像において白線エッジの幅の最大値が３０画素であり、その幅に１０画素のマージンを加えたことによるものである。

（白線エッジ及びレーン幅判定）
さらに、このようにして認識される白線エッジについて、図１６に示すように、車両の左側、右側で対となる走査線上の両方で白線エッジ（左側白線ａ１及び右側白線ａ２のエッジ）が保持できた座標のみを抽出し、左右の白線エッジの間隔（レーン幅Ｒ）を確認し、そのレーン幅Ｒが規定範囲内であった場合は、白線エッジとして判定する。即ち、車両を基準にして左側白線ａ１及び右側白線ａ２の各白線候補エッジからレーン幅Ｒを算出し、算出したレーン幅Ｒが規定範囲の場合に白線エッジと判断する。

（シミュレーションによる性能評価）
新規アルゴリズムについてＰＣ上でシミュレーションを行い、性能評価を実施した。シミュレーションでは実際の走行実験で採取した画像（ＢＭＰファイル）を使用した。

（評価結果）
白線認識結果をスーパーインポーズした画像について、認識成功、未認識、誤認識を判定した結果、前回の走行実験に比べて認識率が向上したことを確認した。従って、白線幅を検出しない白線認識方法に比べて白線認識精度を向上させることができた。さらに、レーン幅を検出しない白線認識方法に比べて白線認識精度をより向上させることができた。

＜新規アルゴリズム６＞
（過去フレームのエッジ情報利用）
白線が破線の場合、抽出エッジの数が少ないため白線が認識できない場合がある。そのため、過去フレームのエッジ情報を保持し、利用することにより現状フレームだけでは不足するエッジ情報を補い、白線位置を認識できるようにした。図１７の場合、白線エッジは３つしか抽出できておらず、白線位置を認識できなかった。しかし、図１８のように１つ前のフレームで抽出したエッジを保持しておき、図１９のように現在フレームでエッジが抽出できなかった走査線に対してエッジを補うことにより白線位置を特定することができる。図１９において破線ｅで矩形状に囲む部分が、過去フレームで取得したエッジで補っている部分である。本アルゴリズムではシミュレーションを行い検討した結果、４つ前のフレームまでエッジ情報を保持し、利用することとした。

＜新規アルゴリズム７＞
（２値化処理時に閾値を２つ使う）
トンネルの出口で路面が急に明るくなる場合、白線が影の中にある場合、白線がかすれている場合、などのように白線と道路のコントラストが小さい場合、画像から白線を特徴抽出できない。しかし、２値化処理時の閾値を例えば影内の白線と道路の濃度差以下（適切な閾値）に設定することで特徴抽出可能である。例えば白線の濃度値が７０、道路の濃度値が４０の場合は閾値を３０とすれば良い。２値化処理における適切な閾値は、天候や時間帯、道路の状況により異なるが、状況によって閾値を動的に適切な値にすることは難しい。また、閾値を固定すると、閾値が高い場合、低い場合でメリット、デメリットが存在する。

即ち、低い閾値では白線と道路のコントラストが小さい場合でも白線を抽出できるメリットがあるものの、前方車両や建物の影などのエッジを抽出してしまうデメリットがある。高い閾値ではその逆になる。よって新規アルゴリズム７では、低い閾値を３０、高い閾値を５０とする２つの固定閾値（高い閾値と低い閾値）を１００ｍｓ毎に交互に使用することとした。これにより、閾値の高・低におけるそれぞれのメリットを生かし、デメリットを吸収することができる。

それぞれの閾値における２値化画像を図２０、図２１に示す。図２０（閾値３０）では白線エッジははっきり見えるが、エッジのにじみ、ノイズｄが多い。また、図２１（閾値５０）では左側の白線のエッジはかすれているが、エッジのにじみ、ノイズが少ない。

従って、例えば白線ａと道路とのコントラストが大きい場合や、小さい場合に生じやすい未認識、誤認識発生状況においても、白線ａを正常認識することができる。例えば白線ａが影内にあってコントラストが小さい場合でも閾値小であれば白線ａを正常認識することができる。これにより白線認識精度を格段に向上させることができる。

＜新規アルゴリズム８＞
（白線走査エリアの絞り込み）
白線の外側に走査エリアが及ぶことにより白線以外のエッジを抽出する誤認識を防止するために、走査エリアの範囲を絞り込むようにした。単純に走査エリアを狭めるだけでは白線の未認識につながるため、計算テーブルの状態によって下側走査線の幅を狭めることとした。

計算テーブル状態が、例えば白線エッジ抽出処理連続成功回数１０回未満のときを状態１としたとき、計算テーブルが状態２（白線エッジ抽出処理連続成功回数１０回以上３０回未満）の場合、正しい白線位置（もしくはその近傍）を取得している可能性が高い。また、画像は時系列で取得しているため（０．１秒毎）、次回白線位置は前回白線位置の近傍と考えられる。また、計算テーブルが状態３（白線エッジ抽出処理連続成功回数３０回以上）の場合、状態２以上に白線位置、次回白線位置を正しく取得している信頼性は高い。そこで状態２の場合は下側走査線の幅を狭く、また状態３の場合はさらに狭くするようにした。

従って、前回取得した道路画像から白線位置が認識できた場合には走査範囲を短くし、認識できなかった場合には走査範囲を長くすることができる。これにより、走査エリアを必要な範囲に収めて、白線周辺の路肩、溝等による白線の誤認識や未認識を防ぐことができる。

次に、このような白線認識技術における白線認識手順の一例について図２２のフロー図を参照して説明する。なお、この処理は画像処理部２で行うが、解り易くするため、図１、２に示した構成を参照して説明する。また、この処理は白線認識処理装置の動作中は繰り返し実行される。

画像入力部であるカメラ部１で撮影された道路画像を入力する（ステップＳ１）。そして、画像処理部２の前処理部２０において、白線と白線以外の道路との濃度差が大きい場合、小さい場合用に予め設定されている２つの２値化処理用の閾値のうちの何れかの閾値（例えば表１１に示す低い閾値３０）を選択し（ステップＳ２）、その選択された閾値によって道路画像が取得される。そして、取得された道路画像は、微分処理（ステップＳ３）、２値化処理（ステップＳ４）を順次行った後、白線候補点抽出部３１に入力される。なお、２つの閾値の選択に関しては、実施例では、カメラ部１による撮影間隔に合わせて交互に選択される。したがって、２つの閾値が交互に使用される。

白線候補点抽出部３１に道路画像が入力されると、走査エリアを決定する。即ち、図１２に示すように道路画像に対する走査線開始位置と終了位置を決める走査線位置を決定し（ステップＳ５）、さらに走査線の長さである走査線幅を決定する（ステップＳ６）。走査線幅については、例えば図１０に示すように、白線の上側走査線幅と下側走査線幅とが異なるように設定される。次いで、走査線による白線エッジ候補抽出のための走査が行われて白線エッジ候補が取得され、白線エッジが判定される。

白線候補点抽出部３１において、走査線上の白線エッジが取得されると（ステップＳ７）、白線の内外エッジが取得できたか否かを判断し（ステップＳ８）、ＹＥＳの場合はステップＳ９に進み、ＮＯの場合はステップＳ１２に進む。ステップＳ９では、図１５で示したエッジ間隔の検出により白線幅が妥当か否かを判断し、ＹＥＳの場合はステップＳ１０に進み、ＮＯの場合はステップＳ１２に進む。

ステップＳ１０では、車両の左右の白線間隔に相当するレーン幅が妥当か否かを判断し、ＹＥＳの場合には抽出したエッジ座標を保持し（ステップＳ１１）、次にステップＳ１３に進む。ＮＯの場合はステップＳ１２に進む。

一方、ステップＳ８、Ｓ９、Ｓ１０においてＮＯと判断された場合にはステップＳ１２に進むが、ここでは、ステップＳ８、Ｓ９、Ｓ１０のそれぞれについて過去のエッジ座標を保持した後に、ステップＳ１３へ進む。

次に、ステップＳ１３において、全ての走査線を調べたか否かを判断さし、ＹＥＳの場合はステップＳ１４へ進み、ＮＯの場合はステップＳ７へ戻る。そして、ステップＳ１３においてＹＥＳと判断されるまで（全ての走査線を調べるまで）上記と同様のループ処理が行われる。

ステップＳ１３においてＹＥＳと判断された場合、白線認識部３２においてHough変換
による直線近似処理を行い、その近似直線が白線として認識される。

なお、以上の実施例では、車両前方の路面を撮影して得られる道路画像から白線を認識する技術について説明したが、例えば、駐車時等、後方へ進む場合の白線認識技術としても本発明を適用可能である。その場合には、車両後方の路面や駐車場等を撮影可能な後方用車載カメラ（撮像手段）を搭載することで対応可能になる。

本発明の実施例に係る白線認識装置のブロック図である。 本発明の実施例に係る白線認識装置の機能ブロック図である。 本発明の実施例に係る白線認識技術の説明図である。 本発明の実施例に係る白線認識技術の説明図である。 本発明の実施例に係る白線認識技術の説明図である。 本発明の実施例に係る白線認識技術の説明図である。 本発明の実施例に係る白線認識技術の説明図である。 本発明の実施例に係る白線認識技術の説明図である。 従来の白線認識技術の走査線幅を示す説明図である。 本発明の実施例に係る白線認識技術の走査線幅を示す道路画像の説明図である。 従来の白線認識技術の走査線開始位置と終了位置を示す道路画像の説明図である。 本発明の実施例に係る白線認識技術の走査線開始位置と終了位置を示す道路画像の説明図である。 従来の白線認識技術における２値化処理後の道路画像例を示す説明図である。 図１３の部分拡大図である。 本発明の実施例に係る白線認識技術の白線エッジ抽出例を示す説明図である。 本発明の実施例に係る白線認識技術のレーン幅抽出例を示す図である。 本発明の実施例に係る白線認識技術における左側白線が破線の場合の道路画像例を示す説明図である。 本発明の実施例に係る白線認識技術における一つ前のフレームの道路画像例を示す説明図である。 本発明の実施例に係る白線認識技術における現在フレームの道路画像例を示す説明図である。 本発明の実施例に係る閾値３０の２値化処理画像例を示す説明図である。 本発明の実施例に係る閾値５０の２値化処理画像例を示す説明図である。 本発明の実施例に係る白線認識技術における処理フロー図である。

符号の説明

１ カメラ部（画像入力部）
１１ 光学フィルタ
１２ レンズ
１３ イメージセンサ
２ 画像処理部
２０ ＡＳＩＣ
２１ 画像取得部
２２ 微分処理部
２３ ２値化処理部
３０ ＣＰＵ
３１ 白線候補点抽出部
３２ 白線認識部
４０ コネクタ
Ａ 路面
ａ 白線
ａ１ 左側白線
ａ２ 右側白線
ｂ 走査線

Claims (9)

1. 路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、
   少なくとも２つの２値化処理用の閾値を設定しておき、それらの閾値を切り替えて使用することを特徴とする白線認識方法。
2. 前記２つの閾値は、前記道路画像を得る撮影間隔に合わせて交互に切り替えて使用することを特徴とする請求項１に記載の白線認識方法。
3. 路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、
   時系列で取得される複数の道路画像のうち、前回取得した道路画像から白線位置が認識できた場合、その認識された白線位置が走査範囲の中央となるように走査範囲を設定することを特徴とする、白線認識方法。
4. 路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、
   時系列で取得される複数の道路画像のうち、前回取得した道路画像から白線位置が認識できた場合には走査範囲を短くし、認識できなかった場合には走査範囲を長くすることを特徴とする、白線認識方法。
5. 路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、
   前記白線候補エッジから白線幅を算出し、算出した白線幅が規定範囲の場合に白線エッジと判断することを特徴とする、白線認識方法。
6. 車両側から路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、
   前記車両を基準にして左側白線及び右側白線の各白線候補エッジからレーン幅を算出し、算出したレーン幅が規定範囲の場合に白線エッジと判断することを特徴とする、白線認識方法。
7. 路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、
   １本の走査線に対して１つの白線エッジを抽出する際に、白線エッジが抽出できなかった走査範囲については過去の規定時間前までにその走査範囲で取得した白線エッジで補完することを特徴とする、白線認識方法。
8. 路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識方法であって、
   抽出した白線エッジに対してHough変換により近似直線を取得する際、道路画像の下部
   で抽出した信頼性の高い白線エッジにはHough変換の投票値に大きな重みを持たせること
   を特徴とする、白線認識方法。
9. 路面を撮影して得られる道路画像の微分処理及び２値化処理により白線の候補エッジを抽出し、候補エッジの判定により白線エッジを抽出し、白線位置を認識する白線認識装置であって、
   ２つの２値化処理用の閾値を設定可能な閾値設定手段と、
   前記白線の候補エッジの抽出時に、前記閾値を前記道路画像の撮影間隔に合わせて交互に切り替えて使用する閾値切換手段と、を有することを特徴とする白線認識装置。
   

Images