JP4211681B2 - 走行路認識装置 - Google Patents

Description

本発明は、車両が走行する走行路のレーンマーカの認識を行う走行路認識装置に関するものである。

従来、走行路のレーンマーカの認識を行う装置として、特開２００３−３０８５３４号公報に記載されるように、車両の走行路を撮影した撮像画像を横方向に走査し、画像明度が相対的に所定以上変化するアップエッジとダウンエッジを検出し、そのアップエッジとダウンエッジのペアエッジの配列により、レーンマーカが単一の白線からなるものか複数の白線からなるものかを判断するものが知られている。この装置は、レーンマーカが単一の白線か複数の白線かを判断して適正な白線位置候補点を正確に取得しようとするものである。
特開２００３−３０８５３４号公報

しかしながら、この装置にあっては、適切な走行路の認識が行えないという問題点がある。例えば、レーンマーカである白線が道路使用などによりその一部が掠れたり潰れたりして劣化している場合がある。この場合、白線のエッジが検出できないおそれがあり、白線の状態によっては適切な走行路の認識が行えないこととなる。

そこで本発明は、走行路のレーンマーカが劣化した状態であっても適切な走行路の認識が行える走行路認識装置を提供することを目的とする。

すなわち、本発明に係る走行路認識装置は、車両の周囲を撮像する撮像手段と、前記撮像手段により撮像された撮影画像におけるレーンマーカのパターンを検出するパターン検出手段と、理想パターン及び劣化パターンを記憶する手段と、前記パターン検出手段により検出されたパターンを前記理想パターンと照合し、その照合結果に基づいてレーンマーカの線種を認識するレーンマーカ認識手段と、前記レーンマーカ認識手段により同一の線種が所定回数認識されている場合に、レーンマーカの線種を確定するレーンマーカ確定手段と、前記レーンマーカ確定手段により前記レーンマーカの線種が確定されている場合において、前記レーンマーカ認識手段により前記レーンマーカの線種が認識できない場合には、確定している線種に対応した劣化パターンと前記パターン検出手段により検出されたパターンとを照合し、その照合結果に基づいてレーンマーカの線種を認識する劣化認識手段とを備えて構成されている。
また本発明に係る走行路認識装置において、前記劣化パターンは、一つの線種において劣化態様に応じて複数のパターンとして記憶されていることが好ましい。

この発明によれば、レーンマーカの線種が確定している場合において、レーンマーカの線種が認識できない場合には、確定している線種に対応した劣化パターンとパターン検出手段により検出されたパターンとを照合し、その照合結果に基づいてレーンマーカの線種を認識する。これにより、レーンマーカの一部が消失したり掠れたりして劣化している場合であっても、レーンマーカを適切に認識することができる。また、レーンマーカの線種を確定した後に劣化パターンとの照合を行うことにより、レーンマーカの誤認識を低減することができる。

また本発明に係る走行路認識装置は、前記レーンマーカ認識手段により前記レーンマーカの線種が確定されている場合において、前記パターン検出手段により検出されたパターンが確定したレーンマーカのパターンと所定回数一致しない場合に、前記レーンマーカの線種の確定を解除する確定解除手段を備えることを特徴とする。

この発明によれば、レーンマーカの線種が確定している場合において、検出されたパターンが確定したレーンマーカのパターンと所定回数一致しない場合にレーンマーカの線種の確定を解除する。これにより、新たなレーンマーカの確定が可能となり、適正な走行路の認識が可能となる。

本発明によれば、走行路のレーンマーカが劣化状態であっても適切な走行路の認識が行える。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は本発明の実施形態に係る走行路認識装置の構成概要図である。

図１に示すように、本実施形態に係る走行路認識装置１は、車両５に搭載される装置であって、車両５が走行する走行路２０における走行路パラメータを推定するものである。

走行路認識装置１には、撮像部２が設けられている。撮像部２は、車両の周囲を撮像する撮像手段として機能するものであり、例えば車両５の前方を撮影するように設置される。この撮像部２としては、例えばＣ−ＭＯＳカメラが用いられる。

撮像部２は、ＥＣＵ（Electronic Control Unit）３に接続されている。ＥＣＵ３は、装置全体の制御を行うものであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭ、入力信号回路、出力信号回路、電源回路などにより構成されている。ＥＣＵ３は、撮像部２から撮像画像を入力して画像処理する。そして、ＥＣＵ３は、レーンマーカである白線３０の線種を認識するレーンマーカ認識手段、白線３０のエッジ線が劣化エッジパターンと一致したときにそのエッジ線を認識線種と認識する劣化認識手段、白線３０のエッジ線が認識エッジパターンと一致しないときに線種の認識を解除する認識解除手段として機能する。

この走行路認識装置１は、好適には、操舵制御システムの一部として用いられる。走行路認識装置１により推定される走行路パラメータに基づいて車両５の自動操舵制御が行われる。例えば、運転者のハンドル操作に不備があるときにはそれを補うように操舵制御を行い、安全な車両走行を確保する。

次に本実施形態に係る走行路認識装置の動作について説明する。

図２は、本実施形態に係る走行路認識装置の動作を示すフローチャートである。図３〜６は、図２の制御処理における画像処理等の説明図である。図２における制御処理は、ＥＣＵ３により予め設定された所定周期で繰り返し実行される。

まず、図２のＳ１０に示すように、撮影画像の読み込みが行われる。この撮影画像の読み込みは、撮像部２により撮影された撮影画像をＥＣＵ３に入力し、その撮影画像信号をデジタル画像データとして読み込むことによって行われる。その際、図３に示すように、撮影画像１１は、車両が走行路２０に沿って走行する場合、走行路２０が上下方向に向くように表示される。走行路２０には、レーンマーカである白線３０、３０が設けられている。なお、ここでいう「レーンマーカ」とは、道路標示における車線境界線を意味し、白い線のほか他の色彩の線、例えば黄色の線も含むものである。

そして、図２のＳ１２に移行し、レーンマーカのパターン検出処理が行われる。このパターン検出処理は、白線３０のエッジパターンを検出する処理である。例えば、パターン検出処理として、白線３０のエッジ点抽出、座標変換、エッジ点直線近似、エッジパターン検出の各処理が行われる。

エッジ点抽出は、微分フィルタなどを用い撮影画像１１においてエッジ点を抽出する処理である。座標変換は、撮影画像１１が走行路２０の真上から見た画像になるように座標変換する処理である。例えば、走行路２０の幅方向をＸ軸、走行路２０の車両進行方向をＹ軸として設定することにより行われる。

エッジ点直線近似は、抽出されたエッジ点を直線近似し、白線３０のエッジ線に相当する白線候補線として検出する処理である。直線近似の手法としては、例えばハフ変換などが用いられる。エッジパターン検出は、白線３０のエッジ線がアップエッジかダウンエッジかを検出する処理である。また、このエッジパターン検出において、複数検出されるエッジ線の間の距離も検出することが好ましい。

アップエッジは、撮影画像１１を走行路２０の幅方向に見た場合に、撮影画像１１の画素の輝度が所定値以下から所定値を超えるエッジ線である。ダウンエッジは、撮影画像１１を走行路２０の幅方向に見た場合に、撮影画像１１の画素の輝度が所定値を超える値から所定値以下になるエッジ線である。例えば、図４に示すように、エッジパターン検出結果は、白線３０が二重線である場合、アップエッジ４１、ダウンエッジ４２、アップエッジ４１、ダウンエッジ４２のエッジパターンとなる。この図４のエッジパターンは、線の一部消え、掠れ、線の重なりなど劣化のない理想的な白線３０の理想パターンである。

一方、図５に示すように、白線３０の一部が消えて劣化した白線３０のエッジパターンは、アップエッジ４１、ダウンエッジ４２、アップエッジ４１となり、端部のエッジ線が検出できないなど理想的なエッジパターンと異なる劣化パターンとなる。

そして、図２のＳ１２でエッジパターン検出処理を終えたら、Ｓ１４に移行し、レーンマーカ線種確定済みであるか否かが判断される。このレーンマーカ線種確定済みか否かの判断は、走行路２０の白線３０の線種が確定しているか否かの判断であり、例えばＥＣＵ３に白線確定済みフラグがセットされているか否かに基づいて行われる。なお、白線３０の線種の確定処理は、後述するＳ３２の制御処理などによって行われる。

Ｓ１４にて白線確定済みでないと判断されたときには、白線３０の検出パターンが理想パターンに一致するか否かが判断される（Ｓ２８）。例えば、Ｓ１２にて検出された白線３０のエッジパターンが予めＥＣＵ３に設定される理想パターンと照合され、白線３０のエッジパターンが理想パターンと一致するか否かが判断される。理想パターンとしては、白線３０が単線の場合、複合線の場合など複数のパターンを設定しておき、いずれかのパターンに一致するか否かが判断される。

Ｓ２８にて白線３０の検出パターンが理想パターンに一致しないと判断されたときには、認識不可処理が行われ（Ｓ３４）、制御処理を終了する。認識不可処理として、例えばＥＣＵ３の所定のメモリ領域に今回のパターン検出でエッジパターンが認識できなかったことが記録される。この場合、例えば今回の認識データとして、前回以前における認識済みの認識データを用いることが好ましい。

一方、Ｓ２８にて白線３０の検出パターンが理想パターンに一致すると判断されたときには、レーンマーカの線種認識処理が行われる（Ｓ３０）。線種認識処理は、検出パターンに一致した理想パターンの線種を認識線種として記録する処理である。例えば、ＥＣＵ３の所定のメモリ領域に検出パターンに一致した理想パターンの線種を認識線種として記録する。この認識線種情報は、後述する走行路パラメータ推定などに用いられる。

そして、Ｓ３２に移行し、レーンマーカの線種確定判定処理が行われる。線種確定判定処理は、線種認識処理で同一の線種が所定回数認識されている場合にその線種を確定線種として記録する処理である。この線種確定判定処理としては、例えば、検出パターンが理想パターンと一致した際にカウンタ値ｎをｎ＋１としてインクリメントし、カウンタ値ｎが第一回数値Ｎ以上となった場合に、その理想パターンに対応する線種を確定パターンとして記録して行われる。

具体的には、白線３０のエッジパターンが二重線の理想パターンにＮ回一致した場合には、白線３０の線種が二重線であると判断して、ＥＣＵ３のメモリにおいて二重線の確定パターンのフラグをセットする。このとき、線種を確定する条件としては、同一の線種が連続してＮ回一致した場合でもよいし、Ｎより大きい所定回数の線種認識のうちＮ回一致した場合であってもよい。第一回数値Ｎは、ＥＣＵ３に予め設定される設定値であり、例えば３〜１０回に設定され、好ましくは５回に設定される。なお、この第一回数値Ｎを認識された線種に応じて可変とすることが好ましい。

また、線種確定判定処理として、所定時間（例えば、０．３秒）の間、同一の線種が認識されている場合にその線種を確定線種として記録してもよい。

ところで、Ｓ１４にて線種確定済みであると判断されたときには、白線３０の検出パターンが理想パターンに一致するか否かが判断される（Ｓ１６）。この判断処理は、上述したＳ２８の判断処理と同様に行われ、例えば、Ｓ１２にて検出された白線３０のエッジパターンが予めＥＣＵ３に設定される理想パターンと照合され、白線３０のエッジパターンが理想パターンと一致するか否かが判断される。理想パターンとしては、白線３０が単線の場合、複合線の場合など複数のパターンを設定しておき、いずれかのパターンに一致するか否かが判断される。

Ｓ１６にて白線３０の検出パターンが理想パターンに一致すると判断されたときには、レーンマーカの線種認識処理が行われる（Ｓ２４）。この線種認識処理は、上述したＳ３０の線種認識処理と同様に行われ、検出パターンに一致した理想パターンの線種を認識線種として記録して行われる。

そして、Ｓ２６に移行し、線種確定解除判定処理が行われる。線種確定解除判定処理は、パターン検出処理により検出されたエッジパターンが確定済みのパターンと所定回数一致しない場合に、レーンマーカの線種の確定を解除する処理である。例えば、Ｓ１６にて検出パターンが所定の理想パターンに一致した場合において、その理想パターンが確定済みのパターンと異なっており、検出パターンがその理想パターンとＭ回以上一致する場合には線種の確定が解除される。ここで、Ｍは、ＥＣＵ３に予め設定される第二回数値であり、例えば２〜５回に設定され、好ましくは３回に設定される。

一方、Ｓ１６にて白線３０の検出パターンが理想パターンに一致しないと判断されたときには、白線３０の検出パターンが劣化パターンに一致するか否かが判断される（Ｓ１８）。この判断処理は、検出パターンが確定している線種に対応した劣化パターンを照合し、その検出パターンと劣化パターンが一致するか否かを判断する処理であり、例えば、二重線のエッジパターンが確定パターンとしてセットされている場合には、白線３０の検出パターンが二重線の劣化パターンに一致するか否かが判断される。

劣化パターンは、各線種のものがＥＣＵ３に予め記憶されている。例えば、二重線の白線３０の劣化パターンとしては、図５に示すように、アップエッジ４１、ダウンエッジ４２、アップエッジ４１により構成されるエッジパターンが記憶される。この劣化パターンは、一つの線種において劣化態様に応じて複数のパターンを記憶することが好ましい。この場合、白線３０の検出パターンがいずれかの劣化パターンに一致するか否かが判断される。

Ｓ１８にて白線３０の検出パターンが劣化パターンに一致しないと判断されたときには、線種確定解除判定処理が行われる（Ｓ２０）。この線種確定解除判定処理は、パターン検出処理により検出されたエッジパターンが理想パターン及び劣化パターンと所定回数一致しない場合に、レーンマーカの線種の確定を解除する処理である。例えば、Ｓ１６にて検出パターンが所定の理想パターンに一致せず確定パターンの劣化パターンにも一致しない場合において、その不一致の回数がＭ回以上となったときに線種の確定が解除される。ここで、Ｍは、ＥＣＵ３に予め設定される第二回数値であり、例えば２〜５回に設定され、好ましくは３回に設定される。

そして、Ｓ２２に移行し、認識不可処理が行われる（Ｓ２２）。認識不可処理は、上述したＳ３４と同様に行われ、例えばＥＣＵ３の所定のメモリ領域に今回のパターン検出でエッジパターンが認識できなかったことが記録される。この場合、例えば今回の認識データとして、前回以前における認識済みの認識データを用いることが好ましい。

一方、Ｓ１８にて白線３０の検出パターンが劣化パターンに一致すると判断されたときには、レーンマーカの線種認識処理が行われる（Ｓ３６）。この線種認識処理は、検出パターンに一致した劣化パターンの線種を認識線種として記録する処理である。例えば、ＥＣＵ３の所定のメモリ領域に検出パターンに一致した劣化パターンの線種を認識線種として記録する。

図２の制御処理の線種認識情報などは、走行路パラメータ推定処理に用いられる。例えば、レーンマーカのパターン検出処理で得られた白線３０のエッジ点の座標データと線種認識情報に基づいて図６のように白線３０における観測エッジ点が設定される。この観測エッジ点３１は、車線の左右の白線３０、３０の内縁部にそれぞれ所定の個数設定される。そして、観測エッジ点３１の座標データ（レーンマーカの位置情報）に基づいて走行路パラメータが推定される。走行路パラメータとして、例えば、車両の車幅方向における車線中心からのオフセット量（ズレ量）、車線に対する車両のヨー角、車線幅、車線のカーブ曲率及び車両のピッチ角変動量の五つの走行路パラメータが推定される。

このパラメータ推定手法としては、走行路パラメータを推定できるものであればいずれの手法を用いてもよい。例えば、観測エッジ点３１の座標データに基づいてカルマンフィルタを用いて車両の車幅方向における車線中心からのオフセット量、車線に対する車両のヨー角、車線幅、車線のカーブ曲率及び車両のピッチ角変動量が算出される。

なお、走行路パラメータは、これらの五つの全てを推定する場合に限られるものではなく、その一部を推定する場合、この五つのほかに異なるパラメータを推定する場合又はその他の走行路パラメータを推定する場合であってもよい。

そして、推定された走行路パラメータにより走行路２０の状態をＥＣＵ３のメモリに記憶し、走行路２０が認識される。

以上のように、本実施形態に係る走行路認識装置１によれば、レーンマーカである白線３０の線種が確定している場合において、白線３０の線種が認識できない場合には、確定している線種に対応する劣化パターンとパターン検出処理により検出されたパターンとを照合し、検出パターンと劣化パターンが一致したときに白線３０が確定済みの線種であると認識する。これにより、白線３０の一部が消失したり掠れたりして劣化している場合であっても、白線３０を適切に認識することができる。

その際、白線３０の線種を確定した状態で劣化パターンとの照合を行うことにより、白線３０の誤認識を防止することができる。すなわち、線種確定処理を行わずに白線３０の検出パターン情報にのみ基づき理想パターンと劣化パターンを用いて線種認識しようとすると、白線３０のエッジパターンが理想パターンに一致しなくても劣化パターンに一致することによって所定の線種であると認識することとなる。この場合、撮影画像のノイズによって劣化パターンに一致する場合が多く、白線３０の誤認識が増え、適切な走行路認識が行えない。これに対し、白線３０の線種を先に確定した状態でその線種の劣化パターンとの照合を行うことにより、白線３０の誤認識を低減でき、適切な走行路認識が可能となる。

また、本実施形態に係る走行路認識装置１によれば、白線３０の線種が確定されている場合において、パターン検出処理により検出されたエッジパターンが確定パターンと所定の回数一致しないときに、白線３０の線種の確定を解除する。これにより、新たな白線３０の確定が可能となり、適正な走行路の認識が可能となる。

なお、本実施形態では、レーンマーカとして白線３０の認識を行う場合について説明したが、本発明に係る走行路認識装置はこのようなものに限られるものではなく、レーンマーカの認識を行うものであれば、白線３０以外のレーンマーカの認識を行うものであってもよい。

本発明の実施形態に係る走行路認識装置の構成概略図である。 図１の走行路認識装置の動作を示すフローチャートである。 図２のフローチャートの制御処理における撮影画像の説明図である。 図２のフローチャートの制御処理内容の説明図である。 図２のフローチャートの制御処理内容の説明図である。 図２のフローチャートの制御処理内容の説明図である。

符号の説明

１…走行路認識装置、２…撮像部、３…ＥＣＵ、５…車両、１１…撮影画像、２０…走行路、３０…白線、３１…観測エッジ点。

Claims (3)

1. 車両の周囲を撮像する撮像手段と、
   前記撮像手段により撮像された撮影画像におけるレーンマーカのパターンを検出するパターン検出手段と、
   レーンマーカを認識するための理想パターン及び劣化パターンを記憶する手段と、
   前記パターン検出手段により検出されたパターンを前記理想パターンと照合し、その照合結果に基づいてレーンマーカの線種を認識するレーンマーカ認識手段と、
   前記レーンマーカ認識手段により同一の線種が所定回数認識されている場合に、レーンマーカの線種を確定するレーンマーカ確定手段と、
   前記レーンマーカ確定手段により前記レーンマーカの線種が確定されている場合において、前記レーンマーカ認識手段により前記レーンマーカの線種が認識できない場合には、確定している線種に対応した劣化パターンと前記パターン検出手段により検出されたパターンとを照合し、その照合結果に基づいてレーンマーカの線種を認識する劣化認識手段と、
   を備えた走行路認識装置。
2. 前記劣化パターンは、一つの線種において劣化態様に応じて複数のパターンとして記憶されている、
   請求項１に記載の走行路認識装置。
3. 前記レーンマーカ認識手段により前記レーンマーカの線種が確定されている場合において、前記パターン検出手段により検出されたパターンが確定したレーンマーカのパターンと所定回数一致しない場合に、前記レーンマーカの線種の確定を解除する確定解除手段を備えること、
   を特徴とする請求項１に記載の走行路認識装置。
   

Images