JP2016046556A - 走行区画線認識装置、走行区画線認識プログラム - Google Patents

Abstract

【課題】走行区画線の認識に不適な乱雑な道路環境における走行区画線の認識抑制の安定性と、道路環境への急変に伴う応答性とを両立可能な走行区画線認識装置を提供する。
【解決手段】道路の走行区画線の認識に影響するカメラ画像の乱雑度合を算出する算出手段と、算出手段により今回算出された乱雑度合と、過去の乱雑度合の学習値である乱雑学習値とに基づいて、乱雑学習値を更新する学習手段と、学習手段により更新された乱雑学習値が閾値を超えた場合に、走行区画線の認識を抑制する抑制手段と、道路の環境が変化する前後か否かを判定する判定手段と、判定手段により前記環境が変化する前後と判定された場合に、乱雑学習値を今よりも前の乱雑学習値に戻す学習リセット手段と、を備える。
【選択図】 図１

Description

本発明は、走行支援等を行うために、車載カメラの画像に基づいて道路の走行区画線を認識する装置、及びそのプログラムに関する。

道路画像から道路の走行区画線を認識し、認識した走行区画線に基づいて車両の運転支援等を行う装置において、走行区画線の認識に不適な道路環境では、走行区画線の認識を抑制する技術が提案されている。

例えば、特許文献１に記載の車外監視装置は、道路の路肩部分に雪が存在するような路面状況では、走行区画線を認識するのに十分な画像情報を得ることができないため、通常の監視制御を一時的に中断する等のフェールセーフを行っている。

特開２００１−８８６３６号公報

特許文献１に記載の装置では、瞬時の画像に基づいて道路状況を判定している。そのため、走行区画線の認識の抑制を安定して行うことができないという問題がある。一方、認識の抑制を安定して行うためにフィルタを用いると、例えば路面状況が急変して認識に適した道路環境になった場合でも、しばらく走行区画線の認識が再開されないという問題がある。

本発明は、上記実情に鑑み、走行区画線の認識に不適な乱雑な道路環境における走行区画線の認識抑制の安定性と、道路環境への急変に伴う応答性とを両立可能な走行区画線認識装置を提供することを主たる目的とする。

本発明は、上記課題を解決するため、車両に搭載されたカメラにより撮影された道路の画像に基づいて、道路の走行区画線を認識する走行区画線認識装置であって、前記走行区画線の認識に影響する前記画像の乱雑度合を算出する算出手段と、前記算出手段により今回算出された前記乱雑度合と、過去の前記乱雑度合の学習値である乱雑学習値とに基づいて、前記乱雑学習値を更新する学習手段と、前記学習手段により更新された前記乱雑学習値が閾値を超えた場合に、前記走行区画線の認識を抑制する抑制手段と、前記道路の環境が変化する前後か否かを判定する判定手段と、前記判定手段により前記環境が変化する前後と判定された場合に、前記乱雑学習値を、今よりも前の前記乱雑学習値に戻す学習リセット手段と、を備える。

本発明によれば、走行区画線の認識に影響する道路の画像の乱雑度合が算出され、今回算出された乱雑度合と過去の乱雑学習値とに基づいて、乱雑学習値が更新される。そして、更新された乱雑学習値が閾値を超えた場合に、走行区画線の認識が抑制される。よって、走行区画線の認識を抑制するか否かの判定に、瞬時の画像から算出した乱雑度合ではなく乱雑学習値を用いるため、走行区画線の認識を安定して抑制することができる。

また、道路環境が変化する前後か否かが判定され、道路環境が変化する前後と判定された場合には、乱雑学習値が今よりも前の乱雑学習値、すなわち今よりも学習が進んでいない乱雑学習値に戻される。よって、道路環境が乱雑な環境から走行区画線の認識に適した環境へ急変した場合には、走行区画線を速やかに認識することができる。

したがって、走行区画線の認識に不適な乱雑な道路環境における走行区画線の認識抑制の安定性と、道路環境の急変に伴う応答性とを両立できる。

走行区画線認識装置の構成を示す図。 乱雑学習値の変化の一例を示す図。 白線認識の処理手順を示すフローチャート。

以下、走行区画線認識装置を具現化した実施形態について、図面を参照しつつ説明する。本実施形態に係る走行区画線認識装置２０により認識された走行区画線は、車両制御装置３０により、レーンキーピングアシスト制御（ＬＫＡ制御）やレーン逸脱警報等の走行支援に用いられる。

まず、本実施形態に係る走行区画線認識装置２０の構成について、図１を参照して説明する。本実施形態に係る走行区画線認識装置２０は、車載カメラ１０により撮影された道路画像を用いて、道路の車線を区画する白線（走行区画線）を認識する車載装置である。

車載カメラ１０は、ＣＣＤカメラやＣＭＯＳイメージセンサ等であり、車両前方の道路を含む車両の周辺を撮影するように、例えば車両のフロントガラスの中央上端付近に設置されている。車載カメラ１０は、撮影した道路画像を走行区画線認識装置２０へ出力する。

走行区画線認識装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等を備えたコンピュータである。ＣＰＵが、ＲＯＭにインストールされている走行区画線認識プログラムを実行することにより、乱雑度合算出部２１、乱雑度合学習部２２、環境変化判定部２３、学習リセット部２４、認識抑制部２５、及び認識処理部２６の各種機能を実現する。なお、記憶媒体に記憶されている走行区画線認識プログラムをコンピュータに読み込んでもよい。

乱雑度合算出部２１（算出手段）は、白線の認識に影響する画像の乱雑度合を算出する。路面が雪で覆われていると、路面上の白線が雪で隠れて白線を適切に検出できなくなるおそれがある。また、雪道に轍が形成されると、轍と雪との境界部分が直線的になり、雪を白線として誤検出するおそれがある。さらに、砂利道や路面に水たまり等の反射部分が存在する道路でも、白線を誤検出するおそれがある。すなわち、道路画像に雪や砂利、水たまり等の乱雑要因が存在すると、白線の検出精度が低下する。

そこで、乱雑度合算出部２１は、白線検出時にノイズとなる乱雑要因が瞬時の道路画像に存在する度合を示す乱雑度合を算出する。路面に雪轍が形成されていると、車両のタイヤ下方の露出した路面は黒く見え、車両中央の下方の雪が存在する部分は白く見る。そこで、乱雑度合算出部２１は、瞬時の道路画像において、左右タイヤ下の輝度のうち輝度が大きい方の値と、車両中央真下の輝度値との比に基づいて、積雪乱雑度合を算出する。

また、道路が砂利道の場合、道路画像から多数のエッジ点が抽出され、白線候補の自車両に対する傾きや横位置量が大きく変化する。よって、乱雑度合算出部２１は、瞬時の道路画像から抽出されたエッジ点の数や、検出された白線候補の自車両に対する傾きや横位置量の変化量に基づいて、砂利道である度合を示す砂利乱雑度合を算出する。さらに、路面に水たまりなどの反射部分が存在すると、断続的に非常に輝度の高い部分が発生する。よって、乱雑度合算出部２１は、瞬時の道路画像において、高い輝度が検出される頻度やその位置のばらつきなどに基づいて、反射部分が存在する度合を示す反射乱雑度合を算出する。さらに、乱雑度合算出部２１は、積雪乱雑度合、砂利乱雑度合及び反射乱雑度合を統合して、画像の乱雑度合を算出する。

乱雑度合学習部２２（学習手段）は、乱雑度合算出部２１により瞬時の道路画像から算出された乱雑度合の学習を行う。乱雑度合算出部２１により今回算出された乱雑度合と、過去に算出された乱雑度合の学習値である乱雑学習値とに基づいて、乱雑学習値を更新する。例えば、今回算出された乱雑度合とメモリに記憶されている乱雑学習値とを加重平均して算出した値を、新しい乱雑学習値としてメモリに記憶する。この場合、過去の乱雑学習値の重みを大きくするほど、乱雑学習値の安定性は高くなる。

環境変化判定部２３（判定手段）は、道路の環境が変化する前後を判定する。乱雑度合は道路環境に応じて定まる。そのため、乱雑度合は、道路の環境が変化したときに大きく変化することが多い。

一般的に、トンネルや高架下の道路は、積雪や水たまり等がなく、トンネルや高架下以外の道路よりも乱雑度合が低い。また、一般的に、土手の上の道路は、砂利や水たまり等があり、土手の上以外の道路よりも乱雑度合が高い。また、一般的に、高速道路は一般道路よりも乱雑度合が低い。また、道路の交差点や他の車線は、現在の車両が走行している車線と乱雑度合が異なることがある。よって、本実施形態では、環境変化判定部２３は、トンネル、高架下、土手の上、インターチェンジ、交差点及び道路の他の車線への侵入前後に、道路の環境が変化する前後、すなわち乱雑度合が大きく変化しうる前後と判定する。

具体的には、環境変化判定部２３は、メモリに記憶されている地図情報１１及び現在位置に基づいて、環境が変化する前後を判定する。地図情報１１及び現在位置から、トンネル、高架下、土手の上、インターチェンジ、交差点及び道路の他の車線への侵入前後を高精度に検出できる。また、環境変化判定部２３は、車両に搭載されたミリ波レーダ１２の検出値に基づいて、環境が変化する前後を判定する。ミリ波レーダ１２は、水平方向及び垂直方向の両方向をスキャン可能なセンサである。このミリ波レーダ１２により車両側方の壁や上方の天井を検出できるので、トンネルや高架下が地図情報１１にない場合でも、ミリ波レーダ１２の検出値に基づいてトンネルや高架下への侵入前後を高精度に検出できる。

さらに、環境変化判定部２３は、車両に搭載されたステレオカメラ１３により撮影された画像に基づいて、環境が変化する前後を判定する。ステレオ画像から路面と路面の外側との高低差、及び路面から外側へ離れるほど高度が低くなることを検出できるので、地図情報１１に土手がない場合でも、ステレオカメラ画像に基づいて土手の上への侵入前後を高精度に検出できる。さらに、ステレオカメラ１３の画像や車載カメラ１０の道路画像を用いた画像認識により、トンネル、高架下、インターチェンジ、交差点及び道路の他の車線への侵入前後も検出できる。なお、車載カメラ１０は、ステレオカメラ１３を兼用してもよい。

学習リセット部２４（学習リセット手段）は、環境変化判定部２３により道路環境が変化する前後と判定された場合に、乱雑学習値を今よりも前の乱雑学習値に戻す。図２に、雪道及びトンネル内を走行した際における乱雑学習値の時間変化を実線で示す。本実施形態における乱雑学習値の初期値は、乱雑度合が高くも低くもない中立的な値である。雪道の走行中では、乱雑学習値は初期値から徐々に大きくなり、乱雑学習値が閾値ｔｈよりも大きくなった時点で、後述する認識抑制部２５により白線の認識抑制が開始される。乱雑学習値は、その後さらに大きくなってほぼ一定の値になっている。一方、トンネル内の走行中では、乱雑学習値は初期値付近の値となっている。

ここで、雪道からトンネルへの侵入時に、雪道で学習した乱雑学習値を用いてそのまま学習を続けると、図２に破線で示すように、トンネル内に入っても、乱雑学習値はすぐに初期値付近まで戻らず、初期値付近まで戻るのに時間がかかる。よって、トンネル内に入っても、乱雑学習値が閾値ｔｈよりも小さくなるまでに時間がかかり、しばらくの間白線の認識が再開されない。また、例えば、乱雑学習値が初期値よりも小さい道路から砂利道の侵入の際に、そのまま学習を続けると、乱雑学習値が閾値ｔｈよりも大きくなるまでに時間がかかり、しばらくの間白線の認識が抑制されない。

これに対して、図２に実線で示すように、トンネル侵入時に、乱雑学習値を今よりも学習が進んでいない乱雑学習値に戻すと、速やかに白線の認識を再開できる。また、乱雑学習値が初期値よりも小さい道路から砂利道の侵入の際に、乱雑学習値を今よりも学習が進んでいない乱雑学習値に戻すと、速やかに白線の認識を抑制できる。すなわち、環境が変化する前後と判定された場合に、乱雑学習値を今よりも前の乱雑学習値に戻して学習を再開すると、白線の認識又は白線の認識抑制の応答性を向上させることができる。

学習リセット部２４は、乱雑学習値を、今よりも前の乱雑学習値として所定時間前の乱雑学習値に戻してもよいし、初期値に戻してもよい。乱雑学習値が閾値ｔｈを超える状況が長く続いた場合などには、乱雑学習値を初期値に戻すと有効である。

認識抑制部２５（抑制手段）は、乱雑度合学習部２２により更新された乱雑学習値が閾値ｔｈを超えた場合に、白線の認識を抑制する。すなわち、認識抑制部２５は、道路画像から白線を誤検出するおそれが高い場合に、白線の認識を抑制する。ここでの白線認識の抑制は、白線を検出しないようにすること、検出した白線の情報（道路パラメータ）を車両制御装置３０へ出力しないようにすること、白線の検出精度が低い旨の信号を車両制御装置３０へ出力して、検出した白線の情報に基づいた走行支援が行われないようにすることを含む。

認識処理部２６は、車載カメラ１０により撮影された道路画像に基づいて、白線を検出する。例えば、道路画像からエッジ点を抽出し、抽出したエッジ点を通る白線候補のうち尤も白線らしい特徴を備えた白線候補を白線として検出する。ただし、白線認識の抑制として、白線を検出しないようにする場合は、乱雑学習値が閾値ｔｈを超えたときに白線の検出を行わない。

そして、認識処理部２６は、検出した白線の情報を、車両制御装置３０へ出力する。車両制御装置３０は、認識処理部２６から入力された白線の情報に基づいて、ＬＫＡ制御や逸脱警報等の走行支援を行う。

次に、白線認識を抑制する処理手順について、図３のフローチャートを参照して説明する。本処理手順は、走行区画線認識装置２０が繰り返し実行する。

まず、車載カメラ１０により撮影された道路画像を取得する（Ｓ１０）。続いて、取得した道路画像の乱雑度合、すなわち、路面上に雪、砂利、水たまり等の乱雑要因が存在する度合を算出する（Ｓ１１）。

続いて、地図情報１１、ミリ波レーダ１２の検出値、ステレオカメラ１３の画像に基づいて、道路環境の変化前後か否か判定する（Ｓ１２）。道路環境の変化前後の場合は（Ｓ１２：ＹＥＳ）、乱雑学習値を今よりも学習が進んでいない乱雑学習値に戻す（Ｓ１３）。そして、Ｓ１３で戻した乱雑学習値とＳ１１で算出した乱雑度合とから今回の乱雑学習値を算出して、乱雑学習値を更新する（Ｓ１４）。

一方、道路環境の変化前後でない場合は（Ｓ１２：ＮＯ）、記憶されている乱雑学習値とＳ１１で算出した乱雑度合とから今回の乱雑学習値を算出して、乱雑学習値を更新する（Ｓ１４）。

続いて、Ｓ１４で更新した乱雑学習値が閾値ｔｈよりも大きいか否か判定する（Ｓ１５）。乱雑学習値が閾値ｔｈよりも大きい場合は（Ｓ１５：ＹＥＳ）、白線の認識を抑制する（Ｓ１６）。すなわち、白線の検出を行わない、または検出した白線の情報を車両制御装置３０へ出力しない。あるいは、白線の検出精度が低い旨の信号を車両制御装置３０へ出力して、車両制御装置３０が検出精度の低い白線の情報に基づいた走行支援を行わないようにする。

一方、Ｓ１４で更新した乱雑学習値が閾値ｔｈ以下の場合は（Ｓ１５：ＮＯ）、通常の白線認識処理を行う。すなわち、Ｓ１０で取得した道路画像に基づいて白線を検出し、検出した白線の情報を車両制御装置３０へ出力する。以上で本処理を終了する。

以上説明した本実施形態によれば、以下の効果を奏する。

・白線認識を抑制するか否かの判定に、瞬時の道路画像から算出した乱雑度合ではなく、乱雑度合の学習値である乱雑学習値を用いるため、白線の認識を安定して抑制することができる。また、道路環境が変化する前後か否かが判定され、道路の環境が変化する前後と判定された場合には、乱雑学習値が今よりも前の乱雑学習値、すなわち今よりも学習が進んでいない乱雑学習値に戻される。よって、例えば、道路環境が乱雑な環境から白線の認識に適した状況へ急変した場合には、白線を速やかに認識することができる。したがって、白線の認識に不適な乱雑な道路環境における白線の認識抑制の安定性と、道路環境への急変に伴う応答性とを両立できる。

・道路環境の変化前後と判定された場合に、乱雑学習値を初期値に戻すことにより、乱雑学習値が閾値ｔｈを超える状況が長く続いた場合でも、適切な乱雑学習値から学習を再開できる。

・トンネル、高架下、土手の上、インターチェンジ、道路の交差点及び他の車線への侵入前後に、道路環境が変化する前後と判定することにより、適切なタイミングで乱雑学習値を戻すことができる。

・地図情報１１と現在位置とに基づいて、道路環境が変化する前後を高精度に判定できる。

・ミリ波レーダ１２により車両側方の壁や上方の天井を検出できるので、ミリ波レーダ１２の検出値に基づいてトンネルや高架下への侵入前後を高精度に検出できる。

・ステレオカメラ１３により撮影された画像から、路面と路面の外側との高低差及び路面から外側へ離れるほど高度が低下することを検出できるので、ステレオカメラ画像に基づいて土手の上への侵入前後を高精度に検出できる。

（他の実施形態）
・白線の認識に影響する道路画像の乱雑要因は、雪、砂利、水たまりに限らない。他の乱雑要因についても乱雑度合を算出してその他の乱雑度合に統合し、画像の乱雑度合を算出してもよい。また、雪の多い季節や場所では、道路画像の乱雑要因として雪だけを考慮してもよい。道路画像の乱雑要因は、場所や気候等に応じて適宜選択すればよい。

・道路環境の変化には、白線の認識に適した道路環境への変化や、現在の道路環境と近い道路環境への変化等、様々な変化がある。そこで、学習リセット部２４は、道路環境の変化の状態に応じて、乱雑学習値の戻し度合を決めてもよい。例えば、乱雑学習値の大きい道路からトンネル内や高架下への侵入時には、学習値を初期値まで戻す。また、乱雑学習値の大きい道路から土手の上への侵入時には、学習値の戻し度合を小さくする。また、交差点の侵入時や他の車線への侵入時は、現在走行中の道路環境に近い道路環境への変化なので、乱雑学習値の戻し度合を小さくする。このように、道路環境の変化の状態に応じて乱雑学習値の戻し度合を決めることにより、適切な乱雑学習値から学習を再開できる。ひいては、速やかに白線の認識や白線の認識抑制を行うことができる。

・地図情報１１及び現在位置のみに基づいて、道路環境が変化する前後を判定してもよい。また、ミリ波レーダ１２の検出値のみに基づいて道路環境が変化する前後を判定してもよいし、ステレオカメラ１３の画像のみに基づいて、道路環境が変化する前後を判定してもよい。あるいは、ミリ波レーダ１２の検出値及びステレオカメラ１３の画像のみに基づいて、道路環境が変化する前後を判定してもよい。また、その他のセンサを用いて道路環境が変化する前後を判定してもよい。

・道路環境が変化する前後と判定する状況は、適宜設定すればよい。例えば、道路の交差点及び他の車線への侵入前後は、道路環境が変化する前後と判定しなくてもよいし、トンネル、高架下、土手の上、インターチェンジ、道路の交差点及び他の車線への侵入前後以外でも、道路環境が変化する前後と判定してもよい。道路の乱雑度合の変化が発生しやすい状況を、道路環境が変化する前後と判定すればよい。

１０…車載カメラ、２０…走行区画線認識装置、２１…乱雑度合算出部、２２…乱雑度合学習部、２３…環境変化判定部、２４…学習リセット部、２５…認識抑制部。

Claims (11)

1. 車両に搭載されたカメラ（１０）により撮影された道路の画像に基づいて、道路の走行区画線を認識する走行区画線認識装置（２０）であって、
   前記走行区画線の認識に影響する前記画像の乱雑度合を算出する算出手段（２１）と、
   前記算出手段により今回算出された前記乱雑度合と、過去の前記乱雑度合の学習値である乱雑学習値とに基づいて、前記乱雑学習値を更新する学習手段（２２）と、
   前記学習手段により更新された前記乱雑学習値が閾値を超えた場合に、前記走行区画線の認識を抑制する抑制手段（２５）と、
   前記道路の環境が変化する前後か否かを判定する判定手段（２３）と、
   前記判定手段により前記環境が変化する前後と判定された場合に、前記乱雑学習値を、今よりも前の前記乱雑学習値に戻す学習リセット手段（２４）と、を備えることを特徴とする走行区画線認識装置。
2. 前記学習リセット手段は、前記判定手段により前記環境が変化する前後と判定された場合に、前記乱雑学習値を初期値に戻す請求項１に記載の走行区画線認識装置。
3. 前記学習リセット手段は、前記環境の変化の状態に応じて、前記乱雑学習値の戻し度合を決める請求項１に記載の走行区画線認識装置。
4. 前記判定手段は、トンネル又は高架下への侵入前後に前記環境が変化する前後と判定する請求項１〜３のいずれかに記載の走行区画線認識装置。
5. 前記判定手段は、土手の上への侵入前後に前記環境が変化する前後と判定する請求項１〜４のいずれかに記載の走行区画線認識装置。
6. 前記判定手段は、インターチェンジへの侵入前後に前記環境が変化する前後と判定する請求項１〜５のいずれかに記載の走行区画線認識装置。
7. 前記判定手段は、前記道路の交差点又は他の車線への侵入前後に前記環境が変化する前後と判定する請求項１〜６のいずれかに記載の走行区画線認識装置。
8. 前記判定手段は、地図情報（１１）と現在位置とに基づいて、前記環境が変化する前後を判定する請求項１〜７のいずれかに記載の走行区画線認識装置。
9. 前記判定手段は、前記車両に搭載されたミリ波レーダ（１２）の検出値に基づいて、前記環境が変化する前後を判定する請求項１〜８のいずれかに記載の走行区画線認識装置。
10. 前記判定手段は、前記車両に搭載されたステレオカメラ（１３）により撮影された画像に基づいて、前記環境が変化する前後を判定する請求項１〜９のいずれかに記載の走行区画線認識装置。
11. コンピュータにインストールされるプログラムであって、
    前記コンピュータに、請求項１〜１０のいずれかに記載の走行区画線認識装置が備える各手段を実現させることを特徴とする走行区画線認識プログラム。

Images