JP5792678B2 - 車線境界線検出装置およびプログラム - Google Patents

車線境界線検出装置およびプログラム Download PDF

Info

Publication number
JP5792678B2
JP5792678B2 JP2012126154A JP2012126154A JP5792678B2 JP 5792678 B2 JP5792678 B2 JP 5792678B2 JP 2012126154 A JP2012126154 A JP 2012126154A JP 2012126154 A JP2012126154 A JP 2012126154A JP 5792678 B2 JP5792678 B2 JP 5792678B2
Authority
JP
Japan
Prior art keywords
lane boundary
vehicle
road surface
image
boundary line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012126154A
Other languages
English (en)
Other versions
JP2013250874A (ja
Inventor
和寿 石丸
和寿 石丸
直輝 川嵜
直輝 川嵜
俊輔 鈴木
俊輔 鈴木
哲哉 高藤
哲哉 高藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2012126154A priority Critical patent/JP5792678B2/ja
Priority to DE112013002730.5T priority patent/DE112013002730T5/de
Priority to US14/404,224 priority patent/US9626572B2/en
Priority to CN201380028005.9A priority patent/CN104380343B/zh
Priority to PCT/JP2013/065206 priority patent/WO2013180273A1/ja
Publication of JP2013250874A publication Critical patent/JP2013250874A/ja
Application granted granted Critical
Publication of JP5792678B2 publication Critical patent/JP5792678B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、特に、車両前方の路面を撮影した路面画像に基づいて白線などの車線境界線を検出する車線境界線検出装置に関する。
従来、車両前方の路面を撮影した路面画像に基づいて白線などの車線境界線を検出する車線境界線検出装置が提案されている。このような装置は路面画像から車線境界線を検出するものであるため、積雪により路面が覆われている場合には路面上の白線などは路面画像に現れず、適切に車線境界線を検出することができなくなってしまう。
そこで、検出された車線境界線(レーンマーク)の配置のばらつき度合を判定して、ばらつき度合が所定の閾値以上であれば車線境界線の認識精度を低下させる阻害因子があると判断する装置が提案されている(特許文献1参照)。この装置では、雪によって車線境界線の位置にばらつきが生じたときに、車線境界線の認識精度を低下させる阻害因子があると判断する。
特開2009−271908号公報
雪道に轍が形成された場合、例えば図4に示すように、雪と路面表面との境界部分が直線的になる場合がある。上記特許文献1の装置では、このように境界線が直線的に形成されてしまうと検出されるレーンマークの配置にばらつきが生じないため、阻害因子があると判断されず、正しいレーンマークであると誤検出してしまう虞がある。
本発明の目的は、轍が形成された雪道における車線境界線の誤検出を低減できる車線境界線検出装置およびプログラムを提供することである。
上述した問題を解決するためになされた請求項1に記載の発明は、画像取得手段(S1)、検出手段(S9)、算出手段(S3、S4)、および判定手段(S5〜S8、S23〜S25)を備える車線境界線検出装置である。
画像取得手段は、車両周辺の路面を撮影した路面画像を取得する。検出手段は、画像取得手段により取得された路面画像から画像処理により車線境界線を検出する。算出手段は、路面画像において、車両のタイヤの下方に対応する領域と比較した車両中央の下方に対応する領域の白さの度合を示すパラメータを算出する。
判定手段は、算出された上記パラメータに基づいて、検出手段による検出、検出された車線境界線の出力、および検出された車線境界線を用いた所定の制御、のうち、いずれかの処理についてその処理を実行するか否かを判定することを特徴とする。
このように構成された車線境界線検出装置において算出される上記パラメータは、轍の形成された雪道である蓋然性が高いほど値が大きくなるパラメータである。轍が形成された雪道では轍によって車線境界線を誤検出してしまう虞が高くなるが、上記パラメータに基づいて車線境界線の検出、検出した車線境界線の情報の出力または当該車線境界線情報を用いた制御を実行するか否かを判定することで、車線境界線の誤検出を低減でき、誤検出した車線境界線により誤った車両制御を行ってしまうことを抑制できる。
請求項7に記載のプログラムは、コンピュータに第1〜第4の機能を実現させるためのプログラムである。
第1の機能(S1)は、車両周辺の路面を撮影した路面画像を取得する。第2の機能(S9)は、路面画像から画像処理により車線境界線を検出する。第3の機能(S3、S4)は、路面画像において、車両のタイヤの下方に対応する領域と比較した車両中央の下方に対応する領域の白さの度合を示すパラメータを算出する。
第4の機能(S5〜S8、S23〜S25)は、第3の機能により算出された上記パラメータに基づいて、第1の機能による検出、検出された車線境界線の出力、および検出された車線境界線を用いた所定の制御、のうち、いずれかの処理についてその処理を実行するか否かを判定する。
このようなプログラムにより制御されるコンピュータは、請求項1に記載の車線境界線検出装置と同様の作用・効果を奏することができる。
なお上記プログラムは、コンピュータによる処理に適した命令の順番付けられた列からなるものであって、コンピュータに組み込まれるROMやRAMなどに記憶され、これらからコンピュータにロードされて用いられてもよいし、各種記録媒体や通信回線を介してコンピュータにロードされ用いられるものであってもよい。
記録媒体としては、CD−ROMやDVD−ROM等の光ディスク、磁気ディスク、半導体製メモリ等が挙げられる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
車線境界線認識システムの構成を示すブロック図である。 実施例1の車線境界線検出装置の機能を示す機能ブロック図である。 模式的な路面画像を用いて輝度情報の取得方法を説明する図である。 雪轍が形成された路面を示す路面画像の一例である。 雪轍度数の算出方法を説明する図である。 雪轍度数に基づき尤度を算出するためのマップの一例である。 ローパスフィルタ処理を行った雪轍らしさの経時変化を示すグラフである。 実施例1の境界線検出処理の処理手順を示すフローチャートである。 実施例2の車線境界線検出装置の機能を示す機能ブロック図である。 実施例2の境界線検出処理の処理手順を示すフローチャートである。
以下に本発明の実施形態を図面と共に説明する。
[実施例1]
(1)車線境界線認識システム1の構成
車線境界線認識システム1は自動車等の車両に搭載されて用いられるシステムであって、図1に示すように、画像撮像装置3と、車両情報取得手段5と、車線境界線検出装置7と、外気温センサ9と、車両制御装置101とを備えている。なお、以下の記載において、車両とは本システムが搭載された車両のことを指すものとする。
画像撮像装置3は、車両の例えば中央前方側に装着されて、車両周辺、特に車両前方の路面を撮影した画像(以降、この画像を単に路面画像ともいう)を所定の時間間隔(本実施例では1/15s)で撮影するカメラシステムであって、例えば公知のCCDイメージセンサやCMOSイメージセンサなどを用いることができる。画像撮像装置3は撮影した路面画像を車線境界線検出装置7に出力する。
車両情報取得手段5は、車速、ヨーレートなどを検出するセンサに接続されており、これらのセンサから出力信号を取得し、取得した情報を車線境界線検出装置7を介して車両制御装置101に出力する。
車線境界線検出装置7は、画像撮像装置3にて取得した路面画像を画像処理し、白線などの車線境界線を検出する装置である。
この車線境界線検出装置7は、CPU11と、CPU11が実行するプログラム等を記憶するROM13と、CPU11によるプログラム実行時に作業領域として使用されるRAM15と、電気的にデータを書き換え可能なフラッシュメモリやEEPROM等の不揮発性メモリとしてのNVRAM17などを備えるコンピュータシステムとして構成されており、プログラムの実行により所定の処理を実行する。
上記構成の車線境界線検出装置7は、図2に示すように、雪道判定部21、統合判定部23および境界線検出部25として機能する。
雪道判定部21は、路面情報取得手段31、雪轍度数算出手段33および雪轍尤度算出手段35を有する。
路面情報取得手段31は、画像撮像装置3から路面画像を取得し、当該路面画像から、車両中央の下方に対応する領域と、車両の左右のタイヤの下方に対応する領域と、における輝度情報を取得する。なおこれらの領域は、実際の車両中央下方およびタイヤ下方の位置よりも車両の前方において車両の進行方向に沿って長さを有するように拡がる領域である。具体的な輝度情報の取得方法を、図3を用いて説明する。
路面画像41には、左サンプルライン43、中央サンプルライン45、右サンプルライン47が設定されている。左サンプルライン43は、左のタイヤの位置から車両の進行方向に沿って延びる領域43aに対応するラインであり、右サンプルライン47は、右のタイヤの位置から車両の進行方向に沿って延びる領域47aに対応するラインである。また中央サンプルライン45は車両中央(例えば左右のタイヤの中心位置)から車両の進行方向に沿って延びる領域45aに対応するラインである。
また路面画像41には、左右方向に延びる走査線49が画像の上下方向に並ぶように複数設定されている。そして、各走査線49と各サンプルラインとが交差する点がサンプル点51として設定される。なおサンプル点51の数は走査線49の数に応じて定まるが、走査線49およびサンプル点51の数は特に限定されるものではない。また走査線49の間隔は特に限定されないが、対応する路面の実距離の間隔が近くなるように、車両から近いほど間隔を広く、車両から遠いほど間隔を狭く設定してもよい。
そして、各サンプル点51の輝度を取得する。例えば路面画像の各画素がR(赤),G(緑),B(青)の各色それぞれの輝度の組み合わせからなる場合には、予め定めた何れかの1つの色の輝度を取得してもよいし、グレースケール化した場合の輝度を取得してもよい。また、道路の状況や時刻などに応じて用いる輝度を変化させてもよい。なお、後述する雪轍度数算出手段33では輝度によって路面上の雪と路面(アスファルトなど)とを区別するため、雪と路面とで輝度の差が明確に現れるように採用する輝度を選択することが好ましい。
そして、左サンプルライン43,中央サンプルライン45,右サンプルライン47の各サンプルラインに対応するサンプル点51のグループ53a,53b,53cのそれぞれから、輝度値の10%タイル値(パーセンタイル値)を抽出し、その値を左右タイヤと車両中央下に対応する輝度情報とする。
雪轍度数算出手段33は、路面画像に基づいて路面に雪轍が形成されている指標である雪轍度数を算出する。
図4に示すように、轍の部分はタイヤが乗ることで雪が圧縮、融解されて路面が露出しやすい。一方、轍以外の部分には轍部分よりも雪が多く残りやすい。露出した路面はアスファルト等で黒く見え、雪が存在する部分は雪により白く見える。よって、轍部分(タイヤ下方に対応する領域)と比較した轍の間の部分(車両中央の下方に対応する領域)の白さ度合を示すパラメータは、雪轍が形成されている指標とすることができる。
本実施例では、路面情報取得手段31にて取得した輝度情報を用いて上述したパラメータを算出する。雪轍が形成された路面では、タイヤが通過する轍の部分の輝度が低く、車両中央下は雪が存在することで輝度が高くなる。雪轍度数算出手段33は、上記の理論に基づき雪轍度数を算出する。具体的には、タイヤ下と車両中央下の輝度比を雪轍度数として出力する。雪轍度数の計算式は以下の通りである。
雪轍度数(輝度比)=(車両真下の輝度の10%タイル値)/max(左タイヤ下の輝度の10%タイル値,右タイヤ下の輝度の10%タイル値)
上式は、図5に示すように、左タイヤ下の輝度Aおよび右タイヤ下の輝度Cのうち輝度が大きい方の値と、車両中央真下の輝度値Bと、の比に基づいて雪轍度数を算出することを意味する。
図3に示すように、サンプル点51は、車両進行方向に沿って適度な間隔をあけた複数の位置において、車両に近い位置から比較的遠い位置まで幅を持たせて連続的に配置されている。よって、サンプル点51の各グループ53a〜53cにおける10%タイル値とは、各サンプルラインにて進行方向に沿う所定の範囲全体を見たときに、輝度が低い部分の輝度値となる。
そのため上式において雪轍度数が高くなる場合とは、左右のタイヤ下においては輝度の低い部分の存在があり、かつ、車両中央下はほぼ輝度が高い場合である。つまり、左右のタイヤ下に関しては、車両近傍から遠方までの間に少なくともある程度は路面が露出している部分が左右両方のタイヤ下において存在し、車両中央下に関しては、車両に近い位置から比較的遠い位置まで途切れずに連続して雪が積もっている、ということになる。
このように、雪轍度数が高くなる場合とは、車両中央下の雪が連続的に存在する場合に限られるが、轍の部分については、仮に一部に雪が残っている場合であっても許容される。雪轍が形成された路面においては、轍部分には雪が残る場合があるが、車両中央真下の雪がない場合は少ないので、上式を用いることで適切に雪轍が形成された雪道であるか否かを判定できる。
以上のように、1つの路面画像に基づいて取得される、タイヤ下方に対応する領域と比較した車両中央の下方に対応する領域の白さ度合を示すパラメータである雪轍度数を算出する。
雪轍尤度算出手段35は、雪轍らしさの度合を示すパラメータとして、雪轍度数の履歴およびマップを用いることにより上記雪轍度数よりも変動が抑制されたパラメータを算出する。具体的には、図6に示すようなマップを利用して、雪轍度数に対応する尤度(雪轍尤度)を算出する。この尤度は取得した路面画像にのみ基づく瞬時の尤度である。
算出された雪轍尤度は統合判定部23に継続的に出力される。
統合判定部23は、雪轍尤度算出手段35から雪轍尤度を入力して、以下の式によりローパスフィルタ処理を行う。
Output(t)=αA(t-1)+(1−α)A(t)
ここで、Output(t)は時刻tにおける出力パラメータ、A(t)は時刻tにおける瞬時尤度であり、A(t-1)は時刻t−1における出力パラメータ(Output(t-1))である。αは1未満の値であって1に近いほど安定性が高くなる。
このようにローパスフィルタ処理を行った雪轍らしさのパラメータの経時変化を示すグラフの一例を図7に示す。
次に、雪轍らしさのパラメータと所定の閾値を比較して雪轍の存在の有無を判定する。この判定にヒステリシスを付与するため、上記雪轍らしさのパラメータの履歴と、値に差をつけた2つの閾値を用いる。即ち、相対的に高く設定された閾値を上記パラメータが超えた場合に雪轍が存在すると判定し、この判定は相対的に低く設定された閾値を上記パラメータが下回るまで継続する。一方この低く設定された閾値を上記パラメータが下回った場合には雪轍が存在しないと判定し、この判定は高く設定された閾値を上記パラメータが超えるまで継続する。
また統合判定部23は、外気温センサ9の出力に基づいて外気温をチェックし、雪が存在し得る温度として設定された所定の温度未満であり、かつ上述した処理により雪轍が存在すると判断されていれば、雪轍があるという最終的な判断をする。外気温が所定の温度以上であれば路面画像の判断結果によらず雪轍ではないと判断する。
境界線検出部25は、路面画像に基づいて白線などの車線境界線を検出する。車線境界線を検出する具体的な手法は特に限定されず、公知の手法を用いることができる。一例として、路面画像からペイントや道路鋲などによって輝度値が変化した点であるエッジ点を抽出し、抽出された複数のエッジ点に基づいて車線境界線を検出することが考えられる。
境界線検出部25にて検出された車線境界線の情報は車両制御装置101に出力される。この車両制御装置101では、車両の進行方向や速度、ヨーレートなどの車両の挙動情報と組み合わせて、車両が車線境界線を逸脱するか否かの予測に利用されたり、自動操舵角制御に用いる情報の一つとして利用されたりする。
ところで、上述した境界線検出部25は、統合判定部23により雪轍であると判断された場合には、車線境界線の検出を実行しない。これは、雪轍が存在すると車線境界線の検出精度が低くなりやすいためである。
なお、車線境界線の検出を実行しないことに代えて、車線境界線の検出を実行した上でその情報を車両制御装置101に出力しないように構成してもよいし、車線境界線の情報を車両制御装置101に出力しつつ、同時に検出精度が低い旨を示す信号を車両制御装置101に出力し、車両制御装置101はその信号を入力した際には上述した車両の制御を行わないように構成してもよい。
(2)車線境界線検出装置7による処理
以下に、車線境界線検出装置7により実行される境界線検出処理の処理手順を、図8に基づいて説明する。この境界線検出処理は、車両のアクセサリスイッチがオンにされることで車線境界線認識システム1全体に電源が投入されると起動され、アクセサリスイッチがオフにされて電源が遮断されるまで繰り返し実行される。
この境界線検出処理では、まず、路面画像のデータを画像撮像装置3から取得する(S1)。
次に、S1において取得された路面画像に基づいて輝度情報を取得する(S2)。この処理は路面情報取得手段31が実行する。ここでは、上述したように、路面画像に基づいて左タイヤ下,車両中央下,右タイヤ下のサンプル点51のグループ53a,53b,53cそれぞれから、輝度情報として輝度値の10%タイル値を取得する。
次に、S2にて取得された輝度情報に基づいて、雪轍度数算出手段33により上述した手法にて雪轍度数を算出する(S3)。
次に、S3にて算出された雪轍度数に基づいて、雪轍尤度算出手段35により図6のマップから尤度(瞬間尤度)を算出する(S4)。
続くS5〜S8の処理は、統合判定部23が実行する。まず、上述したようにローパスフィルタ処理により雪轍らしさの度合を示すパラメータを算出し、所定の閾値と比較して、雪轍判定を行う(S5)。次に、外気温センサ9から外気温を取得し(S6)、外気温を参照して雪轍が存在する雪道であるか否かを最終判断する(S7)。
続くS8〜S10の処理は、境界線検出部25が実行する。まず、S7の結果に基づき、車線境界線の検出を行うか否かを判定する(S8)。S7にて雪轍が存在していると判断されていれば車線境界線検出を行わないと判定し(S8:NO)、境界線検出を行わずに処理がS1に戻る。一方S7にて雪轍が存在していないと判断されていれば車線境界線検出を行うと判定する(S8:YES)。つまりこのS8では、S3にて算出された雪轍度数が大きいほど、否定判定される可能性が大きくなる。
その後、境界線検出を実行し(S9)、検出された車線境界線の情報を車両制御装置101に出力する(S10)。このS10の後、処理がS1に戻る。
(3)効果
本実施例の車線境界線認識システム1は、車両が走行する路面が、雪轍が形成されている雪道であるか否かを適切に判断することができ、雪轍が形成された雪道であれば車線境界線検出(S9)を実行しないため、雪轍の存在によって車線境界線を誤検出してしまう虞を低減できる。その結果、車両制御装置101により誤った車両制御を行ってしまうことを抑制できる。
なお、雪轍が形成された雪道である場合には検出した車線境界線の情報を車両制御装置101に出力しないように構成した場合や、検出精度が低い旨の信号を車両制御装置101が入力して車両制御を行わないように構成した場合であっても、同様の効果を奏するものとなる。
また本実施例の車線境界線認識システム1は、雪轍度数を算出する際に、左右のタイヤの下方に対応する領域から抽出された輝度のうち輝度が高い方と車両中央真下の輝度とを比較するため、雪轍である蓋然性が高い場合にのみ雪轍を検出することができ、必要以上に頻繁に車線境界線の検出を停止することなく、安定して検出を行うことができる。
(4)対応関係
以上説明した実施例において、図8におけるS1の処理が画像取得手段の一例であり、S9の処理が検出手段の一例であり、S3,S4の処理が算出手段の一例であり、S5〜S8の処理が判定手段の一例である。
[実施例2]
(1)車線境界線認識システム61の構成
実施例2における車線境界線認識システム61は、実施例1の車線境界線認識システム1とほぼ同一の構成であるが、その機能が実施例1とは相違する。よって、実施例1と同様である部分の説明は割愛し、変更された機能および処理を以下に説明する。
本実施例の車線境界線認識システム61において、車線境界線検出装置63は、図9に示すように、実施例1の車線境界線検出装置7の機能に加えて砂利道判定部65および路面反射判定部67として機能する。
砂利道判定部65は、境界線検出部25の中間データであるエッジ点が多数出現し、車線境界線候補の自車に対する傾きや横位置量が大きく変化する現象が起こるとき、上記変化量から砂利道である尤度を示すパラメータを算出する。
路面反射判定部67は、路面画像に基づいて、路面に水たまりなどの反射する部分が存在する尤度を算出する。水たまりなどが存在すると、断続的に非常に輝度の高い部分が発生する。よって、高い輝度が検出される頻度やその位置のばらつきなどから反射する部分が存在する尤度を示すパラメータを算出する。
これら砂利道判定部65および路面反射判定部67、および雪道判定部21にて出力される尤度は、いずれも境界線検出部25において検出される車線境界線の検出精度が低下していることの尤度を示すものである。統合判定部23は、これらの尤度を統合することで車線境界線検出の精度低下を高い精度で判断する。統合の手法は特に限定されないが、例えばベイズ推定を行うことが考えられる。
(2)車線境界線検出装置63による処理
以下に、車線境界線検出装置63により実行される境界線検出処理の処理手順を、図10に基づいて説明する。なお、図8の境界線検出処理と同じ処理については同符号を付して説明を省略する。
本処理では、S4にて雪道判定部21により瞬間尤度を算出した後、砂利道らしさの尤度を示すパラメータを算出し(S21)、算出結果を統合判定部23に出力する。この処理は砂利道判定部65により実行する。次に、路面に反射する部分が存在する尤度を示すパラメータを算出し(S22)、算出結果を統合判定部23に出力する。この処理は、路面反射判定部67により実行する。
次に、統合処理を行う(S23)。ここでは、S4,S21,S22にて算出した尤度のパラメータを統合し、S1にて取得した路面画像に関して、車線境界線の検出精度が低下している尤度を示すパラメータを算出する。
次に、車線境界線の検出精度が低下しているか否かを判断する(S24)。ここでは、S23で算出(統合)した尤度パラメータと、所定の閾値とを比較して境界線検出を実行するか否かを判断するが、ヒステリシスを付与するため、尤度パラメータの履歴と、値に差をつけた2つの閾値を用いる。
即ち、相対的に高く設定された閾値を上記パラメータが超えた場合に「車線境界線の検出精度が低下している」と判断し、この判断は相対的に低く設定された閾値を上記パラメータが下回るまで継続する。一方この低く設定された閾値を上記パラメータが下回った場合には「車線境界線の検出精度が低下していない」と判断し、この判断は高く設定された閾値を上記パラメータが超えるまで継続する。
次に、S24の結果から、車線境界線の検出を行うか否かを判定する(S25)。S24にて車線境界線の検出精度が低下していると判断されていれば車線境界線検出を行わないと判定し(S25:NO)、境界線検出を行わずに処理がS1に戻る。一方S24にて車線境界線の検出精度が低下していないと判断されていれば車線境界線検出を行うと判定する(S25:YES)。このS25では、S3にて算出された雪轍度数が大きいほど、否定判定される可能性が大きくなる。その後、処理がS9に移行する。
(3)効果
本実施例の車線境界線認識システム61は、轍が形成された雪道である尤度の他に、砂利道である尤度や路面に反射面が存在する尤度という複数の要素を考慮して、路面に境界線検出精度を低下させるノイズが存在するか否かを判断することができる。したがって、高い精度でノイズが存在する路面を認識でき、ノイズが存在する路面において車線境界線を検出する処理を行って、車線境界線を誤検出する虞を低減できる。
(4)対応関係
本実施例においては、図10におけるS23〜S25の処理が判定手段の一例である。
[変形例]
以上本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
例えば、上記各実施例においては、雪轍度数を算出する際に、左右のタイヤの下方に対応する領域から抽出された輝度のうち輝度が高い方と車両中央真下の輝度とを比較する構成を例示したが、左右のタイヤの下方における輝度のうち輝度が低い方と比較してもよい。その場合、雪轍を検出しやすくなるため、雪轍による車線境界線の検出停止が行われやすくなり、誤検出を回避する精度を高めることができる。また、左右の輝度の平均値を用いてもよい。
また、上記各実施例においては、路面画像の輝度に基づいて雪轍度数を算出する構成を例示したが、路面画像から雪らしさの度合を示すことのできる画像特徴量であれば、輝度以外の画像特徴量を用いてもよい。例えば色相、色差などの色情報を用い、雪に近い色ほど高い値となる換算式を用いて算出したパラメータを画像特徴量として輝度に代えて用いる構成とすることが考えられる。
また、上記各実施例においては、サンプル点51のグループ53a〜53cの中から10%タイル値を用いる構成を例示したが、上記以外の値を抽出して用いてもよい。なお上述したように、雪轍度数が高くなる条件として、車両真下の雪が連続的に存在することを高度に要求し、かつ轍の部分については、仮に一部に雪が残っている場合であっても許容されるように構成するためには、基準として30パーセンタイル値以下の値を用いることが考えられる。またノイズを除去するためには5パーセンタイル値以上の値を用いることが考えられる。
また、パーセンタイル値を用いず、各グループの平均値などを輝度情報としてもよい。この場合、輝度値の経時変動を抑制することができる。
また上記各実施例では、画像撮像装置3が車両前方の路面画像を撮影し、その路面画像に基づいて各処理を実行する構成を例示したが、車両の下方やタイヤ付近に画像撮像装置を設置して、その画像撮像装置により撮影された路面画像に基づいて処理を実行する構成であってもよい。
また上記実施例においては、図3に示すように車両進行方向に沿って間隔をあけた複数の位置にサンプル点51を配置して輝度を取得する構成を例示したが、車両中央下と左右タイヤ下(または左右のタイヤのいずれか一方の下)におけるそれぞれ1箇所において輝度を取得するように構成してもよい。この場合、車線境界線検出装置の処理負担を低減することができる。
1…車線境界線認識システム、3…画像撮像装置、5…車両情報取得手段、7…車線境界線検出装置、9…外気温センサ、21…雪道判定部、23…統合判定部、25…境界線検出部、31…路面情報取得手段、33…雪轍度数算出手段、35…雪轍尤度算出手段、41…路面画像、43…左サンプルライン、45…中央サンプルライン、47…右サンプルライン、49…走査線、51…サンプル点、53a〜53c…グループ、61…車線境界線認識システム、63…車線境界線検出装置、65…砂利道判定部、67…路面反射判定部、101…車両制御装置

Claims (7)

  1. 車両周辺の路面を撮影した路面画像を取得する画像取得手段(S1)と、
    前記画像取得手段により取得された前記路面画像から画像処理により車線境界線を検出する検出手段(S9)と、
    前記画像取得手段により取得された前記路面画像において、前記車両のタイヤの下方に対応する領域と比較した前記車両中央の下方に対応する領域の白さの度合を示すパラメータを算出する算出手段(S3、S4)と、
    少なくとも前記算出手段により算出された前記パラメータに基づいて、前記検出手段による前記検出、検出された前記車線境界線の出力、および検出された前記車線境界線を用いた所定の制御、のうち、いずれかの処理についてその処理を実行するか否かを判定する判定手段(S5〜S8、S23〜S25)と、を備える
    ことを特徴とする車線境界線検出装置(7)。
  2. 前記判定手段は、前記パラメータの値が大きいほど、否定判定の可能性が大きくなるように設定されている
    ことを特徴とする請求項1に記載の車線境界線検出装置。
  3. 前記算出手段は、前記路面画像における前記車両中央の下方に対応する領域および前記タイヤの下方に対応する領域において、当該領域の画像特徴量を取得し、前記車両中央の下方に対応する領域における前記画像特徴量と、前記タイヤの下方に対応する領域における前記画像特徴量と、を比較することで前記パラメータを算出する
    ことを特徴とする請求項1または請求項2に記載の車線境界線検出装置。
  4. 前記画像特徴量は輝度である
    ことを特徴とする請求項3に記載の車線境界線検出装置。
  5. 前記路面画像における前記車両中央の下方に対応する領域および前記タイヤの下方に対応する領域は、車両の進行方向に沿って長さを有する領域であり、
    前記算出手段は、前記各領域において、前記車両の進行方向に沿って間隔をあけた複数の位置において前記画像特徴量を取得し、取得された複数の前記画像特徴量の中から所定の基準に基づいて抽出された前記画像特徴量を用いて前記比較を行う
    ことを特徴とする請求項3または請求項4に記載の車線境界線検出装置。
  6. 前記判定手段は、前記パラメータの値が所定の閾値を超えて大きいときに、前記処理を実行しないと判定する
    ことを特徴とする請求項1から請求項5のいずれか1項に記載の車線境界線検出装置。
  7. 車両周辺の路面を撮影した路面画像を取得する第1の機能(S1)と、
    前記第1の機能により取得された前記路面画像から画像処理により車線境界線を検出する第2の機能(S9)と、
    前記第1の機能により取得された前記路面画像において、前記車両のタイヤの下方に対応する領域と比較した前記車両中央の下方に対応する領域の白さの度合を示すパラメータを算出する第3の機能(S3、S4)と、
    前記第3の機能により算出された前記パラメータに基づいて、前記第1の機能による前記検出、検出された前記車線境界線の出力、および検出された前記車線境界線を用いた所定の制御、のうち、いずれかの処理についてその処理を実行するか否かを判定する第4の機能(S5〜S8、S23〜S25)と、
    をコンピュータに実現させるためのプログラム。
JP2012126154A 2012-06-01 2012-06-01 車線境界線検出装置およびプログラム Expired - Fee Related JP5792678B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012126154A JP5792678B2 (ja) 2012-06-01 2012-06-01 車線境界線検出装置およびプログラム
DE112013002730.5T DE112013002730T5 (de) 2012-06-01 2013-05-31 Vorrichtung und verfahren zum erfassen einer grenzlinie einer fahrzeugfahrspur
US14/404,224 US9626572B2 (en) 2012-06-01 2013-05-31 Apparatus for detecting boundary line of vehicle lane and method thereof
CN201380028005.9A CN104380343B (zh) 2012-06-01 2013-05-31 检测车道的分界线的装置以及其方法
PCT/JP2013/065206 WO2013180273A1 (ja) 2012-06-01 2013-05-31 車線の境界線を検出する装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012126154A JP5792678B2 (ja) 2012-06-01 2012-06-01 車線境界線検出装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2013250874A JP2013250874A (ja) 2013-12-12
JP5792678B2 true JP5792678B2 (ja) 2015-10-14

Family

ID=49673456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012126154A Expired - Fee Related JP5792678B2 (ja) 2012-06-01 2012-06-01 車線境界線検出装置およびプログラム

Country Status (5)

Country Link
US (1) US9626572B2 (ja)
JP (1) JP5792678B2 (ja)
CN (1) CN104380343B (ja)
DE (1) DE112013002730T5 (ja)
WO (1) WO2013180273A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9547805B1 (en) * 2013-01-22 2017-01-17 The Boeing Company Systems and methods for identifying roads in images
JP6130325B2 (ja) * 2014-04-24 2017-05-17 本田技研工業株式会社 道路環境認識装置
CN104036253A (zh) * 2014-06-20 2014-09-10 智慧城市***服务(中国)有限公司 一种车道线追踪方法及***
JP6140658B2 (ja) * 2014-08-20 2017-05-31 株式会社Soken 走行区画線認識装置、走行区画線認識プログラム
JP6189815B2 (ja) 2014-10-29 2017-08-30 株式会社Soken 走行区画線認識システム
JP6389119B2 (ja) * 2014-12-25 2018-09-12 株式会社デンソー 車線境界線認識装置
JP6404748B2 (ja) * 2015-03-02 2018-10-17 株式会社Soken 走行区画線認識装置
JP6811534B2 (ja) 2016-02-04 2021-01-13 株式会社トプコン 道路性状の表示方法、及び道路性状の表示装置
JP6745112B2 (ja) 2016-02-04 2020-08-26 株式会社トプコン 路面性状の評価方法、及び路面性状の評価装置
JP6745113B2 (ja) * 2016-02-04 2020-08-26 株式会社トプコン 路面性状取得方法、及び路面性状取得装置
SE539816C2 (en) 2016-04-19 2017-12-05 Scania Cv Ab Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle
CA3063820A1 (en) * 2017-05-16 2019-12-09 Nissan Motor Co., Ltd. Action prediction method and action prediction device of traveling assistance device
SE542423C2 (en) 2017-06-19 2020-04-28 Scania Cv Ab Road detection control unit for a vehicle
KR102499398B1 (ko) * 2017-08-09 2023-02-13 삼성전자 주식회사 차선 검출 방법 및 장치
CN109427199B (zh) * 2017-08-24 2022-11-18 北京三星通信技术研究有限公司 用于辅助驾驶的增强现实的方法及装置
JP6592051B2 (ja) * 2017-09-25 2019-10-16 本田技研工業株式会社 車両制御装置
US10435020B2 (en) 2017-12-01 2019-10-08 Robert Bosch Gmbh Lane keeping support on roads covered by snow
CN113408407B (zh) * 2018-10-31 2023-06-23 百度在线网络技术(北京)有限公司 电子地图车道线修正方法、设备及计算机可读存储介质
JP7083768B2 (ja) * 2019-03-13 2022-06-13 本田技研工業株式会社 認識装置、車両制御装置、認識方法、およびプログラム
CN110737266B (zh) * 2019-09-17 2022-11-18 中国第一汽车股份有限公司 一种自动驾驶控制方法、装置、车辆和存储介质
CN110674732B (zh) * 2019-09-21 2022-06-07 福建农林大学 一种融合多元数据的沥青路面车辙三维尺寸自动检测及定位方法
US11643082B2 (en) 2020-08-05 2023-05-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining real-time lane level snow accumulation
JP7409266B2 (ja) * 2020-09-08 2024-01-09 トヨタ自動車株式会社 轍判定装置、轍判定方法、プログラム
CN112446293B (zh) * 2020-10-30 2023-06-23 华设设计集团股份有限公司 一种公路路面车辙污染事件视频检测方法
CN115908525B (zh) * 2022-11-24 2023-10-20 深圳市城市交通规划设计研究中心股份有限公司 一种基于路面车辙病害三维重构的车辙体积计算方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675489A (en) * 1995-07-06 1997-10-07 Carnegie Mellon University System and method for estimating lateral position
JP4532089B2 (ja) 2003-09-09 2010-08-25 富士重工業株式会社 車外監視装置
JP2005275691A (ja) * 2004-03-24 2005-10-06 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP4451179B2 (ja) * 2004-03-26 2010-04-14 クラリオン株式会社 車線位置検知システム
JP4092308B2 (ja) * 2004-06-02 2008-05-28 トヨタ自動車株式会社 境界線検出装置
JP4950858B2 (ja) * 2007-11-29 2012-06-13 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識プログラム
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
JP5039013B2 (ja) 2008-04-09 2012-10-03 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
JP2010164521A (ja) * 2009-01-19 2010-07-29 Sumitomo Electric Ind Ltd 路面状況判別装置
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
CN102156979B (zh) * 2010-12-31 2012-07-04 上海电机学院 基于GrowCut的车道线快速检测方法及***
CN102184535B (zh) * 2011-04-14 2013-08-14 西北工业大学 一种车辆所在车道边界检测方法
CN102360499B (zh) * 2011-06-30 2014-01-22 电子科技大学 一种基于卡尔曼滤波器组的多车道线追踪方法

Also Published As

Publication number Publication date
US20150169966A1 (en) 2015-06-18
JP2013250874A (ja) 2013-12-12
DE112013002730T5 (de) 2015-03-19
CN104380343B (zh) 2017-07-14
WO2013180273A1 (ja) 2013-12-05
US9626572B2 (en) 2017-04-18
CN104380343A (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
JP5792678B2 (ja) 車線境界線検出装置およびプログラム
JP5276637B2 (ja) 車線推定装置
KR101417571B1 (ko) 물체 식별 장치
US9317756B2 (en) Lane boundary marking line detection device and electronic control device
JP4603970B2 (ja) 道路区画線検出装置
US7209832B2 (en) Lane recognition image processing apparatus
US7307545B2 (en) Vehicle lane detector
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
WO2007111220A1 (ja) 道路区画線検出装置
JP5554579B2 (ja) 車線検出プログラム及び車線検出装置
WO2007077682A1 (ja) 車両及びレーンマーク検出装置
JP2003168104A (ja) 道路白線認識装置
US9676393B2 (en) System and method for detecting environment-induced disablement of advanced driver assistance system
US20120229644A1 (en) Edge point extracting apparatus and lane detection apparatus
JP2008033750A (ja) 物体傾き検出装置
JP5855756B2 (ja) レーンマーク認識装置
US10949686B2 (en) Image processing device and image processing method
US11151395B2 (en) Roadside object detection device, roadside object detection method, and roadside object detection system
JP2016018371A (ja) 車載システム、情報処理装置、及びプログラム
JP4939137B2 (ja) 車線認識装置
JP5090313B2 (ja) 路面標示認識装置
JP4270183B2 (ja) 白線検出装置
JP7068017B2 (ja) 車両の走行路認識装置及び走行制御装置
JP2005090974A (ja) 先行車認識装置
JP4927908B2 (ja) 車線位置検知システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150806

R150 Certificate of patent or registration of utility model

Ref document number: 5792678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees