JP2018106259A - 区画線認識装置 - Google Patents

区画線認識装置 Download PDF

Info

Publication number
JP2018106259A
JP2018106259A JP2016249395A JP2016249395A JP2018106259A JP 2018106259 A JP2018106259 A JP 2018106259A JP 2016249395 A JP2016249395 A JP 2016249395A JP 2016249395 A JP2016249395 A JP 2016249395A JP 2018106259 A JP2018106259 A JP 2018106259A
Authority
JP
Japan
Prior art keywords
line
candidate
color
lane
backlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016249395A
Other languages
English (en)
Other versions
JP6702849B2 (ja
Inventor
泰樹 河野
Yasuki Kono
泰樹 河野
直輝 川嵜
Naoteru Kawasaki
直輝 川嵜
直己 二反田
Naoki Nitanda
直己 二反田
健太 保木
Kenta Hogi
健太 保木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Soken Inc filed Critical Denso Corp
Priority to JP2016249395A priority Critical patent/JP6702849B2/ja
Priority to US15/845,416 priority patent/US20180181819A1/en
Publication of JP2018106259A publication Critical patent/JP2018106259A/ja
Application granted granted Critical
Publication of JP6702849B2 publication Critical patent/JP6702849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】逆光シーンでも、区画線の候補の色を精度良く判定して、区画線を精度良く認識することが可能な区画線認識装置を提供する。
【解決手段】路面画像から区画線の候補である候補線を抽出する候補抽出部と、抽出された候補線の線種、線色、及び、逆光の影響の有無を判定する線特徴判定部と、抽出された候補線が多重線を構成しているか否かを判定する多重線判定部と、抽出された候補線から、線特徴判定部により判定された線種、線色、及び多重線判定部による判定結果を用いて、区画線となる候補線を選択する候補選択部と、選択された候補線を認識して、車線の形状を推定する車線推定部と、推定された推定結果を出力する出力部と、を備える。線特徴判定部は、逆光の影響有りと判定された候補線が多重線を構成している場合に、当該多重線を構成している候補線同士の色情報を比較して、逆光の影響有りと判定された候補線の線色を再判定する。
【選択図】図3

Description

本開示は、車両が走行する車線を区画する区画線を認識する区画線認識装置に関する。
車線を区画する区画線の線色は、白色以外に黄色や青色等もあり、区画線を認識する上で重要な情報である。そこで、特許文献1に記載のレーンマーク認識装置は、撮像したカラー画像から、区画線の色に対応した各特定色のデータを抽出して、各特定色の区画線を検出しやすい抽出画像を生成している。そして、上記レーンマーク認識装置は、生成した各特定色の抽出画像を合成した合成画像から、各特定色の区画線を検出している。
特開2007−18154号公報
ところで、逆光による照り返しが強いシーンでは、黄色の区画線が白色の区画線のように見えて、人の目では判別が難しいことがある。このようなシーンでは、カラー画像の本来黄色の部分に白色のような特徴が出てしまうため、本来黄色の部分を黄色のデータとして抽出できないことがある。すなわち、上記レーンマーク認識装置では、逆光シーンにおいて、黄色の区画線の色を正確に判定することができない可能性がある。ひいては、誤った候補線を区画線として認識して、車線の推定精度が低下するおそれがある。このように、逆光シーンにおいて色の判定が困難であることは、黄色の区画線に限らず、白色以外の色の区画線について共通している。
本開示は、上記実情に鑑みてなされたものであり、逆光シーンでも、区画線の候補の色を精度良く判定して、区画線を精度良く認識することが可能な区画線認識装置を提供する。
本開示は、カメラ(10)により撮影されたカラーの路面画像から車両(70)が走行する車線を推定する区画線認識装置(30)であって、候補抽出部(34)と、線特徴判定部(35)と、多重線判定部(36)と、候補選択部(37)と、車線推定部(38)と、出力部(39)と、を備える。
候補抽出部は、路面画像から車線を区画する区画線の候補である候補線を抽出するように構成されている。線特徴判定部は、カメラに対向する方向からの光を逆光として、候補抽出部により抽出された候補線の線種、線色、及び、逆光の影響の有無を判定するように構成されている。多重線判定部は、候補抽出部により抽出された候補線が多重線を構成しているか否かを判定するように構成されている。候補選択部は、候補抽出部により抽出された候補線から、走行地域のルールに従って、線特徴判定部により判定された線種、線色、及び多重線判定部による判定結果を用いて、区画線となる候補線を選択するように構成されている。車線推定部は、候補選択部により選択された候補線を認識して、車線の形状を推定するように構成されている。出力部は、車線推定部により推定された推定結果を出力するように構成されている。さらに、線特徴判定部は、逆光の影響有りと判定された候補線が、多重線を構成している場合に、当該多重線を構成している候補線同士の色情報を比較して、逆光の影響有りと判定された候補線の線色を再判定するように構成されている。
本開示によれば、カラーの路面画像から候補線が抽出され、抽出された候補線の線種、線色及び逆光の影響の有無が判定される。また、候補線が多重線を構成している否か判定される。そして、走行地域のルールによって、区画線として認識すべき線種、線色、多重線の中の線は異なるので、走行地域のルールに従い、判定された線種、線色、多重線判定結果を用いて、区画線となる候補線が選択される。さらに、選択された候補線が認識されて、車線の形状が推定され、推定結果が出力される。
ここで、候補線が逆光の影響を受けている場合、白色以外の特定色の候補線の色情報に白色の特徴が出て、特定色の特徴が小さくなるため、単体の候補線で色判定をすることは難しい。そして、候補線が多重線に含まれている場合に、候補線の色判定が誤っていると、誤った候補線が選択されるおそれがある。しかしながら、特定色の候補線の色情報において、特定色の特徴が小さくなっているとしても、他の色の候補線の色情報と比較すると、特定色の特徴は大きい。よって、候補線が逆光の影響を受けている場合、複数の候補線の色情報を比較することで、候補線の色を精度良く判定することができる。したがって、逆光の影響を受けている候補線が多重線を構成している場合は、その多重線を構成している候補線同士の色情報が比較され、線色が再判定される。これにより、逆光シーンでも、候補線の色を精度良く判定して、車線を精度良く推定することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
車載カメラの搭載位置を示す図である。 区画線認識装置の構成を示すブロック図である。 抽出された候補線から車線を推定する処理手順を示すフローチャートである。 欧州の工事区間を示す模式図である。 日本の暫定供用区間を示す模式図である。 日本のはみ出し禁止区間を示す模式図である。 逆光により反射して黄線が白線のように見えるシーンを写した画像を示す模式図である。 図7に示す画像上の各区画線の判定された線種及び線色と各色成分値とを示す図である。
以下、図面を参照しながら、発明を実施するための形態を説明する。
<1.構成>
まず、本実施形態に係る区画線認識装置30が適用される運転支援システム100の構成について、図1及び図2を参照して説明する。本実施形態に係る運転支援システム100は、車載カメラ10と、センサ類11と、車両制御装置50と、区画線認識装置30と、を備える。車載カメラ10、センサ類11及び車両制御装置50は、区画線認識装置30に信号線で接続されている。区画線認識装置30は、車両70に搭載されて、車線の形状をする装置である。また、区画線は、道路の車線を区画するように描かれた白線や黄線、青線である。
車載カメラ10は、図1に示すように、車両前方の路面の所定範囲が撮影範囲となるように、例えば、ルームミラーに設置される。車載カメラ10は、予め設定された時間間隔、例えば1/15(秒)間隔で、繰り返しカラー画像を撮影する。そして、車載カメラ10は、撮影したカラー画像をデジタル信号化して区画線認識装置30へ出力する。
センサ類11は、車両の状態量を測定する種々のセンサであり、車両70の車速を測定する車速センサや、車両70のヨーレートを測定するヨーレートセンサを含む。センサ類11は、予め設定された時間間隔で繰り返し測定し、測定結果を区画線認識装置30へ出力する。
車両制御装置50は、ECUであり、CPU、ROM、RAM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。車両制御装置50は、区画線認識装置30の推定結果に基づいて警報出力制御や走行制御の走行支援を実行する。警報出力制御は、車両70が車線を逸脱しそうな場合に警報の出力を実行する制御である。また、走行制御は、車線内を走行するように実行する車両70の操舵の制御やブレーキの制御である。
区画線認識装置30は、ECUであり、CPU、ROM、RAM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。区画線認識装置30は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより、図2に示すような各機能を実現する。本実施形態では、半導体メモリが、プログラムを格納する非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、区画線認識装置30を構成するマイクロコンピュータの数は1つでも複数でもよい。
区画線認識装置30は、図2に示すように、エッジ抽出部31、エッジ線算出部32、ペイント特徴算出部33、候補線抽出部34、線特徴判定部35、多重線判定部36、候補選択部37、車線推定部38、及び出力部39の機能を備える。これらの機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
エッジ抽出部31は、車載カメラ10により撮影された路面画像を取得し、取得した路面画像から、輝度値の変化が大きい画素であるエッジ点を抽出する。路面画像は、各画素のデータとして赤色成分値(以下、R値)、緑色成分値(以下、G値)、及び青色成分値(以下、B値)を有するカラー画像である。詳しくは、エッジ抽出部31は、画像の左端から右端へ水平方向に、輝度値の変化量が閾値以上となる画素を探索し、アップエッジ点及びダウンエッジ点を抽出する。アップエッジ点は、低い輝度値から高い輝度値へ変化する輝度値の立ち上がり点である。ダウンエッジ点は、高い輝度値から低い輝度値へ変化する輝度値の立下り点である。
エッジ線算出部32は、エッジ抽出部31により抽出されたエッジ点にハフ変換を適用して直線成分を抽出し、抽出した直線成分を含むエッジ線を算出する。これにより、アップエッジ点を要素とするエッジ線と、ダウンエッジ点を要素とするエッジ線とが算出される。
ペイント特徴算出部33は、エッジ点によって形成される矩形形状の領域をペイントとして抽出する。詳しくは、ペイント特徴算出部33は、左側をアップエッジ点、右側をダウンエッジ点で囲まれ、且つ、車両70の走行方向におけるエッジ点の間隔が、予め設定された間隔閾値以内の領域をペイントとして抽出する。間隔閾値は、一般的な破線の区画線の線分同士の間隔よりも短い値であり、間隔閾値未満の間隔のエッジ点同士は同じ線分に属していると見なせる値である。さらに、ペイント特徴算出部33は、抽出したペイントの走行方向における長さ、及びアップエッジ点とダウンエッジ点との間隔である幅を算出する。
候補線抽出部34は、算出されたエッジ線から、アップエッジ点を要素とする左側のエッジ線と、ダウンエッジ点を要素とする右側のエッジ線のペアを作る。この際、候補線抽出部34は、ペイント特徴算出部33により算出されたペイントブロックの幅を考慮して、区画線の幅らしい幅を持ったエッジ線のペアを作る。そして、候補線抽出部34は、エッジ線のペアを輪郭とする線を候補線として抽出する。
線特徴判定部35は、抽出された候補線の線種、線色、及び、逆光の影響の有無を判定する。ここでは、車載カメラ10に対向する方向からの光を逆光とする。逆光の光源は、太陽光、対向車両のヘッドライドなどなんでもよい。多重線判定部36は、抽出された候補線が多重線を構成しているか否か判定する。候補選択部37は、抽出された候補線から、線特徴判定部35及び多重線判定部36による判定結果を用いて、区画線となる候補線を選択する。
車線推定部38は、候補選択部37により選択された候補線を認識して、車両70が走行する車線の形状を推定する。出力部39は、車線推定部38により推定された推定結果を、車両制御装置50へ出力する。なお、線特徴判定部35、多重線判定部36、候補選択部37、車線推定部38、及び出力部39が実行する処理の詳細は後述する。
<2.車線推定処理>
次に、区画線認識装置30が実行する車線推定処理の処理手順について、図3のフローチャートを参照して説明する。本処理手順は、候補線が抽出された都度実行される。
まず、ステップS10では、抽出された候補線に属するエッジ点の路面上の分布から、候補線がどのような種類の線かを判定する。線種としては、実線の区画線や破線の区画線、区画線の内側に描かれる破線の補助線等がある。通常、破線の区画線と破線の補助線とは、線分の長さや、線分同士の間隔が異なっているため、エッジ点の路面上の分布から線種が判定される。
続いて、ステップS20では、抽出された候補線の線色を判定する。区画線の色には、走行地域のルールによって決められた意味がある。図4〜図6に、異なる意味を持つ黄色の区画線(以下、黄線)が描かれた例を示す。図4〜図6において、ハッチングされた線は黄線を示し、ハッチングのない線は白色の区画線(以下、白線)を示す。図4は、欧州の工事区間を示す。欧州では、白線で描かれた車線に重ねて黄線で描かれた車線は、臨時の車線を意味する。この場合、白線ではなく黄線を区画線として認識しなければならない。また、図5は、日本の暫定供用区間を示す。日本では、白線の両側を黄線で挟んだ多重線は、暫定供用区間を意味し、この多重線を超えると反対車線であること示す。この場合、自車両に最も近い黄線を区画線として認識しなければならない。また、図6は、日本のはみ出し禁止区間を示す。この場合、黄線から車両がはみ出さないように、運転しなければならない。
ステップS20では、具体的には、図8に示すような候補線のRGB各成分値の大きさの関係性を見て、色を判定する。白色の場合は、R値とG値B値の互いの差が小さく、3つの成分値が略均一になる。そこで、R値、G値、B値の互いの差分が、すべて予め設定されている差分閾値未満の場合には、線色を白色と判定する。一方、白色以外の色の場合には、その色に応じて、R値、G値、B値の大きさに決まった関係性がある。例えば、黄色の場合には、R値>G値>B値の関係性、又はR値>G値且つR値>B値の関係性がある。よって、いずれかの差分が差分閾値以上の場合には、R値、G値、B値の大きさの関係性を見て、黄色か青色かを判定する。
続いて、ステッS30では、候補線の輝度値及び車載カメラ10に対する光源の位置の少なくとも一方から、抽出された候補線が逆光の影響を受けているか否か判定する。具体的には、候補線が逆光の影響を受けている場合、候補線の輝度値は非常に高くなるので、候補線の輝度値が、予め設定された輝度閾値を超えている場合に、候補線が逆光の影響を受けていると判定する。候補線の輝度値は、例えば、候補線の平均輝度値を用いればよく、輝度閾値は、逆光の影響がない状況では取り得ないような大きな輝度値とすればよい。また、光源の位置が車載カメラ10に対向する位置にある場合に、候補線が逆光の影響を受けていると判定する。太陽や対向車両のヘッドライト等の光源の位置は、画像において輝度値が非常に強い部分を光源として算出すればよい。あるいは、太陽の位置は、画像撮影時の車両70の位置及び日時からも算出できる。
続いて、ステップS40では、抽出された候補線が多重線を構成しているか否か判定する。具体的には、画像の水平方向において、予め設定された判定範囲内に、複数の候補線が抽出されている場合には、複数の候補線はそれぞれ多重線を構成していると判定する。また、判定範囲内に1つの候補線のみが抽出されている場合には、候補線は多重線を構成していない、すなわち1本線と判定する。判定範囲は、走行地域に存在し得る多重線に基づいて設定される。
続いて、ステップS50では、抽出された候補線の中に、逆光の影響を受け、且つ、多重線を構成している候補線Laがあるか否か判定する。抽出された候補線の中に、候補線Laがある場合には、ステップS60へ進み、候補線Laがない場合には、ステップS80へ進む。
ステップS60では、候補線Laが多重線LLを構成している場合に、多重線LLを構成している候補線同士の色情報を比較して、候補線Laの線色を再判定する。ここでは、図7に示す車載カメラ10で撮影された路面画像を例にして説明する。この路面画像からは、候補線A〜Dが抽出される。候補線A,Cは白線であり、候補線B,Dは黄線である。また、図8は、図7の画像から抽出した候補線A〜Dの線種、線色、黄色成分値(以下、Y値)、R値、G値、B値を示す。線色は、ステップS20で判定された色であり、Y値は、R値、G値、B値から算出した値である。
ここで、Y値は、R値−B値として算出されるが、画像全体が、赤みがかっていたり、青みがかっていたりすることを考慮して、R値、B値を補正する。具体的には、画像全体のR値の平均値を平均R値、画像全体のG値の平均値を平均G値、画像全体のB値の平均値を平均B値とすると、Y値=R値×(平均G値/平均R値)−B値×(平均G値/平均B値)となる。括弧内の乗算が補正に相当する。
図7では、候補線C,Dが逆光を反射している。候補線Cは元々の白色が逆光の影響を受けても白色と判定されているのに対して、候補線Dは、本来黄色が逆光の影響を受けて白色と判定されている。候補線Dと逆光の影響を受けていない候補線Bとを比較すると、候補線Dは、逆光の影響を受けて、R値とG値とB値の互いの差分が小さくなっていることがわかる。つまり、候補線Dは、逆光の影響を受けたことで、黄色の特徴が小さくなり、白色の特徴が大きくなって、白色と判定されてしまっている。
しかしながら、本発明者は、本来黄色の候補線が逆光の影響を受けたことで、色情報において、黄色の特徴が小さくなったとしても、黄色以外の候補線の色情報と比較すれば、黄色の特徴が大きいことに気付いた。そこで、候補線Dと候補線Cとの色情報を比較して、候補線Dと候補線Cの線色を再判定する。
具体的には、候補線Dと候補線Cの黄色の色成分値と、RGB各成分値の大きさの関係性を比較する。候補線CのRGB各成分値の大きさの関係性は、G値>R値>B値となっており、黄色の関係性を示していない。また、候補線CのY値は、候補線BのY値に示すように、逆光の影響を受けていない黄線が取り得るY値と比べて非常に小さい。よって、候補線Cの線色は黄色ではないと判定する。
一方、候補線DのRGB各成分値は、互いの差分は小さいものの、R値>G値>B値となっており、黄色の関係性を示している。また、候補線DのY値は、逆光の影響を受けていない黄線が取り得るY値と比べると小さいものの、黄色以外の色の候補線CのY値と比較すると十分に大きい。よって、候補線DのY値が、候補線CのY値よりも、予め設定されている黄色閾値を超えて大きい場合、もしくは、候補線DのY値と候補線CのY値の比が閾値以上大きい場合に、候補線Dの線色を黄色と判定する。そして、線色として、黄色と白色を考慮すればよい場合は、候補線Cの線色は白色と判定する。また、線色として、更に青色を考慮する場合は、候補線CのRGB各成分値の大きさの関係性が青色の特徴を示しているか見るとともに、候補線CのB値と候補線DのB値とを比較して、候補線Cが白色か青色かを判定すればよい。
続いて、ステップS70では、各候補線について判定した線種、線色、及び多重線か否かを用いて、走行地域のルールに従って、車両70が走行する車線の区画線となる候補線を選択し、ステップS110へ進む。
また、ステップS80では、ステップS70と同様の処理を実行して、車両70が走行する車線の区画線となる候補線を選択し、ステップS90へ進む。
ステップS90では、ステップS80で選択した候補線が、ステップS30で逆光の影響を受けていると判定されているか否か判定する。ステップS80で選択した候補線が、逆光の影響を受けていると判定されている場合は、ステップS100へ進み、逆光の影響を受けていると判定されていない場合は、ステップS110へ進む。
ステップS100では、ステップS80で選択され逆光の影響を受けている候補線Lbの線色を再判定する。具体的には、ステップS60と同様に、S80で選択された2つの候補線同士の色情報とを比較して、候補線Lbの線色を再判定する。すなわち、候補線Lbは多重線を構成していないので、車両70の左右の候補線の色情報を比較して、候補線Lbの線色を再判定する。この場合、候補線Lbは多重線を構成していないので、ステップS20での候補線Lbの色判定が誤っていたとしても、ステップS80での候補線の選択に問題はない。しかしながら、区画線の色によって、車両70の制御が変わることがあるので、車両70の制御に用いるために候補線Lbの線色を再判定している。
続いて、ステップS110では、ステップS70又はS80で選択した候補線を認識して、車線の形状を推定する。具体的には、選択した候補線から、オフセット、ヨー角、曲率、車線幅、ピッチ角等の区画線パラメータを推定する。
続いて、ステップS120では、ステップS110で推定した推定結果、及び、ステップS70又はS80で選択した候補線の線色を、車両制御装置50へ出力する。車両制御装置50は、車線の推定結果及び選択した候補線の線色を用いて走行支援を実行する。以上で、本処理を終了する。
なお、本実施形態では、ステップS10〜S30,S60,S100の処理が、線特徴判定部35が実行する処理に相当し、ステップS40の処理が、多重線判定部36が実行する処理に相当する。また、ステップS70及びS80の処理が、候補選択部37が実行する処理に相当する。また、ステップS110の処理が、車線推定部38が実行する処理に相当し、ステップS120の処理が、出力部39が実行する処理に相当する。
<3.効果>
以上説明した第1実施形態によれば、以下の効果が得られる。
(1)逆光の影響を受けている候補線が多重線を構成している場合は、その多重線を構成している候補線同士の色情報が比較され、線色が再判定される。これにより、逆光シーンでも、候補線の色を精度良く判定して、車線を精度良く推定することができる。
(2)逆光の影響を受けている候補線が、車両70の左右で区画線として選択された候補線に含まれている場合には、選択された候補線同士の色情報が比較され、線色が再判定される。これにより、逆光シーンでも、車線の区画線として認識した候補線の色を精度良く判定することができる。
(3)車線の形状の推定結果とともに、区画線の線色も出力されるため、区画線の線色を走行支援に用いることができる。
(4)区画線の特定色に応じて、RGB各成分値の関係性が決まっている。そして、特定色の候補線が逆光の影響を受けて、特定色の色情報に白色の特徴が出たとしても、特定色以外の候補線の色情報と比較すると、特定色の色情報では、特定色の色成分値が大きくなっているとともに、RGB各成分値の関係性に特定色の特徴が見られる。よって、特定色に対応した候補線の色成分値、及びRGB各成分値の大きさの関係性を、候補線同士で比較することで、逆光の影響を受けた候補線の線色を精度良く判定することができる。
(5)逆光の影響を受けた部分は輝度値が他の部分よりも非常に大きくなるので、候補線の輝度値から逆光の影響の有無を判定することができる。また、車載カメラ10に対する光源の位置からも逆光の影響の有無を判定することができる。
(他の実施形態)
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
(a)上記実施形態では、ステップS20では、RGB各成分値の大きさの関係性を見て、白以外の黄色や青色を判定していたが、黄色や青色の色成分値が予め設定されている閾値よりも大きい場合に、線色を黄色や青色と判定するようにしてもよい。
(b)区画線の線色は、白色、黄色、青色に限らず、赤色等の他の特定色でもよい。その場合、黄色と同様に、候補線が各特定色であるか否か判定すればよい。
(c)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(d)上述した区画線認識装置の他、当該区画線認識装置を構成要素とするシステム、当該区画線認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、車線推定方法など、種々の形態で本発明を実現することもできる。
10…車載カメラ、30…区画線認識装置、34…候補線抽出部、35…線特徴判定部、36…多重線判定部、37…候補選択部、38…車線推定部、39…出力部、70…車両。

Claims (4)

  1. カメラ(10)により撮影されたカラーの路面画像から車両(70)が走行する車線を推定する区画線認識装置(30)であって、
    前記路面画像から前記車線を区画する区画線の候補である候補線を抽出するように構成された候補抽出部(34)と、
    前記カメラに対向する方向からの光を逆光として、前記候補抽出部により抽出された前記候補線の線種、線色、及び、前記逆光の影響の有無を判定するように構成された線特徴判定部(35)と、
    前記候補抽出部により抽出された前記候補線が多重線を構成しているか否かを判定するように構成された多重線判定部(36)と、
    前記候補抽出部により抽出された前記候補線から、走行地域のルールに従って、前記線特徴判定部により判定された前記線種、前記線色、及び前記多重線判定部による判定結果を用いて、前記区画線となる前記候補線を選択するように構成された候補選択部(37)と、
    前記候補選択部により選択された前記候補線を認識して、前記車線の形状を推定するように構成された車線推定部(38)と、
    前記車線推定部により推定された推定結果を出力するように構成された出力部(39)と、を備え、
    前記線特徴判定部は、前記逆光の影響有りと判定された前記候補線が、前記多重線を構成している場合に、当該多重線を構成している前記候補線同士の色情報を比較して、前記逆光の影響有りと判定された前記候補線の線色を再判定するように構成されている、区画線認識装置。
  2. 前記線特徴判定部は、前記候補選択部により前記車両の左右で選択された前記候補線に、前記逆光の影響有りと判定された前記候補線が含まれている場合に、選択された前記候補線同士の色情報を比較して、前記逆光の影響有りと判定された前記候補線の線色を再判定するように構成されており、
    前記出力部は、前記候補選択部により選択された前記候補線の前記線特徴判定部により判定された前記線色を更に出力するように構成されている、請求項1に記載の区画線認識装置。
  3. 前記特徴判定部は、前記線色を再判定する際に、前記区画線の特定の色に対応した前記候補線の色成分値、及び前記候補線のRBG各成分値の関係性を前記候補線同士で比較して、前記線色を再判定するように構成されている、請求項1又は2に記載の区画線認識装置。
  4. 前記特徴判定部は、前記候補線の前記逆光の影響の有無を、前記候補線の輝度値及び前記カメラに対する光源の位置の少なくとも一方から判定するように構成されている、請求項1〜3のいずれか1項に記載の区画線認識装置。
JP2016249395A 2016-12-22 2016-12-22 区画線認識装置 Active JP6702849B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016249395A JP6702849B2 (ja) 2016-12-22 2016-12-22 区画線認識装置
US15/845,416 US20180181819A1 (en) 2016-12-22 2017-12-18 Demarcation line recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016249395A JP6702849B2 (ja) 2016-12-22 2016-12-22 区画線認識装置

Publications (2)

Publication Number Publication Date
JP2018106259A true JP2018106259A (ja) 2018-07-05
JP6702849B2 JP6702849B2 (ja) 2020-06-03

Family

ID=62630463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016249395A Active JP6702849B2 (ja) 2016-12-22 2016-12-22 区画線認識装置

Country Status (2)

Country Link
US (1) US20180181819A1 (ja)
JP (1) JP6702849B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置
JP6710190B2 (ja) * 2017-09-29 2020-06-17 クラリオン株式会社 区画線認識装置
WO2019171565A1 (ja) * 2018-03-09 2019-09-12 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
JP7006527B2 (ja) * 2018-07-09 2022-01-24 トヨタ自動車株式会社 車載装置および車両捜索システム
CN109919002B (zh) * 2019-01-23 2024-02-27 平安科技(深圳)有限公司 黄色禁停线识别方法、装置、计算机设备及存储介质
JP7359715B2 (ja) 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004668A (ja) * 2005-06-27 2007-01-11 Honda Motor Co Ltd 車両及び車線認識装置
JP2008028958A (ja) * 2006-07-25 2008-02-07 Denso Corp 調整画像作成装置
JP2014164492A (ja) * 2013-02-25 2014-09-08 Denso Corp 区画線認識装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008168811A (ja) * 2007-01-12 2008-07-24 Honda Motor Co Ltd 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP5926080B2 (ja) * 2012-03-19 2016-05-25 株式会社日本自動車部品総合研究所 走行区画線認識装置およびプログラム
JP5874770B2 (ja) * 2014-03-12 2016-03-02 トヨタ自動車株式会社 区画線検出システム
JP6130809B2 (ja) * 2014-04-25 2017-05-17 本田技研工業株式会社 車線認識装置
JP6456682B2 (ja) * 2014-12-25 2019-01-23 株式会社Soken 走行区画線認識装置
JP6363518B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 区画線認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004668A (ja) * 2005-06-27 2007-01-11 Honda Motor Co Ltd 車両及び車線認識装置
JP2008028958A (ja) * 2006-07-25 2008-02-07 Denso Corp 調整画像作成装置
JP2014164492A (ja) * 2013-02-25 2014-09-08 Denso Corp 区画線認識装置

Also Published As

Publication number Publication date
US20180181819A1 (en) 2018-06-28
JP6702849B2 (ja) 2020-06-03

Similar Documents

Publication Publication Date Title
JP2018106259A (ja) 区画線認識装置
US10685242B2 (en) Lane detection apparatus
US9626572B2 (en) Apparatus for detecting boundary line of vehicle lane and method thereof
US8391555B2 (en) Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
US9405980B2 (en) Arrow signal recognition device
JP2018179911A (ja) 測距装置及び距離情報取得方法
US10436898B2 (en) Object recognition device
US20120194677A1 (en) Lane marker detection system with improved detection-performance
US9886773B2 (en) Object detection apparatus and object detection method
US9697421B2 (en) Stereoscopic camera apparatus
JP6741603B2 (ja) 推定装置
EP2863374A1 (en) Lane partition marking detection apparatus, and drive assist system
JP6156400B2 (ja) 走行路面検出装置及び走行路面検出方法
JP5402828B2 (ja) 車線境界検出装置、車線境界検出プログラム
JP4744537B2 (ja) 走行レーン検出装置
US20160210519A1 (en) Complex marking determining device and complex marking determining method
US20120229644A1 (en) Edge point extracting apparatus and lane detection apparatus
JP2019109602A (ja) 信号機認識装置
JP6601336B2 (ja) 区画線認識装置
JP6674365B2 (ja) 区画線認識装置
JP2016110373A (ja) カーブミラー検出装置
JP6258842B2 (ja) 画像処理装置、及び車線境界線認識システム
WO2018088262A1 (ja) 駐車枠認識装置
JP6126849B2 (ja) 車線識別装置および車線識別方法
US20190313073A1 (en) Dynamic demosaicing of camera pixels

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200507

R150 Certificate of patent or registration of utility model

Ref document number: 6702849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250