JP2016081362A - 走行区画線認識装置 - Google Patents

走行区画線認識装置 Download PDF

Info

Publication number
JP2016081362A
JP2016081362A JP2014213326A JP2014213326A JP2016081362A JP 2016081362 A JP2016081362 A JP 2016081362A JP 2014213326 A JP2014213326 A JP 2014213326A JP 2014213326 A JP2014213326 A JP 2014213326A JP 2016081362 A JP2016081362 A JP 2016081362A
Authority
JP
Japan
Prior art keywords
lane
change
white line
vehicle
lane change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014213326A
Other languages
English (en)
Other versions
JP6165120B2 (ja
Inventor
直輝 川嵜
Naoteru Kawasaki
直輝 川嵜
鶴田 知彦
Tomohiko Tsuruta
知彦 鶴田
俊輔 鈴木
Shunsuke Suzuki
俊輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Soken Inc
Original Assignee
Denso Corp
Nippon Soken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Nippon Soken Inc filed Critical Denso Corp
Priority to JP2014213326A priority Critical patent/JP6165120B2/ja
Priority to US14/886,918 priority patent/US9792508B2/en
Publication of JP2016081362A publication Critical patent/JP2016081362A/ja
Application granted granted Critical
Publication of JP6165120B2 publication Critical patent/JP6165120B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

【課題】車線変更時に、変更後の車線を区画する走行区画線を早期に検知し、走行区画線の認識の安定性を向上させることが可能な走行区画線認識装置を提供する。
【解決手段】車両40の車載カメラ10により撮影された前方画像の所定領域である処理領域において、車線の左右を区画する白線を認識する白線認識装置20であって、車両40による車線変更の有無を判定する変更判定手段と、変更判定手段により車線変更があると判定されている間、車線変更に対応するように前方画像の処理領域を所定領域から変更する変更手段と、を備える。変更手段は、車線変更の後における車線の両側の白線のうち、車線変更の前の車線から遠い側の白線が処理領域に含まれるように、処理領域を車線変更の方向へ拡大する。
【選択図】 図2

Description

本発明は、車載カメラにより撮影された画像に基づいて走行区画線を認識する走行区画線認識装置に関する。
近年、操舵制御等の走行支援を行うために、車載カメラにより撮影された画像に基づいて車線の左右を区画する走行区画線を認識する装置が提案されている。一般的に、このような装置では、処理負荷や誤認識の増加を抑制するため、画像の処理領域を限定することが多い(例えば、特許文献1参照)。
特開2007−72512号公報
車線変更中は、車両は一方の走行区画線から離れ、他方の走行区画線を近づく状態となる。また、車線変更後のもう一方の走行区画線も車両から離れている。そのため、車線変更前の車線の変更方向と反対側の走行区画線、及び車線変更後の車線の両側のうち変更前の車線から遠い側の走行区画線をロストしやすく、車両が近づく走行区画線だけを認識する状態に陥りやすい。その結果、検知した走行区画線から認識する曲率が変動しやすく、ひいては、走行区画線の認識結果に基づいた操舵制御で違和感を与えやすい。
本発明は、上記実情に鑑み、車線変更時に、変更後の車線を区画する走行区画線を早期に検知し、走行区画線の認識の安定性を向上させることが可能な走行区画線認識装置を提供することを主たる目的とする。
請求項1に記載の発明は、上記課題を解決するため、車両の車載カメラにより撮影された前方画像の所定領域である処理領域において、車線の左右を区画する走行区画線を認識する走行区画線認識装置であって、前記車両による車線変更の有無を判定する変更判定手段と、前記変更判定手段により前記車線変更があると判定されている間、前記車線変更に対応するように前記処理領域を前記所定領域から変更する変更手段と、を備える。
請求項1に記載の発明によれば、車載カメラにより撮影された前方画像の所定領域である処理領域において、車線の左右の走行区画線が認識される。そして、車線変更ありの判定中は、車線変更に対応するように処理領域が所定領域から変更される。これにより、車線変更時に、車線変更後の走行区画線を早期に検知し、走行区画線の認識の安定性を向上させることができる。
また、請求項9に記載の発明は、車両の車載カメラにより撮影された前方画像に基づいて、車線の左右を区画する走行区画線を認識する走行区画線認識装置であって、前記車両による車線変更の有無を判定する変更判定手段と、前記変更判定手段により前記車線変更があると判定されている間、前記区画線が検知されやすくなるように、前記画像に基づいて前記区画線を検知するまでの条件を緩和する緩和手段を備える。
請求項9に記載の発明によれば、車線変更ありの判定中は、走行区画線が検知されやすくなるように、画像に基づいて走行区画線を検知するまでの条件が緩和される。よって、車線変更時に、画像の端に表れる車線変更後の車線の走行区画線を早期に検知し、走行区画線の認識の安定性を向上させることができる。
車載カメラの搭載位置を示す図。 第1実施形態に係る白線認識装置の構成を示すブロック図。 画像の処理領域を示す図。 画像の処理領域を示す図。 画像の処理領域を示す図。 画像の処理領域及び非処理領域を示す図。 白線を認識する処理手順を示す図。 第2実施形態に係る白線認識装置の構成を示すブロック図。
以下、白線認識装置(走行区画線認識装置)及び周辺装置を具現化した各実施形態について図面を参照しつつ説明する。以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。
(第1実施形態)
まず、図1及び2を参照して、本実施形態に係る白線認識装置20について説明する。本実施形態に係る白線認識装置20は、車載カメラ10により撮影された前方画像に基づいて、車線の左右を区画する白線(走行区画線)を認識する車載装置である。
車載カメラ10は、CCDイメージセンサ、CMOSイメージセンサ等の少なくとも1つから構成されている。図1に示すように、車載カメラ10は、例えば車両40のフロントガラスの上端付近に設置されており、車両前方へ向けて所定角度範囲で広がる領域を撮影する。すなわち、車載カメラ10は、車両40の前方の道路を含む周辺環境を撮影する。
車速センサ11は、車両40に搭載されており、車両40の速度を検出する。ヨーレートセンサ12は、車両40に搭載されており、車両40のヨーレートを検出する。
警報装置31及び車両制御装置32は、白線認識装置20による白線の認識結果に基づいて走行支援を行う。警報装置31は、認識された白線と車両40との横方向の距離が第1距離以下となったときや、車両40が認識された白線を超えたときに、逸脱警報を出力する装置である。車両制御装置32は、車両40が認識された白線によって区画される車線内を走行するように、車両40のステアリングやブレーキを制御する制御装置である。
白線認識装置20は、CPU、RAM、ROM、I/O及び記憶装置等を備えたコンピュータである。CPUが、ROMに記憶されている各種プログラムを実行することにより、推定部(推定手段)21、変更判定部(変更判定手段)22、変更部(変更手段)23、設定部(設定手段)24等の各機能を実現し、白線を認識する。
白線認識装置20は、車載カメラ10により撮影された前方画像の所定領域である処理領域Raから、白線の候補である白線候補を抽出し、抽出した白線候補の中から最も白線らしい白線候補を絞り込む。そして、白線認識装置20は、絞り込んだ白線候補を白線として検知し、検知した白線から白線パラメータを算出して白線を認識する。
一般的に、画像の処理領域Raは、走行中の車線の左右の白線を抽出可能な最低限の所定領域に限定されている。処理領域Raを拡大することで、隣の車線の白線まで抽出できるようにはなるが、白線の誤認識や処理負荷が増加するおそれがあるため、画像の処理領域Raは限定されている。
しかしながら、車線変更中は、車両40は、車線変更の方向と反対側の白線Waから遠ざかり、車線変更の方向の白線Wcに近づく状態となる。車両40が白線Wcに近づいている状態においては、車線変更後の車線のもう一方の白線Wbは車両40から離れている。そのため、車線変更中は、処理領域Raから、車線変更前における車線の両側のうち変更後の車線から遠い側の白線Wa、及び車線変更後における車線の両側のうち変更前の車線から遠い側の白線Wbが外れやすくなり、これらの白線Wa,Wbをロストしやすくなる。その結果、車両40が近づいている白線Wcのみを認識する状態になり、白線認識が不安定になりやすい。
そこで、車線変更時に、白線認識の安定性を向上させることが望まれる。車線変更時において、白線認識の安定性を向上させるためには、車線変更前における車線の両側の白線Wa,Wcを認識している状態から、車線変更後における車線の両側の白線Wc,Wbを認識している状態への切替え直ちに切り替える必要がある。よって、車線変更時には、車線変更前における車線の両側の白線Wa,Wcを検知し続けるとともに、車線変更後における車線の両側の白線Wc,Wbを早期に検出することが望まれる。以下、車線変更時に、白線認識の安定性を向上させる手法について説明する。
変更判定部22は、車両40による車線変更の有無を判定する。詳しくは、車両40は、車両40が将来車線変更を行う場合、及び車両40が現在車線変更を行っている場合に、車線変更ありと判定する。
変更部23は、変更判定部22により車線変更があると判定されている間、処理領域Raを車線変更に対応するように所定領域から変更する。詳しくは、変更部23は、車線変更後における車線の両側の白線のうち、車線変更前の車線から遠い側の白線Wbが処理領域Raに含まれるように、処理領域Raを車線変更の方向へ拡大する。また、変更部23は、車線変更前における車線の両側のうち、車線変更後の車線から遠い側の白線Waが処理領域Raに含まれるように、処理領域Raを車線変更の方向と反対方向へ拡大する。
図3(a)〜図5(a)は、車載カメラ10により撮影される前方画像の模式図を示し、前方画像において実線の方形内が拡大された処理領域Raを示す。また、拡大された処理領域Raにおいて、破線までの範囲が拡大される前の処理領域Ra(所定領域)となっている。図3(b)〜図5(b)は、それぞれ図3(a)〜図5(a)で示す処理領域Raを鳥瞰座標で示している。
変更部23は、図3に示すように、画像の水平方向に処理領域Raを拡大する。または、変更部23は、図4に示すように、画像の垂直方向に処理領域Raを拡大する。これにより、処理領域Ra内に入る白線Wa,Wbの長さが長くなり、白線Wa,Wbを検知しやすくなる。その結果、車線変更前の車線の白線Wa,Wcを検知し続けることができるとともに、車線変更後の車線の白線Wc,Wbを早期に検知することができ、白線Wa,Wcの認識状態から、白線Wc,Wbの認識状態へ直ちに切り替えることができる。
また、変更部23は、図5に示すように、画像の水平方向及び垂直方向の両方向に処理領域Raを拡大してもよい。これにより、さらに白線Wa,Wbが検知しやすくなる。
ただし、処理領域Rを単に拡大するだけでは、処理負荷が増加するおそれがある。そこで、図6に示すように、変更部23に含まれる設定部24は、拡大した処理領域において処理しない非処理領域Rbを設定する。変更部23は、拡大した処理領域から非処理領域Rbを除いた領域を、画像の処理領域Raとする。設定部24は、例えば、拡大した処理領域において白線が存在すると推定される存在領域以外を、非処理領域Rbに設定する。すなわち、変更部23は、拡大した処理領域において白線が存在すると推定される存在領域を、画像の処理領域Raとする。推定部21は、白線の過去の認識結果、検出された車速及びヨーレートに基づいて、拡大した処理領域において白線が存在する存在領域を推定する。
なお、図6は、水平方向に拡大された処理領域から非処理領域Rbを除いた領域を処理領域Raとしている。垂直方向に拡大された処理領域、又は水平方向及び垂直方向に拡大された処理領域から非処理領域Rbを除いた領域を処理領域Raとする場合も、同様である。
次に、白線を認識する処理手順について、図7のフローチャートを参照して説明する。本処理手順は、車載カメラ10により前方画像が撮影される度に、白線認識装置20が実行する。
まず、車載カメラ10により撮影された前方画像を取得する(S10)。続いて、S10で抽出した前方画像の処理領域Raに、sobelフィルタ等を適用してエッジ点を抽出する(S11)。詳しくは、白線の内側及び外側の輪郭線を構成するアップエッジ点及びダウンエッジ点を抽出する。このとき、前回の処理周期において、車線変更ありと判定している場合は、処理領域Raを変更する。
続いて、S11で抽出したエッジ点をハフ変換する(S12)。続いて、ハフ変換により算出された直線のうち、所定の条件を満たす白線の内側及び外側の直線(輪郭線)に基づいて、白線候補(走行区画線候補)を抽出する(S13)。所定の条件としては、ハフ変換投票数が所定数よりも多いこと、白線の内側及び外側の輪郭線の平行からのずれ(平行度)が、平行閾値よりも小さいこと等である。なお、白線の内側及び外側の輪郭線が完全に平行な場合に、平行からのずれは0すなわち平行度0となる。
続いて、S13で抽出した白線候補を絞り込み、最も白線らしい白線候補を白線として検知する(S14)。具体的には、白線の条件を最も満たす白線候補を、最も白線らしい白線候補として選択する。白線の条件としては、同じ白線に対応する白線候補が継続閾値よりも継続して抽出されていること等が挙げられる。
続いて、S14で検知した白線の座標を鳥瞰座標に変換する(S15)。続いて、鳥瞰座標に変換した白線から、白線パラメータを推定する(S16)。白線パラメータは、車線の曲率、車線内での車両40の横変位、車両40に対する車線の傾き、車線幅等である。
続いて、車線変更があるか否か判定する(S17)。詳しくは、車両40が将来車線変更を行う場合、及び車両40が現在車線変更を行っている場合に、車線変更ありと判定する。例えば、車両40と認識した白線とのなす角度が、所定角度よりも大きくなった場合に、車両40が将来車線変更を行う、又は車両40が現在車線変更を行っていると判定し、車線変更ありと判定する。そして、車線変更ありと判定した場合は、左側及び右側のどちら側に車線変更するのか判定する。車線変更後の車線の走行を開始した際には、車両40と認識した白線とのなす角度は、所定角度よりも小さくなり、車線変更なしの判定となる。なお、車両40と認識した白線とのなす角度は、白線パラメータの車線の傾きから算出できる。以上で本処理を終了する。
以上説明した第1実施形態によれば、以下の効果を奏する。
・車線変更ありの判定中は、車線変更に対応するように処理領域Raが所定領域から変更される。これにより、車線変更時に、車線変更後の白線Wc,Wbを早期に検知し、白線の認識の安定性を向上させることができる。
・車線変更ありの判定中は、車線変更後における車線の両側の白線Wc,Wbのうち、車線変更前の車線から遠い側の白線Wbが処理領域Raに含まれるように、処理領域Raが車線変更後の方向へ拡大される。これにより、車線変更時に、車線変更後の車線の白線Wc,Wbを早期に検知でき、片側の白線Wcのみの認識状態となることを抑制できる。
・車線変更ありの判定中は、車線変更前における車線の両側の白線Wa,Wcのうち、車線変更後の車線から遠い側の白線Waが処理領域Raに含まれるように、処理領域Raが車線変更の方向と反対方向へ拡大される。これにより、車線変更時に、車線変更前の車線の白線Wa,Wcを検知し続けることができ、片側の白線Wcのみの認識状態となることを抑制できる。
・車線変更ありの判定中は、処理領域Raが画像の垂直方向に拡大される。これにより、車線変更時に、画像の端に表れる車線変更後の車線の白線Wbや、車線変更前の車線の白線Waを、検知しやすくすることができる。
・車線変更ありの判定中は、処理領域Raが画像の水平方向に拡大される。これにより、車線変更時に、画像の端に表れる車線変更後の車線の白線Wbや、車線変更前の車線の白線Waを、検知しやすくすることができる。
・拡大した処理領域において処理しない非処理領域Rbが設定され、拡大した処理領域から非処理領域Rbを除いた領域が、画像の処理領域Raとされる。よって、車線変更時に、処理負荷を抑制しつつ、車線変更後の車線の白線Wbを早期に検知したり、車線変更前の車線の白線Waを検知し続けたりすることができる。
・白線の過去の認識結果に基づいて、拡大した処理領域において白線が存在する存在領域が推定され、推定された存在領域以外が非処理領域Rbに設定される。よって、車線変更時に、処理負荷を抑制しつつ、車線変更後の車線の白線Wbや車線変更前の車線の白線Waの未検知を抑制できる。
・車両40と認識した白線とのなす角度が所定角度よりも大きくなった場合は、車両が白線を横切ろうとしている場合なので、車両40が将来車線変更を行う、又は車両40が現在車線変更を行っていると判定できる。
(第2実施形態)
第1実施形態では、車線変更中に画像の処理領域Raを変更することにより、車線変更後の車線の白線Wc,Wbを早期に検知できるようにした。これに対して、第2実施形態では、変更判定部22により車線変更があると判定されている間、前方画像において白線を検知するまでの条件を緩和して、車線変更中に白線を検知しやすくする。
図8に、第2実施形態に係る白線認識装置50及びその周辺装置の構成を示す。白線認識装置50は、第1実施形態に係る白線認識装置20と同様に、車載カメラ10により撮影された前方画像に基づいて、車線の左右を区画する白線を認識する車載装置である。白線認識装置50は、CPU、RAM、ROM、I/O及び記憶装置等を備えたコンピュータである。CPUが、ROMに記憶されている各種プログラムを実行することにより、変更判定部22、緩和部(緩和手段)25、候補抽出部(候補抽出手段)26、選択部(選択手段)27、追跡部(追跡手段)28、一致判定部(一致判定手段)29等の各機能を実現し、白線を認識する。本実施形態に係る白線を認識する基本的な処理手順は、図7に示すフローチャートと同様である。
候補抽出部26は、前方画像から所定の条件を満たす白線候補を抽出する。選択部27は、追跡部28及び一致判定部29を含み、候補抽出部26により抽出された白線候補から、白線の条件を最も満たす白線候補を、最も白線らしい白線候補として選択する。白線の条件としては、同じ白線に対応する白線候補が継続閾値よりも継続して抽出されていること等が挙げられる。
追跡部28は、同一の白線に対応する白線候補が継続閾値よりも長く継続して抽出されたことを条件として、継続して抽出された白線候補を白線として検知する。詳しくは、追跡部28は、同一の白線に対応する白線候補が、継続閾値よりも多くのフレームで継続して抽出されたことを条件として、又は継続閾値よりも長い距離継続して抽出されたことを条件として、継続して抽出された白線候補を白線として検知する。一致判定部29は、候補抽出部26により今回抽出された白線候補と、過去に抽出された白線候補とのずれ量が一致閾値よりも小さいことを条件として、今回抽出された白線候補と過去に抽出された白線候補とが同一の白線に対応すると判定する。ずれ量は、例えば前方画像の水平方向におけるずれ量である。
緩和部25は、車線変更がありと判定されている間、白線が検知されやすくなるように、情報画像に基づいて車線の白線を検知するまでの条件を緩和する。すなわち、緩和部25は、候補抽出部26による白線候補の抽出条件、及び選択部27による白線候補の選択条件を緩和する。
具体的には、緩和部25は、車線変更ありの判定中は、画像の端に近づくほど、白線の内側及び外側の輪郭線の平行条件を緩和する。すなわち、緩和部25は、図7のフローチャートのS13の処理において、前回の処理で車線変更ありと判定された場合に、平行閾値を大きくする。
前方画像の端に近づくほど、白線候補の輪郭線の位置や角度の算出精度が低くなるため、前方画像の中央付近よりも平行条件を満たしにくくなる。これに対して、車線変更中は、前方画像の端に近づくほど平行条件を緩和することにより、車線変更時に、画像の端に表れる車線変更後の車線の白線Wbや、車線変更前の車線の白線Waを検知しやすくなる。
また、緩和部25は、車線変更ありの判定中は、白線候補の継続条件を緩和する。すなわち、緩和部25は、図7のフローチャートのS14の処理において、前回の処理で車線変更ありと判定された場合に、継続閾値を小さくする。
画像の端に表れる白線は、処理領域内に含まれる長さが短くなる。これに対して、車線変更中は、継続閾値を小さくすることにより、車線変更時に、前方画面の端に表れる車線変更後の車線の白線Wbや、車線変更前の車線の白線Waを検知しやすくなる。
また、緩和部25は、車線変更ありの判定中は、白線候補の一致条件を緩和する。すなわち、緩和部25は、図7のフローチャートのS14の処理において、前回の処理で車線変更ありと判定された場合に、一致閾値を大きくする。
前方画像の端では、白線候補の位置や角度の算出精度が低くなるため、前方画像の中央付近よりも一致条件を満たしにくくなる。これに対して、車線変更中は、一致条件を緩和することにより、車線変更時に、前方画面の端に表れる車線変更後の車線の白線Wbや、車線変更前の車線の白線Waを検知しやすくなる。
以上説明した第2実施形態によれば、以下の効果を奏する。
・車線変更ありの判定中は、白線が検知されやすくなるように、前方画像に基づいて走白線を検知するまでの条件が緩和される。よって、車線変更時に、前方画像の端に表れる車線変更後の車線の白線Wbを早期に検知したり、車線変更前の車線の白線Waを検知し続けたりすることができ、白線の認識の安定性を向上させることができる。
・前方画像から白線候補が抽出され、同一の白線に対応する白線候補が継続閾値よりも長く継続して抽出されたことを条件として、白線候補が白線として検知される。そして、車線変更ありの判定中は、継続閾値が小さくされるため、白線候補が白線として検知されやすくなる。したがって、車線変更時に、前方画像の端に表れる車線変更後の車線の白線Wbを早期に検知したり、車線変更前の車線の白線Waを検知し続けたりすることができる。
・今回抽出された白線候補と、過去に抽出された白線候補とのずれ量が一致閾値よりも小さいことを条件として、今回抽出された白線候補と過去に抽出された白線候補とが、同一の白線に対応すると判定される。そして、車線変更ありの判定中は、一致閾値が大きくされるため、白線候補が同一の走行区画線に対応すると判定されやすくなる。したがって、車線変更時に、前方画像の端に表れる車線変更後の車線の白線を早期に検知したり、車線変更前の車線の白線を検知し続けたりすることができる。
・前方画像から白線の内側及び外側の輪郭線が抽出され、抽出された内側及び外側の輪郭線の平行からのずれが平行閾値よりも小さいことを条件として、内側及び外側の輪郭線に基づいて白線候補が抽出される。そして、抽出された白線候補から選択された白線候補が白線として検知される。そして、車線変更ありの判定中は、前方画像の端に近づくほど、平行閾値が大きくされて平行条件が緩和される。よって、車線変更ありの判定中は、前方画像の端において白線候補が抽出されやすくなる。したがって、車線変更時に、前方画像の端に表れる車線変更後の車線の白線Wbを早期に検知したり、車線変更前の車線の白線Waを検知し続けたりすることができる。
(他の実施形態)
・第1実施形態において、非処理領域Rbを、処理領域における複数の水平方向の探索ラインとしてもよい。探索ラインは、エッジ点を画像の水平方向に探索するラインである。すなわち、所定領域から拡大した後、画像の鉛直方向に例えば所定の間隔で探索ラインを間引いた領域を画像の処理領域Raとしてもよい。
・第1実施形態において、処理負荷が大きくなるおそれはあるが、非処理領域Rbを設定せず、所定領域から拡大した領域を処理領域Raとしてもよい。
・第1実施形態において、処理領域を所定領域から拡大する際に、車線変更の方向及び車線変更と反対方向のいずれか一方にのみ拡大してもよい。
・前方画像を車載カメラ10により撮影された画像から切り出した画像とし、画像の処理領域Raは前方画像全体としてもよい。この場合、車線変更中は、前方画像の大きさを変更する。
・第2実施形態において、情報画像に基づいて車線の白線を検知するまでの条件の緩和は、少なくとも1つの条件を緩和すればよい。
・第1実施形態に係る処理領域Raの変更と、第2実施形態に係る白線を検知するまでの条件の緩和とを、どちらも実施してもよい。このようにすれば、更に効果的である。
・車線の片側において、車両40と認識した白線との距離が所定距離よりも短くなった場合に、車線変更ありと判定してもよい。車両40と認識した白線との距離は、白線パラメータの横変位から算出できる。
・車線の水平方向における車両40の速度が所定速度よりも大きくなった場合に、車線変更ありと判定してもよい。車線の水平方向における車両40の速度は、車両の横変位の時間変化から算出できる。
・高速道路走行中に、車両40の方向指示器が作動された場合には、車線変更ありと判定してもよい。一般的に、ドライバが高速道路走行中に方向指示器を作動するのは、車線変更しようとするときに限られる。よって、高速道路走行中に方向指示器が作動された場合は、車両40が将来車線変更行う、又は車両40が現在車線変更を行っていると判定できる。
10…車載カメラ、20,50…白線認識装置、40…車両。

Claims (15)

  1. 車両(40)の車載カメラ(10)により撮影された前方画像の所定領域である処理領域において、車線の左右を区画する走行区画線を認識する走行区画線認識装置(20)であって、
    前記車両による車線変更の有無を判定する変更判定手段と、
    前記変更判定手段により前記車線変更があると判定されている間、前記車線変更に対応するように前記処理領域を前記所定領域から変更する変更手段と、を備えることを特徴とする走行区画線認識装置。
  2. 前記変更手段は、前記車線変更の後における前記車線の両側の前記区画線のうち、前記車線変更の前の前記車線から遠い側の前記区画線が前記処理領域に含まれるように、前記処理領域を前記車線変更の方向へ拡大する請求項1に記載の走行区画線認識装置。
  3. 前記変更手段は、前記車線変更の前における前記車線の両側の前記区画線のうち、前記車線変更の後の前記車線から遠い側の前記区画線が前記処理領域に含まれるように、前記処理領域を前記車線変更の方向と反対方向へ拡大する請求項1又は2に記載の走行区画線認識装置。
  4. 前記変更手段は、前記画像の垂直方向に前記処理領域を拡大する請求項1〜3のいずれかに記載の走行区画線認識装置。
  5. 前記変更手段は、前記画像の水平方向に前記処理領域を拡大する請求項1〜4のいずれかに記載の走行区画線認識装置。
  6. 前記変更手段は、拡大した前記処理領域において処理しない非処理領域を設定する設定手段を含み、拡大した前記処理領域から前記設定手段により設定された前記非処理領域を除いた領域を、前記画像の処理領域とする請求項2〜5のいずれかに記載の走行区画線認識装置。
  7. 前記区画線の過去の認識結果に基づいて、拡大した前記処理領域において前記区画線が存在する存在領域を推定する推定手段を備え、
    前記設定手段は、前記推定手段により推定された前記存在領域以外を前記非処理領域に設定する請求項6に記載の走行区画線認識装置。
  8. 前記変更判定手段により前記車線変更があると判定されている間、前記区画線が検知されやすくなるように、前記画像において前記区画線を検知するまでの条件を緩和する緩和手段を備えることを特徴とする請求項1〜7のいずれかに記載の走行区画線認識装置。
  9. 車両(40)の車載カメラ(10)により撮影された前方画像に基づいて、車線の左右を区画する走行区画線を認識する走行区画線認識装置(50)であって、
    前記車両による車線変更の有無を判定する変更判定手段と、
    前記変更判定手段により前記車線変更があると判定されている間、前記区画線が検知されやすくなるように、前記画像に基づいて前記区画線を検知するまでの条件を緩和する緩和手段を備えることを特徴とする走行区画線認識装置。
  10. 前記画像から走行区画線候補を抽出する候補抽出手段と、
    前記候補抽出手段により、同一の前記区画線に対応する前記区画線候補が継続閾値よりも長く継続して抽出されたことを条件として、前記区画線候補を前記区画線として検知する追跡手段と、を備え、
    前記緩和手段は、前記変更判定手段により前記車線変更があると判定されている間、前記継続閾値を小さくする請求項8又は9に記載の走行区画線認識装置。
  11. 前記画像から走行区画線候補を抽出する候補抽出手段と、
    前記候補抽出手段により今回抽出された前記区画線候補と、過去に抽出された前記区画線候補とのずれ量が一致閾値よりも小さいことを条件として、今回抽出された前記区画線候補と過去に抽出された前記区画線候補とが同一の前記区画線に対応すると判定する一致判定手段と、
    前記候補抽出手段により、同一の前記区画線に対応する前記区画線候補が継続して抽出されたことを条件として、前記区画線候補を前記区画線として検知する追跡手段と、を備え、
    前記緩和手段は、前記変更判定手段により前記車線変更があると判定されている間、前記一致閾値を大きくする請求項8〜10のいずれかに記載の走行区画線認識装置。
  12. 前記画像から前記区画線の内側及び外側の輪郭線を抽出し、抽出した前記内側及び外側の輪郭線の平行からのずれが平行閾値よりも小さいことを条件として、前記内側及び外側の輪郭線に基づいて走行区画線候補を抽出する候補抽出手段と、
    前記候補抽出手段により抽出された前記区画線候補から選択した前記区画線候補を前記区画線として検知する選択手段と、を備え、
    前記緩和手段は、前記変更判定手段により前記車線変更があると判定されている間、前記画像の端に近づくほど前記平行閾値を大きくする請求項8〜11のいずれかに記載の走行区画線認識装置。
  13. 前記変更判定手段は、前記車両と前記区画線とのなす角度が所定角度よりも大きい場合に、前記車線変更があると判定する請求項1〜12のいずれかに記載の走行区画線認識装置。
  14. 前記変更判定手段は、前記車両と前記区画線との距離が所定距離よりも短い場合に、前記車線変更があると判定する請求項1〜12のいずれかに記載の走行区画線認識装置。
  15. 前記変更判定手段は、前記車線の水平方向における前記車両の速度が所定速度よりも大きい場合に、前記車線変更があると判定する請求項1〜12のいずれかに記載の走行区画線認識装置。
JP2014213326A 2014-10-20 2014-10-20 走行区画線認識装置 Active JP6165120B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014213326A JP6165120B2 (ja) 2014-10-20 2014-10-20 走行区画線認識装置
US14/886,918 US9792508B2 (en) 2014-10-20 2015-10-19 Apparatus for recognizing lane partition lines

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014213326A JP6165120B2 (ja) 2014-10-20 2014-10-20 走行区画線認識装置

Publications (2)

Publication Number Publication Date
JP2016081362A true JP2016081362A (ja) 2016-05-16
JP6165120B2 JP6165120B2 (ja) 2017-07-19

Family

ID=55749324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014213326A Active JP6165120B2 (ja) 2014-10-20 2014-10-20 走行区画線認識装置

Country Status (2)

Country Link
US (1) US9792508B2 (ja)
JP (1) JP6165120B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012179A1 (ja) * 2016-07-12 2018-01-18 日産自動車株式会社 走行制御方法及び走行制御装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6363516B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 車両の走行制御装置
CN106886217B (zh) * 2017-02-24 2020-09-08 深圳中智卫安机器人技术有限公司 自主导航控制方法和装置
US11360475B2 (en) * 2017-12-05 2022-06-14 Waymo Llc Real-time lane change selection for autonomous vehicles
JP7028066B2 (ja) 2018-05-30 2022-03-02 株式会社Ihi 検知装置及び検知システム
JP7077910B2 (ja) * 2018-10-22 2022-05-31 トヨタ自動車株式会社 区画線検出装置及び区画線検出方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935198A (ja) * 1995-07-14 1997-02-07 Mitsubishi Electric Corp 車両用走行路検出装置
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP2007241468A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車線変更検出装置
JP2011070411A (ja) * 2009-09-25 2011-04-07 Clarion Co Ltd センサコントローラ、ナビゲーション装置、センサ制御方法
JP2011148479A (ja) * 2009-07-15 2011-08-04 Nissan Motor Co Ltd 車両運転支援装置
JP2014048885A (ja) * 2012-08-31 2014-03-17 Daimler Ag 注意力低下検出システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153551A (ja) 1997-08-04 1999-02-26 Toyota Motor Corp ライン検出装置
JP3482166B2 (ja) * 1999-12-08 2003-12-22 本田技研工業株式会社 車両用運転状況監視装置
JP4513318B2 (ja) * 2003-12-10 2010-07-28 日産自動車株式会社 後側方画像制御装置および方法
JP4532372B2 (ja) 2005-09-02 2010-08-25 トヨタ自動車株式会社 道路区画線検出装置
WO2013031095A1 (ja) * 2011-08-31 2013-03-07 日産自動車株式会社 車両運転支援装置
JP5810842B2 (ja) * 2011-11-02 2015-11-11 アイシン・エィ・ダブリュ株式会社 レーン案内表示システム、方法およびプログラム
US9096267B2 (en) * 2013-01-21 2015-08-04 GM Global Technology Operations LLC Efficient data flow algorithms for autonomous lane changing, passing and overtaking behaviors
DE102013010983B4 (de) * 2013-07-01 2023-02-23 Audi Ag Verfahren zum Betreiben eines Kraftwagens bei einem Spurwechsel und Kraftwagen
JP5970513B2 (ja) * 2014-09-29 2016-08-17 富士重工業株式会社 運転支援制御装置
JP6486640B2 (ja) * 2014-10-09 2019-03-20 株式会社日立製作所 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0935198A (ja) * 1995-07-14 1997-02-07 Mitsubishi Electric Corp 車両用走行路検出装置
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP2007241468A (ja) * 2006-03-06 2007-09-20 Toyota Motor Corp 車線変更検出装置
JP2011148479A (ja) * 2009-07-15 2011-08-04 Nissan Motor Co Ltd 車両運転支援装置
US20120166017A1 (en) * 2009-07-15 2012-06-28 Nissan Motor Co., Ltd. Vehicle driving assistant and vehicle driving assisting method
JP2011070411A (ja) * 2009-09-25 2011-04-07 Clarion Co Ltd センサコントローラ、ナビゲーション装置、センサ制御方法
JP2014048885A (ja) * 2012-08-31 2014-03-17 Daimler Ag 注意力低下検出システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018012179A1 (ja) * 2016-07-12 2018-01-18 日産自動車株式会社 走行制御方法及び走行制御装置
JPWO2018012179A1 (ja) * 2016-07-12 2019-05-30 日産自動車株式会社 走行制御方法及び走行制御装置
US10946858B2 (en) 2016-07-12 2021-03-16 Nissan Motor Co., Ltd. Travel control method and travel control apparatus

Also Published As

Publication number Publication date
JP6165120B2 (ja) 2017-07-19
US20160110616A1 (en) 2016-04-21
US9792508B2 (en) 2017-10-17

Similar Documents

Publication Publication Date Title
JP6096723B2 (ja) 走行区画線認識装置及び走行区画線認識プログラム
JP6165120B2 (ja) 走行区画線認識装置
JP6132359B2 (ja) 走行区画線認識装置
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
US20150269445A1 (en) Travel division line recognition apparatus and travel division line recognition program
JP6774297B2 (ja) 車両認識装置及び車両認識方法
US9965691B2 (en) Apparatus for recognizing lane partition lines
US9594965B2 (en) Lane boundary lane recognition device and computer-readable storage medium storing program for recognizing lane boundary lines on roadway
JP6468136B2 (ja) 走行支援装置及び走行支援方法
JP4322913B2 (ja) 画像認識装置、画像認識方法および電子制御装置
US9530063B2 (en) Lane-line recognition apparatus including a masking area setter to set a masking area ahead of a vehicle in an image captured by an image capture unit
US9665780B2 (en) Travel division line recognition apparatus and travel division line recognition program
US20080008355A1 (en) Image recognition apparatus, image recognition method, and vehicle control apparatus
US9672429B2 (en) Boundary line recognizer device
JP6456682B2 (ja) 走行区画線認識装置
US9776565B2 (en) Apparatus and method for recognizing lane-changing vehicle through recognition of adjacent lane
JP2016173711A (ja) 走行区画線認識装置
JP6408935B2 (ja) 走行区画線認識装置
JP2016018256A (ja) 分岐合流判定装置
JP6617696B2 (ja) 車両制御装置、車両制御方法
JP2006146956A (ja) 車両用走路判定装置
JP2016197018A (ja) 衝突回避支援装置
JP2008015771A (ja) 画像認識装置、画像認識方法および車両制御装置
JP2015215661A (ja) 認識装置
JP2022088094A (ja) 画像認識装置及び画像認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170620

R150 Certificate of patent or registration of utility model

Ref document number: 6165120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250