JP2013025535A - 車線認識装置 - Google Patents

車線認識装置 Download PDF

Info

Publication number
JP2013025535A
JP2013025535A JP2011159101A JP2011159101A JP2013025535A JP 2013025535 A JP2013025535 A JP 2013025535A JP 2011159101 A JP2011159101 A JP 2011159101A JP 2011159101 A JP2011159101 A JP 2011159101A JP 2013025535 A JP2013025535 A JP 2013025535A
Authority
JP
Japan
Prior art keywords
lane
virtual
road
recognition device
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011159101A
Other languages
English (en)
Other versions
JP5594246B2 (ja
Inventor
Shunsuke Suzuki
俊輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2011159101A priority Critical patent/JP5594246B2/ja
Priority to KR1020147001431A priority patent/KR20140027479A/ko
Priority to US14/233,095 priority patent/US9544546B2/en
Priority to PCT/JP2012/067966 priority patent/WO2013011952A1/ja
Priority to DE112012003040.0T priority patent/DE112012003040T5/de
Publication of JP2013025535A publication Critical patent/JP2013025535A/ja
Application granted granted Critical
Publication of JP5594246B2 publication Critical patent/JP5594246B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

【課題】車線が認識できない場合でも、仮想車線を設定することができる車線認識装置を提供すること。
【解決手段】自車両の前方の道路を含む領域の画像を撮影する撮影手段11と、前記画像における道路の領域の輝度を検出する輝度検出手段13と、前記輝度検出手段13で検出した輝度に基づき、前記画像における道路の車線を認識する車線認識手段13と、前記車線認識手段13で認識した車線の位置を記憶する記憶手段3と、前記車線認識手段13で前記車線が認識できないとき、前記記憶手段3に記憶された車線の位置に基づき、仮想車線を設定する仮想車線設定手段13と、を備えることを特徴とする車線認識装置1。
【選択図】図1

Description

本発明は車線認識装置に関する。
従来、自車両の前方の道路を含む領域の画像を撮影し、その画像における輝度の変化に基づき、道路の車線(例えば白線)を認識する車線認識装置が知られている(特許文献1参照)。この車線認識装置は、例えば、自車両が車線を逸脱することを警告する車載システムに利用できる。すなわち、車線認識装置で認識した車線と、ヨーセンサや車速センサに基づいて予測した自車両の走行軌跡とを照合し、車線逸脱の危険性を判断することができる。
特許第3606276号公報
トンネル内等において、車線が低コントラストであるため、撮影した画像から車線を認識できないことがある。また、トンネルの出入りに伴う明るさの急変により、カメラで撮影した画像において、車線とそれ以外の領域との間における輝度の差が小さくなり、車線を認識できない場合がある。
本発明は以上の点に鑑みなされたものであり、車線が認識できない場合でも、仮想車線を設定することができる車線認識装置を提供することを目的とする。
本発明の車線認識装置は、自車両の前方の道路を含む領域の画像を撮影し、その画像における輝度を検出する。そして、検出した輝度に基づき、画像における道路の車線を認識する。
また、本発明の車線認識装置は、認識した車線の位置を記憶する記憶手段を備えており、車線が認識できないとき、記憶手段に記憶された車線の位置に基づき、仮想車線を設定する。
本発明の車線認識装置は、撮影した画像から車線を認識できない場合でも、過去に記憶しておいた車線に基づき、仮想車線を設定することができる。よって、車線を認識できない場合でも、仮想車線を用いて、所定の処理(例えば車線逸脱の危険を判定する処理)を実行することができる。
本発明の車線認識装置は、例えば、自車両がトンネル内にあることを検出するトンネル検出手段を備え、トンネル検出手段により、自車両がトンネル内にあることが検出されたことを条件として、仮想車線を設定することができる。
トンネル内の車線はコントラストが低く、また、トンネルの出入りに伴う明るさの急変により、カメラ等で撮影した画像からは車線を認識できない場合が多いが、本発明の車線認識装置によれば、トンネル内でも、仮想車線を設定し、その仮想車線を用いて、種々の処理(例えば車線逸脱の危険の判定等)を行うことができる。
また、トンネル内では、道路が分岐/合流したり、車線幅が変化したりすることが少ないので、過去に記憶しておいた車線に基づき、仮想車線を設定しても、仮想車線が実在の車線と大きく離れてしまうようなことがない。
本発明の車線認識装置は、例えば、自車両がトンネル内にない場合や、トンネル内にあるか不明の場合は、仮想車線を設定しないようにすることができる。
本発明の車線認識装置は、例えば、道路における一方の車線は認識している場合、その一方の車線から、記憶手段に記憶された一対の車線(道路の左右両側の車線)の間隔Iだけ離れた位置に、仮想車線を設定することができる。また、本発明の車線認識装置は、例えば、道路における両側の車線を認識していない場合、記憶手段に記憶された一対の車線の間隔Iだけ間隔を空けて、一対の仮想車線を設定することができる。
こうすることで、本発明の車線認識装置は、道路における左右いずれか一方の側の車線は認識している場合と、道路における両側の車線を認識していない場合とのいずれにおいても、仮想車線を適切に設定することができる。
道路における両側の車線を認識できず、一対の仮想車線を設定する場合、その一対の仮想車線の位置は、例えば、記憶手段に記憶された一対の車線の位置と同じとすることができる。
また、本発明の車線認識装置は、例えば、自車両の左右方向における移動量を検出する移動量検出手段を備えるものとすることができる。そして、道路における両側の車線を認識できず、一対の仮想車線を設定する場合、移動量検出手段で検出した、自車両の左右方向における移動量に応じて、一対の仮想車線の設定位置を調整することができる。
この場合、自車両の左右方向における移動量に応じて、一対の仮想車線の設定位置を調整するので、移動後の自車両の位置に応じて、仮想車線を一層正確に(実際の車線に近く)設定できる。
前記車線としては、例えば、実線や破線からなる白線や有色線等のペイント、または車両の走行方向に沿って間欠的に配置される道路鋲などによって構成される線が挙げられる。
本発明における記憶手段は、例えば、認識した車線の画像を記憶するものであってもよいし、認識した画像の特性(位置、形状等)を数値として記憶するものであってもよい。
車線認識装置1の構成を表すブロック図である。 車線認識装置1が所定時間ごとに繰り返し実行する処理を表すフローチャートでる。 エッジ抽出の処理を表す説明図である。 仮想車線設定処理を表す説明図である。 仮想車線設定処理を表す説明図である。 車線認識装置1が所定時間ごとに繰り返し実行する処理を表すフローチャートでる。 認識範囲及び閾値を設定する処理を表す説明図である。
本発明の実施形態を図面に基づいて説明する。
1.車線認識装置1の構成
車線認識装置1の構成を図1のブロック図に基づき説明する。車線認識装置1は、車両に搭載される。なお、以下では、車線認識装置1が搭載される車両を自車両とする。車線認識装置1は、画像センサ3、ヨーセンサ(移動量検出手段)5、車速センサ(移動量検出手段)7、及びナビゲーションシステム(トンネル検出手段)9を備えている。
上記画像センサ3は、カメラ(撮影手段)11と、画像処理ECU(輝度検出手段、車線認識手段、記憶手段、仮想車線設定手段、トンネル検出手段)13とを備える。カメラ11は、CCDカメラであり、自車両の前方の画像を撮影できる位置に設けられる。カメラ11で撮影する画像の範囲は、自車両の前方の道路を含む範囲である。カメラ11は、撮影した画像の画像データを画像処理ECU13へ出力する。また、カメラ11は、車外の明るさに応じて、自動的に露出を最適に調整する機能を有している。カメラ11は、露出設定値(すなわち、車外の明るさを反映したデータ)を、画像処理ECU13へ出力する。
画像処理ECU13は、マイクロコンピュータ等によって構成されるものであり、例えば、CPU、ROM、RAM、I/O、及びこれらを接続するバス(いずれも図示略)等を備えている。画像処理ECU13は、カメラ11から入力する画像データ、露出設定値や、ヨーセンサ5、車速センサ7、ナビゲーションシステム9等から入力するデータに基づき、後述する処理を実行する。また、画像処理ECU13は、後述する処理で認識する車線の位置に基づき、自車両が車線を逸脱する危険があると判断した場合は、自車両のハンドル15に、逸脱警報信号を出力する。ハンドル15は、逸脱警報信号が入力したとき、図示しない振動機構により振動し、自車両のドライバに車線逸脱の危険を報知する。
上記ヨーセンサ5は、自車両の旋回方向への角速度(即ち、ヨーレート)を検出し、その検出値を画像処理ECU13に出力する。上記車速センサ7は、自車両の車速を検出し、その検出値を画像処理ECU13に出力する。
上記ナビゲーションシステム9は、GPS機能により、自車両の位置を取得する。また、ナビゲーションシステム9は地図データ(トンネルの位置を特定できるもの)を保持している。ナビゲーションシステム9は、GPS機能で取得した自車両の位置と、地図データとを照合することにより、自車両がトンネル内にあるか否かを判断できる。ナビゲーションシステム9は、自車両がトンネル内にあると判断した場合は、その旨の信号を画像処理ECU13に出力する。
2.車線認識装置1が実行する処理
車線認識装置1が実行する処理を、図2〜図5に基づいて説明する。図2は、車線認識装置1が所定時間ごとに繰り返し実行する処理を表すフローチャートであり、図3は、後述するエッジ抽出を表す説明図であり、図4及び図5は後述する仮想車線設定処理を表す説明図である。
図2のステップ10では、カメラ11により、自車両の前方の画像を撮影し、その画像データを画像処理ECU13に取り込む。撮影する画像の範囲は、自車両の前方の道路を含む範囲である。
ステップ20では、道路上にある車線のエッジを抽出する。具体的には、以下のように行う。画像データのうち、道路が存在する領域(以下、道路対応領域)において、水平方向(自車両の進行方向に直交する方向)の走査線を設定する。その走査線上に位置する画素の輝度の微分曲線を算出する。例えば、走査線上に位置する画素の輝度が図3(a)に示すものであった場合、図3(b)に示す輝度の微分曲線が得られる。そしてさらに、図3(c)に示すように、微分値の絶対値をとる。なお、図3(a)において輝度が高くなっている部分は1つの車線であり、それ以外の部分は、道路(車線の部分を除く)である。図3(c)に示すように、微分値の絶対値を表す曲線に、所定の閾値をあてはめ、それらの交点を定める。走査線上におけるこの交点の位置を車線のエッジとして抽出する。
上記の処理を、画像データの道路対応領域において複数設定する走査線のそれぞれについて行う。その結果、自車両の進行方向に沿って、複数のエッジが抽出される。
ステップ30では、前記ステップ20で抽出した複数のエッジを通る直線をフィッティングにより算出する。この直線は、1つの車線における両側の境界線に該当する。そして、この直線の一対で挟まれた領域を、1つの車線として認識する。なお、車線は、通常、道路の左右両側にあるので、本ステップ30では、通常、道路の左右両側にある一対の車線が認識される。
ステップ40では、前記ステップ30で認識した車線の形状(直線、又は曲線)、及び位置を、画像処理ECU13のRAMに記憶する。なお、ここでいう車線の位置とは、カメラ11で撮像した画像内における位置(すなわち、自車両を基準とした位置)である。
ステップ50では、前記ステップ30において、道路の左右両側のうち、少なくとも一方の側で車線を認識できない事態(以下、ロストとする)があったか否かを判断する。ロストがあった場合はステップ60に進み、ロストがなかった場合は本処理を終了する。
ステップ60では、自車両がトンネル内にあるか否かを判断する。具体的には、以下の(A)〜(C)の条件のうち、1つでも成立すれば、自車両がトンネル内にあると判断し、1つも成立しなければ、トンネル外であると判断する。
(A)カメラ11から送られる露出設定値(すなわち、車外の明るさを反映したデータ) が、明るい状態に対応する値から、暗い状態に対応する値に急変し、その後、暗い状態に対応する値が継続していること。
(B)ナビゲーションシステム9から、自車両がトンネル内にある旨の信号を受信したこと。
(C)カメラ11で撮像した画像内に、トンネル内の天井灯の形状が認識できること。なお、画像処理ECU13は、予め、トンネル内の天井灯の形状パターンを保持しており、カメラ11で撮像した画像内に、その形状パターンが存在するか否かを、画像認識により判断する。
上記(A)〜(C)の条件のうち、1つでも成立し、自車両がトンネル内にあると判断した場合はステップ70に進み、トンネル内にないと判断した場合は本処理を終了する。
ステップ70では、前記ステップ40で記憶された認識結果として、信頼度の高いものが有るか否かを判断する。具体的には、前記ステップ40で記憶された時点から、本ステップ70の時点までの経過時間が所定時間以内であり、且つ記憶された車線がロストのないものである場合は、信頼度の高い認識結果(車線の記憶)があると判断する。一方、所定時間以内に記憶された認識結果が存在しない場合や、所定時間以内に記憶された認識結果が存在しても、それがロストを含むものである場合は、信頼度の高い認識結果がないと判断する。
信頼度の高い認識結果がある場合はステップ80に進み、信頼度の高い認識結果がない場合は本処理を終了する。
ステップ80では、道路の左右両側の車線を認識できないのか、左右両側のうちの一方の車線は認識できているのかを判断する。左右両側の車線を認識できない場合はステップ90に進み、左右両側のうちの一方の車線は認識できている場合はステップ100に進む。
ステップ90では、仮想車線設定処理Aを実行する。この仮想車線設定処理Aを図4に基づいて説明する。まず、前記ステップ40で記憶した車線のうち、ロストがなく、最も新しく記憶された車線を読み出す。図4に、この読み出した車線17L、17Rを示す。車線17Lは道路の左側の車線であり、17Rは道路の右側の車線である。
次に、車線17L、17Rを記憶した時点から、本ステップ90の時点までの、自車両の左右方向(自車両の進行方向に直交する方向)における移動量Dを算出する。この移動量Dは、ヨーセンサ5で検出するヨーレートと、車速センサ7で検出する車速とから算出できる。図4に、車線17L、17Rを記憶した時点での自車両の左右方向における位置P1と、本ステップ90を実行する時点での自車両の左右方向における位置P2を示す。P1とP2との距離が、移動量Dとなる。
次に、車線17L、17Rを、移動量Dの分だけ、自車両の移動方向(P1からP2へ向う方向)とは反対方向に移動する。車線17Lを移動させた車線を、仮想車線19Lとし、車線17Rを移動させた車線を、仮想車線19Rとする。
仮想車線19L、19Rの間隔Iは、車線17L、17Rの間隔Iと同じである。また、仮想車線19Lの形状(直線、又は曲線)は、車線17Lの形状と同じであり、仮想車線19Rの形状(直線、又は曲線)は、車線17Rの形状と同じである。
ステップ100では、仮想車線設定処理Bを実行する。この仮想車線設定処理Bを図5に基づいて説明する。ここでは、前記ステップ30において、図5に示すように、道路の左側の車線21Lは認識できたが、道路の右側の車線は認識できなかった事例について説明する。まず、前記ステップ40で記憶した車線のうち、最も新しく記憶され、ロストがない車線を読み出す。そして、この読み出した車線において、道路の左側の車線と右側の車線との間隔Iを算出する。
次に、図5に示すように、車線21Lから、間隔Iだけ離れた右側の位置に、仮想車線23Rを設定する。車線21Lと仮想車線23Rとは平行であり、両者の間隔はどこでもIである。また、仮想車線23Rの形状は、車線21Lの形状と同じである。例えば、車線21Lが直線であれば、仮想車線23Rも直線となる。また、車線21Lが曲線であれば、仮想車線23Rも、同じ曲率で、同じ方向に曲がる曲線となる。
また、図5の事例とは反対に、道路の右側の車線は認識できたが、道路の左側の車線は認識できなかった場合は、上と同様にして、認識できた車線の左側に、間隔Iだけ離して、仮想車線(道路の左側の車線)を設定する。
車線認識装置1は、上記のように認識した車線、又は設定した仮想車線を用いて、次の処理を実行する。
まず、自車両から、認識した車線、又は設定した仮想車線までの距離Xを算出する。この距離Xは、車線を認識できた場合は、自車両から、その認識した車線までの距離であり、車線を認識できなかった場合は、自車両から、認識できなかった車線に対応する、仮想車線までの距離である。
次に、ヨーセンサ5から取得したヨーレートおよび車速センサ7から取得した車両速度に基づいて、自車両の走行軌跡を予測する。さらに、上記の距離X、及び予測した自車両の走行軌跡に基づいて、自車両が車線(認識した車線、又は設定した仮想車線)を逸脱するまでに要する時間を算出する。そして、算出した時間が所定の閾値未満であれば、逸脱の危険ありと判定し、ハンドル15に対し、逸脱警報信号を出力する。
3.車線認識装置1が奏する効果
(1)車線認識装置1は、カメラ11で撮影した画像から車線を認識できない場合でも、過去に記憶しておいた車線に基づき、仮想車線を設定することができる。よって、車線を認識できない場合でも、仮想車線を用いて、車線逸脱の危険を判定することができる。
(2)車線認識装置1は、自車両がトンネル内にあることを条件として、仮想車線を設定する。トンネル内の車線はコントラストが低く、また、トンネルの出入りに伴う明るさの急変により、カメラ11で撮影した画像からは車線を認識できない場合が多いが、車線認識装置1によれば、トンネル内でも、仮想車線を設定し、その仮想車線を用いて、車線逸脱の危険を判定することができる。
また、トンネル内では、道路が分岐/合流したり、車線幅が変化したりすることが少ないので、過去に記憶しておいた車線に基づき、仮想車線を設定しても、仮想車線が実在の車線と大きく離れてしまうようなことがない。
(3)車線認識装置1は、道路における左右いずれか一方の側の車線は認識している場合と、道路における両側の車線を認識していない場合とのいずれにおいても、仮想車線を適切に設定することができる。
また、道路における両側に一対の仮想車線を設定する場合、自車両の左右方向における移動量に応じて、一対の仮想車線の設定位置を調整するので、移動後の自車両の位置に応じて、仮想車線を一層正確に設定できる。
4.参考例
(1)車線認識装置1が実行する処理
車線認識装置1は、図6のフローチャートに示す処理を所定時間ごとに繰り返し実行するものであってもよい。図6のステップ110では、カメラ11により、自車両の前方の画像を撮影し、その画像データを画像処理ECU13に取り込む。撮影する画像の範囲は、自車両の前方の道路を含む範囲である。
ステップ120では、前記ステップ20と同様にして、画像データにおいて、道路上の車線のエッジを抽出する。ただし、後述するステップ180において、認識範囲L1、L2が設定されている場合は、その範囲内でエッジを抽出する。また、後述するステップ190において、通常よりも低い閾値S1が設定されている場合は、その閾値S1を用いてエッジを抽出する。
ステップ130では、前記ステップ120で抽出した複数のエッジを通る直線をフィッティングにより算出する。この直線は、車線の両側の境界線に該当する。そして、この直線の一対で挟まれた領域を、1つの車線として認識する。
ステップ140では、前記ステップ130で認識した車線の形状(直線、又は曲線)、及び位置を、画像処理ECU13のRAMに記憶する。
ステップ150では、前記ステップ130において、道路の左右両側のうち、少なくとも一方の側で車線を認識できない事態(ロスト)があったか否かを判断する。ロストがあった場合はステップ160に進み、ロストがなかった場合はステップ200に進む。
ステップ160では、前記ステップ60と同様にして、自車両がトンネル内にあるか否かを判断する。自車両がトンネル内にあると判断した場合はステップ170に進み、トンネル内にないと判断した場合はステップ200に進む。
ステップ170では、前記ステップ140で記憶された認識結果として、信頼度の高いものが有るか否かを判断する。具体的には、前記ステップ140で記憶された時点から、本ステップ170の時点までの経過時間が所定時間以内であり、且つ記憶された車線がロストのないものである場合は、信頼度の高い認識結果があると判断する。一方、所定時間以内に記憶された認識結果が存在しない場合や、所定時間以内に記憶された認識結果が存在しても、それがロストを含むものである場合は、信頼度の高い認識結果がないと判断する。信頼度の高い認識結果がある場合はステップ180に進み、信頼度の高い認識結果がない場合はステップ200に進む。
ステップ180では、前記ステップ120において、エッジ抽出を行う範囲(以下、認識範囲)を限定する処理を行う。この処理を図7に基づいて説明する。図7における横軸は、エッジ抽出で用いる走査線上の位置であり、縦軸は、画素の輝度における微分値の絶対値である(前記ステップ20、120参照)。
例えば、前記ステップ120、130において、道路の左右両側の車線を認識できなかった場合を例に挙げる。まず、前記ステップ140で記憶した車線のうち、ロストがなく、最も新しく記憶された車線を読み出す。図7に示すように、その読み出した車線において、左側車線の中心位置をP3とし、右側車線の中心位置をP4とする。なお、中心位置P3、P4は、読み出した車線の記憶時点から、本ステップ180の時点までに、自車両の左右方向(自車両の進行方向に直交する方向)における移動量Dを考慮して決めてもよい。例えば、自車両が、左に移動量Dだけ移動している場合、中心位置P3、P4を、移動量Dの分だけ右側に移動させることができる。
走査線上において、中心位置P3を中心とする所定範囲を、認識範囲L1とし、中心位置P4を中心とする所定範囲を、認識範囲L2とする。認識範囲L1、L2を設定している状態において、前記ステップ120のエッジ抽出を行う場合、認識範囲L1、L2内のみでエッジ抽出を行う。なお、認識範囲L1、L2が設定されていない状態では、認識範囲L1、L2よりも広い、通常の認識範囲L0内でエッジ抽出を行う。
また、前記ステップ120、130において、道路の左右両側の車線のうち、左側の車線のみが認識できなかった場合は、中心位置P3を設定し、その中心位置P3を中心とする所定範囲を認識範囲L1とする。中心位置P3は、読み出した左側車線の中心位置であってもよいし、認識できた右側車線から、間隔I(読み出した左側車線と右側車線との間隔)の分だけ、左に移動した位置であってもよい。一方、認識範囲L2は設定しない。この状態で前記ステップ120のエッジ抽出を行う場合、道路の左半分の領域においては、認識範囲L1内のみでエッジ抽出を行う。また、道路の右半分の領域においては、通常の認識範囲L0内でエッジ抽出を行う。
また、前記ステップ120、130において、道路の左右両側の車線のうち、右側の車線のみが認識できなかった場合は、中心位置P4を設定し、その中心位置P4を中心とする所定範囲を認識範囲L2とする。中心位置P4は、読み出した右側車線の中心位置であってもよいし、認識できた左側車線から、間隔I(読み出した左側車線と右側車線との間隔)の分だけ、右に移動した位置であってもよい。一方、認識範囲L1は設定しない。この状態で前記ステップ120のエッジ抽出を行う場合、道路の右半分の領域においては、認識範囲L2内のみでエッジ抽出を行う。また、道路の左半分の領域においては、通常の認識範囲L0内でエッジ抽出を行う。
以上のように、本ステップ180では、車線を認識できない場合、車線のエッジ抽出(車線認識)を行う範囲を、過去に認識して記憶しておいた車線の位置に基づき、通常の範囲よりも狭く限定する。
ステップ190では、エッジ抽出に用いる閾値を低下させる。すなわち、認識範囲L1、又はL2を設定し、その範囲内のみでエッジ抽出を行う場合は、閾値を、通常の閾値S0から、それよりも低い閾値S1に低下させる。なお、認識範囲L1、L2が設定されていない車線については、通常の閾値S0が用いられる。
一方、前記ステップ150、160、170においてNOと判断された場合はステップ200に進む。ステップ200では、認識範囲L1、L2が設定されていれば、それを解除して、通常の認識範囲L0を設定する。また、閾値S1が設定されていれば、それを解除して、通常の閾値S0を設定する。また、認識範囲L1、L2、閾値S1が設定されていない場合は特に処理を行わない。ステップ200の実行後、本処理を終了する。
(2)参考例の車線認識装置1が奏する効果
車線認識装置1は、車線を認識できない場合、その車線を認識するために用いられる閾値を低下させる。そのため、トンネル内において、車線のコントラストが低く、また、トンネルの出入りに伴う明るさの急変により、車線を認識しにくい場合でも、車線を認識することができる。
また、車線認識装置1は、閾値を低下させる場合、エッジの認識範囲を、車線が存在する可能性が高い範囲に限定するので、閾値が低くても、ノイズを拾い難い。
また、車線認識装置1は、認識範囲L1、L2を、過去に認識して記憶しておいた車線の位置に基づき設定するので、認識範囲L1、L2を、実際の車線が存在する可能性が高い範囲をカバーするように、適切に設定できる。
また、車線認識装置1は、自車両がトンネル内にあることを条件として、認識範囲L1、L2を設定する。トンネル内では、道路が分岐/合流したり、車線幅が変化したりすることが少ないので、過去に記憶しておいた車線に基づき、認識範囲L1、L2を設定しても、実在の車線が認識範囲L1、L2から外れてしまうようなことがない。
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
1・・・車線認識装置、3・・・画像センサ、5・・・ヨーセンサ、
7・・・車速センサ、9・・・ナビゲーションシステム、11・・・カメラ、
13・・・画像処理ECU、15・・・ハンドル、
17L、17R、21L、・・・車線、
19L、19R、23R・・・仮想車線、L0・・・通常の認識範囲、
1、L2・・・認識範囲、P1、P2・・・位置、P3、P4・・・中心位置、
0・・・通常の閾値、S1・・・閾値

Claims (5)

  1. 自車両の前方の道路を含む領域の画像を撮影する撮影手段と、
    前記画像における輝度を検出する輝度検出手段と、
    前記輝度検出手段で検出した輝度に基づき、前記画像における道路の車線を認識する車線認識手段と、
    前記車線認識手段で認識した車線の位置を記憶する記憶手段と、
    前記車線認識手段で前記車線が認識できないとき、前記記憶手段に記憶された車線の位置に基づき、仮想車線を設定する仮想車線設定手段と、
    を備えることを特徴とする車線認識装置。
  2. 自車両がトンネル内にあることを検出するトンネル検出手段を備え、
    前記仮想車線設定手段は、前記トンネル検出手段により、自車両がトンネル内にあることが検出されたことを条件として、前記仮想車線を設定することを特徴とする請求項1記載の車線認識装置。
  3. 前記車線認識手段が、道路における一方の車線は認識している場合、前記仮想車線設定手段は、前記一方の車線から、前記記憶手段に記憶された一対の車線の間隔Iだけ離れた位置に、仮想車線を設定することを特徴とする請求項1又は2記載の車線認識装置。
  4. 前記車線認識手段が、道路における両側の車線を認識していない場合、前記仮想車線設定手段は、前記記憶手段に記憶された一対の車線の間隔Iだけ間隔を空けて、一対の仮想車線を設定することを特徴とする請求項1〜3のいずれか1項に記載の車線認識装置。
  5. 自車両の左右方向における移動量を検出する移動量検出手段を備え、
    前記仮想車線設定手段は、前記移動量検出手段で検出した、自車両の左右方向における移動量に応じて、前記一対の仮想車線の設定位置を調整することを特徴とする請求項4に記載の車線認識装置。
JP2011159101A 2011-07-20 2011-07-20 車線認識装置 Expired - Fee Related JP5594246B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011159101A JP5594246B2 (ja) 2011-07-20 2011-07-20 車線認識装置
KR1020147001431A KR20140027479A (ko) 2011-07-20 2012-07-13 차선 인식 장치
US14/233,095 US9544546B2 (en) 2011-07-20 2012-07-13 Cruising lane recognition in a tunnel
PCT/JP2012/067966 WO2013011952A1 (ja) 2011-07-20 2012-07-13 車線認識装置
DE112012003040.0T DE112012003040T5 (de) 2011-07-20 2012-07-13 Fahrspurerkennungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011159101A JP5594246B2 (ja) 2011-07-20 2011-07-20 車線認識装置

Publications (2)

Publication Number Publication Date
JP2013025535A true JP2013025535A (ja) 2013-02-04
JP5594246B2 JP5594246B2 (ja) 2014-09-24

Family

ID=47558130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011159101A Expired - Fee Related JP5594246B2 (ja) 2011-07-20 2011-07-20 車線認識装置

Country Status (5)

Country Link
US (1) US9544546B2 (ja)
JP (1) JP5594246B2 (ja)
KR (1) KR20140027479A (ja)
DE (1) DE112012003040T5 (ja)
WO (1) WO2013011952A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502511B1 (ko) * 2013-11-28 2015-03-13 현대모비스 주식회사 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
KR20150058892A (ko) * 2013-11-21 2015-05-29 현대모비스 주식회사 지수평활법을 이용한 차선 유지 제어 시스템 및 가상 차선 생성 장치
KR20150124634A (ko) * 2014-04-29 2015-11-06 주식회사 만도 차선 유지 보조 시스템 및 그의 차선 유지 제어 방법
JP6250120B1 (ja) * 2016-09-12 2017-12-20 三菱電機株式会社 車線維持支援装置および車線維持支援方法
KR20180015018A (ko) * 2016-08-02 2018-02-12 국민대학교산학협력단 차선정보 추정 방법
JP2018128906A (ja) * 2017-02-09 2018-08-16 本田技研工業株式会社 車両制御装置
WO2018198512A1 (ja) * 2017-04-24 2018-11-01 アイシン精機株式会社 駐車支援装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10406981B2 (en) * 2014-03-20 2019-09-10 Magna Electronics Inc. Vehicle vision system with curvature estimation
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP2015210661A (ja) * 2014-04-25 2015-11-24 日立建機株式会社 鉱山用作業車両用の路面推定装置および路面推定システム
JP6130809B2 (ja) * 2014-04-25 2017-05-17 本田技研工業株式会社 車線認識装置
JP6220327B2 (ja) * 2014-07-23 2017-10-25 株式会社Soken 走行区画線認識装置、走行区画線認識プログラム
JP6363516B2 (ja) * 2015-01-21 2018-07-25 株式会社デンソー 車両の走行制御装置
US10068133B2 (en) * 2016-01-22 2018-09-04 International Business Machines Corporation Pavement marking determination
US10019014B2 (en) * 2016-05-13 2018-07-10 Delphi Technologies, Inc. Lane-keeping system for automated vehicles
KR20180085981A (ko) * 2017-01-20 2018-07-30 (주)인스페이스 기준 위치 마커의 위치 보정 장치 및 방법
US10633027B2 (en) * 2017-06-21 2020-04-28 Toyota Research Institute, Inc. Enhanced virtual lane marker data for conveying a vehicle operational state
KR20190012370A (ko) * 2017-07-27 2019-02-11 삼성에스디에스 주식회사 차선 변경 지원 방법 및 장치
KR102541560B1 (ko) 2017-09-14 2023-06-08 삼성전자주식회사 객체 인식 방법 및 장치
KR102553247B1 (ko) * 2018-04-27 2023-07-07 주식회사 에이치엘클레무브 전방 차량 추종 제어 시 안전성을 향상할 수 있는 차선 유지 보조 시스템 및 방법
DE102018115317A1 (de) * 2018-06-26 2020-01-02 Valeo Schalter Und Sensoren Gmbh Verfahren und Fahrunterstützungssystem zum Betreiben eines Fahrzeugs oder zum Unterstützen eines Fahrers des Fahrzeugs unter Verwendung von Fahrspurinformation
DE102018214938A1 (de) * 2018-09-03 2020-03-05 Conti Temic Microelectronic Gmbh Die vorliegende Erfindung betrifft ein Verfahren zur Erhöhung der Verkehrssicherheit eines Ego-Fahrzeugs sowie ein Ego-Fahrzeug mit einem Fahrerassistenzsystem
JP7470024B2 (ja) * 2020-12-02 2024-04-17 株式会社Soken 画像認識装置及び画像認識方法
CN113395663A (zh) * 2021-07-19 2021-09-14 交通运输部公路科学研究所 一种基于车路协同的隧道内车辆定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049672A (ja) * 1996-07-29 1998-02-20 Toyota Motor Corp 走行制御装置
JP2003205805A (ja) * 2002-01-16 2003-07-22 Mitsubishi Motors Corp 車両用運転支援装置
JP2006011656A (ja) * 2004-06-23 2006-01-12 Toyota Motor Corp 車両運転支援装置
JP2006331389A (ja) * 2005-04-26 2006-12-07 Fuji Heavy Ind Ltd 車線認識装置
JP2009122744A (ja) * 2007-11-12 2009-06-04 Toyota Motor Corp 車両用逆走検出装置
JP2010218528A (ja) * 2009-03-18 2010-09-30 Hyundai Motor Co Ltd 仮想車線を用いる車線離脱警報方法及びそのシステム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3227248B2 (ja) 1993-01-29 2001-11-12 マツダ株式会社 走行車両の走行路白線検出装置
JP3612970B2 (ja) 1997-11-07 2005-01-26 日産自動車株式会社 トンネル検出装置及びそれを用いた車両制御装置
US6679608B2 (en) * 1999-01-25 2004-01-20 Gentex Corporation Sensor device having an integral anamorphic lens
JP2003091299A (ja) * 2001-07-13 2003-03-28 Honda Motor Co Ltd 車載用音声認識装置
JP2003123196A (ja) * 2001-10-10 2003-04-25 Denso Corp 車両の周辺監視装置及びプログラム
DE10157028A1 (de) * 2001-11-21 2003-06-05 Bosch Gmbh Robert Sensoreinrichtung, insbesondere zur Steuerung von Beleuchtungseinrichtungen eines Kraftfahrzeugs
AU2003281400A1 (en) * 2002-07-03 2004-01-23 Iwane Laboratories, Ltd. Automatic guide apparatus for public transport
JP4374211B2 (ja) 2002-08-27 2009-12-02 クラリオン株式会社 レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
JP3606276B2 (ja) 2002-11-26 2005-01-05 日産自動車株式会社 車線逸脱防止装置
JP4093208B2 (ja) * 2004-05-28 2008-06-04 トヨタ自動車株式会社 車両用走路判定装置
JP4496964B2 (ja) 2005-01-14 2010-07-07 株式会社デンソー 車両用トンネル検出装置および車両用ライト制御装置
JP4603421B2 (ja) * 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP4392389B2 (ja) * 2005-06-27 2009-12-24 本田技研工業株式会社 車両及び車線認識装置
JP2007024514A (ja) * 2005-07-12 2007-02-01 Datatron:Kk 車載情報表示装置およびこれを用いた車両情報通信システム
JP4108706B2 (ja) * 2005-10-31 2008-06-25 三菱電機株式会社 車線逸脱防止装置
DE602006019156D1 (de) * 2005-12-27 2011-02-03 Honda Motor Co Ltd Fahrzeug und Lenksteuerungsvorrichtung für ein Fahrzeug
JP4695983B2 (ja) * 2006-01-06 2011-06-08 クラリオン株式会社 交通情報処理装置
US8204278B2 (en) * 2006-11-28 2012-06-19 Fujitsu Limited Image recognition method
US8007022B2 (en) * 2007-02-15 2011-08-30 Honda Motor Co., Ltd. Front window shield for vehicle
JP4759547B2 (ja) * 2007-09-27 2011-08-31 日立オートモティブシステムズ株式会社 走行支援装置
JP5475257B2 (ja) 2008-08-06 2014-04-16 富士重工業株式会社 車線逸脱防止制御装置
JP2011064501A (ja) * 2009-09-15 2011-03-31 Sony Corp ナビゲーション装置、ナビゲーション方法及びナビゲーション機能付携帯電話機
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制***
US20110301813A1 (en) * 2010-06-07 2011-12-08 Denso International America, Inc. Customizable virtual lane mark display
JP5433525B2 (ja) * 2010-08-06 2014-03-05 株式会社日立製作所 車両走行支援装置及び道路標示の作成方法
KR20130068249A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 이동체의 위치 추정 장치 및 방법
EP3100206B1 (en) * 2014-01-30 2020-09-09 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049672A (ja) * 1996-07-29 1998-02-20 Toyota Motor Corp 走行制御装置
JP2003205805A (ja) * 2002-01-16 2003-07-22 Mitsubishi Motors Corp 車両用運転支援装置
JP2006011656A (ja) * 2004-06-23 2006-01-12 Toyota Motor Corp 車両運転支援装置
JP2006331389A (ja) * 2005-04-26 2006-12-07 Fuji Heavy Ind Ltd 車線認識装置
JP2009122744A (ja) * 2007-11-12 2009-06-04 Toyota Motor Corp 車両用逆走検出装置
JP2010218528A (ja) * 2009-03-18 2010-09-30 Hyundai Motor Co Ltd 仮想車線を用いる車線離脱警報方法及びそのシステム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150058892A (ko) * 2013-11-21 2015-05-29 현대모비스 주식회사 지수평활법을 이용한 차선 유지 제어 시스템 및 가상 차선 생성 장치
KR102083207B1 (ko) * 2013-11-21 2020-03-02 현대모비스 주식회사 지수평활법을 이용한 차선 유지 제어 시스템 및 가상 차선 생성 장치
US9552523B2 (en) 2013-11-28 2017-01-24 Hyundai Mobis Co., Ltd. Apparatus and method for generating virtual lane, and system for controlling lane keeping of vehicle with the apparatus
KR101502511B1 (ko) * 2013-11-28 2015-03-13 현대모비스 주식회사 가상 차선 생성 장치와 방법 및 상기 장치를 구비하는 차선 유지 제어 시스템
KR20150124634A (ko) * 2014-04-29 2015-11-06 주식회사 만도 차선 유지 보조 시스템 및 그의 차선 유지 제어 방법
KR102203947B1 (ko) * 2014-04-29 2021-01-18 주식회사 만도 차선 유지 보조 시스템 및 그의 차선 유지 제어 방법
KR101950175B1 (ko) * 2016-08-02 2019-02-20 국민대학교산학협력단 차선정보 추정 방법
KR20180015018A (ko) * 2016-08-02 2018-02-12 국민대학교산학협력단 차선정보 추정 방법
JP2018045267A (ja) * 2016-09-12 2018-03-22 三菱電機株式会社 車線維持支援装置および車線維持支援方法
JP6250120B1 (ja) * 2016-09-12 2017-12-20 三菱電機株式会社 車線維持支援装置および車線維持支援方法
JP2018128906A (ja) * 2017-02-09 2018-08-16 本田技研工業株式会社 車両制御装置
JP2018185589A (ja) * 2017-04-24 2018-11-22 アイシン精機株式会社 駐車支援装置
WO2018198512A1 (ja) * 2017-04-24 2018-11-01 アイシン精機株式会社 駐車支援装置

Also Published As

Publication number Publication date
WO2013011952A1 (ja) 2013-01-24
JP5594246B2 (ja) 2014-09-24
KR20140027479A (ko) 2014-03-06
US20140152829A1 (en) 2014-06-05
US9544546B2 (en) 2017-01-10
DE112012003040T5 (de) 2014-04-17

Similar Documents

Publication Publication Date Title
JP5594246B2 (ja) 車線認識装置
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
US10445596B2 (en) Camera device for vehicle
US10169669B2 (en) Driving assistance apparatus and driving assistance method
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP4962581B2 (ja) 区画線検出装置
WO2014129312A1 (ja) 車線境界線逸脱抑制装置
US9619717B2 (en) Lane-line recognition apparatus
JP6132359B2 (ja) 走行区画線認識装置
JP6140658B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
CN107209998B (zh) 车道线识别装置以及车道线识别方法
US20150220796A1 (en) Sign recognition apparatus and method for determining left- or right-hand traffic division and distance unit
JP4832489B2 (ja) 車線判定装置
JP5760884B2 (ja) 車両の旋回予測装置
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
US20190258894A1 (en) Detection based on fusion of multiple sensors
JP4913101B2 (ja) 車両用道路形状検出装置
JP2007257301A (ja) 車両用標識認識装置
JP6115429B2 (ja) 自車位置認識装置
JP6512044B2 (ja) 挙動検出装置
JP7255706B2 (ja) 信号機認識方法及び信号機認識装置
US20170124880A1 (en) Apparatus for recognizing vehicle location
EP3287940A1 (en) Intersection detection system for a vehicle
JP5813298B2 (ja) ドライブレコーダ、及び、画像記憶方法
US10339803B2 (en) Method for operating an assistance system of a motor vehicle and assistance system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140721

R151 Written notification of patent or utility model registration

Ref document number: 5594246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees