JP6141787B2 - レーンマーク認識装置 - Google Patents

レーンマーク認識装置 Download PDF

Info

Publication number
JP6141787B2
JP6141787B2 JP2014075846A JP2014075846A JP6141787B2 JP 6141787 B2 JP6141787 B2 JP 6141787B2 JP 2014075846 A JP2014075846 A JP 2014075846A JP 2014075846 A JP2014075846 A JP 2014075846A JP 6141787 B2 JP6141787 B2 JP 6141787B2
Authority
JP
Japan
Prior art keywords
lane mark
candidate
lane
image
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014075846A
Other languages
English (en)
Other versions
JP2015197829A (ja
Inventor
洋介 坂本
洋介 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2014075846A priority Critical patent/JP6141787B2/ja
Priority to US14/658,620 priority patent/US9436878B2/en
Priority to CN201510132119.9A priority patent/CN104978560B/zh
Priority to DE102015205685.6A priority patent/DE102015205685B4/de
Publication of JP2015197829A publication Critical patent/JP2015197829A/ja
Application granted granted Critical
Publication of JP6141787B2 publication Critical patent/JP6141787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両に搭載されたカメラの撮像画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置に関する。
従来より、車載カメラにより撮像された車両前方の道路の画像から、道路に設けられた走行車線区分用の白線等のレーンマークを認識するレーンマーク認識装置が知られている(例えば、特許文献1参照)。
特許文献1に記載されたレーンマーク認識装置は、カメラの撮像画像において白線を含まないようにウィンドウを設定して、ウィンドウ内の画像の輝度を路面輝度として求めている。そして、撮像画像からエッジ点を抽出し、負のエッジ点の左側に路面輝度よりも高い輝度を有する画素が所定幅以上あり、左端に正のエッジ点がある画像部分を白線候補点として、白線を認識している。
特開2005−157731
特許文献1に記載された発明によれば、路面輝度よりも輝度が低いレーンマークの補修跡が、レーンマークとして誤認識されることを防止することができる。しかしながら、レーンマークの補修跡の輝度が道路輝度よりも高い場合があり、この場合は、レーンマークの補修跡が、レーンマークとして誤認識されるおそれがある。
本発明はかかる背景に鑑みてなされたものであり、レーンマークの補修跡がレーンマークとして誤認識されることを防止したレーンマーク認識装置を提供することを目的とする。
本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置、車両、及びレーンマーク認識方法に関する。
そして、本発明のレーンマーク認識装置は、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、 前記候補画像部分に基づいてレーンマーク候補を検出し、近接した複数のレーンマーク候補を検出したときに、該近接した各レーンマーク候補について、前記撮像画像における対応領域の輝度に基づく参照値を算出し、該参照値が最も大きいレーンマーク候補をレーンマークとして認識するレーンマーク認識部と
を備えたことを特徴とする。
かかる本発明のレーンマーク認識装置によれば、前記レーンマーク認識部は、前記候補画像抽出部により抽出された前記候補画像部分に基づいて、レーンマーク候補を検出する。そして、前記レーンマーク認識部は、複数のレーンマーク候補を検出したときに、各レーンマーク候補について前記参照値を算出し、前記参照値が最も大きいレーンマーク候補をレーンマークとして認識する。ここで、前記撮像画像におけるレーンマークの補修跡の対応領域は、実際のレーンマークの対応領域よりも、レーンマークとしての特徴量を示す前記参照値が低くなる。
そこで、前記レーンマーク認識部により、前記参照値が最も大きいレーンマーク候補をレーンマークとして認識することによって、レーンマークの補修跡がレーンマークとして誤認識されることを防止することができる。さらに、複合線レーンマークを構成する連続線又は破線のレーンマークがレーンマークの補修跡であるとして除外され、複合線レーンマークが認識されない状況となることを防止することができる。
また、前記カメラはカラーカメラであり、
前記レーンマーク認識部は特定色のレーンマークを認識し、
前記参照値は、前記対応領域の前記特定色の度合いを示す値であることを特徴とする。
この構成によれば、前記レーンマーク認識部による認識対象が特定色のレーンマークである場合に、特定色の部分が減少したレーンマークの補修跡を除外して、レーンマークを認識することができる。
また、前記参照値は、前記対応領域の輝度値であることを特徴とする。
この構成によれば、前記参照値として前記対応領域の輝度値を用いることにより、簡易な処理によってレーンマークの補修跡を除外して、レーンマークを認識することができる。
また、前記レーンマーク認識部により認識されたレーンマークにより区画された車線内を前記車両が走行するように、前記車両の操舵制御を行う操舵制御部を備えたことを特徴とする。
この構成によれば、レーンマークの補修跡から誤認識されたレーンマークを利用して、前記車両の操舵制御が行われることを防止することができる。
次に、本発明の車両は、
周囲を撮像するカメラと、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像から、レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
前記候補画像部分に基づいてレーンマーク候補を検出し、近接した複数のレーンマーク候補を検出したときに、該近接した各レーンマーク候補について、前記撮像画像における対応領域の輝度に基づく参照値を算出し、該参照値が最も大きいレーンマーク候補をレーンマークとして認識するレーンマーク認識部と、を備え
前記レーンマーク認識部は、近接した複数のレーンマーク候補の前記参照値の差が所定値以下であるときに、該複数のレーンマーク候補に連続線レーンマークと破線レーンマークとが含まれるか否かを判断し、連続線レーンマークと破線レーンマークとが含まれるときには、該複数のレーンマークが複合線レーンマークであると認識することを特徴とする。
かかる本発明の車両によれば、前記レーンマーク認識部は、前記候補画像抽出部により抽出された前記候補画像部分に基づいて、レーンマーク候補を検出する。そして、前記レーンマーク認識部は、複数のレーンマーク候補を検出したときに、各レーンマーク候補について前記参照値を算出し、前記参照値が最も大きいレーンマーク候補をレーンマークとして認識する。ここで、前記撮像画像におけるレーンマークの補修跡の対応領域は、実際のレーンマークの対応領域よりも、レーンマークとしての特徴量を示す前記参照値が低くなる。
そこで、前記レーンマーク認識部により、前記参照値が最も大きいレーンマーク候補をレーンマークとして認識することによって、レーンマークの補修跡がレーンマークとして誤認識されることを防止することができる。
次に、本発明のレーンマーク認識方法は、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、 前記エッジ画像から、レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出工程と、
前記候補画像部分に基づいてレーンマーク候補を検出し、近接した複数のレーンマーク候補を検出したときに、該近接した各レーンマーク候補について、前記撮像画像における対応領域の輝度に基づく参照値を算出し、該参照値が最も大きいレーンマーク候補をレーンマークとして認識するレーンマーク認識工程と、を含み、
前記レーンマーク認識工程において、近接した複数のレーンマーク候補の前記参照値の差が所定値以下であるときに、該複数のレーンマーク候補に連続線レーンマークと破線レーンマークとが含まれるか否かを判断し、連続線レーンマークと破線レーンマークとが含まれるときには、該複数のレーンマークが複合線レーンマークであると認識することを特徴とする。
かかる本発明のレーンマーク認識方法によれば、前記レーンマーク認識工程により、前記候補画像抽出工程により抽出された前記候補画像部分に基づいて、レーンマーク候補を検出する。そして、前記レーンマーク認識部工程では、複数のレーンマーク候補を検出したときに、各レーンマーク候補について前記参照値を算出し、前記参照値が最も大きいレーンマーク候補をレーンマークとして認識する。ここで、前記撮像画像におけるレーンマークの補修跡の対応領域は、実際のレーンマークの対応領域よりも、レーンマークとしての特徴量を示す前記参照値が低くなる。
そこで、前記レーンマーク認識工程により、前記参照値が最も大きいレーンマーク候補をレーンマークとして認識することによって、レーンマークの補修跡がレーンマークとして誤認識されることを防止することができる。
レーンマーク認識装置の構成図。 レーンマーク認識処理のフローチャート。 撮像画像の説明図。 レーンマークの補修跡を除外する処理の説明図。 複合線レーンマークの認識処理の説明図。
本発明のレーンマーク認識装置の実施形態について、図1〜図5を参照して説明する。
図1を参照して、レーンマーク認識装置10は、カメラ2(カラーカメラ)、スピーカ5、表示器6、及び操舵機構7を備えた車両1(本発明の車両に相当する)に搭載されている。
レーンマーク認識装置10は、図示しないCPU、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持されたレーンマーク認識及び操舵制御用のプログラムをCPUで実行することにより、撮像画像取得部11、エッジ画像生成部12、候補画像部分抽出部13、レーンマーク認識部14、及び操舵制御部15として機能する。また、レーンマーク認識装置10により、本発明のレーンマーク認識方法が実施される。
以下、図2に示したフローチャートに従って、レーンマーク認識装置10により、道路に設けられたレーンマークを認識する処理について説明する。レーンマーク認識装置10は、所定の制御周期毎に図2に示したフローチャートによる処理を実行して、車両1が走行している道路のレーンマーク(連続線レーンマーク、及び破線レーンマーク)を認識する。
図2のSTEP1は撮像画像取得部11による処理である。撮像画像取得部11は、カメラ2から出力される車両1の前方(本発明の車両周囲に相当する)の映像信号を入力して、この映像信号のカラー成分(R値,G値,B値)をデモザイキングし、各画素のデータとしてR値,G値,B値を有するカラーの撮像画像21を取得する。そして、この撮像画像21のデータを画像メモリ20に保持する。
続くSTEP2はエッジ画像生成部12による処理である。なお、エッジ画像生成部12による処理工程は、本発明のレーンマーク認識方法におけるエッジ画像生成工程に相当する。
エッジ画像生成部12は、撮像画像21の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像(多値画像)を生成する。そして、エッジ画像生成部12は、グレースケール画像からエッジ点(周囲部の画素(画像部分)との輝度差(輝度の変化量)が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む)を抽出して、エッジ画像22(図1参照)を生成する。
なお、カメラ2がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるで、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。
ここで、図3(a)に示したIm1は撮像画像21から生成されたグレースケール画像の例であり、車両1(自車両)が走行している車線を区画する左側の破線レーンマーク51a〜54aと、右側の破線レーンマーク71a〜74aの画像部分が含まれている。また、Im1には、左側の破線レーンマーク51a〜54aに近接した、破線レーンマークの補修跡の画像部分61a〜63aが含まれている。
図3(b)に示したIm2は、グレースケール画像Im1に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Im2において、左側の破線レーンマークの画像部分51c〜54cと、右側の破線レーンマークの画像部分71c〜74cと、レーンマークの補修跡の画像部分61c〜63cとは、直線的に連続したエッジ点を多く含む画像部分となる。
続くSTEP3〜STEP4は、候補画像部分抽出部13による処理である。候補画像部分抽出部13は、エッジ画像Im2に対して、ひとかたまりになっているエッジ点(以下、エッジ部分という)にラベルを付するラべリングと、近接したエッジ部分を同一物体の画像部分であるとして関連付けるクラスタリングを行う。
また、候補画像部分抽出部13は、STEP4で、クラスタリングにより抽出された画像部分のうち、線特徴性を有する画像部分(例えば、直線的に連続したエッジ点の割合が所定レベル以上である画像部分)を、レーンマークの画像部分の候補である候補画像部分として抽出する。
なお、候補画像部分抽出部13による処理工程は、本発明のレーンマーク認識方法における候補画像部分抽出工程に相当する。
続くSTEP5〜STEP8、及びSTEP20、STEP21,STEP22は、レーンマーク認識部14による処理である。
なお、レーンマーク認識部14による処理工程は、本発明のレーンマーク認識方法におけるレーンマーク認識工程に相当する。
レーンマーク認識部14は、STEP5において、STEP4で抽出された各候補画像部分に対して、カメラ座標から実空間座標への逆射影変換を行って、各候補画像部分に対応する実空間での物体の位置を算出する。なお、大きさが所定サイズ(レーンマークの画像部分ではないと想定されるサイズ)以下である画像部分を候補画像部分から除外してもよい。
そして、レーンマーク認識部14は、対応する実空間での長さが所定範囲(法規で定められた破線レーンマークの長さ(規定長)を基準として設定される)内であって、一定方向に連続した候補画像部分に基づいて、破線レーンマークの候補を検出する。
また、レーンマーク認識部14は、車線が連続線レーンマーク(白線、黄線等)で区画されているときには、例えば特開平11−219435号公報に記載された公知の手法により、連続線レーンマークの候補を検出する。
続くSTEP6で、レーンマーク認識部14は、近接した複数のレーンマーク候補(破線レーンマークの候補又は連続線レーンマークの候補)が検出されたか否かを判断する。なお、「近接した」とは、例えば、実空間において50cm程度の閾値以下の間隔をもって道路に敷設されていることを意味しており、実際の道路におけるレーンマークの敷設状況に基づいてこの閾値が設定される。
STEP6で、レーンマーク候補が一つしか検出されなかったときにはSTEP7に進み、レーンマーク認識部14は、検出したレーンマーク候補をレーンマークとして認識する。
一方、近接した複数のレーンマーク候補が検出されたときにはSTEP6からSTEP20に分岐し、レーンマーク認識部14は、検出された各レーンマーク候補について、撮像画像における対応領域(各レーンマークの画像部分)の輝度値(領域の輝度の平均値、領域の画素の最大値等、本発明の参照値に相当する)を算出する。
そして、複数のレーンマーク候補の輝度値の差が所定値以下であるかを判断する。複数のレーンマーク候補の輝度値の差が所定値以下であるときはSTEP22分岐し、所定値よりも大きいときにはSTEP21に進む。
STEP21で、レーンマーク認識部14は、輝度値が最も大きいレーンマーク候補を、レーンマークとして認識してSTEP8に進む。また、STEP22で、レーンマーク認識部14は、輝度値の差が所定値以下である複数のレーンマーク候補を、複合線レーンマークであると認識してSTEP8に進む。なお、この場合に、複数のレーンマーク候補に連続線レーンマークと破線レーンマークが含まれているか否かを判断し、連続線レーンマークと破線レーンマークが含まれているときに、複合線レーンマークであると認識するようにしてもよい。
ここで、図4は、図3(b)のエッジ画像から抽出された候補画像部分を逆射影変換より実空間位置に変換した状態を示した状態を示しており、画像部分51c〜54cに対応した左側の破線レーンマーク51b〜54b、画像部分61c〜63cに対応した破線レーンマークの補修跡61b〜63b、及び画像部分71c〜74cに対応した右側の破線レーンマーク71b〜74bが、レーンマーク候補として検出される。
そして、右側のレーンマークについては、一つのレーンマーク候補71b〜74bしか検出されなかったため、レーンマーク候補71b〜74bが、レーンマークとして認識される。
また、左側のレーンマークについては、近接した二つのレーンマーク候補51b〜54bと61b〜63bが検出されているため、両レーンマーク候補の輝度値が比較され、輝度値が大きいレーンマーク候補51b〜54bがレーンマークとして認識される。これにより、レーンマークの補修跡61b〜63bがレーンマークとして誤認識されることが防止される。
また、図5は、車両1が走行している車線の右側が複合線レーンマーク(複数種類のレーンマークが組み合わされたレーンマーク、図5では破線レーンマークと連続線レーンマークとの組み合わせ)である例を示している。
図5の場合は、右側のレーンマークについて、二つのレーンマーク候補101b及び91b〜94bが検出されている。なお、左側のレーンマークについては、一つのレーンマーク候補81b〜84bのみが検出されているため、レーンマーク候補81b〜84bがレーンマークとして認識される。
二つのレーンマーク候補101b及び91b〜94bの輝度差の差が小さいため、レーンマーク認識部14は、二つのレーンマーク候補101b及び91b〜94bを複合線レーンマークとして認識する(図2のSTEP22)。
続くSTEP8で、レーンマーク認識部14は、左右のレーンマークの位置に基づいて、車線の中央位置を認識する。図4の例では、左側の破線レーンマーク51b〜54bの内側位置XL1と、右側の破線レーンマーク71b〜74bの内側位置XRとの中央位置Xcを認識する。この場合は、レーンマークの補修跡61b〜63bの内側位置XL2に基づいて、実際よりも右寄り車線の中央位置が認識されることが防止される。
また、図5の例では、左側の破線レーンマーク81b〜84bの内側位置XLと、右側の連続線レーンマーク101bの内側位置XR1との中央位置Xcが、車線の中央位置として認識される。この場合は、複合線レーンマークの外側の破線レーンマーク91b〜94bの内側位置XR2に基づいて、実際よりも左寄りに車線の中央位置が認識されることが防止される。
次のSTEP9は操舵制御部15による処理である。操舵制御部15は、車両1が車線内の中心位置Xc付近を走行するように、操舵機構7を作動させて車両1の運転者の運転操作をアシストする。この場合、操舵制御部15は、必要に応じて、スピーカ5からの音出力及び表示器6への表示により、運転者に対する注意喚起を行う。
ここで、操舵制御部15は、図6に示したように、車両1と中心位置Xcとのずれが大きくなって、車両1と右レーンマーク101bとの間隔WR、又は車両1と左レーンマーク81b〜84bとの間隔WLが予め設定された判定値以下になったときに、操舵機構7を作動させて車両1を中心位置Xcに近づける制御を行う。
そして、破線レーンマーク側については、隣車線への車線変更が許されるのに対し、連続線レーンマーク側については車線変更が禁止される規定になっている場合、運転者は、破線レーンマーク側に接近することについては抵抗がない。そのため、操舵制御部15は、破線レーンマーク側の許容間隔(図6では左側の許容間隔WL)を、連続線レーンマーク側の許容間隔(図6では右側の許容間隔WR)よりも狭く設定する。
このように、車両1とレーンマーク間の許容間隔を設定することにより、運転者がさほど抵抗を覚えることなく破線レーンマークに接近したときに、操舵制御によるアシストがなされて、運転者にとってわずらわしい過剰なアシストがなされることを抑制することができる。
[変形形態]
認識対象のレーンマークが白線であるときに、レーンマークとレーンマークの補修跡とを区別するための参照値として、カラーの撮像画像におけるRGBの階調値から算出した白の度合を示す値を用いてもよい。この場合は、複数のレーンマーク候補が検出された場合に、レーンマーク認識部14は、白の度合を示す参照値が最大であるレーンマーク候補をレーンマークとして認識する。
同様に認識対象のレーンマークが黄線であるときに、レーンマークとレーンマークの補修跡とを区別するための参照値として、カラーの撮像画像におけるRGBに階調値から算出した黄の度合を示す値を用いてもよい。この場合は、複数のレーンマーク候補が検出された場合に、レーンマーク認識部14は、黄の度合を示す参照値が最大であるレーンマーク候補をレーンマークとして認識する。
なお、白又は黄色以外の特定色のレーンマークについても、特定色の度合を示す参照値を用いることによって、レーンマークとレーンマークの補修跡とを区別することができる。
1…車両(自車両)、2…カメラ、7…操舵機構、10…レーンマーク認識装置、11…撮像画像取得部、12…エッジ画像生成部、13…候補画像部分抽出部、14…レーンマーク認識部、15…操舵制御部、20…画像メモリ、21…撮像画像、22…エッジ画像。

Claims (6)

  1. 車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置であって、
    前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
    前記エッジ画像から、レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
    前記候補画像部分に基づいてレーンマーク候補を検出し、近接した複数のレーンマーク候補を検出したときに、該近接した各レーンマーク候補について、前記撮像画像における対応領域の輝度に基づく参照値を算出し、該参照値が最も大きいレーンマーク候補をレーンマークとして認識するレーンマーク認識部と、を備え
    前記レーンマーク認識部は、近接した複数のレーンマーク候補の前記参照値の差が所定値以下であるときに、該複数のレーンマーク候補に連続線レーンマークと破線レーンマークとが含まれるか否かを判断し、連続線レーンマークと破線レーンマークとが含まれるときには、該複数のレーンマークが複合線レーンマークであると認識することを特徴とするレーンマーク認識装置。
  2. 請求項1に記載のレーンマーク認識装置において、
    前記カメラはカラーカメラであり、
    前記レーンマーク認識部は特定色のレーンマークを認識し、
    前記参照値は、前記対応領域の前記特定色の度合いを示す値であることを特徴とするレーンマーク認識装置。
  3. 請求項1に記載のレーンマーク認識装置において、
    前記参照値は、前記対応領域の輝度値であることを特徴とするレーンマーク認識装置。
  4. 請求項1から請求項のうちのいずれか1項に記載のレーンマーク認識装置において、
    前記レーンマーク認識部により認識されたレーンマークにより区画された車線内を前記車両が走行するように、前記車両の操舵制御を行う操舵制御部を備えたことを特徴とするレーンマーク認識装置。
  5. 周囲を撮像するカメラと、
    前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
    前記エッジ画像から、レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出部と、
    前記候補画像部分に基づいてレーンマーク候補を検出し、近接した複数のレーンマーク候補を検出したときに、該近接した各レーンマーク候補について、前記撮像画像における対応領域の輝度に基づく参照値を算出し、該参照値が最も大きいレーンマーク候補をレーンマークとして認識するレーンマーク認識部と、を備え
    前記レーンマーク認識部は、近接した複数のレーンマーク候補の前記参照値の差が所定値以下であるときに、該複数のレーンマーク候補に連続線レーンマークと破線レーンマークとが含まれるか否かを判断し、連続線レーンマークと破線レーンマークとが含まれるときには、該複数のレーンマークが複合線レーンマークであると認識することを特徴とする車両。
  6. 車両に搭載されたカメラにより撮像された該車両の周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識方法であって、
    前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、 前記エッジ画像から、レーンマークの画像部分の候補である候補画像部分を抽出する候補画像部分抽出工程と、
    前記候補画像部分に基づいてレーンマーク候補を検出し、近接した複数のレーンマーク候補を検出したときに、該近接した各レーンマーク候補について、前記撮像画像における対応領域の輝度に基づく参照値を算出し、該参照値が最も大きいレーンマーク候補をレーンマークとして認識するレーンマーク認識工程と、を含み、
    前記レーンマーク認識工程において、近接した複数のレーンマーク候補の前記参照値の差が所定値以下であるときに、該複数のレーンマーク候補に連続線レーンマークと破線レーンマークとが含まれるか否かを判断し、連続線レーンマークと破線レーンマークとが含まれるときには、該複数のレーンマークが複合線レーンマークであると認識することを特徴とするレーンマーク認識方法。
JP2014075846A 2014-04-01 2014-04-01 レーンマーク認識装置 Active JP6141787B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014075846A JP6141787B2 (ja) 2014-04-01 2014-04-01 レーンマーク認識装置
US14/658,620 US9436878B2 (en) 2014-04-01 2015-03-16 Lane mark recognition device
CN201510132119.9A CN104978560B (zh) 2014-04-01 2015-03-24 行车线标识识别装置
DE102015205685.6A DE102015205685B4 (de) 2014-04-01 2015-03-30 Fahrbahnmarkierungserkennungseinrichtung, fahrbahnmarkierungserkennungsverfahren sowie fahrzeug mit einer fahrbahnmarkierungserkennungseinrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014075846A JP6141787B2 (ja) 2014-04-01 2014-04-01 レーンマーク認識装置

Publications (2)

Publication Number Publication Date
JP2015197829A JP2015197829A (ja) 2015-11-09
JP6141787B2 true JP6141787B2 (ja) 2017-06-07

Family

ID=54067181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014075846A Active JP6141787B2 (ja) 2014-04-01 2014-04-01 レーンマーク認識装置

Country Status (4)

Country Link
US (1) US9436878B2 (ja)
JP (1) JP6141787B2 (ja)
CN (1) CN104978560B (ja)
DE (1) DE102015205685B4 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603841B (zh) * 2012-08-30 2017-10-24 本田技研工业株式会社 行车线标识识别装置
JP6348758B2 (ja) 2014-04-15 2018-06-27 本田技研工業株式会社 画像処理装置
CN107710278A (zh) * 2015-06-18 2018-02-16 日本电气方案创新株式会社 图像处理设备,图像处理方法和计算机可读记录介质
JP6691387B2 (ja) 2016-02-15 2020-04-28 本田技研工業株式会社 車両維持制御装置
US20180067496A1 (en) * 2016-09-06 2018-03-08 Delphi Technologies, Inc. Automated vehicle lane change control system
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
JPWO2019171565A1 (ja) * 2018-03-09 2021-03-18 パイオニア株式会社 線検出装置、線検出方法、プログラム、及び記憶媒体
US10614320B2 (en) * 2018-04-03 2020-04-07 Honda Motor Co., Ltd. System and method for advanced highway lane detection
JP7359541B2 (ja) * 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
CN111523360B (zh) * 2019-09-09 2023-06-13 毫末智行科技有限公司 用于识别路面标记的方法、装置及单目摄像头
US11551459B1 (en) * 2022-06-27 2023-01-10 Plusai, Inc. Ambiguous lane detection event miner

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219435A (ja) 1998-02-03 1999-08-10 Honda Motor Co Ltd 自動車用白線検出装置
JP2005157731A (ja) * 2003-11-26 2005-06-16 Nissan Motor Co Ltd 車線認識装置および車線認識方法
US8924078B2 (en) * 2004-11-18 2014-12-30 Gentex Corporation Image acquisition and processing system for vehicle equipment control
JP4616046B2 (ja) * 2005-03-22 2011-01-19 本田技研工業株式会社 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両
JP4616068B2 (ja) * 2005-04-28 2011-01-19 本田技研工業株式会社 車両、画像処理システム、画像処理方法及び画像処理プログラム
JP4603421B2 (ja) * 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP5015849B2 (ja) * 2008-04-11 2012-08-29 トヨタ自動車株式会社 逆走警告装置、逆走警告方法
JP5014237B2 (ja) * 2008-04-23 2012-08-29 本田技研工業株式会社 レーンマーカ認識装置、車両、及びレーンマーカ認識用プログラム
WO2010059570A1 (en) * 2008-11-19 2010-05-27 Contraptions, Llc Vehicle guidance system and method
CN101620732A (zh) * 2009-07-17 2010-01-06 南京航空航天大学 道路行驶线的视觉检测方法
JP5016073B2 (ja) * 2010-02-12 2012-09-05 株式会社デンソー 白線認識装置
JP5220787B2 (ja) * 2010-03-08 2013-06-26 株式会社日本自動車部品総合研究所 車載白線認識装置
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置
US20120206252A1 (en) * 2011-02-16 2012-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning system
US9542847B2 (en) * 2011-02-16 2017-01-10 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
JP5799784B2 (ja) * 2011-12-06 2015-10-28 富士通株式会社 道路形状推定装置及びプログラム
JP5997962B2 (ja) * 2012-07-27 2016-09-28 クラリオン株式会社 車載レーンマーカ認識装置
JP6128584B2 (ja) * 2013-01-16 2017-05-17 株式会社Soken 走行経路生成装置

Also Published As

Publication number Publication date
CN104978560B (zh) 2018-09-28
DE102015205685B4 (de) 2021-03-18
US9436878B2 (en) 2016-09-06
US20150278612A1 (en) 2015-10-01
CN104978560A (zh) 2015-10-14
JP2015197829A (ja) 2015-11-09
DE102015205685A1 (de) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6141787B2 (ja) レーンマーク認識装置
JP6230482B2 (ja) レーンマーク認識装置、車両及びレーンマーク認識方法
US20090123065A1 (en) Vehicle and lane mark recognition apparatus
US9690994B2 (en) Lane recognition device
KR20160023409A (ko) 차선 이탈 경보 시스템의 동작방법
JP5402828B2 (ja) 車線境界検出装置、車線境界検出プログラム
JP2009237706A (ja) 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP6141788B2 (ja) レーンマーク認識装置
JP5480917B2 (ja) 車両周辺監視装置
EP3506169A2 (en) Driver assistance system and method for object detection and notification
US9589213B2 (en) Apparatus for recognizing turnoff from vehicle roadway
WO2013191078A1 (ja) 車両周辺対象物検出装置
US9558410B2 (en) Road environment recognizing apparatus
JP6408935B2 (ja) 走行区画線認識装置
JP2010061375A (ja) 物体認識装置及びプログラム
JP7068017B2 (ja) 車両の走行路認識装置及び走行制御装置
JP2009186301A (ja) 車両用物体検出装置
JP2015210609A (ja) レーンマーク認識装置
JP6173962B2 (ja) レーンマーク認識装置
JP2015215235A (ja) 物体検出装置及び物体検出方法
JP6293570B2 (ja) レーンマーク認識装置及び方法並びに車両
JP2014123301A (ja) 白線検出装置
JP6130326B2 (ja) 車線認識装置
JP2012190214A (ja) 車両用画像認識装置、車両用画像認識方法、プログラム及び媒体
JP2012185701A (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170508

R150 Certificate of patent or registration of utility model

Ref document number: 6141787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150