CN106467105A - 车道线识别装置 - Google Patents

车道线识别装置 Download PDF

Info

Publication number
CN106467105A
CN106467105A CN201610631592.6A CN201610631592A CN106467105A CN 106467105 A CN106467105 A CN 106467105A CN 201610631592 A CN201610631592 A CN 201610631592A CN 106467105 A CN106467105 A CN 106467105A
Authority
CN
China
Prior art keywords
identification
white line
lane
line
lane detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610631592.6A
Other languages
English (en)
Other versions
CN106467105B (zh
Inventor
渡边明博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Heavy Industries Ltd filed Critical Fuji Heavy Industries Ltd
Publication of CN106467105A publication Critical patent/CN106467105A/zh
Application granted granted Critical
Publication of CN106467105B publication Critical patent/CN106467105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/06Combustion engines, Gas turbines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供能够降低左右车道线的识别偏差,不给驾驶员带来不适感地将车道线识别结果提示给驾驶员的车道线识别装置。利用白线评价部(12)对由白线识别部(11)识别出的白线的识别可靠度进行评价,在完成了左右白线中的一侧的白线的识别时,利用识别状态监视部(13)监视另一侧的白线的识别状态。并且,估计直到完成另一侧的白线的识别为止的识别完成时间,将估计出的识别完成时间与监视时间进行比较来调整白线识别结果的显示时刻,由此,降低左右的白线的识别偏差,在与驾驶员的感觉大致一致的没有不适感的时刻进行显示。

Description

车道线识别装置
技术领域
本发明涉及一种识别车辆所行驶的道路的车道线,并将车道线识别结果提示给驾驶员的车道线识别装置。
背景技术
近年来,在汽车等车辆中,搭载照相机和/或雷达装置等来识别车辆周围的行驶环境以辅助驾驶员的驾驶操作,减轻驾驶员的负担的驾驶辅助***被开发并实用化。在这样的驾驶辅助***中,通常是识别本车辆所行驶的道路的车道线,并进行用于车道保持行驶、防止偏离车道的转向控制和/或报警,通过画面显示和/或语音将车道线识别状态、辅助控制的动作待机状态通知给驾驶员。
在此情况下,作为车道线识别,大多以道路上的白线为对象,例如,专利文献1中公开了如下技术:在识别车辆所行驶的路面上的白线的白线识别单元识别出白线时,将画面上的白线以填充的方式进行显示,在白线识别单元未识别出白线时,将画面上的白线以中空的方式进行显示。
现有技术文献
专利文献
专利文献1:日本特开2007-125968号公报
发明内容
技术问题
通常,识别作为车道线的白线的处理在识别出白线为止需要一定的时间。这是为了评价识别出的白线的可靠性来确认是否误识别了雪等白线以外的线状图案。
因此,以往,例如在左右的白线的起始位置不一致的情况下,或单侧的白线即将消失等无法判断是否为白线的情况下,识别左右的白线的时刻不同。结果,即使驾驶员看得到两侧的白线,也会产生显示左右的白线的时刻不一致这样的情况,给驾驶员带来不适感。
本发明是鉴于上述情况完成的,其目的在于提供一种能够降低左右车道线的识别偏差,不给驾驶员带来不适感地将车道线识别结果提示给驾驶员的车道线识别装置。
技术方案
根据本发明的一个形态的车道线识别装置为具备识别车辆所行驶的道路的车道线的车道线识别部,并将车道线识别结果提示给驾驶员的车道线识别装置,具备:车道线评价部,基于车道线识别处理中的多个特征量,对由上述车道线识别部识别出的车道线的识别可靠度进行评价;以及识别状态监视部,在经过上述识别可靠度的评价而完成了左右车道线中的一侧的车道线的识别时,监视另一侧的车道线的识别状态并调整将车道线识别结果提示给驾驶员的时刻。
技术效果
根据本发明,能够降低左右车道线的识别偏差,不给驾驶员带来不适感地将车道线识别结果提示给驾驶员。
附图说明
图1是车道线识别装置的构成图。
图2是示出白线的显示状态的变化的说明图。
图3是可靠度评价用计数器的说明图。
图4是示出直到评价完成为止的时间的说明图。
图5是示出识别状态的监视时间的说明图。
符号说明
1:照相机
2:图像处理部
10:车道线识别装置
11:白线识别部(车道线识别部)
12:白线评价部(车道线评价部)
13:识别状态监视部
100:显示装置
T1:识别完成时间
T2:监视时间
具体实施方式
以下,参照附图说明本发明的实施方式。图1中,符号10为搭载于汽车等车辆,并识别本车辆所行驶的道路的车道线的车道线识别装置。车道线识别装置10构成为对驾驶员进行,例如防止偏离车道、车道保持、障碍物的自动躲避等的驾驶辅助控制的驾驶辅助***的一部分,将车道线识别结果输出到构成驾驶辅助***的多个控制装置,例如控制发动机的发动机控制装置20、控制制动器的制动器控制装置30、进行转向控制的转向控制装置40等,并且通过显示装置100等HMI(Human Machine Interface:人机接口)向驾驶员提示所识别的车道线和/或与本车辆之间的位置关系等。
车道线识别装置10基于利用照相机拍摄的路面的图像和/或由激光雷达得到的来自路面的反射数据,来识别本车辆所行驶的道路的车道线。在本实施方式中,基于通过车载的照相机1拍摄的图像来识别车道线。照相机1为由从不同的视点对同一目标物体进行拍摄的两台照相机1a、1b构成的立体照相机。两台照相机1a、1b为具有CCD和/或CMOS等摄像元件的快门同步的照相机,并以预定的基线长度配置在例如,车内上部的前车窗内侧的后视镜附近。
利用照相机1a、1b拍摄的左右一对立体图像由图像处理部2进行处理。图像处理部2通过立体匹配处理求出左右图像的对应位置的像素偏移量(视差),并将像素偏移量变换为亮度数据等来生成距离图像。基于三角测量的原理,距离图像上的点被坐标变换为以本车辆的宽度方向即左右方向为X轴,车高方向为Y轴,车长方向即距离方向为Z轴的实际空间上的点,并被发送给车道线识别装置10、发动机控制装置20、制动器控制装置30、转向控制装置40等。
车道线识别装置10基于利用照相机1a、1b拍摄的原始图像和来自图像处理部2的距离数据,识别道路的车道线,并在与车道线的识别状态对应的适当的时刻将识别出的道路的车道线输出给显示装置100进行显示。因此,车道线识别装置10如以下所说明的那样,具备:作为车道线识别部的白线识别部11、作为车道线评价部的白线评价部12、识别状态监视部13。
白线识别部11将道路上的白线识别为本车辆所行驶的道路的车道线。这里的白线是对在道路上延伸并划分车道的线的总称,作为各个线的形态不限于实线、虚线等,还包括黄线等。此外,在白线识别中,即使道路上实际存在的白线是双白线等,也利用左右各自的一根直线或曲线等进行近似来识别。
具体说来,白线识别部11通过从图像提取成为白线的候选的点群,并计算连结该候选点的直线或曲线,或者通过提取与预先准备的白线模型的特性匹配的图像的元素,来识别白线。在本实施方式中,通过对道路在图像平面中的宽度方向的亮度变化进行评价来提取成为白线的候选的点群,并对该白线的候选的点群的时序数据进行处理,从而识别白线。
例如,在设定在图像上的白线检测区域内,在沿水平方向(车宽方向)设定的多个扫描线上检测亮度变化为预定以上的边缘,从而对每个扫描线检测出一组白线起始点和白线结束点,并将白线起始点和白线结束点之间的中间的预定区域作为白线候选点而提取。并且,对基于每单位时间的车辆移动量的白线候选点的空间坐标位置的时序数据进行处理而计算出近似左右的白线的模型,通过该模型识别白线。作为白线的近似模型,可以使用将通过霍夫变换求出的线性成分连结而得到的近似模型、或利用二次式等曲线进行近似得到的模型。
白线评价部12对从白线候选点中求出的线成分是否确实是表示白线(车道线)的线成分的识别可靠度进行评价,并基于评价结果判断是否正确地识别出了白线,由此,将由误识别而产生的驾驶辅助控制的缺陷防患于未然。例如,在路面上有积雪、雪辙或小山状的雪堆等在车辆前进方向遍及预定区间而存在的残雪区域的情况下,具有可能将由这样的残雪区域的边缘构成的线成分误识别为白线,而对驾驶辅助控制带来障碍的隐患。
因此,白线评价部12使用从图像中获取的多个特征量对所求出的线成分是否为白线的识别可靠度进行评价,确认是否误识别了雪等白线以外的线状图案。作为设定为评价的对象的特征量,使用例如:从白线起始点到白线结束点为止的区域的长度(像素数量)、边缘强度、亮度、白线起始点的点群存在于线成分上的比例、白线结束点的与白线起始点的点群对应的点群的比例、白线候选点的从路面起算的高度等,并在这些特征量满足预定的阈值的情况下,判断为所求出的线成分是正确地识别出了白线的线成分。
识别状态监视部13监视由白线识别部11和白线评价部12进行的白线的识别状态,调整将识别结果提示给驾驶员的时刻。在本实施方式中,将识别结果显示于显示装置100的显示时刻作为将识别结果提示给驾驶员的时刻进行调整。
例如,如图2所示,以在道路的一侧存在明显地作为白线的线段L,另一侧的线段L’由于残雪等而不明显或不是白线这样的情况为例进行说明,在本车辆C位于线段L、L’的近前的位置P1而未检测出线段L、L’的情况下,显然,在显示装置100的画面D1上不显示白线。
然后,在本车辆C前进到达了位置P2时,即使检测出单侧的线段L,并经过识别可靠度的评价判断为正确地识别出了白线,也如画面D2所示那样不立刻显示识别出的单侧的线段L,而是待机预定的时间。并且,在预定的待机时间经过前,在位置P3检测出另一侧的线段L’并通过可靠度评价而被正确地识别为白线时,如画面D3所示那样,将左右的线段L、L’作为白线进行显示。
此时,在以往,如画面D2’所示,即使驾驶员位于位置P2看得到两侧的线段L、L’,也只有单侧的线段L作为白线显示,并在到达位置P3开始将左右两侧的线段L、L’作为白线显示。其结果,会给驾驶员带来左右产生了识别偏差那样的印象,从而产生不适感。
与此相对,在本实施方式中,在经过识别可靠度的评价而识别完成左右的一侧的白线时,直到识别出另一侧的白线为止待机预定时间。在此期间,如果也识别出另一侧的白线,则当作左右同时识别出了白线而左右同时进行显示,在经过了预定的待机时间的情况下,只在已经完成识别的一侧显示白线。由此,在显示左右的白线时,不会给驾驶员带来左右产生了识别偏差那样的印象,能够没有不适感地显示白线。
在此情况下,如果在确实只有单侧存在白线的情况下也每次都进行上述处理,则处理变得冗长而导致识别率的下降。因此,在识别状态监视部13中,在左右的白线处分别监视相反侧的识别状态,如果处于能够在预定的监视时间内识别为白线的状态,则等到另一侧识别出为止,将左右的白线同时显示。另一方面,在预先得知没有另一侧的白线,或者直到识别出为止所花费的时间超过监视时间的情况下,不等待预定时间而只显示单侧。由此,能够将识别率的下降抑制在最小限度并降低左右白线的识别偏差。
因此,在识别状态监视部13中,对于成为识别可靠度的评价对象的多个特征量M1、M2、M3、M4、M5、…导入如图3所示的可靠度评价用计数器。并且,使用该可靠度评价用计数器定义直到经过识别可靠度的评价而完成识别(所有的特征量满足阈值时)为止的识别完成时间T1,将该识别完成时间T1与监视时间T2进行比较来调整白线的显示时刻。
具体说来,基于直到评价完成为止的阈值与可靠度评价用计数器的差,估计直到各特征量M1、M2、M3、M4、M5、…的评价完成为止的时间,将其中最花费时间的特征量的时间设为直到完成白线的识别为止的识别完成时间T1。在图3中,相当于关于特征量M2的时间。
在此情况下,利用例如图4来表示另一侧的白线的识别完成时间T1与从完成了一侧的白线的识别起算的经过时间t的关系。图4示出随着经过时间t增加,识别完成时间T1变小。其中,识别完成时间T1相对于经过时间t并不一定是单调递减,局部还存在不成比例地减少的部分。
此外,在识别出了一侧的白线的情况下,监视另一侧的白线的识别状态的监视时间T2根据从完成了一侧的白线的识别起算的经过时间t变化,例如,成为如图5所示的关系。图5是将监视时间T2的最大值设为500msec的情况的例子,在经过时间t为0时监视时间T2=500msec,当经过时间t达到500msec时,监视时间T2为0即待机结束。
识别状态监视部13对识别完成时间T1和监视时间T2进行比较,并基于两者的大小关系如以下的(a)、(b)所示来调整白线的显示时刻。
(a)T1<T2
在识别完成时间T1小于监视时间T2的情况下,判断为另一侧的白线的识别评价即将完成,等待其结果来确定白线的显示时刻。
(b)T1≥T2
在识别完成时间T1为监视时间T2以上的情况下,判断为另一侧的白线的识别评价需要花费时间,或者在另一侧不存在白线,不等待其结果只显示已经识别完成的单侧的白线。
这样,在本实施方式中,在左右的白线识别处理中,在完成了左右车道线中的一侧的车道线的识别时,监视另一侧的车道线的识别状态来调整将白线的识别结果提示给驾驶员的时刻,因此,能够降低左右白线的识别时刻的偏差,此外,能够将识别率的下降抑制在最小限度。结果,能够在与驾驶员的感觉大致一致的没有不适感的时刻进行车道线识别结果的提示。

Claims (4)

1.一种车道线识别装置,其特征在于,所述车道线识别装置具备识别车辆所行驶的道路的车道线的车道线识别部,并将车道线识别结果提示给驾驶员,所述车道线识别装置还具备:
车道线评价部,基于车道线识别处理中的多个特征量,对由所述车道线识别部识别出的车道线的识别可靠度进行评价;以及
识别状态监视部,在经过所述识别可靠度的评价而完成了左右车道线中的一侧的车道线的识别时,监视另一侧的车道线的识别状态并调整将车道线识别结果提示给驾驶员的时刻。
2.根据权利要求1所述的车道线识别装置,其特征在于,
所述识别状态监视部估计直到完成另一侧的车道线的识别为止的识别完成时间,并将估计出的识别完成时间与监视时间进行比较来调整将车道线识别结果提示给驾驶员的时刻,所述监视时间基于从完成了一侧的车道线的识别起算的经过时间而得到。
3.根据权利要求2所述的车道线识别装置,其特征在于,
在所述识别完成时间小于所述监视时间的情况下,等待另一侧的车道线的识别结果来确定向驾驶员提示的车道线的显示时刻;在所述识别完成时间在所述监视时间以上的情况下,不等待另一侧的车道线的识别结果,只显示已经识别完成的一侧的车道线而提示给驾驶员。
4.根据权利要求2或3所述的车道线识别装置,其特征在于,
基于由所述多个特征量得到的可靠度评价用计数器与阈值的差来估计所述识别完成时间。
CN201610631592.6A 2015-08-10 2016-08-04 车道线识别装置 Active CN106467105B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-158334 2015-08-10
JP2015158334A JP6106229B2 (ja) 2015-08-10 2015-08-10 車線認識装置

Publications (2)

Publication Number Publication Date
CN106467105A true CN106467105A (zh) 2017-03-01
CN106467105B CN106467105B (zh) 2018-08-03

Family

ID=57908021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610631592.6A Active CN106467105B (zh) 2015-08-10 2016-08-04 车道线识别装置

Country Status (4)

Country Link
US (1) US10000210B2 (zh)
JP (1) JP6106229B2 (zh)
CN (1) CN106467105B (zh)
DE (1) DE102016113808A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109606361A (zh) * 2017-09-25 2019-04-12 本田技研工业株式会社 车辆控制装置
WO2019233081A1 (zh) * 2018-06-05 2019-12-12 广州小鹏汽车科技有限公司 一种自动驾驶方法及装置
CN110991214A (zh) * 2018-09-28 2020-04-10 株式会社斯巴鲁 车道线识别装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6740470B2 (ja) * 2017-05-19 2020-08-12 パイオニア株式会社 測定装置、測定方法およびプログラム
DE102017123842A1 (de) * 2017-10-13 2019-04-18 Connaught Electronics Ltd. Fahrspurerfassungsverfahren
JP7115910B2 (ja) * 2018-06-07 2022-08-09 株式会社Soken 道路境界検出装置
CN108957475A (zh) 2018-06-26 2018-12-07 东软集团股份有限公司 一种道路边界检测方法及装置
US11521337B2 (en) * 2018-10-29 2022-12-06 Mitsubishi Electric Corporation Map generation system, map generation method, and computer readable medium which generates linearization information calculates a reliability degree
CN109657686B (zh) * 2018-10-31 2021-04-20 百度在线网络技术(北京)有限公司 车道线生成方法、装置、设备以及存储介质
JP7083768B2 (ja) * 2019-03-13 2022-06-13 本田技研工業株式会社 認識装置、車両制御装置、認識方法、およびプログラム
KR20210005439A (ko) * 2019-07-05 2021-01-14 현대자동차주식회사 운전자 보조 장치, 그를 가지는 차량 및 그 제어 방법
KR102228278B1 (ko) * 2019-09-03 2021-03-16 충북대학교 산학협력단 라이다 센서를 이용한 차선인식 방법 및 그를 위한 장치
CN113335272B (zh) * 2021-05-14 2023-04-25 江铃汽车股份有限公司 辅助驾驶方法
DE102022115860B3 (de) 2022-06-24 2023-07-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Spurführungsassistenten eines Fahrzeugs unter Berücksichtigung von Umweltbedingungen, Spurführungsassistent sowie Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175534A (ja) * 2000-12-06 2002-06-21 Sumitomo Electric Ind Ltd 道路の白線検出方法
JP2003067755A (ja) * 2001-08-28 2003-03-07 Nissan Motor Co Ltd 道路白線認識装置
US20080027627A1 (en) * 2004-05-19 2008-01-31 Honda Motor Co., Ltd. Traffic Lane Marking Line Recognition System for Vehicle
CN102385698A (zh) * 2011-10-26 2012-03-21 潘承志 基于置信度传播的图像处理方法
CN103052976A (zh) * 2011-06-08 2013-04-17 丰田自动车株式会社 车道脱离防止辅助装置、划分线显示方法、程序
JP2014085842A (ja) * 2012-10-24 2014-05-12 Alpine Electronics Inc 白線検出装置および白線検出方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577334B1 (en) 1998-02-18 2003-06-10 Kabushikikaisha Equos Research Vehicle control
DE10344120A1 (de) 2003-09-24 2005-04-21 Daimler Chrysler Ag Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen
JP4107587B2 (ja) * 2003-12-17 2008-06-25 三菱電機株式会社 車線認識画像処理装置
JP2007125968A (ja) 2005-11-02 2007-05-24 Mitsubishi Fuso Truck & Bus Corp 車両用白線表示装置
JP4654208B2 (ja) 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
EP2333484B1 (en) * 2008-09-25 2014-04-16 Clarion Co., Ltd. Lane determining device and navigation system
US8306269B2 (en) * 2009-03-12 2012-11-06 Honda Motor Co., Ltd. Lane recognition device
JP2012155612A (ja) * 2011-01-27 2012-08-16 Denso Corp 車線検出装置
JP5901671B2 (ja) 2014-02-25 2016-04-13 三菱重工業株式会社 排ガス再循環システム及びそれを備えた船用ボイラ、並びに排ガス再循環方法
JP6134276B2 (ja) * 2014-03-03 2017-05-24 株式会社Soken 走行区画線認識装置
JP2016199204A (ja) * 2015-04-14 2016-12-01 トヨタ自動車株式会社 車両制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175534A (ja) * 2000-12-06 2002-06-21 Sumitomo Electric Ind Ltd 道路の白線検出方法
JP2003067755A (ja) * 2001-08-28 2003-03-07 Nissan Motor Co Ltd 道路白線認識装置
US20080027627A1 (en) * 2004-05-19 2008-01-31 Honda Motor Co., Ltd. Traffic Lane Marking Line Recognition System for Vehicle
CN103052976A (zh) * 2011-06-08 2013-04-17 丰田自动车株式会社 车道脱离防止辅助装置、划分线显示方法、程序
CN102385698A (zh) * 2011-10-26 2012-03-21 潘承志 基于置信度传播的图像处理方法
JP2014085842A (ja) * 2012-10-24 2014-05-12 Alpine Electronics Inc 白線検出装置および白線検出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109606361A (zh) * 2017-09-25 2019-04-12 本田技研工业株式会社 车辆控制装置
CN109606361B (zh) * 2017-09-25 2022-03-22 本田技研工业株式会社 车辆控制装置
WO2019233081A1 (zh) * 2018-06-05 2019-12-12 广州小鹏汽车科技有限公司 一种自动驾驶方法及装置
CN110991214A (zh) * 2018-09-28 2020-04-10 株式会社斯巴鲁 车道线识别装置
CN110991214B (zh) * 2018-09-28 2024-06-07 株式会社斯巴鲁 车道线识别装置

Also Published As

Publication number Publication date
US10000210B2 (en) 2018-06-19
US20170043773A1 (en) 2017-02-16
JP6106229B2 (ja) 2017-03-29
JP2017037472A (ja) 2017-02-16
CN106467105B (zh) 2018-08-03
DE102016113808A1 (de) 2017-02-16

Similar Documents

Publication Publication Date Title
CN106467105A (zh) 车道线识别装置
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN106428209B (zh) 转向辅助装置
EP2928178B1 (en) On-board control device
JP5863536B2 (ja) 車外監視装置
US9697421B2 (en) Stereoscopic camera apparatus
CN109997148B (zh) 信息处理装置、成像装置、设备控制***、移动对象、信息处理方法和计算机可读记录介质
KR101916467B1 (ko) Avm 시스템의 장애물 검출 장치 및 방법
KR102263725B1 (ko) 주행 정보 제공 장치 및 주행 정보 제공 방법
WO2018116841A1 (ja) 物体検出装置
WO2016051981A1 (ja) 車載画像認識装置
KR101840974B1 (ko) 자율주행용 차선 식별 시스템
JP6722084B2 (ja) 物体検出装置
CN104517099A (zh) 滤波装置和环境识别***
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
JP6844223B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム
CN109308442B (zh) 车外环境识别装置
DE102011086402A1 (de) Verfahren und Fahrerassistenzsystem zur Erfassung einer Fahrzeugumgebung
JP5950193B2 (ja) 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム
WO2014050285A1 (ja) ステレオカメラ装置
JP4572826B2 (ja) 道路区画線検出装置
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
US11417115B2 (en) Obstacle recognition device
KR20200072590A (ko) 자동 주차 기능을 위한 주차선 이탈 감지 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Subaru Co.

Address before: Tokyo, Japan

Applicant before: Fuji Heavy Industries, Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant