CN111516673A - 基于智能摄像头和高精地图定位的车道线融合***及方法 - Google Patents

基于智能摄像头和高精地图定位的车道线融合***及方法 Download PDF

Info

Publication number
CN111516673A
CN111516673A CN202010360355.7A CN202010360355A CN111516673A CN 111516673 A CN111516673 A CN 111516673A CN 202010360355 A CN202010360355 A CN 202010360355A CN 111516673 A CN111516673 A CN 111516673A
Authority
CN
China
Prior art keywords
lane line
precision map
intelligent camera
output
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010360355.7A
Other languages
English (en)
Other versions
CN111516673B (zh
Inventor
汤兆丰
熊周兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202010360355.7A priority Critical patent/CN111516673B/zh
Publication of CN111516673A publication Critical patent/CN111516673A/zh
Application granted granted Critical
Publication of CN111516673B publication Critical patent/CN111516673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于智能摄像头和高精地图定位的车道线融合方法，所述方法包括以下步骤：对智能摄像头和高精地图定位控制器输出的车道线信息进行预处理；判断经过预处理的智能摄像头车道线是否存在异常；若出现异常，判断此时高精地图***车道线是否可用，若是可用，则选择高精地图***输出的车道线来辅助自动驾驶控制；若智能摄像头车道线恢复且可用，则选择智能摄像头输出的车道线来辅助自动驾驶控制；对融合后的车道线进行跟踪验证及处理。本发明还公开一种基于智能摄像头和高精地图定位的车道线融合***。通过该***及方法，在复杂的行驶工况下，实现了智能摄像头和和高精地图***有点的互相补充冗余，提高了自动驾驶的安全性和可靠性。

Description

基于智能摄像头和高精地图定位的车道线融合***及方法
技术领域
本发明涉及传感器信息融合技术领域，尤其涉及一种基于智能摄像头和高精地图定位的车道线融合***及方法。
背景技术
车道线信息是汽车实现自动驾驶最重要的环境感知信息之一。利用车道线信息自动驾驶汽车才能够保持安全行驶在当前车道内。同时，准确平滑的车道线能够使车辆的行驶更加平稳，提升体验感和安全性。
目前，自动驾驶汽车获取车道线信息的方式是通过智能摄像头。智能摄像头能够从视频图像中检测识别出车道线，实时输出给自动驾驶控制器。摄像头的优点是感知实时性强，检测较为准确。但摄像头也有易受天气、光线等的影响，视野范围有限，易被障碍物遮挡等缺点。当前的视频图像检测识别技术在弯道、路面阴影、路面标线复杂等特殊工况下的性能不能保证。由于当前摄像头的这些特性，在复杂的行驶工况下，自动驾驶汽车的行驶安全性并不能得到保障。
发明内容
本发明的目的是提供一种基于智能摄像头和高精地图定位的车道线融合***及方法，在复杂的行驶工况下，实现了智能摄像头和和高精地图***有点的互相补充冗余，提高自动驾驶的安全性和可靠性的。
为实现上述目的，本发明提供了一种基于智能摄像头和高精地图定位的车道线融合方法，所述方法包括以下步骤：
(S1)对智能摄像头输出的车道线信息进行预处理包括：智能摄像头输出车道线的三次曲线，并对三次曲线进行平滑处理；车道线丢失进行补全；车道线合理性判断及异常曲线剔除；
(S2)对高精地图定位控制器输出的车道线信息进行预处理包括：将本车经纬度位置、本车航向将地图车道线经纬度点坐标转换到车身坐标系下的相对坐标点，然后拟合成三次曲线，并对三次曲线进行平滑处理；车道线合理性判断及异常曲线剔除；
(S3)判断经过预处理的智能摄像头输出的车道线是否存在异常；若智能摄像头输出的车道线没有异常时，则选择智能摄像头输出的车道线来辅助自动驾驶控制；
若智能摄像头输出的车道线出现异常，需判断此时高精地图***输出的车道线是否可用，若是可用的，则选择高精地图***输出的车道线来辅助自动驾驶控制，所述智能摄像头输出的车道线平稳过渡到高精地图***输出的车道线上以实现融合；
若智能摄像头输出的车道线恢复，判定智能摄像头输出的车道线可用，则选择智能摄像头输出的车道线来辅助自动驾驶控制，高精地图***输出的车道线平稳过渡到智能摄像头输出的车道线上以实现融合；
(S4)对融合后的车道线进行跟踪验证及处理，以输出准确、稳定且可靠的车道线来辅助自动驾驶控制。
进一步，在步骤(S1)和步骤(S2)中，将三次曲线进行平滑处理，具体步骤为：对三次曲线的系数用可变权重的低通滤波器使其平滑化。
进一步，在步骤(S1)中，对车道线丢失进行补全，具体步骤包括包括：对单侧车道线丢失根据历史车道宽进行平移补全；对左右车道线全部丢失的情况根据历史数据进行预测然后补全。
进一步，在步骤(S3)中，所述智能摄像头输出的车道线平稳过渡到高精地图***输出的车道线上以实现融合，具体包括以下步骤：若高精地图***输出的车道线可用，根据车辆行驶状态以智能摄像头历史输出的车道线预测下一帧车道线拟合成三次曲线的车道线参数A0、A1、A2和A3；根据经验值每次以A0最大跳变0.05，A1最大跳变0.001，A2最大跳变0.00001，A3最大跳变0.000001作为当前的车道线参数输出，直至过渡到以当前高精地图***输出的车道线作为融合输出车道线。
进一步，判断此时高精地图***车道线是否可用，需同时对以下两种情况进行判定:一是高精地图***的精度和置信度是否满足使用要求；二是高精地图***车道线与摄像头历史及预测车道线的平均横向误差是否稳定小于20厘米，以及是否有异常跳变；若高精地图***的精度和置信度满足使用要求，以及高精地图***车道线与摄像头历史及预测车道线的平均横向误差稳定小于20厘米且无异常跳变，则高精地图***车道线可用，否则高精地图***车道线不可用。
进一步，当无标志物对定位进行纵向校正时，纵向定位会有米级的纵向误差；在直道且车道无特殊变化时，纵向误差对车道线的准确度影响小，此时高精地图***输出的车道线具有高置信度；在弯道时，纵向误差对车道线的准确度影响大，此时高精地图***输出的车道线具有低置信度，弯道曲率越大，置信度越低；如果地图车道线不可用，则车道线的置信度为0。
进一步，当车道线具有低置信度或置信度为0，获取前车轨迹进行跟车或根据历史推测来辅助自动驾驶控制。
进一步，在步骤(S1)和(S2)中，所述车道线合理性判断包括：对车道线的三次曲线系数A0、A1、A2、A3的范围及帧间跳变的范围合理性进行判断；对车道宽度的合理性判断；对车道线长度的合理性判断。
本发明还提供一种基于智能摄像头和高精地图定位的车道线融合***，包括：
智能摄像头，用于输出车道线信息；所述智能摄像头与车身CAN总线连接；
GPS接收机，用于接收全球定位***卫星信号并确定地面空间位置；
惯性传感器，用于输出IMU信号；
高精地图定位控制器，用于完成硬件***初始化、定位算法初始化及输出车道线信息；所述高精地图定位控制器与车身CAN总线连接；所述高精地图定位控制器还与智能摄像头、GPS接收机和惯性传感器连接；
自动驾驶控制器，所述自动驾驶控制器用于执行本发明的步骤(S3)和步骤(S4)；所述智能摄像头和高精地图定位控制器均与自动驾驶控制器连接。
进一步，所述智能摄像头为前视智能摄像头且具有ASIL B级功能安全的智能摄像头。
本发明与现有技术相比较具有以下优点：
本发明的基于智能摄像头和高精地图定位的车道线融合***及方法，采用智能摄像头完成车道线检测和高精地图***输出预存车道线，对二者输出的目标级车道线信息进行融合，并对车道线本身进行平滑及平稳过渡处理生成更稳定的车道线，生成了用于自动驾驶横向控制的更稳定、可靠的车道线，实现了两种传感器优点的互相补充冗余，提升了安全性和体验感；通过对三次曲线的平滑处理以防止异常跳变；以及在车道线切换到过程融合算法输出的车道线要引导车辆平稳过渡，可以进一步防止车道线跳变，提升安全性和体验感。
附图说明
图1为本发明基于智能摄像头和高精地图定位的车道线融合方法的流程图；
图2为本发明基于智能摄像头和高精地图定位的车道线融合***的结构示意图。
图中：
1-智能摄像头；2-高精地图定位控制器；3-自动驾驶控制器；4-GPS接收机；5-惯性传感器。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。
高精地图是专门服务于自动驾驶的地图，具有更高的精度和更丰富的信息，储存了车道级道路信息，以及标牌、杆等固定标志物信息。定位算法融合GPS、IMU、轮速及摄像头等传感器输入信号，实现本车车道级精确定位。通过精确位置与高精地图的匹配，来获取该位置相应车道级的环境信息。
参见图1所示，本实施例公开了一种基于智能摄像头和高精地图定位的车道线融合方法，所述方法包括以下步骤：
(S1)对智能摄像头1输出的车道线信息进行预处理包括：智能摄像头1输出车道线的三次曲线，并对三次曲线进行平滑处理；车道线丢失进行补全；车道线合理性判断及异常曲线剔除。
(S2)对高精地图定位控制器2输出的车道线信息进行预处理包括：将本车经纬度位置、本车航向将地图车道线经纬度点坐标转换到车身坐标系下的相对坐标点，然后拟合成三次曲线，并对三次曲线进行平滑处理；车道线合理性判断及异常曲线剔除。
(S3)判断经过预处理的智能摄像头1输出的车道线是否存在异常；若智能摄像头1输出的车道线没有异常时，则选择智能摄像头1输出的车道线来辅助自动驾驶控制。
若智能摄像头1输出的车道线出现异常，需判断此时高精地图***2输出的车道线是否可用，若是可用的，则选择高精地图***2输出的车道线来辅助自动驾驶控制，智能摄像头1输出的车道线平稳过渡到高精地图***2输出的车道线上以实现融合。
若智能摄像头1输出的车道线恢复，判定智能摄像头1输出的车道线可用，则选择智能摄像头输出的车道线来辅助自动驾驶控制，高精地图***2输出的车道线平稳过渡到智能摄像头1输出的车道线上以实现融合；高精地图储存道路的先验信息，具有滞后性，所以目前的高精定位设备是不具有功能安全的。同时定位误差较大且不可避免，所以在摄像头输出的车道线没有异常时，该融合方案选择更相信摄像头的输出。车道线切换到过程融合算法输出的车道线要引导车辆平稳过渡，可以防止车道线跳变，提升安全性和体验感。
(S4)对融合后的车道线进行跟踪验证及处理，以输出准确、稳定且可靠的车道线来辅助自动驾驶控制。
在本实施例中，在步骤(S1)中，对车道线丢失进行补全，具体步骤包括：对单侧车道线丢失根据历史车道宽进行平移补全；对左右车道线全部丢失的情况根据历史数据进行预测然后补全。
在本实施例中，在步骤(S1)中，对智能摄像头1输出的车道线信息进行预处理还包括对异常跳变、宽度异常、有效范围短以及误识别进行处理。
在本实施例中，在步骤(S2)中，对高精地图定位控制器2输出的车道线信息进行预处理还包括对异常跳变及异常状态进行处理。其中，高精地图定位控制器2输出的车道线的异常跳变主要是本车定位位置的跳变以及曲线拟合误差引起的；高精地图定位控制器2输出的车道线的异常状态包括：若本车定位误差大，航向角误差大，地图与实际道路不符可都造成车道线的异常状态。处于异常状态时，地图的车道线不可用。
在本实施例中，在步骤(S1)和(S2)中，车道线合理性判断包括：对车道线的三次曲线系数A0、A1、A2、A3的范围及帧间跳变的范围合理性进行判断；对车道宽度的合理性判断；对车道线长度的合理性判断。其目的是对明显异常的车道线进行初步的筛选，然后对筛选出来的异常的车道线进行剔除。
在本实施例中，跟踪验证的内容包括车道线丢失、异常跳变和宽度异常。
在本实施例中，在步骤(S1)和步骤(S2)中，将三次曲线进行平滑处理，具体步骤为：对三次曲线的系数用可变权重的低通滤波器使其平滑化。通过对三次曲线的平滑处理以防止异常跳变。
在本实施例中，在步骤(S3)中，所述智能摄像头输出的车道线平稳过渡到高精地图***输出的车道线上以实现融合，具体包括以下步骤：根据车辆行驶状态以智能摄像头历史输出的车道线预测下一帧车道线拟合成三次曲线的车道线参数A0、A1、A2和A3；根据经验值每次以A0最大跳变0.05，A1最大跳变0.001，A2最大跳变0.00001，A3最大跳变0.000001作为当前的车道线参数输出，直至过渡到以当前高精地图***2输出的车道线作为融合输出车道线。若智能摄像头预测参数与高精地图***2车道线参数A0到A3之间相差过大，会存在较大跳变。三次曲线的车道线参数A0、A1、A2和A3即三次函数
y＝A0x3+A1x2+A2x+A3中的四个常数项。
在本实施例中，判断此时高精地图***2车道线是否可用，需同时对以下两种情况进行判定:一是高精地图***2的精度和置信度是否满足使用要求；二是高精地图***2车道线与摄像头历史及预测车道线的平均横向误差是否稳定小于20厘米，以及是否有异常跳变；若高精地图***2的精度和置信度满足使用要求，以及高精地图***2车道线与摄像头历史及预测车道线的平均横向误差稳定小于20厘米且无异常跳变，则高精地图***2车道线可用，否则高精地图***2车道线不可用。高精地图定位设备的定位误差是不可避免的，定位的准确性影响车道线的准确度，高精地图***2输出的车道线与智能摄像头历史及预测车道线平均横向误差稳定小于20厘米且无异常跳变，则高精地图***2车道线可用。
在本实施例中，当无标志物对定位进行纵向校正时，纵向定位会有米级的纵向误差；在直道且车道无特殊变化时，纵向误差对车道线的准确度影响小，此时高精地图***2输出的车道线具有高置信度；在弯道时，纵向误差对车道线的准确度影响大，此时高精地图***2输出的车道线具有低置信度，弯道曲率越大，置信度越低；如果地图车道线不可用，则车道线的置信度为0。纵向误差越小置信度越高。融合车道线的置信度计算方式以车道线参数低通滤波的权重加权置信度，当完全切换为地图车道线时加入曲率的影响因素，曲率越大置信度越低。
在本实施例中，当车道线具有低置信度或置信度为0，获取前车轨迹进行跟车或根据历史车道线数据推测来辅助自动驾驶控制以保证自动驾驶的安全性。
参见图2所示，本实施例公开了一种基于智能摄像头和高精地图定位的车道线融合***，包括：
智能摄像头1，用于输出车道线信息；所述智能摄像头1与车身CAN总线连接；
GPS接收机4，用于接收全球定位***卫星信号并确定地面空间位置；
惯性传感器5，用于输出IMU信号；
高精地图定位控制器2，用于完成硬件***初始化、定位算法初始化及输出车道线信息；所述高精地图定位控制器2与车身CAN总线连接；所述高精地图定位控制器2还与智能摄像头1、GPS接收机4和惯性传感器5连接；
自动驾驶控制器3，所述自动驾驶控制器3用于执行上述的步骤(S3)和步骤(S4)；所述智能摄像头1和高精地图定位控制器2均与自动驾驶控制器3连接。当前车辆位于有高精地图覆盖的电子围栏内，能够稳定输出定位及地图信息。
智能摄像头1和高精地图定位控制器2能够从车身CAN总线处获取轮速等信息。
在本实施例中，智能摄像头1为前视智能摄像头且具有ASIL B级功能安全的智能摄像头。高精地图储存道路的先验信息，具有滞后性，所以目前的高精定位设备是不具有功能安全的。同时定位误差较大且不可避免，所以在摄像头输出的车道线没有异常时，该融合方案选择更相信摄像头的输出。
本发明的基于智能摄像头和高精地图定位的车道线融合***及方法，采用智能摄像头完成车道线检测和高精地图***输出预存车道线，对二者输出的目标级车道线信息进行融合，并对车道线本身进行平滑及平稳过渡处理生成更稳定的车道线，生成了用于自动驾驶横向控制的更稳定、可靠的车道线，实现了两种传感器优点的互相补充冗余，提升了安全性和体验感；通过对三次曲线的平滑处理以防止异常跳变；以及在车道线切换到过程融合算法输出的车道线要引导车辆平稳过渡，可以进一步防止车道线跳变，提升安全性和体验感。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于智能摄像头和高精地图定位的车道线融合方法，其特征在于，所述方法包括以下步骤：
(S1)对智能摄像头(1)输出的车道线信息进行预处理包括：智能摄像头(1)输出车道线的三次曲线，并对三次曲线进行平滑处理；车道线丢失进行补全；车道线合理性判断及异常曲线剔除；
(S2)对高精地图定位控制器(2)输出的车道线信息进行预处理包括：将本车经纬度位置、本车航向将地图车道线经纬度点坐标转换到车身坐标系下的相对坐标点，然后拟合成三次曲线，并对三次曲线进行平滑处理；车道线合理性判断及异常曲线剔除；
(S3)判断经过预处理的智能摄像头(1)输出的车道线是否存在异常；若智能摄像头(1)输出的车道线没有异常时，则选择智能摄像头(1)输出的车道线来辅助自动驾驶控制；
若智能摄像头(1)输出的车道线出现异常，需判断此时高精地图***(2)输出的车道线是否可用，若是可用的，则选择高精地图***(2)输出的车道线来辅助自动驾驶控制，所述智能摄像头(1)输出的车道线平稳过渡到高精地图***(2)输出的车道线上以实现融合；
若智能摄像头(1)输出的车道线恢复，判定智能摄像头(1)输出的车道线可用，则选择智能摄像头输出的车道线来辅助自动驾驶控制，高精地图***(2)输出的车道线平稳过渡到智能摄像头(1)输出的车道线上以实现融合；
(S4)对融合后的车道线进行跟踪验证及处理，以输出准确、稳定且可靠的车道线来辅助自动驾驶控制。
2.根据权利要求1所述的基于智能摄像头和高精地图定位的车道线融合方法，其特征在于，在步骤(S1)和步骤(S2)中，将三次曲线进行平滑处理，具体步骤为：对三次曲线的系数用可变权重的低通滤波器使其平滑化。
3.根据权利要求1所述的基于智能摄像头和高精地图定位的车道线融合方法，其特征在于，在步骤(S1)中，对车道线丢失进行补全，具体步骤包括：对单侧车道线丢失根据历史车道宽进行平移补全；对左右车道线全部丢失的情况根据历史数据进行预测然后补全。
4.根据权利要求1所述的基于智能摄像头和高精地图定位的车道线融合方法，其特征在于，在步骤(S3)中，所述智能摄像头(1)输出的车道线平稳过渡到高精地图***(2)输出的车道线上以实现融合，具体包括以下步骤：根据车辆行驶状态以智能摄像头历史输出的车道线预测下一帧车道线拟合成三次曲线的车道线参数A0、A1、A2和A3；根据经验值每次以A0最大跳变0.05，A1最大跳变0.001，A2最大跳变0.00001，A3最大跳变0.000001作为当前的车道线参数输出，直至过渡到以当前高精地图***(2)输出的车道线作为融合输出车道线。
5.根据权利要求1所述的基于智能摄像头和高精地图定位的车道线融合方法，其特征在于，判断此时高精地图***(2)车道线是否可用，需同时对以下两种情况进行判定:一是高精地图***(2)的精度和置信度是否满足使用要求；二是高精地图***(2)车道线与摄像头历史及预测车道线的平均横向误差是否稳定小于20厘米，以及是否有异常跳变；若高精地图***(2)的精度和置信度满足使用要求，以及高精地图***(2)车道线与摄像头历史及预测车道线的平均横向误差稳定小于20厘米且无异常跳变，则高精地图***(2)车道线可用，否则高精地图***(2)车道线不可用。
6.根据权利要求5所述的基于智能摄像头和高精地图定位的车道线融合方法，其特征在于，当无标志物对定位进行纵向校正时，纵向定位会有米级的纵向误差；在直道且车道无特殊变化时，纵向误差对车道线的准确度影响小，此时高精地图***(2)输出的车道线具有高置信度；在弯道时，纵向误差对车道线的准确度影响大，此时高精地图***(2)输出的车道线具有低置信度，弯道曲率越大，置信度越低；如果地图车道线不可用，则车道线的置信度为0。
7.根据权利要求6所述的基于智能摄像头和高精地图定位的车道线融合方法，其特征在于，当车道线具有低置信度或置信度为0，获取前车轨迹进行跟车或根据历史推测来辅助自动驾驶控制。
8.根据权利要求1所述的基于智能摄像头和高精地图定位的车道线融合方法，其特征在于，在步骤(S1)和(S2)中，所述车道线合理性判断包括：对车道线的三次曲线系数A0、A1、A2、A3的范围及帧间跳变的范围合理性进行判断；对车道宽度的合理性判断；对车道线长度的合理性判断。
9.一种基于智能摄像头和高精地图定位的车道线融合***，其特征在于，包括：
智能摄像头(1)，用于输出车道线信息；所述智能摄像头(1)与车身CAN总线连接；
GPS接收机(4)，用于接收全球定位***卫星信号并确定地面空间位置；
惯性传感器(5)，用于输出IMU信号；
高精地图定位控制器(2)，用于完成硬件***初始化、定位算法初始化及输出车道线信息；所述高精地图定位控制器(2)与车身CAN总线连接；所述高精地图定位控制器(2)还与智能摄像头(1)、GPS接收机(4)和惯性传感器(5)连接；
自动驾驶控制器(3)，所述自动驾驶控制器(3)用于执行如权利要求1中步骤(S3)和步骤(S4)；所述智能摄像头(1)和高精地图定位控制器(2)均与自动驾驶控制器(3)连接。
10.根据权利要求9所述的基于智能摄像头和高精地图定位的车道线融合***，其特征在于，所述智能摄像头(1)为前视智能摄像头且具有ASIL B级功能安全的智能摄像头。
CN202010360355.7A 2020-04-30 2020-04-30 基于智能摄像头和高精地图定位的车道线融合***及方法 Active CN111516673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010360355.7A CN111516673B (zh) 2020-04-30 2020-04-30 基于智能摄像头和高精地图定位的车道线融合***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010360355.7A CN111516673B (zh) 2020-04-30 2020-04-30 基于智能摄像头和高精地图定位的车道线融合***及方法

Publications (2)

Publication Number Publication Date
CN111516673A true CN111516673A (zh) 2020-08-11
CN111516673B CN111516673B (zh) 2022-08-09

Family

ID=71911393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010360355.7A Active CN111516673B (zh) 2020-04-30 2020-04-30 基于智能摄像头和高精地图定位的车道线融合***及方法

Country Status (1)

Country Link
CN (1) CN111516673B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112373474A (zh) * 2020-11-23 2021-02-19 重庆长安汽车股份有限公司 车道线融合及横向控制方法、***、车辆及存储介质
CN112721930A (zh) * 2021-01-15 2021-04-30 重庆长安汽车股份有限公司 车辆过弯减速度规划方法、***、车辆及存储介质
CN112818804A (zh) * 2021-01-26 2021-05-18 重庆长安汽车股份有限公司 目标级车道线的平行处理方法、***、车辆及存储介质
CN112896181A (zh) * 2021-01-14 2021-06-04 重庆长安汽车股份有限公司 电子围栏控制方法、***、车辆及存储介质
CN113160454A (zh) * 2021-05-31 2021-07-23 重庆长安汽车股份有限公司 自动驾驶车辆历史传感器数据回灌方法及***
CN113436190A (zh) * 2021-07-30 2021-09-24 重庆长安汽车股份有限公司 一种基于车道线曲线系数的车道线质量计算方法、装置及汽车
CN113487901A (zh) * 2021-07-30 2021-10-08 重庆长安汽车股份有限公司 基于摄像头感知的车道宽度校验方法及***
CN113591618A (zh) * 2021-07-14 2021-11-02 重庆长安汽车股份有限公司 前方道路形状估算方法、***、车辆及存储介质
CN114023072A (zh) * 2021-05-31 2022-02-08 合肥中科类脑智能技术有限公司 一种车辆违章监测***、方法及计算机可读存储介质
CN114419590A (zh) * 2022-01-17 2022-04-29 北京百度网讯科技有限公司 高精地图的验证方法、装置、设备以及存储介质
CN115027482A (zh) * 2022-06-29 2022-09-09 东风商用车有限公司 智能驾驶中的融合定位方法
EP4125051A1 (en) * 2021-07-30 2023-02-01 Nio Technology (Anhui) Co., Ltd Method and device for determining reliability of visual detection
EP4246466A1 (en) * 2022-03-15 2023-09-20 Beijing Tusen Zhitu Technology Co., Ltd. Control method, vehicle, device and storage medium

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1094298A2 (de) * 1999-10-09 2001-04-25 Volkswagen Aktiengesellschaft Verfahren und Einrichtung zum navigationsgestützten Befahren von Strassenstrecken
JP2013045343A (ja) * 2011-08-25 2013-03-04 Mitsubishi Electric Corp ナビゲーションシステム、ナビゲーション装置、およびナビゲーションシステムの動作方法
US20150325127A1 (en) * 2014-05-06 2015-11-12 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for determining lane identification in a roadway
CN105698812A (zh) * 2016-01-15 2016-06-22 武汉光庭科技有限公司 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测***及其方法
CN105718865A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 一种自动驾驶中基于双目摄像头的道路安全检测***及其方法
CN106627582A (zh) * 2016-12-09 2017-05-10 重庆长安汽车股份有限公司 单车道自动驾驶超越相邻车道车辆的路径规划***及方法
CN107139917A (zh) * 2017-04-27 2017-09-08 江苏大学 一种基于混杂理论的无人驾驶汽车横向控制***和方法
US20170329345A1 (en) * 2016-05-13 2017-11-16 Delphi Technologies, Inc. Lane-Keeping System For Automated Vehicles
US20170334452A1 (en) * 2016-05-19 2017-11-23 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and vehicle control program
US20180188060A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Traffic Sign Feature Creation for High Definition Maps Used for Navigating Autonomous Vehicles
CN108253975A (zh) * 2017-12-29 2018-07-06 驭势（上海）汽车科技有限公司 一种建立地图信息及车辆定位的方法与设备
WO2018227980A1 (zh) * 2017-06-13 2018-12-20 蔚来汽车有限公司 基于摄像头传感器的车道线地图构建方法以及构建***
CN109724615A (zh) * 2019-02-28 2019-05-07 北京经纬恒润科技有限公司 一种车道线识别结果的校验方法及***
JP2019129417A (ja) * 2018-01-25 2019-08-01 クラリオン株式会社 表示制御装置及び表示システム
CN110293970A (zh) * 2019-05-22 2019-10-01 重庆长安汽车股份有限公司 一种自动驾驶汽车的行驶控制方法、装置及汽车
WO2019207160A1 (en) * 2018-04-27 2019-10-31 Visteon Global Technologies, Inc. Map line interface for autonomous driving
US20190362633A1 (en) * 2018-05-24 2019-11-28 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and storage medium
US20200026282A1 (en) * 2018-07-23 2020-01-23 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
CN110956128A (zh) * 2019-11-28 2020-04-03 重庆中星微人工智能芯片技术有限公司 生成车道线图像的方法、装置、电子设备和介质
CN110969837A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 自动驾驶车辆的道路信息融合***及方法
CN110969059A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线识别方法及***

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1094298A2 (de) * 1999-10-09 2001-04-25 Volkswagen Aktiengesellschaft Verfahren und Einrichtung zum navigationsgestützten Befahren von Strassenstrecken
JP2013045343A (ja) * 2011-08-25 2013-03-04 Mitsubishi Electric Corp ナビゲーションシステム、ナビゲーション装置、およびナビゲーションシステムの動作方法
US20150325127A1 (en) * 2014-05-06 2015-11-12 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for determining lane identification in a roadway
CN105698812A (zh) * 2016-01-15 2016-06-22 武汉光庭科技有限公司 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测***及其方法
CN105718865A (zh) * 2016-01-15 2016-06-29 武汉光庭科技有限公司 一种自动驾驶中基于双目摄像头的道路安全检测***及其方法
US20170329345A1 (en) * 2016-05-13 2017-11-16 Delphi Technologies, Inc. Lane-Keeping System For Automated Vehicles
US20170334452A1 (en) * 2016-05-19 2017-11-23 Honda Motor Co., Ltd. Vehicle control system, vehicle control method, and vehicle control program
CN106627582A (zh) * 2016-12-09 2017-05-10 重庆长安汽车股份有限公司 单车道自动驾驶超越相邻车道车辆的路径规划***及方法
US20180188060A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Traffic Sign Feature Creation for High Definition Maps Used for Navigating Autonomous Vehicles
CN107139917A (zh) * 2017-04-27 2017-09-08 江苏大学 一种基于混杂理论的无人驾驶汽车横向控制***和方法
WO2018227980A1 (zh) * 2017-06-13 2018-12-20 蔚来汽车有限公司 基于摄像头传感器的车道线地图构建方法以及构建***
CN108253975A (zh) * 2017-12-29 2018-07-06 驭势（上海）汽车科技有限公司 一种建立地图信息及车辆定位的方法与设备
JP2019129417A (ja) * 2018-01-25 2019-08-01 クラリオン株式会社 表示制御装置及び表示システム
WO2019207160A1 (en) * 2018-04-27 2019-10-31 Visteon Global Technologies, Inc. Map line interface for autonomous driving
US20190362633A1 (en) * 2018-05-24 2019-11-28 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and storage medium
US20200026282A1 (en) * 2018-07-23 2020-01-23 Baidu Usa Llc Lane/object detection and tracking perception system for autonomous vehicles
CN110969837A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 自动驾驶车辆的道路信息融合***及方法
CN110969059A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 车道线识别方法及***
CN109724615A (zh) * 2019-02-28 2019-05-07 北京经纬恒润科技有限公司 一种车道线识别结果的校验方法及***
CN110293970A (zh) * 2019-05-22 2019-10-01 重庆长安汽车股份有限公司 一种自动驾驶汽车的行驶控制方法、装置及汽车
CN110956128A (zh) * 2019-11-28 2020-04-03 重庆中星微人工智能芯片技术有限公司 生成车道线图像的方法、装置、电子设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴彦文等: "基于多传感融合的车道线检测与跟踪方法的研究", 《计算机应用研究》 *
赵翔等: "基于视觉和毫米波雷达的车道级定位方法", 《上海交通大学学报》 *
闫春香等: "辅助车道线检测的端到端自动驾驶", 《汽车实用技术》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112373474A (zh) * 2020-11-23 2021-02-19 重庆长安汽车股份有限公司 车道线融合及横向控制方法、***、车辆及存储介质
CN112373474B (zh) * 2020-11-23 2022-05-17 重庆长安汽车股份有限公司 车道线融合及横向控制方法、***、车辆及存储介质
CN112896181A (zh) * 2021-01-14 2021-06-04 重庆长安汽车股份有限公司 电子围栏控制方法、***、车辆及存储介质
CN112896181B (zh) * 2021-01-14 2022-07-08 重庆长安汽车股份有限公司 电子围栏控制方法、***、车辆及存储介质
CN112721930A (zh) * 2021-01-15 2021-04-30 重庆长安汽车股份有限公司 车辆过弯减速度规划方法、***、车辆及存储介质
CN112818804A (zh) * 2021-01-26 2021-05-18 重庆长安汽车股份有限公司 目标级车道线的平行处理方法、***、车辆及存储介质
CN112818804B (zh) * 2021-01-26 2024-02-20 重庆长安汽车股份有限公司 目标级车道线的平行处理方法、***、车辆及存储介质
CN114023072A (zh) * 2021-05-31 2022-02-08 合肥中科类脑智能技术有限公司 一种车辆违章监测***、方法及计算机可读存储介质
CN113160454A (zh) * 2021-05-31 2021-07-23 重庆长安汽车股份有限公司 自动驾驶车辆历史传感器数据回灌方法及***
CN113591618A (zh) * 2021-07-14 2021-11-02 重庆长安汽车股份有限公司 前方道路形状估算方法、***、车辆及存储介质
CN113591618B (zh) * 2021-07-14 2024-02-20 重庆长安汽车股份有限公司 前方道路形状估算方法、***、车辆及存储介质
CN113487901A (zh) * 2021-07-30 2021-10-08 重庆长安汽车股份有限公司 基于摄像头感知的车道宽度校验方法及***
CN113436190A (zh) * 2021-07-30 2021-09-24 重庆长安汽车股份有限公司 一种基于车道线曲线系数的车道线质量计算方法、装置及汽车
EP4125051A1 (en) * 2021-07-30 2023-02-01 Nio Technology (Anhui) Co., Ltd Method and device for determining reliability of visual detection
CN113436190B (zh) * 2021-07-30 2023-03-14 重庆长安汽车股份有限公司 一种基于车道线曲线系数的车道线质量计算方法、装置及汽车
CN114419590A (zh) * 2022-01-17 2022-04-29 北京百度网讯科技有限公司 高精地图的验证方法、装置、设备以及存储介质
CN114419590B (zh) * 2022-01-17 2024-03-19 北京百度网讯科技有限公司 高精地图的验证方法、装置、设备以及存储介质
EP4246466A1 (en) * 2022-03-15 2023-09-20 Beijing Tusen Zhitu Technology Co., Ltd. Control method, vehicle, device and storage medium
CN115027482A (zh) * 2022-06-29 2022-09-09 东风商用车有限公司 智能驾驶中的融合定位方法

Also Published As

Publication number Publication date
CN111516673B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111516673B (zh) 基于智能摄像头和高精地图定位的车道线融合***及方法
US9280712B2 (en) Apparatus and method for recognizing a lane
US20200331495A1 (en) System for steering an autonomous vehicle
CN110530372B (zh) 定位方法、路径确定方法、装置、机器人及存储介质
US20220169280A1 (en) Method and Device for Multi-Sensor Data Fusion For Automated and Autonomous Vehicles
CN112537294B (zh) 自动泊车控制方法及电子设备
CN111409632A (zh) 车辆控制方法及装置、计算机设备和存储介质
CN112433531A (zh) 一种自动驾驶车辆的轨迹跟踪方法、装置及计算机设备
US20200193176A1 (en) Automatic driving controller and method
JP2018063476A (ja) 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム
WO2022012316A1 (zh) 控制方法、车辆和服务器
CN113009539A (zh) 一种车辆自动变道处理方法、车辆及设备
Yang et al. Autonomous lane keeping control system based on road lane model using deep convolutional neural networks
US10108866B2 (en) Method and system for robust curb and bump detection from front or rear monocular cameras
CN117746357A (zh) 一种车道线识别方法、装置及电子设备
CN112505724A (zh) 道路负障碍检测方法及***
CN116625375A (zh) 一种基于车轮参数标定与单目车道线检测的车辆定位方法
CN115373383A (zh) 一种垃圾回收无人艇的自主避障方法、装置及相关设备
CN114771562A (zh) 一种无人驾驶车辆的控制方法及装置
US20210155249A1 (en) Device and method for estimating the attention level of a driver of a vehicle
後方カメラ用画像処理技術 et al. Image processing technology for rear view camera (1): Development of lane detection system
JP2019206310A (ja) 操舵角決定装置、および、自動運転車
CN116481548B (zh) 自动驾驶车辆的定位方法、装置及电子设备
CN117782083A (zh) 一种轨迹矫正方法、介质、装置及车辆
JP2024077288A (ja) 道路区画線認識装置および道路区画線認識プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant