CN115546315A - 自动驾驶车辆的传感器在线标定方法、装置及存储介质 - Google Patents

自动驾驶车辆的传感器在线标定方法、装置及存储介质 Download PDF

Info

Publication number
CN115546315A
CN115546315A CN202211248093.0A CN202211248093A CN115546315A CN 115546315 A CN115546315 A CN 115546315A CN 202211248093 A CN202211248093 A CN 202211248093A CN 115546315 A CN115546315 A CN 115546315A
Authority
CN
China
Prior art keywords
detection target
point cloud
target
data
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211248093.0A
Other languages
English (en)
Inventor
胡铮铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202211248093.0A priority Critical patent/CN115546315A/zh
Publication of CN115546315A publication Critical patent/CN115546315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种自动驾驶车辆的传感器在线标定方法和装置，所述方法包括：确定自动驾驶车辆的行驶车道是否满足在线标定条件；当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标；确定所述图像检测目标和点云检测目标是否为同一目标；当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。本申请的技术方案能够快速、准确的完成自动驾驶车辆的传感器的在线标定。

Description

自动驾驶车辆的传感器在线标定方法、装置及存储介质
技术领域
本申请涉及传感器标定技术领域，尤其涉及一种自动驾驶车辆的传感器在线标定方法和装置。
背景技术
多传感器融合技术在自动驾驶领域是非常关键的算法模块，但是又严重依赖时间和空间的同步，时间同步往往可以很容易地通过硬件触发的方式解决，而空间同步则没有很好的解决方案。
空间同步表现为各个传感器之间外参的标定，现有标定方法多为离线标定，比如用标定车间或者人工标定，将初始外参标定好，但是自动驾驶车辆行驶中或者经过一段时间，由于振动等各种因素造成传感器之间相对位姿发生了变化。
针对上述问题，现有技术中存在一些在线标定方法，但现有的在线标定方法大多是基于图像数据和点云数据的线性特征的匹配，现有的匹配算法难以高效准确地得到在线标定结果。
发明内容
基于现有技术中存在的上述问题，本申请实施例提供了一种自动驾驶车辆的传感器在线标定方法和装置，以快速准确地计算传感器之间的相对外参。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种自动驾驶车辆的传感器在线标定方法，所述方法包括：
确定自动驾驶车辆的行驶车道是否满足在线标定条件；
当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标；
确定所述图像检测目标和点云检测目标是否为同一目标；
当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。
可选地，所述确定自动驾驶车辆的行驶车道是否满足在线标定条件，包括：
获取自动驾驶车辆当前行驶车道的车道类型；
若所述自动驾驶车辆当前行驶在直行车道上，确定满足在线标定条件，否则不满足在线标定条件。
可选地，所述确定所述图像检测目标和点云检测目标是否为同一目标，包括：
确定所述图像检测目标和点云检测目标是否处于所述自动驾驶车辆当前行驶的车道内；
若处于所述自动驾驶车辆当前行驶的车道内，则确定所述图像检测目标和点云检测目标是否同为车前目标或同为车后目标；
若同为车前目标或同为车后目标，则确定所述图像检测目标和点云检测目标为同一目标。
可选地，所述确定所述图像检测目标和点云检测目标是否处于所述自动驾驶车辆当前行驶的车道内，包括：
对所述道路图像数据进行车道线检测，得到所述自动驾驶车辆当前行驶的车道边界线；
获取所述图像检测目标与所述车道边界线的位置关系，若所述图像检测目标处于所述车道边界线内，则确定所述图像检测目标处于所述自动驾驶车辆当前行驶的车道内；
以及，根据所述激光点云数据中自动驾驶车辆的车宽信息虚拟出所述自动驾驶车辆当前行驶车道的车道边界线；
获取所述点云检测目标与虚拟出的车道边界线的位置关系，若所述点云检测目标处于虚拟出的车道边界线内，则确定所述点云检测目标处于所述自动驾驶车辆当前行驶的车道内。
可选地，所述确定所述图像检测目标和点云检测目标是否同为车前目标或同为车后目标，包括：
获取所述图像检测目标与所述自动驾驶车辆的位置关系，以及所述点云检测目标与所述自动驾驶车辆的位置关系；
若所述图像检测目标和所述点云检测目标位于所述自动驾驶车辆的前方，则确定所述图像检测目标和所述点云检测目标同为车前目标；
若所述图像检测目标和所述点云检测目标位于所述自动驾驶车辆的后方，则确定所述图像检测目标和所述点云检测目标同为车后目标。
可选地，所述方法还包括：
若处于所述自动驾驶车辆当前行驶的车道内的同为车前目标的所述图像检测目标和点云检测目标为多个，则将与所述自动驾驶车辆距离最近的所述图像检测目标和点云检测目标确定为最优目标；
所述获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，包括：
获取最优的所述图像检测目标的第一特征点数据和最优的所述点云检测目标的第二特征点数据。
可选地，所述图像检测目标包括图像目标检测框，所述点云检测目标包括点云目标检测框，所述获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果，包括：
获取所述图像目标检测框的角点数据作为所述第一特征点数据以及获取点云目标检测框的角点数据作为所述第二特征点数据；
对所述第一特征点数据和第二特征点数据采用多点透视成像PNP算法获取所述相机与所述激光雷达之间相对外参；
根据所述相机与所述激光雷达之间的相对外参得到所述在线标定结果。
第二方面，本申请实施例还提供一种自动驾驶车辆的传感器在线标定装置，所述装置包括：
第一判断单元，用于确定自动驾驶车辆的行驶车道是否满足在线标定条件；
目标检测单元，用于当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标；
第二判断单元，用于确定所述图像检测目标和点云检测目标是否为同一目标；
标定计算单元，用于当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。
第三方面，本申请实施例还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述自动驾驶车辆的传感器在线标定方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述自动驾驶车辆的传感器在线标定方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例在需要对自动驾驶车辆的传感器进行在线标定时，先判断自动驾驶车辆的行驶车道是否满足在线标定条件，当满足在线标定条件时，获取道路图像数据和对应的激光点云数据并分别进行目标检测，对检测到的图像检测目标和点云检测目标进行目标一致性判断，当两个检测目标对应为同一目标时，才基于两个检测目标的特征点进行相机与激光雷达的相对外参计算，得到在线标定结果。
本申请实施例以自动驾驶车辆的行驶车道为约束条件，当满足该约束条件时，本申请实施例可以准确地判断出图像检测目标与点云检测目标是否对应为同一目标，当确定出图像检测目标与点云检测目标对应为同一目标时，在相对外参计算过程中，不需复杂的特征点匹配算法就能够精确、快速进行特征点匹配，且在目标检测过程中，可以利用自动驾驶车辆现有的目标检测算法，不但能够进一步提高在线标定的计算效率，还能够节省计算资源。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中一种自动驾驶车辆的传感器在线标定方法的流程示意图；
图2为本申请实施例中示出的车道边界线检测结果示意图；
图3为本申请实施例中示出的道路图像数据及其图像检测目标示意图；
图4为本申请实施例中示出的激光点云数据及其点云检测目标示意图；
图5为本申请实施例中一种自动驾驶车辆的传感器在线标定装置的结构示意图；
图6为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种自动驾驶车辆的传感器在线标定方法，如图1所示，提供了本申请实施例中一种自动驾驶车辆的传感器在线标定方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S140：
步骤S110，确定自动驾驶车辆的行驶车道是否满足在线标定条件。
步骤S120，当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标。
本申请实施例的自动驾驶车辆的传感器在线标定方法由自动驾驶车辆执行，自动驾驶车辆上事先安装有相机和激光雷达，完成初始标定后即可实时正常的采集数据。当相机、激光雷达等传感器的初始外参出现变化需要在线标定以更新或修正传感器之间的相对外参时，需要先判断当前的行驶车道是否满足在线标定条件，当满足在线标定条件时，才获取当前相机采集的道路图像数据以及激光雷达采集的激光点云数据，保证后续步骤能够正常执行。
此外，由于相机和激光雷达的数据采集频率不同，因此为了保证后续数据处理的准确性，还需要对道路图像数据和激光点云数据进行时间同步处理，例如通过硬件触发的方式进行数据采集。
在采集到的道路图像数据和激光点云数据之后，本实施例可以基于自动驾驶车辆的已有的目标检测算法对道路图像数据和激光点云数据进行目标检测，而不需要额外设计目标检测算法，以节省计算资源。
步骤S130，确定所述图像检测目标和点云检测目标是否为同一目标。
在线标定需要解决的两个关键问题分别是目标之间的匹配和目标之间的相对外参计算。如果解决解决了第一个问题，第二个问题则很容易解决。
因此，本申请在得到两种数据的检测目标之后，先判断两个检测目标是否对应为同一目标，在判断出两个检测目标对应为同一目标时，基于特征点匹配算法对两个检测目标的特征点进行相对外参计算，得到在线标定结果。
步骤S140，当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。
如图1所示的在线标定方法可知，本实施例在需要对自动驾驶车辆的传感器进行在线标定时，先判断自动驾驶车辆的行驶车道是否满足在线标定条件，当满足在线标定条件时，获取道路图像数据和对应的激光点云数据并分别进行目标检测，对检测到的图像检测目标和点云检测目标进行目标一致性判断，当两个检测目标是同一目标时，才基于两个检测目标的特征点进行相机与激光雷达的相对外参计算，得到在线标定结果。
本实施例以自动驾驶车辆的行驶车道为约束条件，当满足该约束条件时，本申请实施例可以准确地判断出图像检测目标与点云检测目标是否对应为同一目标，当确定出图像检测目标与点云检测目标对应为同一目标时，在相对外参计算过程中，不需复杂的特征点匹配算法就能够精确、快速进行特征点匹配，且在目标检测过程中，可以利用自动驾驶车辆现有的目标检测算法，不但能够进一步提高在线标定的计算效率，还能够节省计算资源。
在本申请的一些实施例中，所述确定自动驾驶车辆的行驶车道是否满足在线标定条件，包括：
获取自动驾驶车辆当前行驶车道的车道类型；
若所述自动驾驶车辆当前行驶在直行车道上，则确定满足在线标定条件，否则不满足在线标定条件。
考虑到当自动驾驶车辆行驶在直行车道上时，自动驾驶车辆的相机与激光雷达能够采集到车辆正方前目标或正后方目标的完整数据，而不会存在遮挡问题，能够保证目标检测的准确性，为特征点的精确匹配提供数据基础；且在直行车道上，以自动驾驶车辆为参考，能够准确判断出图像检测目标与点云检测目标是否对应为车辆正前方目标或车辆正后方目标，使得不同传感器之间的目标匹配变得简单易行。
由此本申请具体是判断自动驾驶车辆是否行驶在直行车道上，如图3所示，当自动驾驶车辆行驶在平直的道路上，并且保持在车道中心线上行驶时，能够确定自动驾驶车辆的相机、激光雷达采集到的车前目标或车后目标为同一目标，这里车前目标或车后目标主要是指行驶在自车车道上的正前方或正后方的目标，检测目标包括车辆等交通参与对象。因此，本申请将自动驾驶车辆的行驶车道作为在线标定的约束条件，当满足该约束条件时，能够确定出后续检测到的两个检测目标对应为同一目标，解决前文所述的目标之间的匹配问题。
在本申请的一些实施例中，所述确定所述图像检测目标和点云检测目标是否为同一目标，包括：
确定所述图像检测目标和点云检测目标是否处于所述自动驾驶车辆当前行驶的车道内；
若处于所述自动驾驶车辆当前行驶的车道内，则确定所述图像检测目标和点云检测目标是否同为车前目标或同为车后目标；
若同为车前目标或同为车后目标，确定所述图像检测目标和点云检测目标为同一目标。
其中，通过下述步骤确定所述图像检测目标是否处于所述自动驾驶车辆当前行驶的车道内：
对所述道路图像数据进行车道线检测，得到所述自动驾驶车辆当前行驶的车道边界线，这里车道线检测算法可以采用自动驾驶车辆已有的检测算法，以节省计算资源；
获取所述图像检测目标与所述车道边界线的位置关系，若所述图像检测目标处于所述车道边界线内，则确定所述图像检测目标处于所述自动驾驶车辆当前行驶的车道内。
如图3所示，当自动驾驶车辆行驶在平直道路上时，利用自动驾驶车辆已有的图像目标检测算法对道路图像数据进行目标检测，得到如图2所示的3D图像目标检测结果，以及利用自动驾驶车辆已有的车道线检测算法对道路图像数据进行车道线检测，得到如图3所示的双侧边界线，由此基于位置信息能够判断出3D图像检测目标是否处于自动驾驶车辆的自车车道上。
本实施例在获取所述图像检测目标与所述车道边界线的位置关系时，应将图像检测目标与车道边界线转换到同一坐标系下。例如将道路图像数据的像素点转换到车体坐标系下，假设(u，v)是点投影在图像平面的坐标，(cx，cy)是基准点，(fx,fy)是以像素为单位的焦距，Xc、Yc、Zc是相机坐标系下的坐标点，Xw、Yw、Zw是车体坐标系下的坐标点，这里基准点可以是图像的中心点。
那么根据小孔成像公式：
Figure BDA0003886825180000091
推导出式子(2)：
Figure BDA0003886825180000092
Figure BDA0003886825180000093
那么假设地面上物体高度为零，即Zw＝0，则利用相机与激光雷达的初始外参标定矩阵
Figure BDA0003886825180000094
基于下述公式(3)：
Figure BDA0003886825180000095
能够计算出下述式子(4)：
Figure BDA0003886825180000096
Figure BDA0003886825180000097
Figure BDA0003886825180000098
利用式子(4)可以将图像中的车道线检测结果转换到当前自车坐标系下，同时也将3D图像检测目标的中心像素点投影到前自车坐标系下，再根据位置关系，判断3D图像检测目标是否在自动驾驶车辆当前行驶的车道上。
其中，本申请的一些实施例可以通过下述步骤确定所述点云检测目标是否处于所述自动驾驶车辆当前行驶的车道内：
根据所述激光点云数据中自动驾驶车辆的车宽信息虚拟出所述自动驾驶车辆当前行驶车道的车道边界线；可选地，也可以获取高精度地图数据，根据自动驾驶车辆的位置信息获得自动驾驶车辆所行驶车道的车道边界线。
获取所述点云检测目标与虚拟出的车道边界线的位置关系，若所述点云检测目标处于虚拟出的车道边界线内，则确定所述点云检测目标处于所述自动驾驶车辆当前行驶的车道内。
当确定出所述图像检测目标和所述点云检测目标均处于述自动驾驶车辆当前行驶的车道内之后，可以通过下述步骤确定所述图像检测目标和点云检测目标是否同为车前目标或同为车后目标：
获取所述图像检测目标与所述自动驾驶车辆的位置关系，以及所述点云检测目标与所述自动驾驶车辆的位置关系；
若所述图像检测目标和所述点云检测目标位于所述自动驾驶车辆的前方，则确定所述图像检测目标和所述点云检测目标同为车前目标；若所述图像检测目标和所述点云检测目标位于所述自动驾驶车辆的后方，则确定所述图像检测目标和所述点云检测目标同为车后目标。
如前述式子(1)～(4)所示的实施例，当将图像检测目标转换到车体坐标系下后，能够得到图像检测目标与自动驾驶车辆的位置关系，进而判断出图像检测目标为车前目标或车后目标。由于自动驾驶车辆的已有点云检测算法所检测出的点云检测目标一般都是给出基于自车坐标系下的位置，因此，如图4所示，可以很容易的判断哪些点云检测目标属于车前目标，哪些点云检测目标属于车后目标。
在本申请的一些实施例中，所述方法还包括：
若处于所述自动驾驶车辆当前行驶的车道内的同为车前目标的所述图像检测目标和点云检测目标为多个，则将与所述自动驾驶车辆距离最近的所述图像检测目标和点云检测目标确定为最优目标；
所述获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，包括：
获取最优的所述图像检测目标的第一特征点数据和最优的所述点云检测目标的第二特征点数据。
也就是说，当存在多个车前的图像检测目标和点云检测目标时，本实施例优选地将与自动驾驶车辆距离最近的车前目标作为最优目标进行相对外参计算，这是因为距离最近的车前目标在被传感器采集时，所得到的特征是最完整的，基于最优的车前目标的特征点进行相对外参计算，能够提高计算结果的精度。
基于上述实施例，能够将图像检测目标和点云检测目标关联起来，实现相机与激光雷达之间检测目标的匹配，接下来利用现有技术中特征点匹配算法即可计算出相机与激光雷达之间的相对外参。
参考图3和图4所知，图像检测目标包括图像目标检测框，点云检测目标包括点云目标检测框，那么获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，包括：
获取所述图像目标检测框的角点数据作为所述第一特征点数据以及获取点云目标检测框的角点数据作为所述第二特征点数据，即将图像目标检测框的8个角点作为第一特征点数据，将点云目标检测框的8个角点数据作为所述第二特征点数据，对所述第一特征点数据和第二特征点数据采用多点透视成像PNP算法获取所述相机与所述激光雷达之间相对外参；根据所述相机与所述激光雷达之间的相对外参得到所述在线标定结果。
假设空间中3D点的坐标为[Xw Yw Zw]T，该3D点的齐次坐标表示为[Xw Yw Zw 1]T，投影点坐标为[u v]T，齐次坐标系为[u v 1]T，相机的内参矩阵为K，那么基于PNP算法求解相机与激光雷达之间的相对外参，即旋转矩阵R和位移向量t的过程如下：
透视投影模型为：
Figure BDA0003886825180000121
将式子(5)展开后，得到下述式子(6)：
Figure BDA0003886825180000122
式子(6)的方程组形式如下：
zcuc＝f11Xw+f12Yw+f13Zw+f14
zcvc＝f21Xw+f22Yw+f23Zw+f24
zc＝f31Xw+f32Yw+f33Zw+f34 (7)
将式子(7)进行消除Zc计算后，得到下述式子(8)：
f11Xw+f12Yw+f13Zw+f14-f31Xwuc+f32Ywuc+f33Zwuc+f34uc＝0
f21Xw+f22Yw+f23Zw+f24-f31Xwvc+f32Ywvc+f33Zwvc+f34vc＝0 (8)
每组3D-2D匹配点对应两个方程，一共有12个未知数，至少需要6组匹配点。设有N组匹配点，则
Figure BDA0003886825180000123
将上述式子(9)写成矩阵形式，得到AF＝0，当N＝6时，可以直接求解线性方程组；当N≥6时，可以获得最小二乘解，可以对F进行奇异值(Singular Value Decomposition，简称为SVD)分解，即F＝UDVT。
由于F＝[KR Kt]，因此旋转矩阵R和位移向量t的估计值如下所示：
Figure BDA0003886825180000124
Figure BDA0003886825180000125
基于上述实施例示出的PNP算法，可以看出本申请实施例在完成图像检测目标与点云检测目标的匹配之后，可以采用较为简单的PNP算法完成相对外参计算，相对外参计算过程中，并不需要设置初始值即可快速计算出旋转矩阵和位移向量，实现在线标定。
本申请实施例还提供了一种自动驾驶车辆的传感器在线标定装置500，如图5所示，提供了本申请实施例中一种自动驾驶车辆的传感器在线标定装置的结构示意图，所述装置500包括：第一判断单元510，目标检测单元520，第二判断单元530和标定计算单元540，其中：
第一判断单元510，用于确定自动驾驶车辆的行驶车道是否满足在线标定条件；
目标检测单元520，用于当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标；
第二判断单元530，用于确定所述图像检测目标和点云检测目标是否为同一目标；
标定计算单元540，用于当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。
在本申请的一个实施例中，第一判断单元510，具体用于获取自动驾驶车辆当前行驶车道的车道类型；若所述自动驾驶车辆当前行驶在直行车道上，确定满足在线标定条件，否则不满足在线标定条件。
在本申请的一个实施例中，第二判断单元530，具体用于确定所述图像检测目标和点云检测目标是否处于所述自动驾驶车辆当前行驶的车道内；若处于所述自动驾驶车辆当前行驶的车道内，则确定所述图像检测目标和点云检测目标是否同为车前目标或同为车后目标；若同为车前目标或同为车后目标，则确定所述图像检测目标和点云检测目标为同一目标。
在本申请的一个实施例中，第二判断单元530包括车道判断模块和车前车后判断模块；
车道判断模块，用于对所述道路图像数据进行车道线检测，得到所述自动驾驶车辆当前行驶的车道边界线；获取所述图像检测目标与所述车道边界线的位置关系，若所述图像检测目标处于所述车道边界线内，则确定所述图像检测目标处于所述自动驾驶车辆当前行驶的车道内；以及，根据所述激光点云数据中自动驾驶车辆的车宽信息虚拟出所述自动驾驶车辆当前行驶车道的车道边界线；获取所述点云检测目标与虚拟出的车道边界线的位置关系，若所述点云检测目标处于虚拟出的车道边界线内，则确定所述点云检测目标处于所述自动驾驶车辆当前行驶的车道内。
车前车后判断模块，用于获取所述图像检测目标与所述自动驾驶车辆的位置关系，以及所述点云检测目标与所述自动驾驶车辆的位置关系；若所述图像检测目标和所述点云检测目标位于所述自动驾驶车辆的前方，则确定所述图像检测目标和所述点云检测目标同为车前目标；若所述图像检测目标和所述点云检测目标位于所述自动驾驶车辆的后方，则确定所述图像检测目标和所述点云检测目标同为车后目标。
在本申请的一个实施例中，第二判断单元530还用于若处于所述自动驾驶车辆当前行驶的车道内的同为车前目标的所述图像检测目标和点云检测目标为多个，则将与所述自动驾驶车辆距离最近的所述图像检测目标和点云检测目标确定为最优目标；
标定计算单元540，还用于获取最优的所述图像检测目标的第一特征点数据和最优的所述点云检测目标的第二特征点数据。
在本申请的一个实施例中，所述图像检测目标包括图像目标检测框，所述点云检测目标包括点云目标检测框，标定计算单元540，具体用于获取所述图像目标检测框的角点数据作为所述第一特征点数据以及获取点云目标检测框的角点数据作为所述第二特征点数据，对所述第一特征点数据和第二特征点数据采用多点透视成像PNP算法获取所述相机与所述激光雷达之间相对外参；根据所述相机与所述激光雷达之间的相对外参得到所述在线标定结果。
能够理解，上述自动驾驶车辆的传感器在线标定装置，能够实现前述实施例中提供的自动驾驶车辆的传感器在线标定方法的各个步骤，关于自动驾驶车辆的传感器在线标定方法的相关阐释均适用于自动驾驶车辆的传感器在线标定装置，此处不再赘述。
图6是本申请的一个实施例电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成高精地图的更新装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
确定自动驾驶车辆的行驶车道是否满足在线标定条件；
当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标；
确定所述图像检测目标和点云检测目标是否为同一目标；
当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。
上述如本申请图1所示实施例揭示的自动驾驶车辆的传感器在线标定装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中自动驾驶车辆的传感器在线标定装置执行的方法，并实现自动驾驶车辆的传感器在线标定装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中自动驾驶车辆的传感器在线标定装置执行的方法，并具体用于执行：
确定自动驾驶车辆的行驶车道是否满足在线标定条件；
当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标；
确定所述图像检测目标和点云检测目标是否为同一目标；
当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种自动驾驶车辆的传感器在线标定方法，其特征在于，所述方法包括：
确定自动驾驶车辆的行驶车道是否满足在线标定条件；
当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标；
确定所述图像检测目标和点云检测目标是否为同一目标；
当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。
2.如权利要求1所述方法，其特征在于，所述确定自动驾驶车辆的行驶车道是否满足在线标定条件，包括：
获取自动驾驶车辆当前行驶车道的车道类型；
若所述自动驾驶车辆当前行驶在直行车道上，则确定满足在线标定条件，否则不满足在线标定条件。
3.如权利要求1所述方法，其特征在于，所述确定所述图像检测目标和点云检测目标是否为同一目标，包括：
确定所述图像检测目标和点云检测目标是否处于所述自动驾驶车辆当前行驶的车道内；
若处于所述自动驾驶车辆当前行驶的车道内，则确定所述图像检测目标和点云检测目标是否同为车前目标或同为车后目标；
若同为车前目标或同为车后目标，则确定所述图像检测目标和点云检测目标为同一目标。
4.如权利要求3所述方法，其特征在于，所述确定所述图像检测目标和点云检测目标是否处于所述自动驾驶车辆当前行驶的车道内，包括：
对所述道路图像数据进行车道线检测，得到所述自动驾驶车辆当前行驶的车道边界线；
获取所述图像检测目标与所述车道边界线的位置关系，若所述图像检测目标处于所述车道边界线内，则确定所述图像检测目标处于所述自动驾驶车辆当前行驶的车道内；
以及，根据所述激光点云数据中自动驾驶车辆的车宽信息虚拟出所述自动驾驶车辆当前行驶车道的车道边界线；
获取所述点云检测目标与虚拟出的车道边界线的位置关系，若所述点云检测目标处于虚拟出的车道边界线内，则确定所述点云检测目标处于所述自动驾驶车辆当前行驶的车道内。
5.如权利要求3所述方法，其特征在于，所述确定所述图像检测目标和点云检测目标是否同为车前目标或同为车后目标，包括：
获取所述图像检测目标与所述自动驾驶车辆的位置关系，以及所述点云检测目标与所述自动驾驶车辆的位置关系；
若所述图像检测目标和所述点云检测目标位于所述自动驾驶车辆的前方，则确定所述图像检测目标和所述点云检测目标同为车前目标；
若所述图像检测目标和所述点云检测目标位于所述自动驾驶车辆的后方，则确定所述图像检测目标和所述点云检测目标同为车后目标。
6.如权利要求3所述方法，其特征在于，所述方法还包括：
若处于所述自动驾驶车辆当前行驶的车道内的同为车前目标的所述图像检测目标和点云检测目标为多个，则将与所述自动驾驶车辆距离最近的所述图像检测目标和点云检测目标确定为最优目标；
所述获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，包括：
获取最优的所述图像检测目标的第一特征点数据和最优的所述点云检测目标的第二特征点数据。
7.如权利要求1所述方法，其特征在于，所述图像检测目标包括图像目标检测框，所述点云检测目标包括点云目标检测框，所述获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果，包括：
获取所述图像目标检测框的角点数据作为所述第一特征点数据以及获取点云目标检测框的角点数据作为所述第二特征点数据；
对所述第一特征点数据和第二特征点数据采用多点透视成像PNP算法获取所述相机与所述激光雷达之间相对外参；
根据所述相机与所述激光雷达之间的相对外参得到所述在线标定结果。
8.一种自动驾驶车辆的传感器在线标定装置，其特征在于，所述装置包括：
第一判断单元，用于确定自动驾驶车辆的行驶车道是否满足在线标定条件；
目标检测单元，用于当满足在线标定条件时，获取自动驾驶车辆的相机采集的道路图像数据和激光雷达采集的激光点云数据，对所述道路图像数据和激光点云数据进行目标检测，得到图像检测目标和点云检测目标；
第二判断单元，用于确定所述图像检测目标和点云检测目标是否为同一目标；
标定计算单元，用于当为同一目标时，获取所述图像检测目标的第一特征点数据和点云检测目标的第二特征点数据，对所述第一特征点数据和第二特征点数据进行匹配计算，得到所述相机与所述激光雷达之间的在线标定结果。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1～7之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1～7之任一所述方法。
CN202211248093.0A 2022-10-12 2022-10-12 自动驾驶车辆的传感器在线标定方法、装置及存储介质 Pending CN115546315A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211248093.0A CN115546315A (zh) 2022-10-12 2022-10-12 自动驾驶车辆的传感器在线标定方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211248093.0A CN115546315A (zh) 2022-10-12 2022-10-12 自动驾驶车辆的传感器在线标定方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115546315A true CN115546315A (zh) 2022-12-30

Family

ID=84732797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211248093.0A Pending CN115546315A (zh) 2022-10-12 2022-10-12 自动驾驶车辆的传感器在线标定方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115546315A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434563A (zh) * 2023-03-13 2023-07-14 山东华夏高科信息股份有限公司 车辆超员检测方法、***、设备及存储介质
CN116572995A (zh) * 2023-07-11 2023-08-11 小米汽车科技有限公司 车辆的自动驾驶方法、装置及车辆

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434563A (zh) * 2023-03-13 2023-07-14 山东华夏高科信息股份有限公司 车辆超员检测方法、***、设备及存储介质
CN116572995A (zh) * 2023-07-11 2023-08-11 小米汽车科技有限公司 车辆的自动驾驶方法、装置及车辆
CN116572995B (zh) * 2023-07-11 2023-12-22 小米汽车科技有限公司 车辆的自动驾驶方法、装置及车辆

Similar Documents

Publication Publication Date Title
CN115546315A (zh) 自动驾驶车辆的传感器在线标定方法、装置及存储介质
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN114279453B (zh) 基于车路协同的自动驾驶车辆定位方法、装置及电子设备
CN114973198A (zh) 目标车辆的航向角预测方法、装置及电子设备、存储介质
CN115376090A (zh) 高精地图构建方法、装置及电子设备、存储介质
CN114966632A (zh) 激光雷达标定方法、装置及电子设备、存储介质
CN114754761A (zh) 高精地图车道线的优化方法、装置及电子设备、存储介质
CN116990776A (zh) 激光雷达点云补偿方法、装置及电子设备、存储介质
CN115950441B (zh) 自动驾驶车辆的融合定位方法、装置及电子设备
CN112017241A (zh) 一种数据处理的方法和装置
CN116164763A (zh) 目标航向角确定方法、装置及电子设备、存储介质
CN116148821A (zh) 激光雷达的外参修正方法和装置、电子设备和存储介质
CN116152347A (zh) 一种车载摄像头安装姿态角标定方法及***
CN114755663A (zh) 车辆传感器的外参校准方法、装置及计算机可读存储介质
CN115112125A (zh) 自动驾驶车辆的定位方法、装置及电子设备、存储介质
CN115031755A (zh) 自动驾驶车辆定位方法、装置及电子设备、存储介质
CN114677448A (zh) 车载相机的外参校正方法、装置及电子设备、存储介质
CN114494200A (zh) 挂车旋转角度的测量方法和装置
CN116610766A (zh) 地图更新方法、装置及电子设备、计算机可读存储介质
CN114814911A (zh) 用于自动驾驶车辆的标定方法、装置及电子设备、存储介质
CN118154696A (zh) 路侧相机的参数标定方法、装置及路面元素三维定位方法
CN114723819A (zh) 用于自动驾驶车辆的标定方法、装置及电子设备、存储介质
CN115719375A (zh) 目标融合方法、装置及电子设备、计算机可读存储介质
CN118037802A (zh) 目标深度估计方法、装置及电子设备
CN116580095A (zh) 一种目标定位方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination