CN117392234A - 相机与激光雷达的标定方法及装置 - Google Patents

相机与激光雷达的标定方法及装置 Download PDF

Info

Publication number
CN117392234A
CN117392234A CN202311253801.4A CN202311253801A CN117392234A CN 117392234 A CN117392234 A CN 117392234A CN 202311253801 A CN202311253801 A CN 202311253801A CN 117392234 A CN117392234 A CN 117392234A
Authority
CN
China
Prior art keywords
camera
point cloud
feature
image data
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311253801.4A
Other languages
English (en)
Inventor
张强
张宇旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Avery Technology Co ltd
Original Assignee
Beijing Avery Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Avery Technology Co ltd filed Critical Beijing Avery Technology Co ltd
Priority to CN202311253801.4A priority Critical patent/CN117392234A/zh
Publication of CN117392234A publication Critical patent/CN117392234A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种相机与激光雷达的标定方法及装置，涉及轨道交通技术领域。所述方法包括：获取相机的图像数据，以及对应的激光雷达的点云数据，并对点云数据进行重投影得到点云重投影数据；将图像数据以及点云重投影数据输入到目标模型，得到目标模型输出的外参矩阵，外参矩阵用于表征相机与激光雷达的相对位置和姿态；其中，目标模型包括：特征提取网络，用于得到图像数据的深层语义特征及点云重投影数据的深度图像特征；特征融合层，用于融合深层语义特征与深度图像特征，得到融合结果；特征聚合层，用于基于融合结果确定外参矩阵。本申请实施例提供的相机与激光雷达的标定方法及装置，可以提高外参标定的效率和精度。

Description

相机与激光雷达的标定方法及装置
技术领域
本发明涉及轨道交通技术领域，尤其涉及一种相机与激光雷达的标定方法及装置。
背景技术
近年来，无人驾驶技术飞速发展。无人驾驶不仅能够缓解交通压力，提高人们的出行体验，而且轨道交通领域能够发挥举足轻重的作用。丰富的传感器是无人驾驶列车在复杂的场景下发挥感知和定位功能的基石，其中传感器标定是传感器高效工作的基础。传感器标定又分为内参标定和外参标定，内参标定包括相机去畸变、激光雷达内部偏差标定等，外参标定是指不同传感器之间的相对位置和姿态，常见的有激光雷达和惯导单元之间的位置和姿态，激光雷达和相机之间的位置和姿态等。不同传感器之间外参的标定精度直接影响无人驾驶列车的感知精度。
在激光雷达和相机之间的外参标定领域中，精度和自动化程度一直是两个矛盾的追求目标。基于特征提取的标定方法通过提取激光点云和图像的共有特征求解PnP问题实现了非常高的标定精度，但是这种方法需要制作特殊的标定板，自动化程度很低；基于深度学习的方法自动化程度很高，但是其训练和处理需要大量的时间，而且泛化能力不强。
发明内容
本发明提供一种相机与激光雷达的标定方法，用以解决现有技术中标定精度和自动化程度的矛盾，实现外参标定精度和自动化程度的平衡。
第一方面，本申请实施例提供一种相机与激光雷达的标定方法，包括：
获取相机的图像数据，以及对应的激光雷达的点云数据，并对所述点云数据进行重投影得到点云重投影数据；
将所述图像数据以及所述点云重投影数据输入到目标模型，得到所述目标模型输出的外参矩阵，所述外参矩阵用于表征所述相机与所述激光雷达的相对位置和姿态；
其中，所述目标模型包括：
特征提取网络，用于对所述图像数据进行特征编码，得到所述图像数据的深层语义特征；对所述点云重投影数据进行特征编码，得到所述点云重投影数据的深度图像特征；
特征融合层，用于融合所述深层语义特征与所述深度图像特征，得到融合结果；
特征聚合层，用于基于所述融合结果确定所述外参矩阵。
在一个实施例中，所述特征融合层具体用于：
确定所述深层语义特征中各像素与其对应的深度图像特征关联的匹配代价；
基于各匹配代价确定所述融合结果。
在一个实施例中，所述特征聚合层具体用于：
基于所述融合结果确定所述相机与所述激光雷达之间的平移向量和旋转四元数，并根据所述平移向量和旋转四元数确定所述外参矩阵。
在一个实施例中，所述匹配代价通过如下方式确定：
其中，C(xrgb(pi),xlidar(pj))表示所述匹配代价；xrgb(pi)表示深层语义特征图中第i个位置的特征向量；xlidar(pj)表示深度图像特征图中第j个位置的特征向量；D表示位置i为中心，边长为d的正方形区域中的点集；T为转置运算符。
在一个实施例中，所述目标模型是通过如下方式训练的：
根据图像数据样本、与所述图像数据样本对应的点云重投影数据样本、所述图像数据样本与所述点云重投影数据样本之间所对应的外参矩阵标签对初始模型进行训练，得到所述目标模型。
在一个实施例中，所述初始模型的损失函数L为：
其中，μr和μg为权重系数；qgt表示由所述相机与所述激光雷达之间真实的旋转参数得到的旋转四元数；qpred表示所述初始模型预测的旋转四元数；tgt表示所述相机与所述激光雷达之间真实的平移向量；tpred表示所述初始模型预测的平移向量；||||2表示求两个向量的2范式；Da表示两个四元数的角距离；Lg表示基于光流密度的损失。
在一个实施例中，所述将所述图像数据以及所述点云重投影数据输入到目标模型之前，还包括：
根据Canny边缘检测和阈值抑制中的至少一项对所述图像数据进行预处理。
第二方面，本申请实施例提供一种相机与激光雷达的标定装置，包括：
获取模块，用于获取相机的图像数据，以及对应的激光雷达的点云数据，并对所述点云数据进行重投影得到点云重投影数据；
预测模块，用于将所述图像数据以及所述点云重投影数据输入到目标模型，得到所述目标模型输出的外参矩阵，所述外参矩阵用于表征所述相机与所述激光雷达的相对位置和姿态；
其中，所述目标模型包括：
特征提取网络，用于对所述图像数据进行特征编码，得到所述图像数据的深层语义特征；对所述点云重投影数据进行特征编码，得到所述点云重投影数据的深度图像特征；
特征融合层，用于融合所述深层语义特征与所述深度图像特征，得到融合结果；
特征聚合层，用于基于所述融合结果确定所述外参矩阵。
第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
第四方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法。
本申请实施例提供的相机与激光雷达的标定方法及装置，通过目标模型对图像数据以及点云重投影数据进行特征提取、特征融合，并根据融合结果确定外参矩阵，从而可以自动化实现相机与激光雷达的外参标定，解决了恶劣光线下位姿矩阵匹配精度低的问题，并有效保证了相机与激光雷达外参标定的效率和准确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的相机与激光雷达的标定方法的流程示意图；
图2是本申请实施例提供的相机与激光雷达的标定方法使用的目标模型的结构图；
图3是本申请实施例提供的ResNet-18改进网络结构图；
图4是本申请实施例提供的残差模块示意图；
图5是本申请实施例提供的相机与激光雷达的标定装置的结构示意图；
图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本申请实施例提供的相机与激光雷达的标定方法的流程示意图。参照图1，本申请实施例提供一种相机与激光雷达的标定方法，可以包括：
步骤110、获取相机的图像数据，以及对应的激光雷达的点云数据，并对点云数据进行重投影得到点云重投影数据；
步骤120、将图像数据以及点云重投影数据输入到目标模型，得到目标模型输出的外参矩阵，外参矩阵用于表征相机与所述激光雷达的相对位置和姿态；
其中，目标模型包括：
特征提取网络，用于对图像数据进行特征编码，得到图像数据的深层语义特征；对点云重投影数据进行特征编码，得到点云重投影数据的深度图像特征；
特征融合层，用于融合深层语义特征与深度图像特征，得到融合结果；
特征聚合层，用于基于融合结果确定外参矩阵。
需要说明的是，本申请实施例提供的相机与激光雷达的标定方法的执行主体可以是计算机设备，例如手机、平板电脑、笔记本电脑、掌上电脑等。下面以执行该相机与激光雷达的标定方法的标定***作为执行主体为例，来说明本申请实施例提供的相机与激光雷达的标定方法。
在步骤110中，在列车驾驶室内较高位置，可以正对轨道线安装相机和激光雷达。相机和激光雷达可以放在车头上方并尽量正对轨道线区域，从而防止被障碍物遮挡，同时可以尽量扩大感知范围，实现对列车轨道数据的采集。如图2所示，安装的相机和激光雷达可以对列车在恶劣光照等运行环境下的图像和点云数据进行采集。标定***可以获取相机采集的图像数据和对应的激光雷达采集的点云数据，然后对点云数据进行重投影从而得到点云重投影数据。
在步骤120中，标定***的目标模型可以对图像数据及其对应的点云重投影数据进行处理得到外参矩阵，外参矩阵可以表征相机和对应的激光雷达的相对位置和姿态。根据相机和激光雷达的相对位置和姿态，可以实现对相机和激光雷达的外参标定。标定***可以将步骤110中获取的图像数据以及对应的点云重投影数据输入目标模型，得到目标模型输出的外参矩阵，然后根据外参矩阵对相机和激光雷达进行外参标定。
具体的，如图2所示，目标模型可以包括：
特征提取网络，可以用于对相机采集的图像数据进行特征编码，从而得到图像数据的深层语义特征；对点云重投影数据进行特征编码，从而得到点云重投影数据的深度图像特征。
图3是ResNet-18改进网络的数据流，在本实施例中，可以选择ResNet-18改进网络作为特征提取网络。ResNet-18改进网络通过在每两个数据模块之间引入非线性层来拟合残差映射，能够很好地解决网络的退化问题，残差模块如图4所示。ResNet-18特征提取网络可以接收图像数据并对图像数据进行特征编码，得到图像的空间特征和深层语义特征。ResNet-18特征提取网络可以接收激光点云重投影数据并进行特征编码，从而得到点云重投影数据的深度图像特征。ResNet-18特征提取网络提取的图像数据的深层语义特征和点云重投影数据的深度图像特征可用于特征融合层。
特征融合层，可以用于接收并融合特征提取网络提取的RGB图像数据的深层语义特征和点云重投影数据的深度图像特征，并得到融合结果。
特征聚合层，可以用于接收特征融合层输出的图像数据和点云重投影数据的融合结果，并根据融合结果确定相机和激光雷达的外参矩阵，得到相聚与激光雷达的相对位置和姿态。
本申请实施例提供的相机与激光雷达的标定方法，通过目标模型对图像数据以及点云重投影数据进行特征提取、特征融合，并根据融合结果确定外参矩阵，从而可以自动化实现相机与激光雷达的外参标定，解决了恶劣光线下位姿矩阵匹配精度低的问题，并有效保证了相机与激光雷达外参标定的效率和准确度。
在一个实施例中，特征融合层具体用于：
确定深层语义特征中各像素与其对应的深度图像特征关联的匹配代价；
基于各匹配代价确定融合结果。
特征融合层可以计算图像数据深层语义特征中的每一个像素与其对应的点云重投影数据深度图像特征关联的匹配代价，具体是计算RGB图像数据的深层语义特征的转置与点云重投影数据的深度图像特征之间的乘积，再根据计算结果进行特征融合，对图像数据的深层语义特征和点云重投影数据的深度图像特征进行向量级别的关联。
本申请实施例提供的相机与激光雷达的标定方法，通过引入特征融合层可以很好地将图像数据和点云数据相关联，增加相机与激光雷达之间配准的准确性，同时为特征聚合层确定外参矩阵提供了准备数据。
在一个实施例中，特征聚合层具体用于：
基于融合结果确定相机与激光雷达之间的平移向量和旋转四元数，并根据平移向量和旋转四元数确定外参矩阵。
特征聚合层可以包括一个全连接层和两个带有堆叠的全连接层，这两个带有堆叠的全连接层结构不同，其中一个可以输出平移向量，另一个可以输出旋转四元数。特征聚合层可以获取特征融合层输出的图像数据和点云重投影数据的融合结果，然后对融合结果进行处理从而得到相机与激光雷达之间的平移向量和旋转四元数，根据平移向量和旋转四元数可以确定外参矩阵。
本申请实施例提供的相机与激光雷达的标定方法，通过引入特征聚合层可以根据图像数据和点云数据的关联确定外参矩阵，为相机和激光雷达的标定提供了直接参考，保证了外参标定过程的顺利实施。
在一个实施例中，匹配代价通过如下方式确定：
其中，C(xrgb(pi),xlidar(pj))表示匹配代价；xrgb(pi)表示深层语义特征图中第i个位置的特征向量；xlidar(pj)表示深度图像特征图中第j个位置的特征向量；D表示位置i为中心，边长为d的正方形区域中的点集；T为转置运算符。
特征融合层可以计算图像数据与点云重投影数据中每个像素之间的关联。例如，当需要计算图像数据的深层语义特征图中第i个位置的特征向量xrgb(pi)与点云重投影数据的深度图像特征图中第j个位置的特征向量xlidar(pj)之间的匹配代价时，可以将上述两个特征向量带入匹配代价公式，从而获得特征向量xrgb(pi)和xlidar(pj)的匹配代价。
本申请实施例提供的相机与激光雷达的标定方法，基于实际情况确定了匹配代价公式，为特征融合层对图像数据和点云数据的特征融合提供了直接参考，可以精准识别图像数据和点云数据之间的关联。
在一个实施例中，目标模型是通过如下方式训练的：
根据图像数据样本、与所述图像数据样本对应的点云重投影数据样本、所述图像数据样本与所述点云重投影数据样本之间所对应的外参矩阵标签对初始模型进行训练，得到所述目标模型。
目标模型可以以多张相机的图像数据作为样本，将图像数据样本对应的点云重投影数据也作为样本，将图像数据样本与点云重投影数据样本之间所对应的外参矩阵作为标签，对初始模型进行训练，当初始模型的准确率达到目标要求时，可以得到目标模型。当目标模型接收到图像数据及其对应的点云重投影数据时，可以识别并输出对应的外参矩阵。
在本实施例中，可以获取相机和激光雷达所采集的图像数据和点云数据，并从中选取列车在各种室外场景(例如不同天气条件)下运行的相关图像和点云作为训练集。例如可以选取500张雨天环境下的场景数据，1000张傍晚环境下的场景数据以及3000张正常光照下的场景数据组成训练集，从而可以更符合真实情况。
然后可以从训练集中选取一部分作为测试集，来检测训练出目标模型的效果。可按照不同环境以及不同地点选取500张图像及其点云数据作为测试集，测试集中可以包含各种恶劣环境，例如雨天和傍晚这种典型场景，以达到最贴近实际的检测效果。
对训练集对应的图像和点云数据的真实位姿矩阵进行标注，得到训练集中图像和点云数据的之间的真实位姿矩阵，然后对初始模型进行训练，直至准确率达到要求成为目标模型。
本申请实施例提供的相机与激光雷达的标定方法，通过训练目标模型，可以实现对外参矩阵的自动化输出，而且可以基于不同环境下的图像和点云数据不断对目标模型进行训练，进一步提升外参标定的准确性，可以在保证标定精准度的同时，达到10FPS的处理帧率，满足实时化部署要求。
在一个实施例中，初始模型的损失函数L为：
L＝μr(Da(qgt-qpred)+||tgt-tpred||2)+μgLg
其中，μr和μg为权重系数；qgt表示由相机与激光雷达之间真实的旋转参数得到的旋转四元数；qpred表示初始模型预测的旋转四元数；tgt表示相机与激光雷达之间真实的平移向量；tpred表示初始模型预测的平移向量；||||2表示求两个向量的2范式；Da表示两个四元数的角距离；Lg表示基于光流密度的损失。
在对初始模型进行训练时，采用的损失函数可以包括参数损失和旋转参数叫距离损失之和，也可以包括光流密度损失。本实施例选取光流密度损失函数。可以根据权重系数、真实旋转四元数、预测旋转四元数、真实平移向量、预测平移向量、四元数的角距离得到光流密度的损失。
在本实施例中，基于特征融合层得到的平移向量和旋转四元数可以得到外参矩阵：
式中，Rpred为旋转矩阵，tpred为平移向量。
设定一组激光雷达点云点P＝{P1，P2，…，Pn}，Pi∈R3，通过相机内参和初始模型预测的外参旋转矩阵可以将点P投影到图像上，得到Pcamera:
Pcamera＝KTpredP
同时，可以根据对训练集标注的真实位姿矩阵Tgt，得到点云点P的真实投影Pcamera_gt：
Pcamera_gt＝KTgtP
基于Pcamera和Pcamera_gt可以得到光流损失图像Ploss：
Ploss＝|Pcamera-Pcamera_gt|
可以使用滑动窗口H以固定步长在Ploss上滑动，得到基于光流密度的损失Lg，如下所示：
Lg＝∑μiHi
式中，Hi为对H区域内的像素点求和的结果，μi代表H区域内存在的像素点数。
本申请实施例提供的相机与激光雷达的标定方法，设计了基于光流密度的损失函数，以引入重投影误差的影响，可以更好地衡量位姿矩阵的标定精准度，有利于网络更快速有效地收敛,大幅提高了训练时的收敛速度，并提升了标定精度。
在一个实施例中，将图像数据以及点云重投影数据输入到目标模型之前，还包括：
根据Canny边缘检测和阈值抑制中的至少一项对图像数据进行预处理。
如图2所示，在图像数据以及点云重投影数据输入到目标模型之前，还可以根据Canny边缘检测和/或阈值抑制对图像数据进行预处理，如确定图像数据的边界、滤除光照干扰等，从而可以提取物体的边缘特征，滤除干扰特征。
本申请实施例提供的相机与激光雷达的标定方法，使用了Canny边缘检测和阈值抑制对图像中的物体进行预处理，可以滤除外界因素对图像数据的干扰，精确识别图像物体的边缘，有利于进一步特征外参标定的效率和精度。
下面对本发明提供的相机与激光雷达的标定装置进行描述，下文描述的相机与激光雷达的标定装置与上文描述的相机与激光雷达的标定方法可相互对应参照。
图5是本申请实施例提供的相机与激光雷达的标定装置的结构示意图。参照图5，本申请实施例提供的相机与激光雷达的标定装置，可以包括：
获取模块510，用于获取相机的图像数据，以及对应的激光雷达的点云数据，并对所述点云数据进行重投影得到点云重投影数据；
预测模块520，用于将所述图像数据以及所述点云重投影数据输入到目标模型，得到所述目标模型输出的外参矩阵，所述外参矩阵用于表征所述相机与所述激光雷达的相对位置和姿态；
其中，所述目标模型包括：
特征提取网络，用于对所述图像数据进行特征编码，得到所述图像数据的深层语义特征；对所述点云重投影数据进行特征编码，得到所述点云重投影数据的深度图像特征；
特征融合层，用于融合所述深层语义特征与所述深度图像特征，得到融合结果；
特征聚合层，用于基于所述融合结果确定所述外参矩阵。
本申请实施例提供的相机与激光雷达的标定装置，通过目标模型对图像数据以及点云重投影数据进行特征提取、特征融合，并根据融合结果确定外参矩阵，从而可以自动化实现相机与激光雷达的外参标定，解决了恶劣光线下位姿矩阵匹配精度低的问题，并有效保证了相机与激光雷达外参标定的效率和准确度。
在一个实施例中，所述特征融合层具体用于：
确定所述深层语义特征中各像素与其对应的深度图像特征关联的匹配代价；
基于各匹配代价确定所述融合结果。
在一个实施例中，所述特征聚合层具体用于：
基于所述融合结果确定所述相机与所述激光雷达之间的平移向量和旋转四元数，并根据所述平移向量和旋转四元数确定所述外参矩阵。
在一个实施例中，所述匹配代价通过如下方式确定：
其中，C(xrgb(pi),xlidar(pj))表示所述匹配代价；xrgb(pi)表示深层语义特征图中第i个位置的特征向量；xlidar(pj)表示深度图像特征图中第j个位置的特征向量；D表示位置i为中心，边长为d的正方形区域中的点集；T为转置运算符。
在一个实施例中，所述目标模型是通过如下方式训练的：
根据图像数据样本、与所述图像数据样本对应的点云重投影数据样本、所述图像数据样本与所述点云重投影数据样本之间所对应的外参矩阵标签对初始模型进行训练，得到所述目标模型。
在一个实施例中，所述初始模型的损失函数L为：
L＝μr(Da(qgt-qpred)+||tgt-tpred||2)+μgLg
其中，μr和μg为权重系数；qgt表示由所述相机与所述激光雷达之间真实的旋转参数得到的旋转四元数；qpred表示所述初始模型预测的旋转四元数；tgt表示所述相机与所述激光雷达之间真实的平移向量；tpred表示所述初始模型预测的平移向量；||||2表示求两个向量的2范式；Da表示两个四元数的角距离；Lg表示基于光流密度的损失。
在一个实施例中，所述将所述图像数据以及所述点云重投影数据输入到目标模型之前，还包括：
根据Canny边缘检测和阈值抑制中的至少一项对所述图像数据进行预处理。
在此需要说明的是，本申请实施例提供的相机与激光雷达的标定装置基于上述相机与激光雷达的标定方法能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令以执行相机与激光雷达的标定方法，例如包括：
获取相机的图像数据，以及对应的激光雷达的点云数据，并对所述点云数据进行重投影得到点云重投影数据；
将所述图像数据以及所述点云重投影数据输入到目标模型，得到所述目标模型输出的外参矩阵，所述外参矩阵用于表征所述相机与所述激光雷达的相对位置和姿态；
其中，所述目标模型包括：
特征提取网络，用于对所述图像数据进行特征编码，得到所述图像数据的深层语义特征；对所述点云重投影数据进行特征编码，得到所述点云重投影数据的深度图像特征；
特征融合层，用于融合所述深层语义特征与所述深度图像特征，得到融合结果；
特征聚合层，用于基于所述融合结果确定所述外参矩阵。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的相机与激光雷达的标定方法的步骤，例如包括：
获取相机的图像数据，以及对应的激光雷达的点云数据，并对所述点云数据进行重投影得到点云重投影数据；
将所述图像数据以及所述点云重投影数据输入到目标模型，得到所述目标模型输出的外参矩阵，所述外参矩阵用于表征所述相机与所述激光雷达的相对位置和姿态；
其中，所述目标模型包括：
特征提取网络，用于对所述图像数据进行特征编码，得到所述图像数据的深层语义特征；对所述点云重投影数据进行特征编码，得到所述点云重投影数据的深度图像特征；
特征融合层，用于融合所述深层语义特征与所述深度图像特征，得到融合结果；
特征聚合层，用于基于所述融合结果确定所述外参矩阵。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种相机与激光雷达的标定方法，其特征在于，包括：
获取相机的图像数据，以及对应的激光雷达的点云数据，并对所述点云数据进行重投影得到点云重投影数据；
将所述图像数据以及所述点云重投影数据输入到目标模型，得到所述目标模型输出的外参矩阵，所述外参矩阵用于表征所述相机与所述激光雷达的相对位置和姿态；
其中，所述目标模型包括：
特征提取网络，用于对所述图像数据进行特征编码，得到所述图像数据的深层语义特征；对所述点云重投影数据进行特征编码，得到所述点云重投影数据的深度图像特征；
特征融合层，用于融合所述深层语义特征与所述深度图像特征，得到融合结果；
特征聚合层，用于基于所述融合结果确定所述外参矩阵。
2.根据权利要求1所述的相机与激光雷达的标定方法，其特征在于，所述特征融合层具体用于：
确定所述深层语义特征中各像素与其对应的深度图像特征关联的匹配代价；
基于各匹配代价确定所述融合结果。
3.根据权利要求2所述的相机与激光雷达的标定方法，其特征在于，所述特征聚合层具体用于：
基于所述融合结果确定所述相机与所述激光雷达之间的平移向量和旋转四元数，并根据所述平移向量和旋转四元数确定所述外参矩阵。
4.根据权利要求2所述的相机与激光雷达的标定方法，其特征在于，所述匹配代价通过如下方式确定：
其中，C(xrgb(pi),xlidar(pj))表示所述匹配代价；xrgb(pi)表示深层语义特征图中第i个位置的特征向量；xlidar(pj)表示深度图像特征图中第j个位置的特征向量；D表示位置i为中心，边长为d的正方形区域中的点集；T为转置运算符。
5.根据权利要求3所述的相机与激光雷达的标定方法，其特征在于，所述目标模型是通过如下方式训练的：
根据图像数据样本、与所述图像数据样本对应的点云重投影数据样本、所述图像数据样本与所述点云重投影数据样本之间所对应的外参矩阵标签对初始模型进行训练，得到所述目标模型。
6.根据权利要求5所述的相机与激光雷达的标定方法，其特征在于，所述初始模型的损失函数L为：
L＝μr(Da(qgt-qpred)+||tgt-tpred||2)+μgLg
其中，μr和μg为权重系数；qgt表示由所述相机与所述激光雷达之间真实的旋转参数得到的旋转四元数；qpred表示所述初始模型预测的旋转四元数；tgt表示所述相机与所述激光雷达之间真实的平移向量；tpred表示所述初始模型预测的平移向量；||||2表示求两个向量的2范式；Da表示两个四元数的角距离；Lg表示基于光流密度的损失。
7.根据权利要求1至6任一项所述的相机与激光雷达的标定方法，其特征在于，所述将所述图像数据以及所述点云重投影数据输入到目标模型之前，还包括：
根据Canny边缘检测和阈值抑制中的至少一项对所述图像数据进行预处理。
8.一种相机与激光雷达的标定装置，其特征在于，包括：
获取模块，用于获取相机的图像数据，以及对应的激光雷达的点云数据，并对所述点云数据进行重投影得到点云重投影数据；
预测模块，用于将所述图像数据以及所述点云重投影数据输入到目标模型，得到所述目标模型输出的外参矩阵，所述外参矩阵用于表征所述相机与所述激光雷达的相对位置和姿态；
其中，所述目标模型包括：
特征提取网络，用于对所述图像数据进行特征编码，得到所述图像数据的深层语义特征；对所述点云重投影数据进行特征编码，得到所述点云重投影数据的深度图像特征；
特征融合层，用于融合所述深层语义特征与所述深度图像特征，得到融合结果；
特征聚合层，用于基于所述融合结果确定所述外参矩阵。
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的相机与激光雷达的标定方法的步骤。
10.一种处理器可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使处理器执行权利要求1至7任一项所述的相机与激光雷达的标定方法的步骤。
CN202311253801.4A 2023-09-26 2023-09-26 相机与激光雷达的标定方法及装置 Pending CN117392234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311253801.4A CN117392234A (zh) 2023-09-26 2023-09-26 相机与激光雷达的标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311253801.4A CN117392234A (zh) 2023-09-26 2023-09-26 相机与激光雷达的标定方法及装置

Publications (1)

Publication Number Publication Date
CN117392234A true CN117392234A (zh) 2024-01-12

Family

ID=89464023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311253801.4A Pending CN117392234A (zh) 2023-09-26 2023-09-26 相机与激光雷达的标定方法及装置

Country Status (1)

Country Link
CN (1) CN117392234A (zh)

Similar Documents

Publication Publication Date Title
CN111126399B (zh) 一种图像检测方法、装置、设备及可读存储介质
WO2020172875A1 (zh) 道路结构信息的提取方法、无人机及自动驾驶***
CN111326023A (zh) 一种无人机航线预警方法、装置、设备及存储介质
CN111829532B (zh) 一种飞行器重定位***和重定位方法
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实***
CN112634370A (zh) 一种无人机打点方法、装置、设备及存储介质
CN113240813B (zh) 三维点云信息确定方法及装置
CN109584299B (zh) 一种定位方法、定位装置、终端及存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及***
CN114565863A (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
CN115883969B (zh) 一种无人机拍摄方法、装置、设备及介质
CN110414374B (zh) 一种障碍物位姿的确定方法、装置、设备及介质
CN116503566A (zh) 一种三维建模方法、装置、电子设备及存储介质
CN115235493B (zh) 一种基于矢量地图进行自动驾驶定位的方法及装置
CN117392234A (zh) 相机与激光雷达的标定方法及装置
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备
CN115077563A (zh) 车辆定位精度评价方法、装置及电子设备
CN111339226B (zh) 一种基于分类检测网络构建地图方法及装置
CN112749577A (zh) 一种停车位的检测方法及装置
CN117876608B (zh) 三维图像重建方法、装置、计算机设备及存储介质
CN115775325B (zh) 一种位姿确定方法及装置、电子设备和存储介质
CN116129332B (zh) 多船舶目标的跟踪识别方法、装置、电子设备及存储介质
CN114390270B (zh) 实时智能站点全景查勘方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination