CN111965624A - 激光雷达与相机的标定方法、装置、设备和可读存储介质 - Google Patents

激光雷达与相机的标定方法、装置、设备和可读存储介质 Download PDF

Info

Publication number
CN111965624A
CN111965624A CN202010784817.8A CN202010784817A CN111965624A CN 111965624 A CN111965624 A CN 111965624A CN 202010784817 A CN202010784817 A CN 202010784817A CN 111965624 A CN111965624 A CN 111965624A
Authority
CN
China
Prior art keywords
point cloud
cloud data
calibration plate
coordinate system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010784817.8A
Other languages
English (en)
Other versions
CN111965624B (zh
Inventor
谢青青
张彦福
张家立
张磊
刘亚成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010784817.8A priority Critical patent/CN111965624B/zh
Publication of CN111965624A publication Critical patent/CN111965624A/zh
Application granted granted Critical
Publication of CN111965624B publication Critical patent/CN111965624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例公开了一种激光雷达与相机的标定方法、装置、设备和可读存储介质，涉及人工智能技术，尤其涉及智能交通和无人驾驶技术领域。具体实现方案为：获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。本申请实施例过程简单，计算量少，能够节省计算机资源。

Description

激光雷达与相机的标定方法、装置、设备和可读存储介质
技术领域
本申请涉及人工智能技术，尤其涉及智能交通和无人驾驶技术领域。
背景技术
在无人车行驶过程中，需要激光雷达与相机协同作业来完成车体的感知和定位。当前各种无人车平台上，均需进行激光雷达与相机的标定来完成更加精确地定位与感知。
现有的技术方案往往需要对相机拍摄的图像进行三维重建，并将重建图像与激光雷达采集的点云作匹配，进行相机与激光雷达的标定，运算量大，消耗较多的计算资源。
发明内容
本申请实施例提供了一种激光雷达与相机的标定方法、装置、设备和可读存储介质。
第一方面，本申请实施例提供了一种激光雷达与相机的标定方法，包括：
获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；
从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；
根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；
根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。
第二方面，本申请实施例还提供了一种激光雷达与相机的标定装置，包括：
获取模块，用于获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；
第一位姿确定模块，用于从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；
第二位姿确定模块，用于根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；
标定模块，用根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。
第三方面，本申请实施例提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一实施例所提供的一种激光雷达与相机的标定方法。
第四方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行任一实施例所提供的一种激光雷达与相机的标定方法。
根据本申请的技术过程简单，计算量少，能够节省计算机资源。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1a是本申请实施例中的第一种激光雷达与相机的标定方法的流程图；
图1b是本申请实施例中的激光雷达和相机观测标定板的示意图；
图2a是本申请实施例中的第二种激光雷达与相机的标定方法的流程图；
图2b是本申请实施例中的图像中标定板平面的示意图；
图3是本申请实施例中的第三种激光雷达与相机的标定方法的流程图；
图4是本申请实施例中的第四种激光雷达与相机的标定方法的流程图；
图5是本申请实施例中的激光雷达与相机的标定装置的结构图；
图6是本申请实施例中的电子设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
根据本申请的实施例，图1a是本申请实施例中的第一种激光雷达与相机的标定方法的流程图，本申请实施例适用于采用标定板对激光雷达和相机进行外参标定的情况，也就是求取激光雷达坐标系与相机坐标系的转换关系的情况。该方法通过激光雷达与相机的标定装置执行，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图1a所示的激光雷达与相机的标定方法，包括：
S110、获取激光雷达扫描标定板得到的点云数据，以及相机拍摄标定板得到的图像。
本实施例中的标定板为平面板，表面绘制有颜色和形状醒目的图案，例如黑白相间的方格。将标定板以不同的位置和/或姿态(简称位姿)放置在激光雷达和相机的视野内，保证激光雷达和相机能够观测到整个标定板。如图1b所示。
具体的，在标定板处于每个位姿时，启动激光雷达扫描标定板得到的点云数据，并启动相机拍摄标定板得到的图像。激光雷达和相机的位姿保持不变，这样会得到不同标定板位姿下的多组点云数据和多张图像，利用对应的每组点云数据和每张图像进行标定，再将标定结果平均。当然，也可以不调整标定板的位姿，仅采用一组点云数据和一张图像进行标定。
S120、从点云数据中提取位于标定板平面上的目标点云数据集，并根据目标点云数据集的位置确定激光雷达坐标系下标定板的第一位姿信息。
点云数据是三维的，刻画了所扫描物体的形状、尺寸和深度等特征，其中部分点云数据刻画了标定板平面(即绘制有图案的平面)，也就是位于标定板平面上。为了方便描述和区分，将位于标定板平面上的多个点云数据构成目标点云数据集。
目标点云数据集的位置包括其中多个点云数据中每个点云数据的位置，共同刻画了激光雷达坐标系下标定板的位置和姿态，简称第一位姿信息。
S130、根据图像中标定板平面的特征，确定相机坐标系下标定板的第二位姿信息。
标定板平面的特征包括但不限于标定板的形状、尺寸和角度，以及图案的形状等特征，在标定板的位姿固定且已知时，当标定板平面呈现不同的特征时，表征了相机处于不同的位姿。基于此，可以根据图像中标定板平面的特征得到相机坐标系，再将已知的标定板的位姿转换到相机坐标系下，得到相机坐标系下标定板的位置和姿态，简称第二位姿信息。
S140、根据第一位姿信息和第二位姿信息之间的转换关系，对激光雷达与相机进行标定。
由于激光雷达和相机观测同一位姿的标定板，则第一位姿信息和第二位姿信息能够反映激光雷达与相机的位姿。基于此，第一位姿信息和第二位姿信息之间的转换关系反映了激光雷达坐标系和相机坐标系之间的转换关系。可选的，坐标系之间的转换关系包括坐标系之间的旋转矩阵和平移向量，从而完成激光雷达与相机的标定。
本实施例能够从点云数据中提取位于标定板平面上的目标点云数据集，进而根据目标点云数据集的位置，自动确定激光雷达坐标系下标定板的第一位姿信息，无需人工标注和截取；根据图像中标定板平面的特征，能够自动确定相机坐标系下标定板的第二位姿信息，进而利用第一位姿信息和第二位姿信息能够反映激光雷达和相机的位姿的特点，根据第一位姿信息和第二位姿信息之间的转换关系，对激光雷达与相机进行标定，整个过程利用标定板平面在两个坐标系下的位姿进行标定，过程简单，计算量少，能够节省计算机资源，不需要三维重建，也不需要复杂的点集配准。
在上述实施例和下述实施例中，从点云数据中提取位于标定板平面上的目标点云数据集包括以下两种可选实施方式：1)采用深度学***面上的目标点云数据集；2)基于激光雷达与相机的初始外参，将点云数据投影到图像坐标系下；并从点云数据中提取位于图像中标定板平面内的目标点云数据集。
对于1)，采用标定板对应的点云数据样本对深度学习模型进行训练，将实际扫描的点云数据输入至训练后的深度学习模型，得到深度模型输出的符合标定板特征的目标点云数据集。
对于2)，采用实际测量方法或者图纸可以初步确定激光雷达与相机的外参，由于测量方法或图纸的误差，这个外参是不够准确的，称为初始外参，需要在此基础上得到更加准确的外参。具体的，根据激光雷达和相机的初始外参构建激光雷达坐标系和相机坐标系之间的旋转矩阵和平移向量，将旋转矩阵和平移向量作用于点云数据，以投影到相机坐标系下，然后利用已知的相机内参，将相机坐标系下的点云数据投影到图像坐标系下，三维的点云数据成为了二维数据，与图像的像素或坐标具有对应关系。基于此，提取图像中的标定板平面覆盖的多个二维点云数据，将多个二维点云数据对应的多个三维点云数据构成目标点云数据集。
本实施例通过深度学***面上的点云数据，无需人工标注或截取；而且，深度学习和图像投影的方法能够保证一定的精度。
根据本申请的实施例，图2a是本申请实施例中的第二种激光雷达与相机的标定方法的流程图，本申请实施例在上述各实施例的技术方案的基础上对图像投影的方法进行优化。
图2a所示的激光雷达与相机的标定方法，具体包括以下操作：
S210、获取激光雷达扫描标定板得到的点云数据，以及相机拍摄标定板得到的图像。
S220、基于激光雷达与相机的初始外参，将点云数据投影到图像坐标系下。
S230、检测图像中的标定板平面。
可选的，采用目标识别模型对图像进行识别，得到其中的标定板平面。其中，目标识别模型可以是基于深度学***面的图像样本进行训练。
此处的标定板平面是用于点云数据投影的平面，考虑到初始外参不准确导致一些非标定板上的点云数据投影到图像中的标定板平面内，适当缩小图像中实际的标定板平面。可选的，检测图像中的标定板区域；沿标定板区域中心，对标定板区域进行缩小，得到标定板平面。
具体的，图2b是本申请实施例中的图像中标定板平面的示意图。由于拍摄角度的影响，原本矩阵的标定板在图像中呈现梯形。经由图像检测(如采用目标识别模型进行识别)，检测到标定板平面的外包框，称为标定板区域。将外包框的对角连线，求取四边形对角线交点，得到标定板区域中心；再利用对角线交点与角点关系，将外包框缩小为边长为原四边形一半的四边形。
S240、从投影后的点云数据中，提取位于标定板平面内的目标点云数据集。
根据上述实施例的记载，将相机坐标系下的点云数据投影到图像坐标系下，三维的点云数据成为了二维数据，与图像的像素或坐标具有对应关系。进而，提取图像中的标定板平面覆盖的多个二维点云数据，将多个二维点云数据对应的多个三维点云数据构成目标点云数据集。
S250、从剩余的点云数据中，提取与目标点云数据集的距离在设定距离阈值内的点云数据，并补充到目标点云数据集中。
剩余的点云数据为全部点云数据中除目标点云数据集之外的点云数据。其中，剩余的点云数据、全部点云数据和目标点云数据集均是三维的。剩余的点云数据也可能存在位于标定板平面上的数据，而且，S240中的目标点云数据集实际是投影到缩小后的标定板平面的点，还可能有投影到标定板平面外，但实际属于标定板的点云数据。总之，当前的目标点云数据集不够完整，需要扩充，以充分刻画标定板平面，提高标定精度。
基于上述分析，取一剩余的点云数据，并计算该点云数据与目标点云数据集中任一点云数据的距离，如果距离均在设定距离阈值内，则将该点云数据补充到目标点云数据集中，并取下一点云数据；如果距离不均在设定距离阈值内，则将该点云数据丢弃，并取下一点云数据，直到所有剩余的点云数据处理完成。可选的，在图2b所示的情况下，如果一剩余的点云数据与目标点云数据集中任一点云数据的距离小于标定板对角线长度的一半，则将该点云数据补充到目标点云数据集中。
S260、根据目标点云数据集的位置确定激光雷达坐标系下标定板的第一位姿信息。
S270、根据图像中标定板平面的特征，确定相机坐标系下标定板的第二位姿信息。
S280、根据第一位姿信息和第二位姿信息之间的转换关系，对激光雷达与相机进行标定。
根据本申请的实施例，图3是本申请实施例中的第三种激光雷达与相机的标定方法的流程图，本实施例在上述实施例的基础上进一步优化。
可选的，第一位姿信息包括激光雷达坐标系下标定板的法向量和设定点的位置；第二位姿信息包括相机坐标系下标定板的法向量和设定点的位置。
其中，标定板的法向量表征了标定板的姿态，设定点是标定板上任一点，如角点或者中心点。设定点的位置表征了标定板的位置。本实施例通过法向量和设定点的位置能够清楚、简明地表征标定板的位姿，为后续标定提供了数据基础，有利于减少标定的计算量。
可选的，将操作：“根据第一位姿信息和第二位姿信息之间的转换关系，对激光雷达与相机进行标定”细化为“计算激光雷达坐标系下标定板的法向量与相机坐标系下标定板的法向量之间的旋转矩阵；基于旋转矩阵，计算激光雷达坐标系下设定点的位置与相机坐标系下设定点的位置之间的平移向量；根据旋转矩阵和平移向量，对激光雷达与相机进行标定”。
如图3所示的激光雷达与相机的标定方法，包括：
S310、获取激光雷达扫描标定板得到的点云数据，以及相机拍摄标定板得到的图像。
S320、从点云数据中提取位于标定板平面上的目标点云数据集，并根据目标点云数据集的位置确定激光雷达坐标系下标定板的第一位姿信息；第一位姿信息包括激光雷达坐标系下标定板的法向量和设定点的位置。
可选的，根据目标点云数据集的位置，对目标点云数据集进行平面拟合；将平面的法向量和目标点云数据集中标定板设定点的位置，作为激光雷达坐标系下标定板的第一位姿信息。
具体的，使用随机采样一致性方法对目标点云数据集进行平面拟合，其流程为：1)在目标点云数据集中任意取出不共线的三个数据，求取平面方程。2)计算目标点云数据集中每一数据距离该平面的距离，若在设定阈值(经验值，一般可取5cm)范围内，则判定该点为平面内的点，统计并记录平面内点云数据总数。3)重复1、2两步多次(例如50次)，取平面内点云数据总数最多的一次的结果为拟合结果，并将该次平面内点云数据作为标定板上的点云数据。根据拟合得到的平面求取该平面的法向量。在该平面上选取设定点(如中点或角点)的位置。
本实施例通过对目标点云数据进行平面拟合，进一步提高了标定板平面上点云数据的精确程度。剔除了平面之外的点云，进而提高法向量和设定点的位置的准确性。
S330、根据图像中标定板平面的特征，确定相机坐标系下标定板的第二位姿信息；第二位姿信息包括相机坐标系下标定板的法向量和设定点的位置。
可选的，根据图像中标定板平面的特征，计算相机坐标系与标定板坐标系的转换关系；基于转换关系，计算相机坐标系下标定板的法向量和设定点的位置，作为第二位姿信息。
可视情况并根据标定板的实际尺寸定义标定板坐标系，一般定义标定板平面为z＝0平面，标定板坐标系下标定板法向量可表示为Nb＝(0,0,1)T。根据图像中标定板平面的特征并结合相机内参，可计算出图像拍摄时相机坐标系与标定板坐标系的转换关系，即旋转矩阵与平移向量，由此可得相机坐标系下标定板法向量Nc：
Figure BDA0002621550630000081
其中，
Figure BDA0002621550630000091
为旋转矩阵。
可选的，采用PNP(Perspective-n-Point，多点透视成像)方法进行相机标定，通过标定板上N个特征点与图像中的N个像素点，计算出其投影关系，从而获得相机的位姿，进而得到相机坐标系与标定板坐标系的转换关系。
本实施例中，通过计算机视觉原理，能够准确得到相机坐标系与标定板坐标系的转换关系，进而在已知标定板坐标系的情况下，通过简单的法向量与设定点位置的坐标系转换，即可得到准确的第二位姿信息。
S340、计算激光雷达坐标系下标定板的法向量与相机坐标系下标定板的法向量之间的旋转矩阵。
具体的，激光雷达坐标系下标定板的法向量乘以旋转矩阵，得到相机坐标系下标定板的法相量。标定板的法向量在相机坐标系与激光雷达坐标系下的表示有如下关系：
Figure BDA0002621550630000092
其中，Nl(i)是根据第i组点云数据计算得到的标定板法向量，Nc(i)是根据第i张图像计算得到的标定板法向量，
Figure BDA0002621550630000093
是法向量之间的旋转矩阵。假设i≤m，则有m个式(2)所示的关系，即可求出m个旋转矩阵，进而得到m个坐标系之间的旋转矩阵R_l^c。
S350、基于旋转矩阵，计算激光雷达坐标系下设定点的位置与相机坐标系下设定点的位置之间的平移向量。
具体的，求解式(3)得到平移向量t_l^c。
P_c(i)＝R_l^c*P_l(i)+t_l^c； (3)
其中，P_c(i)是根据第i张图像得到的相机坐标系下设定点的位置，P_l(i)是根据第i组点云数据得到的激光雷达坐标系下的设定点的位置，相应求解得到的t_l^c为m个。
S360、根据旋转矩阵和平移向量，对激光雷达与相机进行标定。
可选的，将m个旋转矩阵R_l^c和m个平移向量分别求平均，对激光雷达和相机进行标定。
本实施例通过将激光雷达坐标系和相机坐标系下标定板的法向量和设定点的位置分别对齐，从而将激光雷达坐标系和相机坐标系对齐，以此依次解算出坐标系之间的旋转矩阵和平移向量，从而达到标定的目的。
根据本申请的实施例，图4是本申请实施例中的第四种激光雷达与相机的标定方法的流程图，本实施例在上述实施例的基础上，对标定过程进行优化。
如图4所示的激光雷达与相机的标定方法，包括：
S410、获取激光雷达扫描标定板得到的点云数据，以及相机拍摄标定板得到的图像。
S420、从点云数据中提取位于标定板平面上的目标点云数据集，并根据目标点云数据集的位置确定激光雷达坐标系下标定板的第一位姿信息。
S430、根据图像中标定板平面的特征，确定相机坐标系下标定板的第二位姿信息。
S440、基于转换关系和待求解的转换关系的修正值，将目标点云数据集投影到相机坐标系下的标定板平面内，得到任意两个目标点云数据组成的向量。
S450、令向量与相机坐标系下标定板的法向量垂直，求解转换关系的修正值。
S460、根据转换关系和修正值，对激光雷达与相机进行标定。
根据上述实施例的描述，根据第一位姿信息和第二位姿信息之间的转换关系可以得出坐标系之间的初步的转换关系，即旋转矩阵和平移矩阵。考虑到由于平面拟合误差、图像检测以及投影的过程均存在误差，则本实施例对初步得到的转换关系进一步修正。修正值包括旋转矩阵的修正值和平移矩阵的修正值，为了与矩阵保持一致，方便计算，修正值也应是矩阵的形式。
假设转换关系和转换关系的修正值结合起来可以逼近真实的转换关系。利用转换关系和待求解的转换关系的修正值，可以将几乎全部的目标点云数据集投影到相机坐标系下的标定板平面内，并与标定板的法向量垂直。基于上述分析，可以反向求解转换关系的修正值。
具体的，利用式(4)将目标点云数据集投影到相机坐标系下。
v_c(i)＝R*R_l^c*v_l(i)+t_l^c+t； (4)
其中，v_c(i)为将第i组点云数据中的目标点云数据集投影到相机坐标系下的数据，v_l(i)为第i组点云数据中的目标点云数据集，R为旋转矩阵的修正值，t为平移矩阵的修正值。
投影到相机坐标系下的数据v_c(i)是三维的，将v_c(i)减去相机坐标系下标定板的原点坐标，即可得到理论上处于标定板平面内的多个点云数据。这些数据中任意两个目标点云数据组成向量，可得到多个向量。
向量与标定板法向量的点积应为0，如如式(5)所示：
(a(j)·Nc)^2＝cost； (5)
其中，a(j)为j个向量。cost为点积的值，应逼近0。可用非线性优化理论对cost进行优化，即可在前方求取的初值之外求取旋转矩阵与平移向量的修正值：R与t。
至此，即可求出激光雷达坐标系与相机坐标系之间的最终的旋转矩阵R*R_l^c以及平移向量t_l^c+t。
根据本申请的实施例，图5是本申请实施例中的激光雷达与相机的标定装置的结构图，本申请实施例适用于采用标定板对激光雷达和相机进行外参标定的情况，该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图5所示的一种激光雷达与相机的标定装置500，包括：获取模块501、第一位姿确定模块502、第二位姿确定模块503和标定模块504；其中，
获取模块501，用于获取激光雷达扫描标定板得到的点云数据，以及相机拍摄标定板得到的图像；
第一位姿确定模块502，用于从点云数据中提取位于标定板平面上的目标点云数据集，并根据目标点云数据集的位置确定激光雷达坐标系下标定板的第一位姿信息；
第二位姿确定模块503，用于根据图像中标定板平面的特征，确定相机坐标系下标定板的第二位姿信息；
标定模块504，用根据第一位姿信息和第二位姿信息之间的转换关系，对激光雷达与相机进行标定。
本实施例能够从点云数据中提取位于标定板平面上的目标点云数据集，进而根据目标点云数据集的位置，自动确定激光雷达坐标系下标定板的第一位姿信息，无需人工标注和截取；根据图像中标定板平面的特征，能够自动确定相机坐标系下标定板的第二位姿信息，进而利用第一位姿信息和第二位姿信息能够反映激光雷达和相机的位姿的特点，根据第一位姿信息和第二位姿信息之间的转换关系，对激光雷达与相机进行标定，整个过程利用标定板平面在两个坐标系下的位姿进行标定，过程简单，计算量少，能够节省计算机资源，不需要三维重建，也不需要复杂的点集配准。
进一步的，第一位姿确定模块502，包括提取子模块和第一位姿确定子模块；第一位姿确定子模块，用于根据目标点云数据集的位置确定激光雷达坐标系下标定板的第一位姿信息；提取子模块，包括：第一提取单元，用于采用深度学***面上的目标点云数据集；或者，第二提取单元，用于基于激光雷达与相机的初始外参，将点云数据投影到图像坐标系下；并从点云数据中提取位于图像中标定板平面内的目标点云数据集。
进一步的，第二提取单元包括：投影子单元和提取子单元；投影子单元，用于基于激光雷达与相机的初始外参，将点云数据投影到图像坐标系下；提取子单元，用于：检测图像中的标定板平面；从投影后的点云数据中，提取位于标定板平面内的目标点云数据集；从剩余的点云数据中，提取与目标点云数据集的距离在设定距离阈值内的点云数据，并补充到目标点云数据集中；其中，剩余的点云数据为全部点云数据中除目标点云数据集之外的点云数据。
进一步的，提取子单元在检测图像中的标定板平面时，具体用于：检测图像中的标定板区域；沿标定板区域中心，对标定板区域进行缩小，得到标定板平面。
进一步的，第一位姿信息包括激光雷达坐标系下标定板的法向量和设定点的位置；第二位姿信息包括相机坐标系下标定板的法向量和设定点的位置。
进一步的，第一位姿确定模块502，具体用于：根据目标点云数据集的位置，对目标点云数据集进行平面拟合；将平面的法向量和目标点云数据集中标定板设定点的位置，作为激光雷达坐标系下标定板的第一位姿信息。
进一步的，第二位姿确定模块503，具体用于：根据图像中标定板平面的特征，计算相机坐标系与标定板坐标系的转换关系；基于转换关系，计算相机坐标系下标定板的法向量和设定点的位置，作为第二位姿信息。
进一步的，标定模块504，具体用于：计算激光雷达坐标系下标定板的法向量与相机坐标系下标定板的法向量之间的旋转矩阵；基于旋转矩阵，计算激光雷达坐标系下设定点的位置与相机坐标系下设定点的位置之间的平移向量；根据旋转矩阵和平移向量，对激光雷达与相机进行标定。
进一步的，标定模块504，具体用于：基于转换关系和待求解的转换关系的修正值，将目标点云数据集投影到相机坐标系下的标定板平面内，得到任意两个目标点云数据组成的向量；令向量与相机坐标系下标定板的法向量垂直，求解转换关系的修正值；根据转换关系和修正值，对激光雷达与相机进行标定。
上述激光雷达与相机的标定装置可执行本申请任意实施例所提供的激光雷达与相机的标定方法，具备执行激光雷达与相机的标定方法相应的功能模块和有益效果。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是实现本申请实施例的激光雷达与相机的标定方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个终端提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的激光雷达与相机的标定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的激光雷达与相机的标定方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的激光雷达与相机的标定方法对应的程序指令/模块(例如，附图5所示的包括获取模块501、第一位姿确定模块502、第二位姿确定模块503和标定模块504)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的激光雷达与相机的标定方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储实现激光雷达与相机的标定方法的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至执行激光雷达与相机的标定方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行激光雷达与相机的标定方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与执行激光雷达与相机的标定方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种激光雷达与相机的标定方法，包括：
获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；
从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；
根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；
根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。
2.根据权利要求1所述的方法，其中，所述从所述点云数据中提取位于标定板平面上的目标点云数据集，包括：
采用深度学***面上的目标点云数据集；或者，
基于所述激光雷达与所述相机的初始外参，将所述点云数据投影到图像坐标系下；并从所述点云数据中提取位于所述图像中标定板平面内的目标点云数据集。
3.根据权利要求2所述的方法，其中，所述从所述点云数据中提取位于所述图像中标定板平面内的目标点云数据集，包括：
检测所述图像中的标定板平面；
从投影后的点云数据中，提取位于所述标定板平面内的目标点云数据集；
从剩余的点云数据中，提取与所述目标点云数据集的距离在设定距离阈值内的点云数据，并补充到所述目标点云数据集中；
其中，所述剩余的点云数据为全部点云数据中除所述目标点云数据集之外的点云数据。
4.根据权利要求3所述的方法，其中，所述检测所述图像中的标定板平面，包括：
检测所述图像中的标定板区域；
沿所述标定板区域中心，对所述标定板区域进行缩小，得到所述标定板平面。
5.根据权利要求1所述的方法，其中，
所述第一位姿信息包括所述激光雷达坐标系下所述标定板的法向量和设定点的位置；
所述第二位姿信息包括所述相机坐标系下所述标定板的法向量和设定点的位置。
6.根据权利要求5所述的方法，其中，所述根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息，包括：
根据所述目标点云数据集的位置，对所述目标点云数据集进行平面拟合；
将所述平面的法向量和所述目标点云数据集中标定板设定点的位置，作为所述激光雷达坐标系下所述标定板的第一位姿信息。
7.根据权利要求5所述的方法，其中，所述根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息，包括：
根据所述图像中标定板平面的特征，计算相机坐标系与标定板坐标系的转换关系；
基于所述转换关系，计算所述相机坐标系下所述标定板的法向量和所述设定点的位置，作为所述第二位姿信息。
8.根据权利要求5-7任一项所述的方法，其中，所述根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定，包括：
计算所述激光雷达坐标系下所述标定板的法向量与所述相机坐标系下所述标定板的法向量之间的旋转矩阵；
基于所述旋转矩阵，计算所述激光雷达坐标系下所述设定点的位置与所述相机坐标系下所述设定点的位置之间的平移向量；
根据所述旋转矩阵和所述平移向量，对所述激光雷达与所述相机进行标定。
9.根据权利要求1-7任一项所述的方法，其中，所述根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定，包括：
基于所述转换关系和待求解的所述转换关系的修正值，将所述目标点云数据集投影到相机坐标系下的标定板平面内，得到任意两个目标点云数据组成的向量；
令所述向量与所述相机坐标系下标定板的法向量垂直，求解所述转换关系的修正值；
根据所述转换关系和所述修正值，对所述激光雷达与所述相机进行标定。
10.一种激光雷达与相机的标定装置，包括：
获取模块，用于获取激光雷达扫描标定板得到的点云数据，以及相机拍摄所述标定板得到的图像；
第一位姿确定模块，用于从所述点云数据中提取位于标定板平面上的目标点云数据集，并根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；
第二位姿确定模块，用于根据所述图像中标定板平面的特征，确定相机坐标系下所述标定板的第二位姿信息；
标定模块，用根据所述第一位姿信息和所述第二位姿信息之间的转换关系，对所述激光雷达与所述相机进行标定。
11.根据权利要求10所述的装置，其中，所述第一位姿确定模块，包括提取子模块和第一位姿确定子模块；
所述第一位姿确定子模块，用于根据所述目标点云数据集的位置确定激光雷达坐标系下所述标定板的第一位姿信息；
所述提取子模块，包括：
第一提取单元，用于采用深度学***面上的目标点云数据集；或者，
第二提取单元，用于基于所述激光雷达与所述相机的初始外参，将所述点云数据投影到图像坐标系下；并从所述点云数据中提取位于所述图像中标定板平面内的目标点云数据集。
12.根据权利要求11所述的装置，其中，第二提取单元包括：投影子单元和提取子单元；
所述投影子单元，用于基于所述激光雷达与所述相机的初始外参，将所述点云数据投影到图像坐标系下；
所述提取子单元，用于：检测所述图像中的标定板平面；从投影后的点云数据中，提取位于所述标定板平面内的目标点云数据集；从剩余的点云数据中，提取与所述目标点云数据集的距离在设定距离阈值内的点云数据，并补充到所述目标点云数据集中；其中，所述剩余的点云数据为全部点云数据中除所述目标点云数据集之外的点云数据。
13.根据权利要求12所述的装置，其中，所述提取子单元在检测所述图像中的标定板平面时，具体用于：
检测所述图像中的标定板区域；
沿所述标定板区域中心，对所述标定板区域进行缩小，得到所述标定板平面。
14.根据权利要求10所述的装置，其中，
所述第一位姿信息包括所述激光雷达坐标系下所述标定板的法向量和设定点的位置；
所述第二位姿信息包括所述相机坐标系下所述标定板的法向量和设定点的位置。
15.根据权利要求14所述的装置，其中，所述第一位姿确定模块，具体用于：
根据所述目标点云数据集的位置，对所述目标点云数据集进行平面拟合；
将所述平面的法向量和所述目标点云数据集中标定板设定点的位置，作为所述激光雷达坐标系下所述标定板的第一位姿信息。
16.根据权利要求14所述的装置，其中，所述第二位姿确定模块，具体用于：
根据所述图像中标定板平面的特征，计算相机坐标系与标定板坐标系的转换关系；
基于所述转换关系，计算所述相机坐标系下所述标定板的法向量和所述设定点的位置，作为所述第二位姿信息。
17.根据权利要求14-16任一项所述的装置，其中，所述标定模块，具体用于：
计算所述激光雷达坐标系下所述标定板的法向量与所述相机坐标系下所述标定板的法向量之间的旋转矩阵；
基于所述旋转矩阵，计算所述激光雷达坐标系下所述设定点的位置与所述相机坐标系下所述设定点的位置之间的平移向量；
根据所述旋转矩阵和所述平移向量，对所述激光雷达与所述相机进行标定。
18.根据权利要求10-16任一项所述的装置，其中，所述标定模块，具体用于：
基于所述转换关系和待求解的所述转换关系的修正值，将所述目标点云数据集投影到相机坐标系下的标定板平面内，得到任意两个目标点云数据组成的向量；
令所述向量与所述相机坐标系下标定板的法向量垂直，求解所述转换关系的修正值；
根据所述转换关系和所述修正值，对所述激光雷达与所述相机进行标定。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的一种激光雷达与相机的标定方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的一种激光雷达与相机的标定方法。
CN202010784817.8A 2020-08-06 2020-08-06 激光雷达与相机的标定方法、装置、设备和可读存储介质 Active CN111965624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010784817.8A CN111965624B (zh) 2020-08-06 2020-08-06 激光雷达与相机的标定方法、装置、设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010784817.8A CN111965624B (zh) 2020-08-06 2020-08-06 激光雷达与相机的标定方法、装置、设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111965624A true CN111965624A (zh) 2020-11-20
CN111965624B CN111965624B (zh) 2024-04-09

Family

ID=73364647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010784817.8A Active CN111965624B (zh) 2020-08-06 2020-08-06 激光雷达与相机的标定方法、装置、设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111965624B (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180348A (zh) * 2020-11-27 2021-01-05 深兰人工智能(深圳)有限公司 车载多线激光雷达的姿态标定方法和装置
CN112258590A (zh) * 2020-12-08 2021-01-22 杭州迦智科技有限公司 一种基于激光的深度相机外参标定方法、设备及其存储介质
CN112446927A (zh) * 2020-12-18 2021-03-05 广东电网有限责任公司 激光雷达和相机的联合标定方法、装置、设备及存储介质
CN112462350A (zh) * 2020-12-10 2021-03-09 苏州一径科技有限公司 雷达标定方法及装置、电子设备及存储介质
CN112509062A (zh) * 2020-12-17 2021-03-16 广东工业大学 一种标定板、标定***及标定方法
CN112509057A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 相机外参标定方法、装置、电子设备以及计算机可读介质
CN112562009A (zh) * 2020-12-03 2021-03-26 深圳宇磐科技有限公司 一种相机设备参数和安装姿态参数自动标定方法及***
CN112581542A (zh) * 2020-12-24 2021-03-30 北京百度网讯科技有限公司 自动驾驶单目标定算法的评估方法、装置及设备
CN112631431A (zh) * 2021-01-04 2021-04-09 杭州光粒科技有限公司 Ar眼镜的位姿确定方法、装置及设备、存储介质
CN112710235A (zh) * 2020-12-21 2021-04-27 北京百度网讯科技有限公司 结构光测量传感器的标定方法和装置
CN112766302A (zh) * 2020-12-17 2021-05-07 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN112802124A (zh) * 2021-01-29 2021-05-14 北京罗克维尔斯科技有限公司 多台立体相机的标定方法及装置、电子设备及存储介质
CN112967347A (zh) * 2021-03-30 2021-06-15 深圳市优必选科技股份有限公司 位姿标定方法、装置、机器人及计算机可读存储介质
CN113034593A (zh) * 2021-03-09 2021-06-25 深圳市广宁股份有限公司 6d位姿标注方法、***及存储介质
CN113077523A (zh) * 2021-03-31 2021-07-06 商汤集团有限公司 一种标定方法、装置、计算机设备及存储介质
CN113138375A (zh) * 2021-04-27 2021-07-20 北京理工大学 一种联合标定方法、***及标定板
CN113160328A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种外参标定方法、***、机器人和存储介质
CN113176557A (zh) * 2021-04-29 2021-07-27 中国科学院自动化研究所 基于投影的虚拟激光雷达在线模拟方法
CN113256729A (zh) * 2021-03-17 2021-08-13 广西综合交通大数据研究院 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN113269840A (zh) * 2021-05-27 2021-08-17 深圳一清创新科技有限公司 一种用于相机和多激光雷达的联合标定方法及电子设备
CN113313755A (zh) * 2021-04-16 2021-08-27 中科创达软件股份有限公司 目标对象位姿的确定方法、装置、设备及存储介质
CN113325434A (zh) * 2021-04-16 2021-08-31 盎锐（上海）信息科技有限公司 用于实测实量的爆点显示方法、测量***及激光雷达
CN113436277A (zh) * 2021-07-15 2021-09-24 无锡先导智能装备股份有限公司 3d相机标定方法、装置及标定***
CN113436278A (zh) * 2021-07-22 2021-09-24 深圳市道通智能汽车有限公司 标定方法、标定装置、测距***及计算机可读存储介质
CN113848541A (zh) * 2021-09-22 2021-12-28 深圳市镭神智能***有限公司 一种标定的方法、装置、无人机及计算机可读存储介质
CN114387347A (zh) * 2021-10-26 2022-04-22 浙江智慧视频安防创新中心有限公司 确定外参标定的方法、装置、电子设备及介质
CN114511626A (zh) * 2022-04-20 2022-05-17 杭州灵西机器人智能科技有限公司 基于rgbd相机***的图像处理装置、方法、设备及介质
CN114693770A (zh) * 2020-12-31 2022-07-01 北京小米移动软件有限公司 标定方法及装置
CN114758005A (zh) * 2022-03-23 2022-07-15 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN114782556A (zh) * 2022-06-20 2022-07-22 季华实验室 相机与激光雷达的配准方法、***及存储介质
CN114862961A (zh) * 2022-04-13 2022-08-05 上海人工智能创新中心 标定板的位置检测方法、装置、电子设备及可读存储介质
WO2022170847A1 (zh) * 2021-02-09 2022-08-18 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法
CN115018935A (zh) * 2022-08-09 2022-09-06 季华实验室 相机与车辆的标定方法、装置、电子设备及存储介质
CN115100287A (zh) * 2022-04-14 2022-09-23 美的集团(上海)有限公司 外参标定方法及机器人
CN115222826A (zh) * 2022-09-15 2022-10-21 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置
CN115598624A (zh) * 2021-06-28 2023-01-13 苏州一径科技有限公司（Cn） 一种激光雷达的标定方法、装置及设备
CN115856849A (zh) * 2023-02-28 2023-03-28 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备
CN115877401A (zh) * 2023-02-07 2023-03-31 南京北路智控科技股份有限公司 一种液压支架的姿态检测方法、装置、设备及存储介质
CN115909272A (zh) * 2022-11-09 2023-04-04 杭州枕石智能科技有限公司 障碍物位置信息的获取方法、终端设备及计算机介质
CN115932879A (zh) * 2022-12-16 2023-04-07 哈尔滨智兀科技有限公司 一种基于激光点云的矿井机器人姿态快速测量***
CN115953484A (zh) * 2023-03-13 2023-04-11 福思(杭州)智能科技有限公司 探测设备的参数标定方法和装置、存储介质及电子装置
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3438777A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
KR102029850B1 (ko) * 2019-03-28 2019-10-08 세종대학교 산학협력단 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
US20200103249A1 (en) * 2018-09-27 2020-04-02 Baidu Online Net\Nork Technology (Beijing) Co., Ltd. Method for calibrating relative pose, device and medium
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质
CN111179358A (zh) * 2019-12-30 2020-05-19 浙江商汤科技开发有限公司 标定方法、装置、设备及存储介质
CN111308448A (zh) * 2018-12-10 2020-06-19 杭州海康威视数字技术股份有限公司 图像采集设备与雷达的外参确定方法及装置
CN111429521A (zh) * 2020-03-05 2020-07-17 深圳市镭神智能***有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备
US10726579B1 (en) * 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3438777A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
US20200103249A1 (en) * 2018-09-27 2020-04-02 Baidu Online Net\Nork Technology (Beijing) Co., Ltd. Method for calibrating relative pose, device and medium
CN111308448A (zh) * 2018-12-10 2020-06-19 杭州海康威视数字技术股份有限公司 图像采集设备与雷达的外参确定方法及装置
KR102029850B1 (ko) * 2019-03-28 2019-10-08 세종대학교 산학협력단 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110161485A (zh) * 2019-06-13 2019-08-23 同济大学 一种激光雷达与视觉相机的外参标定装置及标定方法
US10726579B1 (en) * 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
CN111127563A (zh) * 2019-12-18 2020-05-08 北京万集科技股份有限公司 联合标定方法、装置、电子设备及存储介质
CN111179358A (zh) * 2019-12-30 2020-05-19 浙江商汤科技开发有限公司 标定方法、装置、设备及存储介质
CN111429521A (zh) * 2020-03-05 2020-07-17 深圳市镭神智能***有限公司 相机与激光雷达的外参标定方法、装置、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
康国华 等: "基于点云中心的激光雷达与相机联合标定方法研究", 仪器仪表学报, no. 12 *

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180348B (zh) * 2020-11-27 2021-03-02 深兰人工智能(深圳)有限公司 车载多线激光雷达的姿态标定方法和装置
CN112180348A (zh) * 2020-11-27 2021-01-05 深兰人工智能(深圳)有限公司 车载多线激光雷达的姿态标定方法和装置
CN112509057B (zh) * 2020-11-30 2024-04-12 北京百度网讯科技有限公司 相机外参标定方法、装置、电子设备以及计算机可读介质
US11875535B2 (en) 2020-11-30 2024-01-16 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, electronic device and computer readable medium for calibrating external parameter of camera
CN112509057A (zh) * 2020-11-30 2021-03-16 北京百度网讯科技有限公司 相机外参标定方法、装置、电子设备以及计算机可读介质
CN112562009A (zh) * 2020-12-03 2021-03-26 深圳宇磐科技有限公司 一种相机设备参数和安装姿态参数自动标定方法及***
CN112258590A (zh) * 2020-12-08 2021-01-22 杭州迦智科技有限公司 一种基于激光的深度相机外参标定方法、设备及其存储介质
CN112462350A (zh) * 2020-12-10 2021-03-09 苏州一径科技有限公司 雷达标定方法及装置、电子设备及存储介质
CN112509062A (zh) * 2020-12-17 2021-03-16 广东工业大学 一种标定板、标定***及标定方法
CN112766302A (zh) * 2020-12-17 2021-05-07 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN112766302B (zh) * 2020-12-17 2024-03-29 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN112509062B (zh) * 2020-12-17 2023-09-12 广东工业大学 一种标定板、标定***及标定方法
CN112446927A (zh) * 2020-12-18 2021-03-05 广东电网有限责任公司 激光雷达和相机的联合标定方法、装置、设备及存储介质
CN112710235A (zh) * 2020-12-21 2021-04-27 北京百度网讯科技有限公司 结构光测量传感器的标定方法和装置
CN112581542A (zh) * 2020-12-24 2021-03-30 北京百度网讯科技有限公司 自动驾驶单目标定算法的评估方法、装置及设备
CN114693770A (zh) * 2020-12-31 2022-07-01 北京小米移动软件有限公司 标定方法及装置
CN112631431A (zh) * 2021-01-04 2021-04-09 杭州光粒科技有限公司 Ar眼镜的位姿确定方法、装置及设备、存储介质
CN112631431B (zh) * 2021-01-04 2023-06-16 杭州光粒科技有限公司 Ar眼镜的位姿确定方法、装置及设备、存储介质
CN112802124A (zh) * 2021-01-29 2021-05-14 北京罗克维尔斯科技有限公司 多台立体相机的标定方法及装置、电子设备及存储介质
CN112802124B (zh) * 2021-01-29 2023-10-31 北京罗克维尔斯科技有限公司 多台立体相机的标定方法及装置、电子设备及存储介质
WO2022170847A1 (zh) * 2021-02-09 2022-08-18 中国科学院深圳先进技术研究院 一种基于激光和视觉融合的在线标定方法
CN113034593A (zh) * 2021-03-09 2021-06-25 深圳市广宁股份有限公司 6d位姿标注方法、***及存储介质
CN113034593B (zh) * 2021-03-09 2023-12-12 深圳市广宁股份有限公司 6d位姿标注方法、***及存储介质
CN113256729A (zh) * 2021-03-17 2021-08-13 广西综合交通大数据研究院 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN112967347B (zh) * 2021-03-30 2023-12-15 深圳市优必选科技股份有限公司 位姿标定方法、装置、机器人及计算机可读存储介质
CN112967347A (zh) * 2021-03-30 2021-06-15 深圳市优必选科技股份有限公司 位姿标定方法、装置、机器人及计算机可读存储介质
CN113077523B (zh) * 2021-03-31 2023-11-24 商汤集团有限公司 一种标定方法、装置、计算机设备及存储介质
CN113077523A (zh) * 2021-03-31 2021-07-06 商汤集团有限公司 一种标定方法、装置、计算机设备及存储介质
CN113160328A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种外参标定方法、***、机器人和存储介质
CN113325434A (zh) * 2021-04-16 2021-08-31 盎锐（上海）信息科技有限公司 用于实测实量的爆点显示方法、测量***及激光雷达
CN113313755A (zh) * 2021-04-16 2021-08-27 中科创达软件股份有限公司 目标对象位姿的确定方法、装置、设备及存储介质
CN113138375A (zh) * 2021-04-27 2021-07-20 北京理工大学 一种联合标定方法、***及标定板
CN113138375B (zh) * 2021-04-27 2022-11-29 北京理工大学 一种联合标定方法
CN113176557A (zh) * 2021-04-29 2021-07-27 中国科学院自动化研究所 基于投影的虚拟激光雷达在线模拟方法
CN113269840A (zh) * 2021-05-27 2021-08-17 深圳一清创新科技有限公司 一种用于相机和多激光雷达的联合标定方法及电子设备
CN115598624B (zh) * 2021-06-28 2023-12-12 苏州一径科技有限公司 一种激光雷达的标定方法、装置及设备
CN115598624A (zh) * 2021-06-28 2023-01-13 苏州一径科技有限公司（Cn） 一种激光雷达的标定方法、装置及设备
CN113436277A (zh) * 2021-07-15 2021-09-24 无锡先导智能装备股份有限公司 3d相机标定方法、装置及标定***
CN113436278A (zh) * 2021-07-22 2021-09-24 深圳市道通智能汽车有限公司 标定方法、标定装置、测距***及计算机可读存储介质
CN113848541B (zh) * 2021-09-22 2022-08-26 深圳市镭神智能***有限公司 一种标定的方法、装置、无人机及计算机可读存储介质
CN113848541A (zh) * 2021-09-22 2021-12-28 深圳市镭神智能***有限公司 一种标定的方法、装置、无人机及计算机可读存储介质
CN114387347B (zh) * 2021-10-26 2023-09-19 浙江视觉智能创新中心有限公司 确定外参标定的方法、装置、电子设备及介质
CN114387347A (zh) * 2021-10-26 2022-04-22 浙江智慧视频安防创新中心有限公司 确定外参标定的方法、装置、电子设备及介质
CN114758005A (zh) * 2022-03-23 2022-07-15 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN114862961A (zh) * 2022-04-13 2022-08-05 上海人工智能创新中心 标定板的位置检测方法、装置、电子设备及可读存储介质
CN114862961B (zh) * 2022-04-13 2024-06-07 上海人工智能创新中心 标定板的位置检测方法、装置、电子设备及可读存储介质
CN115100287A (zh) * 2022-04-14 2022-09-23 美的集团(上海)有限公司 外参标定方法及机器人
CN114511626A (zh) * 2022-04-20 2022-05-17 杭州灵西机器人智能科技有限公司 基于rgbd相机***的图像处理装置、方法、设备及介质
CN114782556A (zh) * 2022-06-20 2022-07-22 季华实验室 相机与激光雷达的配准方法、***及存储介质
CN114782556B (zh) * 2022-06-20 2022-09-09 季华实验室 相机与激光雷达的配准方法、***及存储介质
CN115018935B (zh) * 2022-08-09 2022-10-18 季华实验室 相机与车辆的标定方法、装置、电子设备及存储介质
CN115018935A (zh) * 2022-08-09 2022-09-06 季华实验室 相机与车辆的标定方法、装置、电子设备及存储介质
CN115222826B (zh) * 2022-09-15 2022-12-27 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置
CN115222826A (zh) * 2022-09-15 2022-10-21 深圳大学 结构光和相机相对位姿可改变的三维重建方法和装置
CN115909272A (zh) * 2022-11-09 2023-04-04 杭州枕石智能科技有限公司 障碍物位置信息的获取方法、终端设备及计算机介质
CN115932879A (zh) * 2022-12-16 2023-04-07 哈尔滨智兀科技有限公司 一种基于激光点云的矿井机器人姿态快速测量***
CN115932879B (zh) * 2022-12-16 2023-10-10 哈尔滨智兀科技有限公司 一种基于激光点云的矿井机器人姿态快速测量***
CN116091619A (zh) * 2022-12-27 2023-05-09 北京纳通医用机器人科技有限公司 一种标定方法、装置、设备及介质
CN115877401B (zh) * 2023-02-07 2023-11-10 南京北路智控科技股份有限公司 一种液压支架的姿态检测方法、装置、设备及存储介质
CN115877401A (zh) * 2023-02-07 2023-03-31 南京北路智控科技股份有限公司 一种液压支架的姿态检测方法、装置、设备及存储介质
CN115856849A (zh) * 2023-02-28 2023-03-28 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备
CN115856849B (zh) * 2023-02-28 2023-05-05 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备
CN115953484A (zh) * 2023-03-13 2023-04-11 福思(杭州)智能科技有限公司 探测设备的参数标定方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN111965624B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN111965624A (zh) 激光雷达与相机的标定方法、装置、设备和可读存储介质
US20210312209A1 (en) Vehicle information detection method, electronic device and storage medium
CN111986178A (zh) 产品缺陷检测方法、装置、电子设备和存储介质
US11816915B2 (en) Human body three-dimensional key point detection method, model training method and related devices
CN111767853B (zh) 车道线检测方法和装置
US11587332B2 (en) Method, apparatus, system, and storage medium for calibrating exterior parameter of on-board camera
CN112330730B (zh) 图像处理方法、装置、设备及存储介质
CN111612852A (zh) 用于验证相机参数的方法和装置
CN108573471B (zh) 图像处理装置、图像处理方法以及记录介质
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
CN112241716B (zh) 训练样本的生成方法和装置
US10386930B2 (en) Depth determining method and depth determining device of operating body
CN112184837A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN112102417A (zh) 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法
CN111652103A (zh) 室内定位方法、装置、设备以及存储介质
CN105513074A (zh) 一种羽毛球机器人相机标定方法
CN112509058B (zh) 外参的计算方法、装置、电子设备和存储介质
CN112184828A (zh) 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆
CN111915642A (zh) 图像样本的生成方法、装置、设备和可读存储介质
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN111489433A (zh) 车辆损伤定位的方法、装置、电子设备以及可读存储介质
US20150241997A1 (en) Coordinate detection system, information processing apparatus, method of detecting coordinate, and program
CN116053549A (zh) 电芯定位方法、装置及***
CN115205806A (zh) 生成目标检测模型的方法、装置和自动驾驶车辆
US11158119B2 (en) Systems and methods for reconstructing a three-dimensional object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211018

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 2 / F, *** building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant