CN114660579A - 一种全自动激光雷达与相机标定方法 - Google Patents

一种全自动激光雷达与相机标定方法 Download PDF

Info

Publication number
CN114660579A
CN114660579A CN202210262838.2A CN202210262838A CN114660579A CN 114660579 A CN114660579 A CN 114660579A CN 202210262838 A CN202210262838 A CN 202210262838A CN 114660579 A CN114660579 A CN 114660579A
Authority
CN
China
Prior art keywords
calibration
camera
calibration plate
radar
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210262838.2A
Other languages
English (en)
Inventor
梁超
张义杰
高鹏威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiancheng Robot Co ltd
Original Assignee
Shenzhen Qiancheng Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiancheng Robot Co ltd filed Critical Shenzhen Qiancheng Robot Co ltd
Priority to CN202210262838.2A priority Critical patent/CN114660579A/zh
Publication of CN114660579A publication Critical patent/CN114660579A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种全自动激光雷达与相机标定方法，包括如下步骤：步骤1、固定好搭载了标定板的机械臂在‘标定板所在位置’；步骤2、在无障碍物区域确定一个标定区域，标定区域内有若干个机器人移动点位；步骤3、机器人移动到每一个点位，采集激光雷达点云数据与相机的数据；步骤4、机械臂使标定板在标定过程当中有更多的位置变化；步骤5、通过算法剔除差值过大的标定数据。本发明的有益效果是：替换了原来的需要人去手持标定板并且进行标定板的位姿的变化来进行数据的采集的传统方式，极大地降低了激光雷达和相机标定的操作门槛，提高了机器人的生产效率。

Description

一种全自动激光雷达与相机标定方法
技术领域
本发明涉及激光雷达和相机外参标定技术领域，特别是一种自主移动机器人建图的动态物体过滤方法。
背景技术
现有的激光雷达和相机标定方案大都需要人工进行标定数据的采集，例如autoware(自动驾驶***)，Camera-LiDAR Calibration(paper:Optimising theselection of samples for robust lidar camera calibration)等标定工具，这些工具都需要人工手动进行标定数据的采集，之后对采集的数据进行逐帧回放的方式获取标定的样本，之后利用这些采集的样本通过优化算法进行激光雷达和相机外参的优化，都需要人工手持标定板，这项工作需要专业的人员进行一定的培训才能开展，并且由于受训人员的操作不当等原因会导致标定失败的情况。而这极大地降低了大批量机器人生产的效率。
发明内容
为克服上述技术中的缺陷，本发明提供一种基于机器人平台与机械臂的全自动激光雷达与相机标定方法，是通过如下技术方案来实现的。
一种全自动激光雷达与相机标定方法，其特征在于，配置一块标定板，将标定板固定在机械臂上，在可移动的机器人的平台上配置的激光雷达和相机，用于采集标定数据，标定方法包括如下步骤：
步骤1、搭载标定板的机械臂设置在‘标定板所在位置’；
步骤2、在无障碍区域内设置一个具有若干个点位的标定区域；
步骤3、机器人移动到每一个点位，所搭载的激光雷达和采相机自动采集数据，用于激光雷达和相机的外参标定；
步骤4、机械臂使标定板在标定过程当中有更多的偏航、俯仰、上升，下降的位置变化，使得机器人移动到不同的点位的时候有不同的标定板位姿，并采集若干组数据；
步骤5、通过矩形识别算法识别标定板的四个顶点，再检测标定板的角点，与结合标定板的尺寸先验解算出来的四个顶点，两者作比较，剔除差值过大的标定数据，保留其中一个标定数据。
本发明的有益效果是：替换了原来的需要人去手持标定板并且进行标定板的位姿的变化来进行数据的采集的传统方式，极大地降低了激光雷达和相机标定的操作门槛，提高了机器人的生产效率。
附图说明
图1是本发明的实施例中标定***结构示意图。
图2是本发明的实施例中标定板的角点识别示意图。
图3是本发明的实施例中机器人平台结构示意图。
图4是本发明的实施例中机械臂向自身坐标系左转示意图。
图5是本发明的实施例中机械臂向上偏转示意图。
具体实施方式
以下结合实施例对本发明作进一步的阐述，所述的实施例仅为本发明一部分的实施例，这些实施例仅用于解释本发明，对本发明的范围并不构成任何限制。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本发明实施例中，实施一种全自动激光雷达与相机标定方法，需要配置一块外参标定板10，将标定板固定在机械臂60上，配置的激光雷达40和相机50采集标定数据。如图1所示，是各个关键器件的示意图所在位置，标定板10固定在机械臂60上，且面对机器人30，机械臂50固定在如图所示的位置上，机器人端有机器人平台，以及机器人平台上的激光雷达40和双目相机50，机器人在标定区域20内移动至每一个位点21。标定区域20是一个距离标定板10正前方3米的一块1米x2.6米的矩形区域，将矩形区域平均分成7行7列得到了如图1所示的36个点位21。
如图3所示，为准备标定的机器人30的激光雷达40和相机50位置示意图，激光雷达下方的相机，是T265型号双目相机，这是两者的位置关系正视图，激光雷达位于双目相机正上方。
一种全自动激光雷达与相机标定方法，包括如下步骤：
步骤1、搭载标定板的机械臂在‘标定板所在位置’。
步骤2、规定一个无障碍物区域，如图2所示的灰色矩形区域，用于简化标定板在激光雷达点云和相机当中的提取。在无障碍物区域确定一个标定区域，标定区域内设有若干个机器人移动的点位；如图2所示，交点就是机器人需要移动的点位。
步骤3、开启自动标定，机器人会自动移动到每一个点位并且自动采集激光雷达点云数据与相机的数据，用于最后的激光雷达和相机的外参标定。
步骤4、机械臂使标定板在标定过程当中有更多的偏航、俯仰、上升，下降的位置变化，使得机器人移动到不同的点位的时候可以有不同的标定板位姿。如图4-5所示，分别表示了机械臂的控制标定板进行偏航45°，机械臂向自身坐标系最多左转45°，从而带动标定板的运行以及机械臂向上最多45°从而带动标定板运动的示意图。
在整个标定过程当中，机械臂会随机进行俯仰与偏航角度的变化，俯仰和偏航角度的变化范围在-45°-45°之间，并且会上下移动，上下移动的距离范围是10cm，机械臂使标定板在标定过程当中有更多的偏航、俯仰、上升，下降的位置变化，使得机器人移动到不同的点位的时候可以有不同的标定板位姿；
步骤5、通过矩形识别算法识别标定板的四个顶点在图像当中的像素坐标，再与通过检测标定板的角点结合标定板的尺寸先验解算出来的四个顶点的像素坐标，利用公式
Figure BDA0003551295290000041
进行距离比较(其中uci代表检测角点与标定板尺寸先验得到的矩形的第i个顶点的像素的坐标的u坐标，udi代表距离顶点(uci,vci)最近的一个点的u坐标,vci代表检测角点与标定板尺寸先验得到的矩形的第i个顶点的像素的坐标的v坐标,vdi代表距离顶点(uci,vci)最近的一个点的v坐标)，剔除差值过大的标定数据，这里我们选用误差在10个像素以内的数据作为可用的数据。
其中，矩形识别算法如下:
第一步：预处理,利用标定板检测的角点与标定板的实际尺寸，还有相机的内参矩阵，计算得到标定板的四个顶点，并根据这四个顶点的像素坐标确定标定板的大致位置，然后将四个顶点往距离图像最近的一条边，记录与边的距离为d，将d减去100求解四个顶点的新的位置，利用这个位置进行图像切割得到图像切除多余的像素得到的标定板的大致的图像；
第二步：将预处理后的图像转化为灰度图；
第三步：进行中值滤波；
第四步：将图像阈值化为二值图；
第五步：利用canny算子进行边缘检测；
第六步：提取轮廓；
第七步：找出面积最大的轮廓；
第八步：检测凸包得到矩形的四个顶点。
步骤6、采集后的数据包括激光雷达的点云数据与相机的图像数据，点云由于周围没有障碍物可以直接使用该点云数据，图像也通过步骤5的异常值提出算法与角点检测算法得到了图像的各个角点。我们将当前时间的激光雷达的点云数据和相机的图像数据作为一组数据，当机器人移动到每一个点位进行数据采集后将得到36组数据。在雷达点云当中提取标定板的信息，包括标定板的4个顶点，从而计算出雷达坐标系下的标定板的正中心点
Figure BDA0003551295290000042
表示第i组数据的雷达点云提取的标定板的正中心点，
Figure BDA0003551295290000051
表达第i组采样的雷达数据的标定板的法向量。利用图像计算出的在相机坐标系下的标定板中心点为
Figure BDA0003551295290000052
法向量为
Figure BDA0003551295290000053
步骤7、选用Genetic Algorithm作为优化器，对于雷达到相机的外参
Figure BDA0003551295290000054
的详细计算过程如下:
1、通过公式
Figure BDA0003551295290000055
推导出
Figure BDA0003551295290000056
得到一个初始的雷达到相机外参的旋转估计。其中Nl是一个3×N的一个矩阵，表示N个样本的雷达点云当中标定板的法向量，Nc表示在相机坐标系当中标定板的法向量。
2、利用初始的外参估计，先优化外参的旋转量，使用Genetic Algorithm作为优化器，选用的损失函数主要是如下两个，其中
Figure BDA0003551295290000057
表示从雷达坐标系的法向量转换到相机坐标系的法向量，计算方式为
Figure BDA0003551295290000058
Figure BDA0003551295290000059
表示从雷达坐标系转换到相机坐标系下的标定板的中心点
Figure BDA00035512952900000510
Figure BDA00035512952900000511
拟合函数组合以上两个损失并最小化参数
Figure BDA00035512952900000512
具体计算公式如下：
Figure BDA00035512952900000513
3、优化好旋转量后，通过如下公式计算雷达到相机外参的平移量(其中Oc表示所有的相机坐标系下的标定板的中心点，
Figure BDA00035512952900000514
表示所有的雷达坐标系下的标定板的中心点通过旋转量计算得到的相机坐标系下的点，这些点的差值求平均就得到一个粗略的平移量的估计值。
Figure BDA00035512952900000515
4.当有了一个相对较准确的相机到雷达的外参估计值之后，再添加如下的两个损失函数，进行最后的外参优化(其中
Figure BDA00035512952900000516
表示第i个样本在雷达坐标系下的标定板的中心点转到相机坐标系下的中心点，计算方式为
Figure BDA00035512952900000517
)。
c)
Figure BDA0003551295290000061
d)
Figure BDA0003551295290000062
优化的目标函数如下:
Figure BDA0003551295290000063
如图1-2所示，是本发明的其中一实施例，使用如下图所示的棋盘格作为激光雷达和相机的外参标定板，标定板大小为840mm×1240mm，标定板当中有4X6个黑白棋盘格。在我们的16线激光雷达与T265、ZED系列双目相机下，这个尺寸达到了最佳的效果。每一个棋盘格的黑白格子的大小为200mm。其余可用的范围有(600-1000mm)×(800-1500)，黑白格子可用的大小范围是100-300mm
由于标定过程当中标定板需要足够的姿态变化来获得更多的约束使最终的优化正确地收敛，因为我们是通过提取图像当中的标定板平面的法向量Nc与激光雷达点云平面的法向量Nl，并通过公式(1)计算相机到雷达的外参RLC,所以我们使用机械臂来自动使标定板在标定过程当中可以有更多的yaw(偏航),pitch(俯仰)，和上升(标定板位置)，下降(标定板位姿)等变化。
如图1所示，固定好搭载了标定板的机械臂在‘标定板所在位置’，我们规定了如下的一个4m*4m的无障碍物区域简化标定板在激光雷达点云和相机当中的提取(地下用黄色区域标记出来)，在黄色区域内我们规定了一个标定区域，标定区域内有6*6个机器人移动点位。
开启自动标定流程后，机器人会自动移动到每一个这样的固定点位并且自动采集激光雷达点云数据与相机的数据用于最后的激光雷达和相机的外参标定。在这个过程当中，我们的机械臂会进行pitch，yaw，和上升，下降等变化，用于机器人在移动到不同的点位的时候可以有不同的标定板位姿。这样配合机器人的移动以及机械臂的各种姿态变化采集的36个数据包含了丰富的标定所需的数据。
获取了上述数据后，准确地识别了标定板在图像当中的位置以及在激光雷达点云当中的位置最后的外参优化的后的标准差才会小。
如图2所示，在图像当中由于标定板的角点识别误差导致在图像当中检测出的标定板的位置误差很大，如下图当中绿色的点(标定板四个角的点)已经严重地偏离了标定板，这也就意味着最后提取的图像当中的标定板的法线与真实的法线偏差很大，这样的识别结果如果加入到最终的优化过程当中将会导致标定的外参方差过大，(这个步骤之前由人工去确定好坏)。
使用矩形识别算法提取出标定板的四个顶点在图像当中的位置，与我们通过识别标定板的角点计算出来的四个顶点在图像当中的位置进行比较，剔除掉这个差值过大的数据，这样就能自动地不需人工介入的判断异常值，从而实现标定数据的自动采集与自动标定。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种全自动激光雷达与相机标定方法，其特征在于，配置一块标定板，将标定板固定在机械臂上，在可移动的机器人的平台上配置的激光雷达和相机，用于采集标定数据，标定方法包括如下步骤：
步骤1、搭载标定板的机械臂设置在‘标定板所在位置’；
步骤2、在无障碍区域内设置一个具有若干个点位的标定区域；
步骤3、机器人移动到每一个点位，所搭载的激光雷达和采相机自动采集数据，用于激光雷达和相机的外参标定；
步骤4、机械臂使标定板在标定过程当中有更多的偏航、俯仰、上升，下降的位置变化，使得机器人移动到不同的点位的时候有不同的标定板位姿，并采集若干组数据；
步骤5、通过矩形识别算法识别标定板的四个顶点，再检测标定板的角点，与结合标定板的尺寸先验解算出来的四个顶点，两者作比较，剔除差值过大的标定数据，保留其中一个标定数据。
2.根据权利要求1所述的一种全自动激光雷达与相机标定方法，其特征在于，在所述步骤4中，采集后的数据包括激光雷达的点云数据与相机的图像数据，所述点云数据可直接使用，所述图像数据通过步骤5的异常值提出算法与角点检测算法得到了图像的各个角点。
3.根据权利要求1所述的一种全自动激光雷达与相机标定方法，其特征在于，在所述步骤5中，通过提取图像当中的标定板平面的法向量与激光雷达点云扫描到的标定板平面的法向量、以及相机坐标系下的标定板的正中心点和雷达坐标系下的标定板的正中心点，通过若干组数据计算雷达到相机的外参。
4.根据权利要求3所述的一种全自动激光雷达与相机标定方法，其特征在于，在点云数据中提取标定板的信息，所述信息包括标定板的4个顶点，从而计算出雷达坐标系下的标定板的正中心点
Figure FDA0003551295280000011
其中
Figure FDA0003551295280000012
表示第i组数据的雷达点云提取的标定板的正中心点，
Figure FDA0003551295280000013
表达第i组采样的雷达数据的标定板的法向量。
5.根据权利要求3所述的一种全自动激光雷达与相机标定方法，其特征在于，在步骤5的基础上还包括步骤6：利用采集到的若干组数据通过Genetic Algorithm优化器求解出雷达到相机的外参。
6.根据权利要求5所述的一种全自动激光雷达与相机标定方法，其特征在于，在步骤6的基础上还包括步骤7：选用Genetic Algorithm作为优化器，对于雷达到相机的外参
Figure FDA0003551295280000021
的详细计算过程如下:
第一步：通过公式
Figure FDA0003551295280000022
推导出
Figure FDA0003551295280000023
得到一个初始的雷达到相机的外参的旋转估计；其中Nl是一个3×N的一个矩阵，表示N个样本的雷达点云当中标定板的法向量，Nc表示在相机坐标系当中标定板的法向量；
第二步：利用初始的外参估计，先优化外参的旋转量，使用Genetic Algorithm作为优化器，选用的损失函数主要是如下两个：其中
Figure FDA0003551295280000024
表示从雷达坐标系的法向量转换到相机坐标系的法向量，计算方式为
Figure FDA0003551295280000025
Figure FDA0003551295280000026
表示从雷达坐标系转换到相机坐标系下的标定板的中心点：
Figure FDA0003551295280000027
Figure FDA0003551295280000028
拟合函数组合以上两个损失并最小化参数
Figure FDA0003551295280000029
具体计算公式如下：
Figure FDA00035512952800000210
第三步、优化好旋转量后，通过如下公式计算雷达到相机外参的平移量，其中：Oc表示所有的相机坐标系下的标定板的中心点，
Figure FDA00035512952800000211
表示所有的雷达坐标系下的标定板的中心点通过旋转量计算得到的相机坐标系下的点，这些点的差值求平均就得到一个粗略的平移量的估计值
Figure FDA00035512952800000212
第四步、当有了一个相对较准确的相机到雷达的外参估计值之后，再添加如下的两个损失函数，进行最后的外参优化(其中
Figure FDA0003551295280000031
表示第i个样本在雷达坐标系下的标定板的中心点转到相机坐标系下的中心点，计算方式为
Figure FDA0003551295280000032
)
c)
Figure FDA0003551295280000033
d)
Figure FDA0003551295280000034
优化的目标函数如下:
Figure FDA0003551295280000035
7.根据权利要求1所述的一种全自动激光雷达与相机标定方法，其特征在于，所述激光雷达为16线激光雷达，所述相机为T265、ZED双目相机。
CN202210262838.2A 2022-03-17 2022-03-17 一种全自动激光雷达与相机标定方法 Pending CN114660579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210262838.2A CN114660579A (zh) 2022-03-17 2022-03-17 一种全自动激光雷达与相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210262838.2A CN114660579A (zh) 2022-03-17 2022-03-17 一种全自动激光雷达与相机标定方法

Publications (1)

Publication Number Publication Date
CN114660579A true CN114660579A (zh) 2022-06-24

Family

ID=82029287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210262838.2A Pending CN114660579A (zh) 2022-03-17 2022-03-17 一种全自动激光雷达与相机标定方法

Country Status (1)

Country Link
CN (1) CN114660579A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455984A (zh) * 2023-12-26 2024-01-26 深圳市信润富联数字科技有限公司 随臂式相机采集点的确定方法及装置
CN117830437A (zh) * 2024-03-01 2024-04-05 中国科学院长春光学精密机械与物理研究所 一种大视场远距离多目相机内外参数标定装置及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455984A (zh) * 2023-12-26 2024-01-26 深圳市信润富联数字科技有限公司 随臂式相机采集点的确定方法及装置
CN117455984B (zh) * 2023-12-26 2024-03-26 深圳市信润富联数字科技有限公司 随臂式相机采集点的确定方法及装置
CN117830437A (zh) * 2024-03-01 2024-04-05 中国科学院长春光学精密机械与物理研究所 一种大视场远距离多目相机内外参数标定装置及方法
CN117830437B (zh) * 2024-03-01 2024-05-14 中国科学院长春光学精密机械与物理研究所 一种大视场远距离多目相机内外参数标定装置及方法

Similar Documents

Publication Publication Date Title
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及***
CN113436260B (zh) 基于多传感器紧耦合的移动机器人位姿估计方法和***
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及***
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN107014291B (zh) 一种物料精密转载平台的视觉定位方法
CN110651686B (zh) 一种基于割胶机械臂的割胶方法及***
CN113884002B (zh) 基于二三维信息融合的受电弓滑板上表面检测***及方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN113538620A (zh) 一种面向二维栅格地图的slam建图结果评价方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN110044358B (zh) 基于现场场线特征的移动机器人定位方法
US20240051146A1 (en) Autonomous solar installation using artificial intelligence
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及***
CN116580005B (zh) 基于图像处理与深度学习的管片模具开模***的引导方法
CN111627059B (zh) 一种棉花叶片中心点位置定位方法
CN117496401A (zh) 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法
CN115797397B (zh) 一种机器人全天候自主跟随目标人员的方法及***
CN116958083A (zh) 基于机器人自适应位姿调整的动车车底螺栓松动检测方法
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计***及方法
CN115631247A (zh) 一种移动机器人的相机与固态激光雷达在线标定方法
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination