CN115792865A - 一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆 - Google Patents
一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆 Download PDFInfo
- Publication number
- CN115792865A CN115792865A CN202211342027.XA CN202211342027A CN115792865A CN 115792865 A CN115792865 A CN 115792865A CN 202211342027 A CN202211342027 A CN 202211342027A CN 115792865 A CN115792865 A CN 115792865A
- Authority
- CN
- China
- Prior art keywords
- black
- calibration plate
- camera
- white grid
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明涉及一种基于相机和机械式激光雷达外参标定方法、***介质及车辆，该方法包括以下步骤：T1：基于车载激光雷达获取目标点黑白格标定板的点云数据，基于车载相机获取目标点黑白格标定板的图像数据；T2：根据所述黑白格标定板的点云数据，在黑白格标定板的两角点间进行中间插值增加样本量，输出对应的激光雷达坐标系坐标和黑白格标定板坐标系坐标；T3：根据所述黑白格标定板的图像数据，获取黑白格标定板的边界四角点像素，输出对应的像素坐标。本发明不仅解决了激光雷达因激光扫面密度难以精确选取角点的问题，而且对于目标点云以及图像的角点坐标进行了插值处理，增加的样本的多样性，有助于减小随机误差。
Description
技术领域
本发明涉及无人驾驶技术领域，尤其是涉及一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆。
背景技术
现有机械式多激光雷达与相机外参标定方法，获取两不同坐标系下物体角点的坐标直接求解外参的方法最为常见，被广泛运用于机械式多激光雷达与相机外参标定中，但这种算法存在物体角点由于点云稀疏导致点云采集并拟合成角点坐标的误差较大的问题以及原始数据由于角采集角度导致相机拟合的角点丢失精度导致标定的误差较大的问题。这难以满足远距离感知融合的精度要求以及深度学习数据标注的需求，这会对基于深度学习感知策略以及传统激光聚类融合策略的自动驾驶***的安全问题造成很大的隐患。现有改进方法多采用插值以及增加数据样本量的方式进行优化，由于少数数据误差的绕动对整体标定转换矩阵的影响，这难以适应工程化中高精度、远距离高速车辆感知的需求，一种基于相机和机械式激光雷达外参标定方法能快速获取激光雷达与相机的外参数据，具有精度高、收敛性强、鲁棒性好的特点。
现有技术中，通过点云截取标定板并拟合出角点坐标，由于点云密度较为稀疏，拟合出的角点坐标会失真，获取基于相机坐标系以及雷达坐标系的物体角点的坐标数据后，以PNP法求解姿态转换矩阵，无法对求解的外参的过大的误差进行过滤以及筛除，会使得外参的误差过大，由于原始数据来源于标定板的四角点，通过每帧数据的四角点作为样本量，数据量过小，且性质单一，容易导致外参的随机误差过大。
发明内容
鉴于以上现有技术的不足，本发明提供了一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆，不仅解决了激光雷达因激光扫面密度难以精确选取角点的问题，而且对于目标点云以及图像的角点坐标进行了插值处理，增加的样本的多样性，有助于减小随机误差。
为了实现上述目的及其他相关目的，本发明提供的技术方案如下：
一种基于相机和机械式激光雷达外参标定方法，包括以下步骤：
T1：基于车载激光雷达获取目标点黑白格标定板的点云数据，基于车载相机获取目标点黑白格标定板的图像数据；
T2：根据所述黑白格标定板的点云数据，获取激光雷达的边界四角点坐标和黑白格标定板边界的四个角点坐标，在黑白格标定板的两角点间进行中间插值增加样本量，输出对应的激光雷达坐标系坐标和黑白格标定板坐标系坐标；
T3：根据所述黑白格标定板的图像数据，获取黑白格标定板的边界四角点像素，在黑白格标定板的两角点间进行中间插值增加样本量，输出对应的像素坐标；
T4：基于对应的像素坐标和黑白格标定板坐标系坐标，根据PNP算法计算得出姿态转换矩阵Q1，基于对应的激光雷达坐标系坐标和黑白格标定板坐标系坐标，根据SVD算法计算得出姿态转换矩阵Q2，即得出相机到激光雷达的外参矩阵为Q3=Q1*Q2，基于对应的像素坐标和对应的激光雷达坐标，利用PNP算法计算得出姿态转换矩阵Q4；
T5：基于所述外参矩阵Q3和姿态转换矩阵Q4，构建函数F(x,y,z,a,b,c)=Q4-Q3，其中，x,y,z为三维坐标各向的偏移，a,b,c为三轴角度的偏移，函数F (x,y,z,a,b,c)按行构建函数，逐级累加得激光雷达到相机的外参标定函数：
L(x,y,z,a,b,c)=k1*x+k2*y+k3*z+k4*a+k5*b+k6*c，
其中k1、k2、k3、k4、k5、k6为标定系数；
T6：基于所述外参标定函数 L(x,y,z,a,b,c)，将目标点云通过旋转矩阵进行刚体变换验证图像上标定板是否完全吻合即可完成标定。
进一步的，在步骤T2中，所述获取激光雷达的边界四角点坐标包括：
T21：利用Cropbox函数对黑白格标定板范围进行立方体切割，将立方体的点云利用随机采样一致性对其进行平面分割，输出黑白格标定板点云平面；
T22：根据黑白格标定板点云平面，获取目标点的近邻点作为局部型面参考数据，以最小二乘法拟合参考数据的微切平面，并向微切平面投影，输出目标点在微切平面的投影点；
T23：根据目标点与目标点在微切平面的投影点连线的最大夹角识别散乱点云边界特征，通过坐标的排序获取平面的四个角点坐标，得到激光雷达的边界四角点坐标。
进一步的，在步骤T2中，所述获取黑白格标定板边界的四个角点坐标包括：量取黑白格标定板的长宽，以黑白格标定板的中心点为坐标系原点建立自建坐标系，获取黑白格标定板边界的四个角点坐标。
进一步的，在步骤T3中，所述获取黑白格标定板的边界四角点像素包括：
T31：基于所述黑白格标定板的图像数据，利用ROS开发***的camera_calibration模块进行相机内参标定；
T32：运用opencv库中cornerSubPix去识别黑白格标定板的各角点像素，输出黑白格标定板的边界四角点像素。
进一步的，在步骤T5中，所述外参标定函数根据粒子群算法，设置收敛条件趋近于零对所述标定系数进行优化求解。
进一步的，所述黑白格标定板的点云数据至少为十五组数据，所述黑白格标定板的图像数据至少为二十组数据。
进一步的，在步骤T1中，还包括对所述获取目标点黑白格标定板的点云数据进行过滤和剔除操作。
为了实现上述目的及其他相关目的，本发明还提供了一种基于相机和机械式激光雷达外参标定***，包括计算机设备，该计算机设备被编程或配置以执行任意一项所述基于相机和机械式激光雷达外参标定方法的步骤。
为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述基于相机和机械式激光雷达外参标定方法的计算机程序。
为了实现上述目的及其他相关目的，本发明还提供了一种无人驾驶车辆，所述车辆安装有所述的基于相机和机械式激光雷达外参标定***。
本发明具有以下积极效果：
1）本发明中运用选取自建坐标系和平面拟合的方式，解决了激光雷达因激光扫面密度难以精确选取角点的问题。
2）本发明对于目标点云以及图像的角点坐标进行了插值处理，增加的样本的多样性，有助于减小随机误差。
3）本发明通过粒子群算法对求解的偏移量以及偏移角度的误差进行过滤，基于样本量求解误差最小的值，从而大大提高了激光雷达和相机外参标定的精度。
附图说明
图1为本发明方法流程示意图；
图2为本发明误差分析示意图；
图3为本发明相机内参标定效果示意图（一）；
图4为本发明激光雷达标定效果示意图（二）。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
实施例1：如图1所示，一种基于相机和机械式激光雷达外参标定方法，包括以下步骤：
T1：基于车载激光雷达获取目标点黑白格标定板的点云数据，基于车载相机获取目标点黑白格标定板的图像数据；
T2：根据所述黑白格标定板的点云数据，获取激光雷达的边界四角点坐标和黑白格标定板边界的四个角点坐标，在黑白格标定板的两角点间进行中间插值增加样本量，输出对应的激光雷达坐标系坐标和黑白格标定板坐标系坐标；
T3：根据所述黑白格标定板的图像数据，获取黑白格标定板的边界四角点像素，在黑白格标定板的两角点间进行中间插值增加样本量，输出对应的像素坐标；
T4：基于对应的像素坐标和黑白格标定板坐标系坐标，根据PNP算法计算得出姿态转换矩阵Q1，基于对应的激光雷达坐标系坐标和黑白格标定板坐标系坐标，根据SVD算法计算得出姿态转换矩阵Q2，即得出相机到激光雷达的外参矩阵为Q3=Q1*Q2，基于对应的像素坐标和对应的激光雷达坐标，利用PNP算法计算得出姿态转换矩阵Q4；
T5：基于所述外参矩阵Q3和姿态转换矩阵Q4，构建函数F(x,y,z,a,b,c)=Q4-Q3，其中，x,y,z为三维坐标各向的偏移，a,b,c为三轴角度的偏移，函数F (x,y,z,a,b,c)按行构建函数，逐级累加得激光雷达到相机的外参标定函数：
L(x,y,z,a,b,c)=k1*x+k2*y+k3*z+k4*a+k5*b+k6*c，
其中k1、k2、k3、k4、k5、k6为标定系数；
T6：基于所述外参标定函数 L(x,y,z,a,b,c)，将目标点云通过旋转矩阵进行刚体变换验证图像上标定板是否完全吻合即可完成标定。
其中，在步骤T2中，所述获取激光雷达的边界四角点坐标包括：
T21：利用Cropbox函数对黑白格标定板范围进行立方体切割，将立方体的点云利用随机采样一致性对其进行平面分割，输出黑白格标定板点云平面；
T22：根据黑白格标定板点云平面，获取目标点的近邻点作为局部型面参考数据，以最小二乘法拟合参考数据的微切平面，并向微切平面投影，输出目标点在微切平面的投影点；
T23：根据目标点与目标点在微切平面的投影点连线的最大夹角识别散乱点云边界特征，通过坐标的排序获取平面的四个角点坐标，得到激光雷达的边界四角点坐标。
其中，在步骤T2中，所述获取黑白格标定板边界的四个角点坐标包括：量取黑白格标定板的长宽，以黑白格标定板的中心点为坐标系原点建立自建坐标系，获取黑白格标定板边界的四个角点坐标。
其中，在步骤T3中，所述获取黑白格标定板的边界四角点像素包括：
T31：基于所述黑白格标定板的图像数据，利用ROS开发***的camera_calibration模块进行相机内参标定；
T32：运用opencv库中cornerSubPix去识别黑白格标定板的各角点像素，输出黑白格标定板的边界四角点像素。
在步骤T5中，所述外参标定函数根据粒子群算法，设置收敛条件趋近于零对所述标定系数进行优化求解。
所述黑白格标定板的点云数据至少为十五组数据，所述黑白格标定板的图像数据至少为二十组数据。
在步骤T1中，还包括对所述获取目标点黑白格标定板的点云数据进行过滤和剔除操作。
为了实现上述目的及其他相关目的，本发明还提供了一种基于相机和机械式激光雷达外参标定***，包括计算机设备，该计算机设备被编程或配置以执行任意一项所述基于相机和机械式激光雷达外参标定方法的步骤。
为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述基于相机和机械式激光雷达外参标定方法的计算机程序。
为了实现上述目的及其他相关目的，本发明还提供了一种无人驾驶车辆，所述车辆安装有所述的基于相机和机械式激光雷达外参标定***。
实施例2：以实施例1提出了一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆，如图3、4所示，点云到相机的投影，通过旋转误差、平移误差和重投影误差三个指标来对标定结果精度进行评估。首先结合点云的坐标和求得的刚性变换矩阵，将点云转换到相机坐标系下：
旋转角度误差即为变换后的点云中标定板平面的法向量和图像中标定板平面的法向量之间的误差；图像中的标定板的质心和转换到相机坐标系下的点云中的标定板的质心之间的差别即为平移误差；分别将相机坐标系下的图像中的标定板和转换到相机坐标系下的点云中的标定板通过给定的内参矩阵投影到像素坐标系下，接着通过图像和点云中的标定板的四个角点的坐标分别求得标定板的质心，俩质心之间的差别即为重投影误差；
最终的标定结果精度如图2所示，使用了七组激光雷达点云和图像数据进行标定，得到的标定结果的平移误差均值为1.7cm，旋转误差均值为0.86°，平均重投影误差为1.6个像素。这大大提高了原有标定的误差精度。
通过表中数据可知，本发明位移误差减小，旋转角度误差减小，重投影误差减小，基于样本量求解误差最小的值，从而大大提高了激光雷达和相机外参标定的精度。
综上所述，本发明不仅解决了激光雷达因激光扫面密度难以精确选取角点的问题，而且对于目标点云以及图像的角点坐标进行了插值处理，增加的样本的多样性，有助于减小随机误差。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于相机和机械式激光雷达外参标定方法，其特征在于，包括以下步骤：
T1：基于车载激光雷达获取目标点黑白格标定板的点云数据，基于车载相机获取目标点黑白格标定板的图像数据；
T2：根据所述黑白格标定板的点云数据，获取激光雷达的边界四角点坐标和黑白格标定板边界的四个角点坐标，在黑白格标定板的两角点间进行中间插值增加样本量，输出对应的激光雷达坐标系坐标和黑白格标定板坐标系坐标；
T3：根据所述黑白格标定板的图像数据，获取黑白格标定板的边界四角点像素，在黑白格标定板的两角点间进行中间插值增加样本量，输出对应的像素坐标；
T4：基于对应的像素坐标和黑白格标定板坐标系坐标，根据PNP算法计算得出姿态转换矩阵Q1，基于对应的激光雷达坐标系坐标和黑白格标定板坐标系坐标，根据SVD算法计算得出姿态转换矩阵Q2，即得出相机到激光雷达的外参矩阵为Q3=Q1*Q2，基于对应的像素坐标和对应的激光雷达坐标，利用PNP算法计算得出姿态转换矩阵Q4；
T5：基于所述外参矩阵Q3和姿态转换矩阵Q4，构建函数F(x,y,z,a,b,c)=Q4-Q3，其中，x,y,z为三维坐标各向的偏移，a,b,c为三轴角度的偏移，函数F (x,y,z,a,b,c)按行构建函数，逐级累加得激光雷达到相机的外参标定函数：
L(x,y,z,a,b,c)=k1*x+k2*y+k3*z+k4*a+k5*b+k6*c，
其中k1、k2、k3、k4、k5、k6为标定系数；
T6：基于所述外参标定函数 L(x,y,z,a,b,c)，将目标点云通过旋转矩阵进行刚体变换验证图像上标定板是否完全吻合即可完成标定。
2.根据权利要求1所述的基于相机和机械式激光雷达外参标定方法，其特征在于：在步骤T2中，所述获取激光雷达的边界四角点坐标包括：
T21：利用Cropbox函数对黑白格标定板范围进行立方体切割，将立方体的点云利用随机采样一致性对其进行平面分割，输出黑白格标定板点云平面；
T22：根据黑白格标定板点云平面，获取目标点的近邻点作为局部型面参考数据，以最小二乘法拟合参考数据的微切平面，并向微切平面投影，输出目标点在微切平面的投影点；
T23：根据目标点与目标点在微切平面的投影点连线的最大夹角识别散乱点云边界特征，通过坐标的排序获取平面的四个角点坐标，得到激光雷达的边界四角点坐标。
3.根据权利要求1所述的基于相机和机械式激光雷达外参标定方法，其特征在于：在步骤T2中，所述获取黑白格标定板边界的四个角点坐标包括：量取黑白格标定板的长宽，以黑白格标定板的中心点为坐标系原点建立自建坐标系，获取黑白格标定板边界的四个角点坐标。
4.根据权利要求1所述的基于相机和机械式激光雷达外参标定方法，其特征在于：在步骤T3中，所述获取黑白格标定板的边界四角点像素包括：
T31：基于所述黑白格标定板的图像数据，利用ROS开发***的camera_calibration模块进行相机内参标定；
T32：运用opencv库中cornerSubPix去识别黑白格标定板的各角点像素，输出黑白格标定板的边界四角点像素。
5.根据权利要求1所述的基于相机和机械式激光雷达外参标定方法，其特征在于：在步骤T5中，所述外参标定函数根据粒子群算法，设置收敛条件趋近于零对所述标定系数进行优化求解。
6.根据权利要求1所述的基于相机和机械式激光雷达外参标定方法，其特征在于：所述黑白格标定板的点云数据至少为十五组数据，所述黑白格标定板的图像数据至少为二十组数据。
7.根据权利要求1所述的基于相机和机械式激光雷达外参标定方法，其特征在于：在步骤T1中，还包括对所述获取目标点黑白格标定板的点云数据进行过滤和剔除操作。
8.一种基于相机和机械式激光雷达外参标定***，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～7中任意一项所述基于相机和机械式激光雷达外参标定方法的步骤。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1～7中任意一项所述基于相机和机械式激光雷达外参标定方法的计算机程序。
10.一种无人驾驶车辆，其特征在于，所述车辆安装有权利要求8所述的基于相机和机械式激光雷达外参标定***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211342027.XA CN115792865A (zh) | 2022-10-31 | 2022-10-31 | 一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211342027.XA CN115792865A (zh) | 2022-10-31 | 2022-10-31 | 一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115792865A true CN115792865A (zh) | 2023-03-14 |
Family
ID=85434452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211342027.XA Pending CN115792865A (zh) | 2022-10-31 | 2022-10-31 | 一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115792865A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994955A (zh) * | 2023-03-23 | 2023-04-21 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
| CN116468804A (zh) * | 2023-04-21 | 2023-07-21 | 湖南佑湘网联智能科技有限公司 | 激光雷达与相机外参标定精度评定方法及装置 |
-
2022
- 2022-10-31 CN CN202211342027.XA patent/CN115792865A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115994955A (zh) * | 2023-03-23 | 2023-04-21 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
| CN115994955B (zh) * | 2023-03-23 | 2023-07-04 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
| CN116468804A (zh) * | 2023-04-21 | 2023-07-21 | 湖南佑湘网联智能科技有限公司 | 激光雷达与相机外参标定精度评定方法及装置 |
| CN116468804B (zh) * | 2023-04-21 | 2024-04-02 | 湖南佑湘网联智能科技有限公司 | 激光雷达与相机外参标定精度评定方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115792865A (zh) | 一种基于相机和机械式激光雷达外参标定方法、***、介质及车辆 | |
| US9972067B2 (en) | System and method for upsampling of sparse point cloud for 3D registration | |
| CN111369630A (zh) | 一种多线激光雷达与相机标定的方法 | |
| CN112396664B (zh) | 一种单目摄像机与三维激光雷达联合标定及在线优化方法 | |
| CN111476242B (zh) | 一种激光点云语义分割方法及装置 | |
| CN112270713B (zh) | 标定方法以及装置、存储介质、电子装置 | |
| CN111815710B (zh) | 鱼眼相机自动标定方法 | |
| CN114092780A (zh) | 基于点云与图像数据融合的三维目标检测方法 | |
| CN107977996B (zh) | 基于靶标标定定位模型的空间目标定位方法 | |
| CN112132906A (zh) | 一种深度相机与可见光相机之间的外参标定方法及*** | |
| US20230351625A1 (en) | A method for measuring the topography of an environment | |
| CN113156411B (zh) | 一种车载激光雷达标定方法 | |
| CN115187798A (zh) | 一种多无人机高精度匹配定位方法 | |
| CN112927302B (zh) | 一种多线激光雷达与相机联合标定的标定板及标定方法 | |
| CN111123242A (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| CN111382591B (zh) | 一种双目相机测距校正方法及车载设备 | |
| CN112381847A (zh) | 管路端头空间位姿测量方法及*** | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| CN113325388A (zh) | 一种自动驾驶中激光雷达泛光噪点的过滤方法和装置 | |
| CN115508814A (zh) | 相机与激光雷达联合标定方法、装置、介质及机器人 | |
| Xinmei et al. | Passive measurement method of tree height and crown diameter using a smartphone | |
| CN111145264A (zh) | 多传感器的标定方法、装置及计算设备 | |
| CN114359365B (zh) | 一种具有高分辨率的汇聚式双目视觉测量方法 | |
| CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
| CN115546216A (zh) | 一种托盘检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |