CN112927302B - 一种多线激光雷达与相机联合标定的标定板及标定方法 - Google Patents
一种多线激光雷达与相机联合标定的标定板及标定方法 Download PDFInfo
- Publication number
- CN112927302B CN112927302B CN202110196629.8A CN202110196629A CN112927302B CN 112927302 B CN112927302 B CN 112927302B CN 202110196629 A CN202110196629 A CN 202110196629A CN 112927302 B CN112927302 B CN 112927302B
- Authority
- CN
- China
- Prior art keywords
- calibration plate
- camera
- calibration
- plate
- checkerboard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000031700 light absorption Effects 0.000 claims abstract description 22
- 238000000576 coating method Methods 0.000 claims abstract description 14
- 239000011248 coating agent Substances 0.000 claims abstract description 13
- 239000000758 substrate Substances 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000000463 material Substances 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000011358 absorbing material Substances 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种多线激光雷达与相机联合标定的标定板及标定方法,该标定板包括一个矩形基板,该矩形基板具有上表面和下表面;上表面的中心部分为黑白棋盘格,沿着黑白棋盘格的外边缘的一圈为漫反射反光部分;下表面是激光雷达识别的背景,具有吸光性能,为吸光涂层,且吸光涂层沿着基板的四个侧面向上表面延伸,将漫反射反光部分的四周完全包围。标定板使用吸光材料作为背景,漫反射反光板作为标记,能够实现激光雷达对标定板位姿的自动获取,并且大大提高了识别精度。采集数据后直接利用现有数据计算相机内参并估计相机与标定板之间的外参,整个数据处理过程自动实现,无需人工标记。
Description
技术领域
本发明涉及多传感器融合的标定技术,具体地说,涉及一种多线激光雷达与相机联合标定的标定板设计及其标定方法。
背景技术
作为计算机视觉的一个重要分支,视觉三维重建是连接现实世界与虚拟世界的关键,是人或设备与环境进行交互的基础。随着无人驾驶、虚拟现实、增强现实等技术的兴起,对三维感知的要求也越来越高,单纯的三维模型重建已不能满足现实需求,带有丰富语义信息的语义三维重建成为当今研究的热点。鉴于激光雷达能够获得高精度的深度信息,相机能够获得丰富的语义信息,因此将激光雷达的高精度点云与相机的视觉信息进行融合成为获得语义三维重建模型的最佳解决方案。为了能够使激光雷达的3D点云信息与相机的2D像素信息准确匹配,激光雷达与相机的联合标定是不可或缺的重要环节。
当前激光雷达与相机的联合标定方法主要分为:基于目标的方法、基于3D匹配的方法、基于运动的方法和基于特征的方法。这些方法中有的需要较为复杂的装置或具有特殊几何形状的标记,有的需要较高的计算成本,有的需要手动识别与标记激光点云和相机像素间的匹配关系,这将导致不易使用、效率低或精度差的问题。
发明内容
本发明提出了一种用于激光雷达与相机联合标定的标定板及其标定方法,该标定板能够使激光获得较准确的标记位置,且制作材料易于获取,制作方法简单。该标定方法通过对激光雷达自动获取的3D点云和相机获取的2D像素进行匹配并优化,不需要预先校准相机内参,最终能够获得激光雷达与相机之间的外参。整个数据处理过程完全自动实现且计算成本底、精度高。
本发明采用的技术方案如下:
第一方面,本发明提出了一种多线激光雷达与相机联合标定的标定板,该标定板包括一个具有一定厚度的矩形基板,该矩形基板具有上表面和下表面;
上表面的中心部分为黑白棋盘格,沿着黑白棋盘格的外边缘的一圈为漫反射反光部分;
下表面是激光雷达识别的背景,具有吸光性能,为吸光涂层,且吸光涂层从平板的四个侧面向上表面延伸,将上表面四周完全包围。
作为进一步的技术方案,所述的中心部分为矩形,所述的漫反射反光部分为环状矩形框,位于上表面的吸光涂层也为环状矩形框,使得上表面形成上下、左右对称图形。
作为进一步的技术方案,所述的漫反射反光部分的长边等于黑白棋盘格部分的长边的1.1倍—1.2倍;所述漫反射反光部分的短边等于黑白棋盘格部分的短边的1.1倍—1.2倍。
第二方面,本发明还提出了一种多线激光雷达与相机联合标定的标定板,其包括第一层结构和第二层结构,其中第一层结构为漫反射反光板,漫反射反光板的中心为黑白棋盘格;第二层结构由吸光材料制作,在第二层包围第一层结构外圈、四周以及底面。
作为进一步的技术方案,所述的漫反射反光板为矩形板,黑白棋盘格在漫反射反光板的中心形成具有一定面积的矩形块。
作为进一步的技术方案,所述的第二层结构外边缘为矩形块。
作为进一步的技术方案,所述的漫反射反光板的长边等于黑白棋盘格部分的长边的1.1倍—1.2倍;所述漫反射反光板的短边等于黑白棋盘格部分的短边的1.1倍—1.2倍。
基于上述标定板,本发明还提出了一种激光雷达与相机联合标定方法,包括以下步骤:
步骤一:将激光雷达与相机固连在一起,组成一个刚体结构。
步骤二:将标定板固定到激光雷达与相机前,并保持一定角度,保证反光板矩形外缘的每条边至少被三条多线激光扫描线穿过;相机能清晰地观测到标定板棋盘格;
步骤三:同一个标定板位置同时采集多组激光雷达点云数据和相机图像数据。采集完一个位置后,更换标定板位置,重复步骤二、三,至少采集30组数据后结束数据采集。
步骤四:数据预处理。激光雷达在反光板上的返回光强要远高于在周围吸光材料上的返回光强,利用这一性质,根据激光雷达采集数据中的光强信息将标定板处的点云提取出来。将标定板在同一位置时采集到的激光点云数据利用体素滤波器对点云进行下采样,作为激光雷达在该位置采集到的标定板点云数据。采集到图像数据首先转为灰度图像,然后利用像素级和亚像素级角点检测方法提取棋盘格上的所有角点。将标定板在同一位置时采集到的棋盘格角点的像素坐标数据利用极大似然估计得到一组平均值,作为相机在该位置采集到的标定板角点像素数据。
步骤五:数据处理。
(1)数据处理基本符号表示:
世界坐标系:OW;标定板坐标系:OB;激光雷达坐标系:OL;相机坐标系:OC;像素平面坐标系:Ouv。
角点点云在OW中的坐标:PW;角点点云在OB中的坐标:PB;角点点云在OL中的坐标:PL;角点点云在OC中的坐标:PC;角点点云在Ouv中的坐标:Puv。
OL到OC的转换矩阵:OL到OW的转换矩阵:/>OW到OC的转换矩阵:/>
(2)计算PW。以棋盘格的第一个角点位置做为OB的原点,棋盘格角点的X/Y轴方向作为OB的X/Y方向,Z轴方向根据右手坐标系确定。根据棋盘格的实际尺寸计算棋盘格各角点在OB中的坐标为PB。以OB作为OW,因此各角点在OW中的坐标为PW=PB。
(3)计算PL。对激光雷达获得的每一组标定板点云平均数据,使用RANSAC方法进行平面拟合,拟合出标定板所在平面。根据激光扫描线的ID提取多线激光各个扫描线的起止点,并将所有的起点坐标作为左侧点集,将终止点坐标作为右侧点集。将左、右点集投影到拟合平面得到左、右投影点集。对于左侧投影点集使用RANSAC方法进行直线拟合得到第一条边线,使用拟合后的所有外点再次进行直线拟合得到第二条边线。对右侧投影点集使用同样的方法拟合得到另外两条边线,由此便得到了标定板的外缘轮廓。分别对外缘轮廓相对的两条边线的方向向量取平均值得到OL下标定板的X/Y轴,方向与OB的X/Y轴方向一致。对四条边线两两相交的交点取平均值得到OL下标定板的中心坐标,根据标定板棋盘格的实际大小以及标定板棋盘格原点位置和OL下标定板的X/Y轴方向确定标定板原点在OL下的坐标,进而计算出所有其他角点在OL下的坐标PL。
(4)计算根据上述计算得到的PW、PL,使用ICP算法通过SVD分解计算得到/>
(5)标定相机内参K和畸变系数。利用相机在所有位置处的平均角点坐标Puv以及棋盘格的实际间距,使用张正友标定法标定相机的内参K和畸变系数。
(6)计算通过标定板角点在OW中坐标PW、在Ouv中的坐标Puv以及相机内参K和畸变系数,使用EPnP算法计算/>
(7)计算并优化对应的李代数ξ。根据公式/>计算/>然后使用李代数ξ表示/>再用BundleAdjustment(BA)优化算法优化ξ。
(8)对于每一个标定板位置,均可以计算得到一个表示从OL到OC的转换的李代数ξ,再对所有ξ使用最小二乘优化便得到优化后的ξ,最后将ξ转换成由此便实现了多线激光雷达与相机的联合标定。
本发明的优势在于:
标定板使用吸光材料作为背景,漫反射反光板作为标记,能够实现激光雷达对标定板位姿的自动获取,并且大大提高了识别精度。采集数据后直接利用现有数据计算相机内参并估计相机与标定板之间的外参,整个数据处理过程自动实现,无需人工标记。
基于此标定板的标定方法采用线性优化与非线性优化相结合的数据处理方式,既提高了数据处理的效率又保证了计算结果的精度。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为本发明的标定流程图。
图2为标定板、标定板坐标系及角点位置示意图。
图3为数据采集示意图。
图4为检测识别的标定板激光点云。
图5为根据标定板点云拟合的标定板平面。
图6为根据激光扫描线起止点拟合的标定板外缘。
图7为拟合的标定板坐标X/Y轴及角点。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非本发明另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本实施例提供了一种用于激光雷达与相机联合标定的方法,包括标定板及其标定方法。该标定方法通过对激光雷达自动获取的3D点云和相机获取的2D像素进行匹配并优化,不需要预先校准相机内参,最终能够获得激光雷达与相机之间的外参。具体实施方法如下:
本实施例公开的激光雷及其达与相机联合标定的标定板,该标定板为一个具有一定厚度的板状结构,优选的,该标定板的厚度一般控制在2mm-1cm厚左右即可。
该平板具有上表面和下表面;
上表面的中心部分为黑白棋盘格,沿着黑白棋盘格的外边缘的一圈为漫反射反光部分;
下表面是激光雷达识别的背景,具有吸光性能,为吸光涂层,且吸光涂层从平板的四个侧面向上表面延伸,将上表面四周完全包围。
作为进一步的技术方案,所述的中心部分为矩形,所述的漫反射反光部分为环状矩形框,位于上表面的吸光涂层也为环状矩形框,使得上表面形成上下、左右对称图形。
作为进一步的技术方案,所述的漫反射反光部分的边长等于黑白棋盘格边边长的1.1倍—1.2倍;
上述的标定板的制作方式,可以是直接拿一块矩形的模板或者金属板作为基板,在基板上表面的中心涂覆矩形的黑白棋盘格或者粘贴黑白棋盘格纸,在黑白棋盘格的外边缘涂覆一层漫反射反光层,在基板的剩下的所有面以及上表面的外圈涂覆吸光涂层。
上述的标定板的制作方式还可以是:将标定板分为两层,下层直接采用吸光材料制作,下层的上表面中间形成矩形凹状,在矩形凹状结构内放置漫反射反光板,在漫反射反光板的中心涂覆矩形的黑白棋盘格,或者粘贴黑白棋盘格纸。
上述的标定板的下表面或者下层是激光雷达识别的背景,具有吸光性能;
标定板的上表面或者上层是激光雷达和相机识别的对象,分为内、外两部分,内部是黑白棋盘格,外部是漫反射反光部分;整个上层部分或者上表面为上下、左右对称结构,且均具有良好的直线边缘和固定的相对位置;下面的为吸光层要能将上层完全包围,具体结构参见图2和图3。
基于上述标定板的激光雷达与相机联合标定方法,如图1所示,包括以下步骤:
步骤一:将激光雷达与相机固连在一起,组成一个刚体结构。
步骤二:将标定板固定到激光雷达与相机前,并保持一定角度,保证反光板矩形外缘的每条边至少被三条多线激光扫描线穿过,相机能清晰地观测到标定板棋盘格,如图3所示。
步骤三:同一个标定板位置同时采集至少50组激光雷达点云数据和相机图像数据。采集完一个位置后,更换标定板位置,重复步骤二、三,采集不少于30组数据后结束数据采集。
步骤四:数据预处理。激光雷达在反光板上的返回光强要远高于在周围吸光材料上的返回光强,利用这一性质,根据激光雷达采集数据中的光强信息将标定板处的点云提取出来,如图4所示。将标定板在同一位置时采集到的激光点云数据利用体素滤波器对点云进行下采样,作为激光雷达在该位置采集到的标定板点云数据。采集到图像数据首先转为灰度图像,然后利用像素级和亚像素级角点检测方法提取棋盘格上的所有角点。将标定板在同一位置时采集到的棋盘格角点的像素坐标数据利用极大似然估计得到一组平均值,作为相机在该位置采集到的标定板角点像素数据。
步骤五:数据处理。
(1)数据处理基本符号表示:
世界坐标系:OW;标定板坐标系:OB;激光雷达坐标系:OL;相机坐标系:OC;像素平面坐标系:Ouv。
角点点云在OW中的坐标:PW;角点点云在OB中的坐标:PB;角点点云在OL中的坐标:PL;角点点云在OC中的坐标:PC;角点点云在Ouv中的坐标:Puv。
OL到OC的转换矩阵:OL到OW的转换矩阵:/>OW到OC的转换矩阵:/>
(2)计算PW。以棋盘格的第一个角点位置做为OB的原点,棋盘格角点的X/Y轴方向作为OB的X/Y方向,Z轴方向根据右手坐标系确定。根据棋盘格的实际尺寸计算棋盘格各角点在OB中的坐标为PB,以9×6个角点的棋盘格为例,每个格子边长为d,则PB=((0,0,0),(d,0,0),...,(9d,6d,0))。以OB作为OW,因此各角点在OW中的坐标为PW=PB。
(3)计算PL。对激光雷达获得的每一组标定板点云平数据,使用RANSAC方法进行平面拟合,拟合出标定板所在平面。设平面方程为Ax+By+Cz+D=0,每次随机选择三个点计算拟合平面,然后计算所有点到拟合平面的距离并以所有距离之和/>作为总损失,设定迭代次数和阈值,选出使总损失最小的拟合平面作为最优拟合平面,如图5所示。
根据激光扫描线的ID提取多线激光各个扫描线的起止点(p11,p12),(p21,p22)……,并将所有的起点坐标(p11,p21,...,pk1)作为左侧点集,将终止点坐标(p21,p22,...,pl2)作为右侧点集。将左、右点集投影到拟合平面得到左、右投影点集(p'11,p'21,...,p'k1)、(p'21,p'22,...,p'l2)。对于所有投影点集使用RANSAC方法进行直线拟合,设直线方程为计算所有点到直线的距离之和作为总损失,设定迭代次数和阈值,选出使总损失最小的拟合直线作为最优拟合直线。对于左侧投影点集拟合(p'11,p'21,...,p'k1)得到第一条边,拟合第一条边的外点(p'(k+1)1,p'(k+2)1,...,p'n1)得到第二条边,对于右侧投影点集使用同样的方法拟合得到另外两条边线,由此便得到了标定板的外缘轮廓,如图6所示。分别对外缘轮廓相对的两条边线的方向向量取平均值得到OL下标定板的X/Y轴,方向与OB的X/Y轴方向一致,其单位方向向量分别为/>对四条边线两两相交的交点取平均值得到OL下标定板的中心坐标(ox,oy,oz),根据标定板棋盘格的实际大小以及标定板棋盘格原点位置和OL下标定板的X/Y轴方向确定标定板原点在OL下的坐标(ox0,oy0,oz0),在本例的中/>进而计算出所有其他角点在OL下的坐标/>如图7所示。
(4)计算根据上述计算得到的PW、PL,使用ICP算法通过SVD分解计算得到/>对于本例,/>分别为PL、PW的质心,令/> 对H进行SVD分解得到H=UΣVT,令R=VUT,/>通过迭代最小化R*,求得/>
(5)标定相机内参K和畸变系数。利用相机在所有位置处的平均角点坐标Puv以及棋盘格的实际间距,使用张正友标定法标定相机的内参K和畸变系数。
(6)计算通过标定板角点在OW中坐标PW、在Ouv中的坐标Puv以及相机内参K和畸变系数,使用EPnP算法计算/>
(7)计算并优化对应的李代数ξ。根据公式/>计算/>然后使用BundleAdjustment(BA)优化算法优化上述结果得到优化后的/>对于本例中的PL、Puv,有使用李代数ξ表示转换矩阵/>即exp(ξ^),则每个角点的重投影误差可以描述为为/>则BA优化问题可以通过最小化重投影误差的平方来求解,/>求解出最优的ξ*。
(8)对于每一个标定板位置,均可以计算得到一个表示从OL到OC转换的李代数ξ*,再对所有ξ*使用最小二乘优化得到优化后的ξ,
通过上述公式计算旋转矩阵R和平移向量t,令由此便实现了多线激光雷达与相机的联合标定。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种多线激光雷达与相机联合标定的标定板,其特征在于,该标定板包括一个矩形基板,该矩形基板具有上表面和下表面;
上表面的中心部分为黑白棋盘格,沿着黑白棋盘格的外边缘的一圈为漫反射反光部分;
下表面是激光雷达识别的背景,具有吸光性能,为吸光涂层,且吸光涂层沿着基板的四个侧面向上表面延伸,将漫反射反光部分的四周完全包围;
所述的中心部分为矩形,所述的漫反射反光部分为环状矩形框,位于上表面的吸光涂层也为环状矩形框,黑白棋盘格、漫反射反光部分和吸光涂层在基板的上表面形成上下、左右对称图形;
所述的漫反射反光部分,其长边等于黑白棋盘格部分的长边的1.1倍—1.2倍;所述漫反射反光部分的短边等于黑白棋盘格部分的短边的1.1倍—1.2倍。
2.一种多线激光雷达与相机联合标定的标定板,其特征在于,包括第一层结构和第二层结构,其中第一层结构为漫反射反光板,漫反射反光板的中心为黑白棋盘格;第二层结构由吸光材料制作,在第二层包围第一层结构外圈、四周以及底面;
所述的漫反射反光板为矩形板,黑白棋盘格在漫反射反光板的中心形成具有一定面积的矩形块;
所述的第二层结构外边缘为矩形块;
所述的漫反射反光板的长边等于黑白棋盘格部分的长边的1.1倍—1.2倍;所述漫反射反光板的短边等于黑白棋盘格部分的短边的1.1倍—1.2倍。
3.基于权利要求1-2任一所述的标定板的激光雷达与相机联合标定方法,其特征在于,包括以下步骤:
步骤1:将激光雷达与相机固连在一起,组成一个刚体结构;
步骤2:将标定板固定到激光雷达与相机前,并保持一定角度,保证漫反射反光板或者漫反射反光部分的矩形外缘的每条边至少被三条多线激光扫描线穿过;相机能清晰地观测到标定板的黑白棋盘格;
步骤3:同一个标定板位置同时采集多组激光雷达点云数据和相机图像数据,采集完一个位置后,更换标定板位置,重复步骤2、3继续采集直到采集结束;
步骤4:数据预处理,
根据激光雷达采集数据中的光强信息从标定板处的点云提取出来;将标定板在同一位置时采集到的激光点云数据利用体素滤波器对点云进行采样,作为激光雷达在该位置采集到的标定板点云数据;
相机采集到图像数据首先转为灰度图像,然后利用像素级和亚像素级角点检测方法提取棋盘格上的所有角点;将标定板在同一位置时采集到的棋盘格角点的像素坐标数据利用极大似然估计得到一组平均值,作为相机在该位置采集到的标定板角点像素数据;
步骤5:数据处理。
4.如权利要求3所述的激光雷达与相机联合标定方法,其特征在于,步骤5中数据处理方法如下:
计算PW;以棋盘格的第一个角点位置做为OB的原点,棋盘格角点的X/Y轴方向作为OB的X/Y方向,Z轴方向根据右手坐标系确定;根据棋盘格的实际尺寸计算棋盘格各角点在OB中的坐标为PB;以OB作为OW,因此各角点在OW中的坐标为PW=PB;
计算PL;对激光雷达获得的每一组标定板点云平均数据,使用RANSAC方法进行平面拟合,拟合出标定板所在平面;根据激光扫描线的ID提取多线激光各个扫描线的起止点,并将所有的起点坐标作为左侧点集,将终止点坐标作为右侧点集;将左、右点集投影到拟合平面得到左、右投影点集;对于左侧投影点集使用RANSAC方法进行直线拟合得到第一条边线,使用拟合后的所有外点再次进行直线拟合得到第二条边线;对右侧投影点集使用同样的方法拟合得到另外两条边线,由此便得到了标定板的外缘轮廓;分别对外缘轮廓相对的两条边线的方向向量取平均值得到OL下标定板的X/Y轴,方向与OB的X/Y轴方向一致;对四条边线两两相交的交点取平均值得到OL下标定板的中心坐标,根据标定板棋盘格的实际大小以及标定板棋盘格原点位置和OL下标定板的X/Y轴方向确定标定板原点在OL下的坐标,进而计算出所有其他角点在OL下的坐标PL;
计算根据上述计算得到的PW、PL,使用ICP算法通过SVD分解计算得到/>
标定相机内参K和畸变系数;利用相机在所有位置处的平均角点坐标Puv以及棋盘格的实际间距,使用张正友标定法标定相机的内参K和畸变系数;
计算通过标定板角点在OW中坐标PW、在Ouv中的坐标Puv以及相机内参K和畸变系数,使用EPnP算法计算/>
计算并优化对应的李代数ξ;根据公式/>计算/>然后使用李代数ξ表示再用BundleAdjustment(BA)优化算法优化ξ;
对于每一个标定板位置,均可计算得到一个表示从OL到OC的转换的李代数ξ,再对所有ξ使用最小二乘优化便得到优化后的ξ,最后将ξ转换成由此便实现了多线激光雷达与相机的联合标定;
上述的:世界坐标系:OW;标定板坐标系:OB;激光雷达坐标系:OL;相机坐标系:OC;像素平面坐标系:Ouv;
角点点云在OW中的坐标:PW;角点点云在OB中的坐标:PB;角点点云在OL中的坐标:PL;角点点云在OC中的坐标:PC;角点点云在Ouv中的坐标:Puv;
OL到OC的转换矩阵:OL到OW的转换矩阵:/>OW到OC的转换矩阵:/>
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110196629.8A CN112927302B (zh) | 2021-02-22 | 2021-02-22 | 一种多线激光雷达与相机联合标定的标定板及标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110196629.8A CN112927302B (zh) | 2021-02-22 | 2021-02-22 | 一种多线激光雷达与相机联合标定的标定板及标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112927302A CN112927302A (zh) | 2021-06-08 |
CN112927302B true CN112927302B (zh) | 2023-08-15 |
Family
ID=76170086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110196629.8A Active CN112927302B (zh) | 2021-02-22 | 2021-02-22 | 一种多线激光雷达与相机联合标定的标定板及标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112927302B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113778081B (zh) * | 2021-08-19 | 2022-07-22 | 中国农业科学院农业资源与农业区划研究所 | 一种基于激光雷达和视觉的果园路径识别方法和机器人 |
CN116091610B (zh) * | 2021-11-08 | 2023-11-10 | 南京理工大学 | 一种基于三维塔式棋盘格的雷达与相机的联合标定方法 |
CN114137553B (zh) | 2022-01-30 | 2022-04-12 | 探维科技(北京)有限公司 | 一种图像融合激光的雷达调光方法及*** |
CN116485918B (zh) * | 2023-06-25 | 2023-09-08 | 天府兴隆湖实验室 | 一种标定方法、***及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109765036A (zh) * | 2019-02-28 | 2019-05-17 | 人加智能机器人技术(北京)有限公司 | 一种用于相机参数标定的发光标定板及其制作方法 |
CN110161485A (zh) * | 2019-06-13 | 2019-08-23 | 同济大学 | 一种激光雷达与视觉相机的外参标定装置及标定方法 |
CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
CN111445536A (zh) * | 2020-05-13 | 2020-07-24 | 武汉夕睿光电技术有限公司 | 一种3d相机的标定装置和方法 |
CN111612845A (zh) * | 2020-04-13 | 2020-09-01 | 江苏大学 | 一种基于移动标定板的激光雷达与相机联合标定方法 |
CN111735479A (zh) * | 2020-08-28 | 2020-10-02 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
US10859684B1 (en) * | 2019-11-12 | 2020-12-08 | Huawei Technologies Co., Ltd. | Method and system for camera-lidar calibration |
-
2021
- 2021-02-22 CN CN202110196629.8A patent/CN112927302B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109765036A (zh) * | 2019-02-28 | 2019-05-17 | 人加智能机器人技术(北京)有限公司 | 一种用于相机参数标定的发光标定板及其制作方法 |
CN110161485A (zh) * | 2019-06-13 | 2019-08-23 | 同济大学 | 一种激光雷达与视觉相机的外参标定装置及标定方法 |
CN110349221A (zh) * | 2019-07-16 | 2019-10-18 | 北京航空航天大学 | 一种三维激光雷达与双目可见光传感器的融合标定方法 |
US10859684B1 (en) * | 2019-11-12 | 2020-12-08 | Huawei Technologies Co., Ltd. | Method and system for camera-lidar calibration |
CN111612845A (zh) * | 2020-04-13 | 2020-09-01 | 江苏大学 | 一种基于移动标定板的激光雷达与相机联合标定方法 |
CN111445536A (zh) * | 2020-05-13 | 2020-07-24 | 武汉夕睿光电技术有限公司 | 一种3d相机的标定装置和方法 |
CN111735479A (zh) * | 2020-08-28 | 2020-10-02 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
Non-Patent Citations (1)
Title |
---|
一种用于光电立靶***的 线阵相机现场自标定方法;赵晓理 等;光电工程;第43卷(第7期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112927302A (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112927302B (zh) | 一种多线激光雷达与相机联合标定的标定板及标定方法 | |
CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
CN109242954B (zh) | 基于模板变形的多视角三维人体重建方法 | |
CN104933718B (zh) | 一种基于双目视觉的物理坐标定位方法 | |
CN111121655B (zh) | 一种共面等大多孔型工件位姿与孔径视觉检测方法 | |
CN104748683B (zh) | 一种数控机床工件在线自动测量装置及测量方法 | |
CN108994844B (zh) | 一种打磨操作臂手眼关系的标定方法和装置 | |
CN111640158B (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
CN107767456A (zh) | 一种基于rgb‑d相机的物体三维重建方法 | |
CN111476242B (zh) | 一种激光点云语义分割方法及装置 | |
CN110823252B (zh) | 一种多线激光雷达和单目视觉的自动标定方法 | |
CN105574812B (zh) | 多角度三维数据配准方法及装置 | |
CN104215199B (zh) | 一种假发头壳制作方法及*** | |
CN111815710B (zh) | 鱼眼相机自动标定方法 | |
CN113776785B (zh) | 一种单目立体视觉***三维光路分析方法 | |
CN104517291A (zh) | 基于目标同轴圆特征的位姿测量方法 | |
CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
CN103106661A (zh) | 空间二条相交直线线性求解抛物折反射摄像机内参数 | |
CN106705885A (zh) | 一种可处理透明和高光材质的彩色三维光学扫描方法 | |
CN111612844B (zh) | 基于扇形特征的三维激光扫描仪与相机标定方法 | |
CN113409242A (zh) | 一种轨交弓网点云智能监测方法 | |
CN112581505A (zh) | 一种简易的激光雷达点云与光学影像自动配准方法 | |
CN116402904A (zh) | 一种基于激光雷达间和单目相机的联合标定方法 | |
CN115375762A (zh) | 一种基于三目视觉的电力线三维重构方法 | |
CN115222893A (zh) | 基于结构光测量的大尺寸构件三维重建拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240422 Address after: 102, Building 9, Zhongrun Century City, No. 13777 Jingshi Road, Lixia District, Jinan City, Shandong Province, 250000 Patentee after: SHANDONG ALESMART INTELLIGENT TECHNOLOGY CO.,LTD. Country or region after: China Address before: 250061, No. ten, No. 17923, Lixia District, Ji'nan City, Shandong Province Patentee before: SHANDONG University Country or region before: China |
|
TR01 | Transfer of patent right |