CN114660579A - 一种全自动激光雷达与相机标定方法 - Google Patents
一种全自动激光雷达与相机标定方法 Download PDFInfo
- Publication number
- CN114660579A CN114660579A CN202210262838.2A CN202210262838A CN114660579A CN 114660579 A CN114660579 A CN 114660579A CN 202210262838 A CN202210262838 A CN 202210262838A CN 114660579 A CN114660579 A CN 114660579A
- Authority
- CN
- China
- Prior art keywords
- calibration
- camera
- calibration plate
- radar
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种全自动激光雷达与相机标定方法,包括如下步骤:步骤1、固定好搭载了标定板的机械臂在‘标定板所在位置’;步骤2、在无障碍物区域确定一个标定区域,标定区域内有若干个机器人移动点位;步骤3、机器人移动到每一个点位,采集激光雷达点云数据与相机的数据;步骤4、机械臂使标定板在标定过程当中有更多的位置变化;步骤5、通过算法剔除差值过大的标定数据。本发明的有益效果是:替换了原来的需要人去手持标定板并且进行标定板的位姿的变化来进行数据的采集的传统方式,极大地降低了激光雷达和相机标定的操作门槛,提高了机器人的生产效率。
Description
技术领域
本发明涉及激光雷达和相机外参标定技术领域,特别是一种自主移动机器人建图的动态物体过滤方法。
背景技术
现有的激光雷达和相机标定方案大都需要人工进行标定数据的采集,例如autoware(自动驾驶***),Camera-LiDAR Calibration(paper:Optimising theselection of samples for robust lidar camera calibration)等标定工具,这些工具都需要人工手动进行标定数据的采集,之后对采集的数据进行逐帧回放的方式获取标定的样本,之后利用这些采集的样本通过优化算法进行激光雷达和相机外参的优化,都需要人工手持标定板,这项工作需要专业的人员进行一定的培训才能开展,并且由于受训人员的操作不当等原因会导致标定失败的情况。而这极大地降低了大批量机器人生产的效率。
发明内容
为克服上述技术中的缺陷,本发明提供一种基于机器人平台与机械臂的全自动激光雷达与相机标定方法,是通过如下技术方案来实现的。
一种全自动激光雷达与相机标定方法,其特征在于,配置一块标定板,将标定板固定在机械臂上,在可移动的机器人的平台上配置的激光雷达和相机,用于采集标定数据,标定方法包括如下步骤:
步骤1、搭载标定板的机械臂设置在‘标定板所在位置’;
步骤2、在无障碍区域内设置一个具有若干个点位的标定区域;
步骤3、机器人移动到每一个点位,所搭载的激光雷达和采相机自动采集数据,用于激光雷达和相机的外参标定;
步骤4、机械臂使标定板在标定过程当中有更多的偏航、俯仰、上升,下降的位置变化,使得机器人移动到不同的点位的时候有不同的标定板位姿,并采集若干组数据;
步骤5、通过矩形识别算法识别标定板的四个顶点,再检测标定板的角点,与结合标定板的尺寸先验解算出来的四个顶点,两者作比较,剔除差值过大的标定数据,保留其中一个标定数据。
本发明的有益效果是:替换了原来的需要人去手持标定板并且进行标定板的位姿的变化来进行数据的采集的传统方式,极大地降低了激光雷达和相机标定的操作门槛,提高了机器人的生产效率。
附图说明
图1是本发明的实施例中标定***结构示意图。
图2是本发明的实施例中标定板的角点识别示意图。
图3是本发明的实施例中机器人平台结构示意图。
图4是本发明的实施例中机械臂向自身坐标系左转示意图。
图5是本发明的实施例中机械臂向上偏转示意图。
具体实施方式
以下结合实施例对本发明作进一步的阐述,所述的实施例仅为本发明一部分的实施例,这些实施例仅用于解释本发明,对本发明的范围并不构成任何限制。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在本发明实施例中,实施一种全自动激光雷达与相机标定方法,需要配置一块外参标定板10,将标定板固定在机械臂60上,配置的激光雷达40和相机50采集标定数据。如图1所示,是各个关键器件的示意图所在位置,标定板10固定在机械臂60上,且面对机器人30,机械臂50固定在如图所示的位置上,机器人端有机器人平台,以及机器人平台上的激光雷达40和双目相机50,机器人在标定区域20内移动至每一个位点21。标定区域20是一个距离标定板10正前方3米的一块1米x2.6米的矩形区域,将矩形区域平均分成7行7列得到了如图1所示的36个点位21。
如图3所示,为准备标定的机器人30的激光雷达40和相机50位置示意图,激光雷达下方的相机,是T265型号双目相机,这是两者的位置关系正视图,激光雷达位于双目相机正上方。
一种全自动激光雷达与相机标定方法,包括如下步骤:
步骤1、搭载标定板的机械臂在‘标定板所在位置’。
步骤2、规定一个无障碍物区域,如图2所示的灰色矩形区域,用于简化标定板在激光雷达点云和相机当中的提取。在无障碍物区域确定一个标定区域,标定区域内设有若干个机器人移动的点位;如图2所示,交点就是机器人需要移动的点位。
步骤3、开启自动标定,机器人会自动移动到每一个点位并且自动采集激光雷达点云数据与相机的数据,用于最后的激光雷达和相机的外参标定。
步骤4、机械臂使标定板在标定过程当中有更多的偏航、俯仰、上升,下降的位置变化,使得机器人移动到不同的点位的时候可以有不同的标定板位姿。如图4-5所示,分别表示了机械臂的控制标定板进行偏航45°,机械臂向自身坐标系最多左转45°,从而带动标定板的运行以及机械臂向上最多45°从而带动标定板运动的示意图。
在整个标定过程当中,机械臂会随机进行俯仰与偏航角度的变化,俯仰和偏航角度的变化范围在-45°-45°之间,并且会上下移动,上下移动的距离范围是10cm,机械臂使标定板在标定过程当中有更多的偏航、俯仰、上升,下降的位置变化,使得机器人移动到不同的点位的时候可以有不同的标定板位姿;
步骤5、通过矩形识别算法识别标定板的四个顶点在图像当中的像素坐标,再与通过检测标定板的角点结合标定板的尺寸先验解算出来的四个顶点的像素坐标,利用公式进行距离比较(其中uci代表检测角点与标定板尺寸先验得到的矩形的第i个顶点的像素的坐标的u坐标,udi代表距离顶点(uci,vci)最近的一个点的u坐标,vci代表检测角点与标定板尺寸先验得到的矩形的第i个顶点的像素的坐标的v坐标,vdi代表距离顶点(uci,vci)最近的一个点的v坐标),剔除差值过大的标定数据,这里我们选用误差在10个像素以内的数据作为可用的数据。
其中,矩形识别算法如下:
第一步:预处理,利用标定板检测的角点与标定板的实际尺寸,还有相机的内参矩阵,计算得到标定板的四个顶点,并根据这四个顶点的像素坐标确定标定板的大致位置,然后将四个顶点往距离图像最近的一条边,记录与边的距离为d,将d减去100求解四个顶点的新的位置,利用这个位置进行图像切割得到图像切除多余的像素得到的标定板的大致的图像;
第二步:将预处理后的图像转化为灰度图;
第三步:进行中值滤波;
第四步:将图像阈值化为二值图;
第五步:利用canny算子进行边缘检测;
第六步:提取轮廓;
第七步:找出面积最大的轮廓;
第八步:检测凸包得到矩形的四个顶点。
步骤6、采集后的数据包括激光雷达的点云数据与相机的图像数据,点云由于周围没有障碍物可以直接使用该点云数据,图像也通过步骤5的异常值提出算法与角点检测算法得到了图像的各个角点。我们将当前时间的激光雷达的点云数据和相机的图像数据作为一组数据,当机器人移动到每一个点位进行数据采集后将得到36组数据。在雷达点云当中提取标定板的信息,包括标定板的4个顶点,从而计算出雷达坐标系下的标定板的正中心点表示第i组数据的雷达点云提取的标定板的正中心点,表达第i组采样的雷达数据的标定板的法向量。利用图像计算出的在相机坐标系下的标定板中心点为法向量为
2、利用初始的外参估计,先优化外参的旋转量,使用Genetic Algorithm作为优化器,选用的损失函数主要是如下两个,其中表示从雷达坐标系的法向量转换到相机坐标系的法向量,计算方式为 表示从雷达坐标系转换到相机坐标系下的标定板的中心点
3、优化好旋转量后,通过如下公式计算雷达到相机外参的平移量(其中Oc表示所有的相机坐标系下的标定板的中心点,表示所有的雷达坐标系下的标定板的中心点通过旋转量计算得到的相机坐标系下的点,这些点的差值求平均就得到一个粗略的平移量的估计值。
优化的目标函数如下:
如图1-2所示,是本发明的其中一实施例,使用如下图所示的棋盘格作为激光雷达和相机的外参标定板,标定板大小为840mm×1240mm,标定板当中有4X6个黑白棋盘格。在我们的16线激光雷达与T265、ZED系列双目相机下,这个尺寸达到了最佳的效果。每一个棋盘格的黑白格子的大小为200mm。其余可用的范围有(600-1000mm)×(800-1500),黑白格子可用的大小范围是100-300mm
由于标定过程当中标定板需要足够的姿态变化来获得更多的约束使最终的优化正确地收敛,因为我们是通过提取图像当中的标定板平面的法向量Nc与激光雷达点云平面的法向量Nl,并通过公式(1)计算相机到雷达的外参RLC,所以我们使用机械臂来自动使标定板在标定过程当中可以有更多的yaw(偏航),pitch(俯仰),和上升(标定板位置),下降(标定板位姿)等变化。
如图1所示,固定好搭载了标定板的机械臂在‘标定板所在位置’,我们规定了如下的一个4m*4m的无障碍物区域简化标定板在激光雷达点云和相机当中的提取(地下用黄色区域标记出来),在黄色区域内我们规定了一个标定区域,标定区域内有6*6个机器人移动点位。
开启自动标定流程后,机器人会自动移动到每一个这样的固定点位并且自动采集激光雷达点云数据与相机的数据用于最后的激光雷达和相机的外参标定。在这个过程当中,我们的机械臂会进行pitch,yaw,和上升,下降等变化,用于机器人在移动到不同的点位的时候可以有不同的标定板位姿。这样配合机器人的移动以及机械臂的各种姿态变化采集的36个数据包含了丰富的标定所需的数据。
获取了上述数据后,准确地识别了标定板在图像当中的位置以及在激光雷达点云当中的位置最后的外参优化的后的标准差才会小。
如图2所示,在图像当中由于标定板的角点识别误差导致在图像当中检测出的标定板的位置误差很大,如下图当中绿色的点(标定板四个角的点)已经严重地偏离了标定板,这也就意味着最后提取的图像当中的标定板的法线与真实的法线偏差很大,这样的识别结果如果加入到最终的优化过程当中将会导致标定的外参方差过大,(这个步骤之前由人工去确定好坏)。
使用矩形识别算法提取出标定板的四个顶点在图像当中的位置,与我们通过识别标定板的角点计算出来的四个顶点在图像当中的位置进行比较,剔除掉这个差值过大的数据,这样就能自动地不需人工介入的判断异常值,从而实现标定数据的自动采集与自动标定。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种全自动激光雷达与相机标定方法,其特征在于,配置一块标定板,将标定板固定在机械臂上,在可移动的机器人的平台上配置的激光雷达和相机,用于采集标定数据,标定方法包括如下步骤:
步骤1、搭载标定板的机械臂设置在‘标定板所在位置’;
步骤2、在无障碍区域内设置一个具有若干个点位的标定区域;
步骤3、机器人移动到每一个点位,所搭载的激光雷达和采相机自动采集数据,用于激光雷达和相机的外参标定;
步骤4、机械臂使标定板在标定过程当中有更多的偏航、俯仰、上升,下降的位置变化,使得机器人移动到不同的点位的时候有不同的标定板位姿,并采集若干组数据;
步骤5、通过矩形识别算法识别标定板的四个顶点,再检测标定板的角点,与结合标定板的尺寸先验解算出来的四个顶点,两者作比较,剔除差值过大的标定数据,保留其中一个标定数据。
2.根据权利要求1所述的一种全自动激光雷达与相机标定方法,其特征在于,在所述步骤4中,采集后的数据包括激光雷达的点云数据与相机的图像数据,所述点云数据可直接使用,所述图像数据通过步骤5的异常值提出算法与角点检测算法得到了图像的各个角点。
3.根据权利要求1所述的一种全自动激光雷达与相机标定方法,其特征在于,在所述步骤5中,通过提取图像当中的标定板平面的法向量与激光雷达点云扫描到的标定板平面的法向量、以及相机坐标系下的标定板的正中心点和雷达坐标系下的标定板的正中心点,通过若干组数据计算雷达到相机的外参。
5.根据权利要求3所述的一种全自动激光雷达与相机标定方法,其特征在于,在步骤5的基础上还包括步骤6:利用采集到的若干组数据通过Genetic Algorithm优化器求解出雷达到相机的外参。
第二步:利用初始的外参估计,先优化外参的旋转量,使用Genetic Algorithm作为优化器,选用的损失函数主要是如下两个:其中表示从雷达坐标系的法向量转换到相机坐标系的法向量,计算方式为 表示从雷达坐标系转换到相机坐标系下的标定板的中心点:
第三步、优化好旋转量后,通过如下公式计算雷达到相机外参的平移量,其中:Oc表示所有的相机坐标系下的标定板的中心点,表示所有的雷达坐标系下的标定板的中心点通过旋转量计算得到的相机坐标系下的点,这些点的差值求平均就得到一个粗略的平移量的估计值
优化的目标函数如下:
7.根据权利要求1所述的一种全自动激光雷达与相机标定方法,其特征在于,所述激光雷达为16线激光雷达,所述相机为T265、ZED双目相机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210262838.2A CN114660579A (zh) | 2022-03-17 | 2022-03-17 | 一种全自动激光雷达与相机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210262838.2A CN114660579A (zh) | 2022-03-17 | 2022-03-17 | 一种全自动激光雷达与相机标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114660579A true CN114660579A (zh) | 2022-06-24 |
Family
ID=82029287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210262838.2A Pending CN114660579A (zh) | 2022-03-17 | 2022-03-17 | 一种全自动激光雷达与相机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114660579A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455984A (zh) * | 2023-12-26 | 2024-01-26 | 深圳市信润富联数字科技有限公司 | 随臂式相机采集点的确定方法及装置 |
CN117830437A (zh) * | 2024-03-01 | 2024-04-05 | 中国科学院长春光学精密机械与物理研究所 | 一种大视场远距离多目相机内外参数标定装置及方法 |
-
2022
- 2022-03-17 CN CN202210262838.2A patent/CN114660579A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455984A (zh) * | 2023-12-26 | 2024-01-26 | 深圳市信润富联数字科技有限公司 | 随臂式相机采集点的确定方法及装置 |
CN117455984B (zh) * | 2023-12-26 | 2024-03-26 | 深圳市信润富联数字科技有限公司 | 随臂式相机采集点的确定方法及装置 |
CN117830437A (zh) * | 2024-03-01 | 2024-04-05 | 中国科学院长春光学精密机械与物理研究所 | 一种大视场远距离多目相机内外参数标定装置及方法 |
CN117830437B (zh) * | 2024-03-01 | 2024-05-14 | 中国科学院长春光学精密机械与物理研究所 | 一种大视场远距离多目相机内外参数标定装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112476434B (zh) | 一种基于协作机器人的视觉3d取放方法及*** | |
CN113436260B (zh) | 基于多传感器紧耦合的移动机器人位姿估计方法和*** | |
CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及*** | |
CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN108597009B (zh) | 一种基于方向角信息进行三维目标检测的方法 | |
CN114660579A (zh) | 一种全自动激光雷达与相机标定方法 | |
CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
CN111784655B (zh) | 一种水下机器人回收定位方法 | |
CN107014291B (zh) | 一种物料精密转载平台的视觉定位方法 | |
CN110651686B (zh) | 一种基于割胶机械臂的割胶方法及*** | |
CN113884002B (zh) | 基于二三维信息融合的受电弓滑板上表面检测***及方法 | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN113538620A (zh) | 一种面向二维栅格地图的slam建图结果评价方法 | |
CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
CN110044358B (zh) | 基于现场场线特征的移动机器人定位方法 | |
US20240051146A1 (en) | Autonomous solar installation using artificial intelligence | |
CN111198563B (zh) | 一种用于足式机器人动态运动的地形识别方法及*** | |
CN116580005B (zh) | 基于图像处理与深度学习的管片模具开模***的引导方法 | |
CN111627059B (zh) | 一种棉花叶片中心点位置定位方法 | |
CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
CN115797397B (zh) | 一种机器人全天候自主跟随目标人员的方法及*** | |
CN116958083A (zh) | 基于机器人自适应位姿调整的动车车底螺栓松动检测方法 | |
CN116804553A (zh) | 基于事件相机/imu/自然路标的里程计***及方法 | |
CN115631247A (zh) | 一种移动机器人的相机与固态激光雷达在线标定方法 | |
CN112991372B (zh) | 一种基于多边形匹配的2d-3d相机外参标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |