CN112017248B - 一种基于点线特征的2d激光雷达相机多帧单步标定方法 - Google Patents
一种基于点线特征的2d激光雷达相机多帧单步标定方法 Download PDFInfo
- Publication number
- CN112017248B CN112017248B CN202010813058.3A CN202010813058A CN112017248B CN 112017248 B CN112017248 B CN 112017248B CN 202010813058 A CN202010813058 A CN 202010813058A CN 112017248 B CN112017248 B CN 112017248B
- Authority
- CN
- China
- Prior art keywords
- point
- points
- equation
- camera
- linear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于点线特征的2D激光雷达相机多帧单步标定方法。通过选取带有线性特征的室内结构化物体例如方柱、墙角等作为标定的对象，对相机采集到的图像进行直线特征提取，并进一步得到直线方程的参数值；假设雷达的扫描平面和墙角等具有线性特征的物体所在的直线相交于一点，将激光雷达扫描到的多帧数据叠加在一起，然后对物体表面的点云进行直线拟合，并求得拟合直线的交点，通过拟合的交点和图像中的线特征建立方程，求得投影矩阵中的未知参数。该方法在保证较高的投影精度的同时，具有较低的时间和算法复杂度，提高了标定工作的效率。
Description
技术领域
本发明涉及多传感器标定技术，具体地说，涉及一种基于点线特征的2D激光雷达相机多帧单步标定方法。
背景技术
近年来，来自各种领域的自动驾驶机器越来越多的进入到人们的视野。伴随着自动驾驶、机器人等相关领域各种技术的快速发展，单一的传感器信息往往已经不能满足环境感知的需要。以自动驾驶为例，车辆往往利用安装的所有传感器来感知和理解周围的环境，才能较为准确的识别物体的种类和位置，并对周围环境进行分类，从而精确地获取实时的路况信息。
机器人领域主要采用激光测距仪与彩色相机实现信息融合。当LIDAR的点云信息和相机的图像数据融合时，LIDAR能够提供目标物体的空间位置，而彩色相机可以提供视野范围内所有物体的颜色、轮廓等细节特征。2D LIDAR和相机都具有重量轻、功耗低且成本低的优点，所以两者的信息融合被广泛使用。但是想要利用2D LIDAR和相机的信息，就必须精确地找到它们之间的相对位姿(方向和位姿)。
2D LIDAR与相机标定方法分为两类，第一类是用两步标定的方法。先对相机的内部参数进行标定，然后再对2D LIDAR与相机之间的外部参数进行确定。激光相机和2DLIDAR的外参标定一般可以分为无目标的外部校准和有目标的外部校准。
但是传统的两步法存在缺点。两个标定过程较为繁琐，效率较低。此外，第一步的标定结果会传播到第二步造成误差的累积。因此，将内外参数进行合并，然后采用单步标定的方法可能会更加可取。
本文提出了一种不需要制作目标对象用于2D LIDAR和相机之间的单步标定方法。利用室内常见的线特征就可以完成标定工作。基于点和线的对应关系，只需要简单的数据处理就可以得到较好的标定结果。整体的效率更高且无需特定的实验场景和实验对象。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于点线特征的2D激光雷达相机多帧单步标定方法。本发明是通过以下技术方案来实现的：
本发明公开了一种不需要制作目标对象用于2D LIDAR和相机之间的单步标定方法，利用了室内结构化特征场景，所述室内结构化特征场景为墙角或者柱子等。
包括以下步骤：
步骤一：以室内常见的墙角为例，根据需要将雷达和相机的相对位姿固定，改变标定***与墙角之间的距离和角度，进而产生不同的观测数据；观测数据具体包括每个位姿下的多帧点云数据和墙角表面的图像数据。
步骤二：提取图像中的边缘特征，并进一步得到每一个位姿下观测到的墙角的直线方程。
步骤三：将激光雷达扫描到的多帧数据叠加在一起，然后对墙角的物体表面的点云采用RANSAC方法进行直线拟合，并求得拟合直线的交点，它们的交点即为扫描平面与墙角的交点。
首先雷达会在墙壁上产生两条激光扫描线，提取出墙壁所产生的多帧点云数据并单独画出。得到目标点云后，使用RANSAC方法对两条直线分别进行拟合。首先从目标点云中随机抽取两个点并生成一条直线，计算所有点到这条直线的距离，继续随机抽取两个点，比较距离的总和并不断迭代，直到距离的值收敛或者达到迭代次数。此时成功拟合其中一条直线，对之前误差较大的点再进行相同的操作找到另外一条直线。最后求得两条直线的交点。
步骤四：根据步骤二和步骤三中得到的点与直线的对应关系，建立方程组求解。
首先从3D点(x,y,0)到2D点(u,v)的转换可以表示为：
其中，mij为内参和外参联合后的变换矩阵的参数。
将点在直线上作为建立方程的关键条件，设点(x,y,0)为2D LIDAR观测到的墙角的空间位置，即LIDAR的扫描平面和墙角所在空间直线的交点。假设像素平面内的2D点(u,v)恰好处在墙角在像素平面中所对应的直线上，设该直线方程为：
au+bv+c＝0
其中，a、b和c均为直线方程的参数。结合坐标转换关系的表达式可得方程：
通过多组数据求得拟合的角点和直线方程的参数，根据上式和参数数据列出超静定方程，使用最小二乘的方法可以对参数进行求解。进一步得到相机的内参和外参联合的矩阵M。
上述步骤三种的点云数据需要在同一个位姿采集多帧，一般不少于50帧。这样在进行直线拟合时可以更大程度排除噪声的干扰。
需要特别说明的是，上书拟合直线的方法包括但不限于RANSAC方法
相比传统的标定方法，本发明的有益效果在于：
1、通过采集在不同的位姿下的数据，剔除了测量误差较大的点云数据，保证了每一个位姿所观测到的墙角处于不同的倾斜角度，且在图像中的位置也都发生了改变。这样可以保证提取的直线方程的参数不具有线性相关性，保证了数据的有效性，同时可以提高标定的准确度。
2、使用多帧的点云数据作为初始数据，更加避免了单帧数据带来拟合交点的随机性，使得标定结果更加准确。
3、不采用棋盘格作为标定板，利用室内常见的线特征就可以完成标定工作。基于点和线的对应关系，只需要简单的数据处理就可以得到较好的标定结果。整体的效率更高且无需特定的实验场景和实验对象。
附图说明
图1为本发明的流程示意图；
图2为本发明操作示意图；
图3为拟合直线后的效果图；
图4为求解交点的效果图。
具体实施方式
本发明提出了一种基于点线特征的2D激光雷达相机多帧单步标定方法。提供了一种标定的思路，其中的诸多数据例如测量的位置的个数、拟合数据参数的调整以及各个过程的先后顺序都包含其中，下面举出具体实施方式，本发明包含但是不局限于以下方式，下面结合附图进行说明。
如图1所示，一种多线激光雷达与相机标定的方法，包括具体以下步骤：
步骤一：以室内常见的墙角为例，根据需要将雷达和相机的相对位姿固定，改变标定***与墙角之间的距离和角度，进而产生不同的观测数据，测量12个位姿下的点云和图像数据，其中点云数据为100帧。
步骤二：提取12副图像中的边缘特征，并进一步得到每一个位姿下观测到的墙角的直线方程。
步骤三：将每个位姿下激光雷达扫描到的100帧数据叠加在一起，然后对墙角的物体表面的点云采用RANSAC方法进行直线拟合，并求得拟合直线的交点，它们的交点即为扫描平面与墙角的交点。
首先雷达会在墙壁上产生两条激光扫描线，提取出墙壁所产生的多帧点云数据并单独画出。得到目标点云后，使用RANSAC方法对两条直线分别进行拟合。首先从目标点云中随机抽取两个点并生成一条直线，计算所有点到这条直线的距离，继续随机抽取两个点，比较距离的总和并不断迭代，直到距离的值收敛或者达到迭代次数。此时成功拟合其中一条直线，对之前误差较大的点再进行相同的操作找到另外一条直线。最后求得两条直线的交点。
步骤四：根据步骤二和步骤三中得到的点与直线的对应关系，建立方程组求解。
首先从3D点(x,y,0)到2D点(u,v)的转换可以表示为：
其中，mij为内参和外参联合后的变换矩阵的参数。
将点在直线上作为建立方程的关键条件，设点(x,y,0)为2D LIDAR观测到的墙角的空间位置，即LIDAR的扫描平面和墙角所在空间直线的交点。假设像素平面内的2D点(u,v)恰好处在墙角在像素平面中所对应的直线上，设该直线方程为：
au+bv+c＝0
其中，a、b和c均为直线方程的参数。结合坐标转换关系的表达式可得方程：
通过多组数据求得拟合的角点和直线方程的参数，根据上式和参数数据列出超静定方程，使用最小二乘的方法可以对参数进行求解。进一步得到相机的内参和外参联合的矩阵M。
Claims (4)
1.一种基于点线特征的2D激光雷达相机多帧单步标定方法，其特征在于，利用了室内结构化特征场景中的物体，包括以下步骤：
步骤一：根据需要将雷达和相机的相对位姿固定，改变标定***与室内结构化特征场景中的物体之间的距离和角度，进而产生不同的观测数据；观测数据具体包括每个位姿下的多帧点云数据和结构化特征场景中的物体的图像数据；
步骤二：提取图像中的边缘特征，并进一步得到每一个位姿下观测到的室内结构化特征场景中的物体的直线方程；
步骤三：将激光雷达扫描到的多帧数据叠加在一起，然后对室内结构化特征场景中的物体表面的点云采用RANSAC方法进行直线拟合，并求得拟合直线的交点，它们的交点即为扫描平面与室内结构化特征场景的交点；
首先雷达会在室内结构化特征场景中的物体上产生两条激光扫描线，提取出室内结构化特征场景中的物体所产生的多帧点云数据并单独画出；得到目标点云后，使用RANSAC方法对两条直线分别进行拟合；首先从目标点云中随机抽取两个点并生成一条直线，计算所有点到这条直线的距离，继续随机抽取两个点，比较距离的总和并不断迭代，直到距离的值收敛或者达到迭代次数；此时成功拟合其中一条直线，对之前误差较大的点再进行相同的操作找到另外一条直线，最后求得两条直线的交点；
步骤四：根据步骤二和步骤三中得到的点与直线的对应关系，建立方程组求解；
首先从3D点(x,y,0)到2D点(u,v)的转换可以表示为：
其中，mij为内参和外参联合后的变换矩阵的参数；
将点在直线上作为建立方程的关键条件，设点(x,y,0)为2D LIDAR观测到的室内结构化特征场景中的物体的空间位置，即LIDAR的扫描平面和室内结构化特征场景中的物体所在空间直线的交点；假设像素平面内的2D点(u,v)恰好处在墙角在像素平面中所对应的直线上，设该直线方程为：
au+bv+c＝0
其中，a、b和c均为直线方程的参数，结合坐标转换关系的表达式可得方程：
通过多组数据求得拟合的角点和直线方程的参数，根据上式和参数数据列出超静定方程，使用最小二乘的方法对参数进行求解；进一步得到相机的内参和外参联合的矩阵M。
2.如权利要求1所述的一种基于点线特征的2D激光雷达相机多帧单步标定方法，其特征在于所述室内结构化特征场景中的物体为墙角或者柱子。
3.如权利要求1所述的一种基于点线特征的2D激光雷达相机多帧单步标定方法，其特征在于所述步骤三中 的点云数据需要在同一个位姿采集多帧，大于50帧。
4.如权利要求1所述的一种基于点线特征的2D激光雷达相机多帧单步标定方法，其特征在于拟合直线的方法包括但不限于RANSAC方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010813058.3A CN112017248B (zh) | 2020-08-13 | 2020-08-13 | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010813058.3A CN112017248B (zh) | 2020-08-13 | 2020-08-13 | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017248A CN112017248A (zh) | 2020-12-01 |
| CN112017248B true CN112017248B (zh) | 2022-04-01 |
Family
ID=73504309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010813058.3A Active CN112017248B (zh) | 2020-08-13 | 2020-08-13 | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017248B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112659112A (zh) * | 2020-12-03 | 2021-04-16 | 合肥富煌君达高科信息技术有限公司 | 一种基于线激光扫描仪的机器人手眼标定方法 |
| CN112802126A (zh) * | 2021-02-26 | 2021-05-14 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、计算机设备和存储介质 |
| CN114459500B (zh) * | 2021-12-01 | 2024-05-24 | 岱悟智能科技(上海)有限公司 | 激光雷达与姿态传感器的相对位姿动态标定方法、装置、设备和介质 |
| CN117911539A (zh) * | 2024-03-15 | 2024-04-19 | 西南科技大学 | 基于线***叉点引导的雷达与相机联合自标定方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111060898A (zh) * | 2019-12-20 | 2020-04-24 | 禾多科技（北京）有限公司 | 场端多线束激光雷达内参标定方法 |
| CN111369630A (zh) * | 2020-02-27 | 2020-07-03 | 河海大学常州校区 | 一种多线激光雷达与相机标定的方法 |
-
2020
- 2020-08-13 CN CN202010813058.3A patent/CN112017248B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111060898A (zh) * | 2019-12-20 | 2020-04-24 | 禾多科技（北京）有限公司 | 场端多线束激光雷达内参标定方法 |
| CN111369630A (zh) * | 2020-02-27 | 2020-07-03 | 河海大学常州校区 | 一种多线激光雷达与相机标定的方法 |
Non-Patent Citations (2)
| Title |
|---|
| Improved calibration method based on the RANSAC approach and an improved gray centroid method for a laser-line-based structured light system;Xiaobin Xu等;《Applied Optics》;20191210;第53卷(第35期);全文 * |
| 激光周向探测小型化发射技术;徐孝彬等;《光子学报》;20160331;第45卷(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017248A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017248B (zh) | 一种基于点线特征的2d激光雷达相机多帧单步标定方法 | |
| CN112396664B (zh) | 一种单目摄像机与三维激光雷达联合标定及在线优化方法 | |
| CN105021124B (zh) | 一种基于深度图的平面零件三维位置和法向量计算方法 | |
| CN110842940A (zh) | 一种建筑测量机器人多传感器融合三维建模方法及*** | |
| Xie et al. | Pixels and 3-D points alignment method for the fusion of camera and LiDAR data | |
| CN110031829B (zh) | 一种基于单目视觉的目标精准测距方法 | |
| CN113111887B (zh) | 一种基于相机和激光雷达信息融合的语义分割方法及*** | |
| CN107588721A (zh) | 一种基于双目视觉的零件多尺寸的测量方法及*** | |
| CN105758426A (zh) | 移动机器人的多传感器的联合标定方法 | |
| CN108594245A (zh) | 一种目标物运动监测***及方法 | |
| US20040096082A1 (en) | Obstacle detection device and method therefor | |
| CN112037159B (zh) | 一种跨相机道路空间融合及车辆目标检测跟踪方法及*** | |
| CN111678518B (zh) | 一种用于修正自动泊车路径的视觉定位方法 | |
| CN116309813A (zh) | 一种固态激光雷达-相机紧耦合位姿估计方法 | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| CN116030130A (zh) | 一种动态环境下的混合语义slam方法 | |
| KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| Higuchi et al. | 3D measurement of large structure by multiple cameras and a ring laser | |
| CN114078163A (zh) | 激光雷达与可见光相机的精确标定方法 | |
| CN116500595A (zh) | 激光雷达、相机和惯性传感器相互约束的外参标定方法 | |
| CN107248171B (zh) | 一种基于三角剖分的单目视觉里程计尺度恢复方法 | |
| Li et al. | Mobile robot map building based on laser ranging and kinect | |
| Hamzah et al. | A practical method for camera calibration in stereo vision mobile robot navigation | |
| TWI736960B (zh) | 同步定位與建圖優化方法 | |
| CN114724111A (zh) | 一种基于deepstream的智能叉车识别避障方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |