CN113256729B - 激光雷达与相机的外参标定方法、装置、设备及存储介质 - Google Patents
激光雷达与相机的外参标定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113256729B CN113256729B CN202110286400.3A CN202110286400A CN113256729B CN 113256729 B CN113256729 B CN 113256729B CN 202110286400 A CN202110286400 A CN 202110286400A CN 113256729 B CN113256729 B CN 113256729B
- Authority
- CN
- China
- Prior art keywords
- key
- point cloud
- determining
- laser radar
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000002035 prolonged effect Effects 0.000 abstract description 9
- 238000005457 optimization Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请实施例提供了一种激光雷达与相机的外参标定方法、装置、设备及存储介质，涉及图像处理领域。该方法包括：获取同一时刻的激光雷达采集的三维点云和相机采集的像素图像，确定像素图像中的第一关键点，并采用Hough变换确定三维点云中的第二关键点；基于第一关键点在像素图像中的坐标和第二关键点在三维点云中的坐标确定激光雷达与相机的外参。本申请实施例通过延长标定板的邻边长度，以增加邻边上的点云数量，进而增加邻边的辨识度，方便通过Hough变换进行标定板邻边提取，提高关键点提取的精度，根据几何约束设立最优化条件，统计多个标定板的位姿下的关键点，求出不同的外参值，再根据约束条件选出误差最小的外参值，提高外参标定的精度。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种激光雷达与相机的外参标定方法、装置、设备及存储介质。
背景技术
近年来，MEMS(微机电***,Micro-Electro-Mechanical System)激光雷达由于其成本低廉、点云稠密、三维成像效果好，常与相机进行信息融合，提高***应用的鲁棒性及精度，被广泛应用于智能驾驶、工业机器人等领域。
激光雷达与相机的外参是点云坐标系相对于图像坐标系的空间对应参量，即旋转和平移的关系，是信息融合的关键。但是MEMS激光雷达的点云测距精度比传统的机械式激光雷达低，噪声点多，利用传统外参标定方法得到的外参值偏差大，影响信息融合的效果。而外参标定需要精确提取点云与图像像素的对应点，根据多对对应点即可求出外参值。点云与图像像素的对应点作为关键点，MEMS激光雷达的测距及噪声特点影响了关键点的提取，传统的导致与图像像素点求外参时误差偏大。
由此可见，现有技术中存在MEMS激光雷达的测距及噪声特点影响了关键点的提取，传统的导致与图像像素点求外参时误差偏大的技术问题，急需改进。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中存在MEMS激光雷达的测距及噪声特点影响了关键点的提取，传统的导致与图像像素点求外参时误差偏大的技术问题。
根据本申请的一个方面，提供了一种激光雷达与相机的外参标定方法，该方法包括：
获取同一时刻的激光雷达采集的三维点云和相机采集的像素图像，其中，所述三维点云和所述像素图像是针对同一标定板采集的；
确定所述像素图像中的第一关键点，并采用Hough变换确定所述三维点云中的第二关键点；其中，所述第一关键点和所述第二关键点有多个，所述第一关键点对应的所述标定板上的点与所述第二关键点对应的标定板上的点相同；
基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参。
作为本申请一个可选的实施方式，所述获取同一时刻的激光雷达采集的三维点云，包括：
针对同一标定板，采集同一位姿的多帧中间三维点云，将所述多帧三维点云进行融合，得到激光雷达采集的三维点云。
作为本申请一个可选的实施方式，所述采用Hough变换确定所述三维点云中的第二关键点，包括：
采用预设的RANSAC算法对所述三维点云进行拟合，得到最优平面；
采用Hough变换确定该最优平面中的第二关键点。
作为本申请一个可选的实施方式，所述采用Hough变换确定该最优平面中的第二关键点，包括：
利用Hough变换拟合所述最优平面中所述标定板的边缘直线；
根据所述边缘直线交点及所述标定板的实际长度确定所述第二关键点，其中，所述边缘直线的长度大于所述标定板的实际长度。
作为本申请一个可选的实施方式，所述基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参，包括：
采用预设的像素坐标-相机坐标公式将所述第一关键点的像素坐标转换为相机坐标；
基于所述第一关键点的相机坐标与所述第二关键点在所述三维点云中的坐标的关系确定所述外参。
作为本申请一个可选的实施方式，该方法还包括：
针对同一标定板的多个不同位姿，分别获取多组激光雷达采集的三维点云和相机采集的像素图像，并求取多个所述外参；
采用预设的算法在多个外参中确定最优外参。
根据本申请的另一个方面，提供了一种激光雷达与相机的外参标定装置，该装置包括：
图像和点云获取模块，用于获取同一时刻的激光雷达采集的三维点云和相机采集的像素图像，其中，所述三维点云和所述像素图像是针对同一标定板采集的；
关键点确定模块，用于确定所述像素图像中的第一关键点，并采用 Hough变换确定所述三维点云中的第二关键点；其中，所述第一关键点和所述第二关键点有多个，所述第一关键点对应的所述标定板上的点与所述第二关键点对应的标定板上的点相同；
外参确定模块，用于基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参。
作为本申请一个可选的实施方式，所述关键点确定模块包括：
直线拟合单元，用于利用Hough变换拟合所述最优平面中所述标定板的边缘直线；
关键点确定单元，用于根据所述边缘直线交点及所述标定板的实际长度确定所述第二关键点，其中，所述边缘直线的长度大于所述标定板的实际长度。
根据本申请的另一个方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述的激光雷达与相机的外参标定方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。。
本申请实施例通过利用Hough变换提取点云关键点。延长标定板的邻边长度，以增加邻边上的点云数量，进而增加邻边的辨识度，方便通过 Hough变换进行标定板邻边提取，然后再根据邻边交点、邻边实际长度求点云关键点。并提高关键点提取的精度，精确提取关键点之后，根据几何约束设立最优化条件，统计多个标定板的位姿下的关键点，求出不同关键点对求出的外参值，再根据约束条件选出误差最小的外参值，提高外参标定的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种激光雷达与相机的外参标定方法的流程示意图；
图2为本申请实施例提供的一种像素图像关键点示意图；
图3为本申请实施例提供的一种三维点云关键点示意图；
图4为本申请实施例提供的一种平面拟合方法的流程示意图；
图5为本申请实施例提供的一种关键点确定方法的流程示意图；
图6为本申请实施例提供的一种求取最优外参的方法的流程示意图；
图7为本申请实施例提供的一种激光雷达与相机的外参标定装置的结构示意图；
图8为本申请实施例提供的一种关键点确定模块的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
结合附图并参考以下具体实施方式，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
激光雷达与相机的外参是点云坐标系相对于图像坐标系的空间对应参量，即旋转和平移的关系，是信息融合的关键。但是MEMS激光雷达的点云测距精度比传统的机械式激光雷达低，噪声点多，利用传统外参标定方法得到的外参值偏差大，影响信息融合的效果。而外参标定需要精确提取点云与图像像素的对应点，根据多对对应点即可求出外参值。点云与图像像素的对应点作为关键点，MEMS激光雷达的测距及噪声特点影响了关键点的提取，传统的导致与图像像素点求外参时误差偏大。
本申请提供的激光雷达与相机的外参标定方法、装置、设备及存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例中提供了一激光雷达与相机的外参标定方法，如图1所示，该方法包括：
步骤S101，获取同一时刻的激光雷达采集的三维点云和相机采集的像素图像，其中，所述三维点云和所述像素图像是针对同一标定板采集的；
步骤S102，确定所述像素图像中的第一关键点，并采用Hough变换确定所述三维点云中的第二关键点；其中，所述第一关键点和所述第二关键点有多个，所述第一关键点对应的所述标定板上的点与所述第二关键点对应的标定板上的点相同；
步骤S103，基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参。
在本申请实施例中，在采集图像时，将标定板放置在同一背景中，分别采用激光雷达和相机进行采集，同一时刻的激光雷达采集的三维点云和相机采集的像素图像是指激光雷达采集的三维点云和相机采集的像素图像是针对同一标定板在同一时刻处于同一位姿的图像，在获取到激光雷达采集的三维点云和相机采集的像素图像后，分别确定像素图像中的第一关键点和三维点云中的第二关键点，其中，第一关键点和第二关键点是指像素图像和三维点云中标定板的三个顶点，如图2所示，以像素图像为例，图像中包括边顶板201，其中，标定板201的三个顶点o1、o2、以及o3，如图3所示，为三维点云中关键点的示意图，其中，第二关键点分别为o′1、o′2、以及o′3，其中，点o1和点o′1对应的是标定板的上顶点，点o2和点o′2对应的是标定板的左顶点，点o3和点o′3对应的是标定板的右顶点，其中，确定像素图像中的关键点可以采用现有技术进行识别，在对三维点云的关键点进行识别时，采用Hough变换进行确定，其中，具体求解方式在后续进行说明。当确定完第一关键点和第二关键点之后，基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参。
对于本申请实施例，为方便说明，以一个实施例为例，外参值求解先是从这两类传感器的同一时刻帧中提取对应的点云-像素坐标，再根据对应坐标值来求解外参值。在激光雷达与相机外参标定前获取相机的固有参数，即相机的内参，然后将外参求解转化为PnP(多点透视成像， perspective-n-point)问题，相机图像的像素点坐标与相机坐标系的关系如公式(1)所示，
其中，(u,v)表示第一关键点在像素坐标系中的坐标，(Xc,Yc,Zc)标识第一关键点在相机坐标系中的坐标，相机坐标系相对于点云坐标系的关系如公式(2)所示，
[Xc,Yc,Zc]T＝[Rt,tt][Xl,Yl,Zl]T (2)
其中，(Xl,Yl,Zl)表示第二关键点在点云坐标系中的坐标，Rt表示激光雷达坐标系下点云到相机坐标系下图像像素的3x3旋转矩阵，tt表示三维平移向量，(Rt,tt)即为外参。
本申请实施例通过利用Hough变换提取点云关键点。延长标定板的邻边长度，以增加邻边上的点云数量，进而增加邻边的辨识度，方便通过 Hough变换进行标定板邻边提取，然后再根据邻边交点、邻边实际长度求点云关键点。并提高关键点提取的精度，精确提取关键点之后，根据几何约束设立最优化条件，统计多个标定板的位姿下的关键点，求出不同关键点对求出的外参值，再根据约束条件选出误差最小的外参值，提高外参标定的精度。
本申请实施例提供了一种可能的实施方式，在该实施方式中，所述获取同一时刻的激光雷达采集的三维点云，包括：
针对同一标定板，采集同一位姿的多帧中间三维点云，将所述多帧三维点云进行融合，得到激光雷达采集的三维点云。
在本申请实施例中，MEMS激光雷达的单帧点云虽然稠密，但顶角模糊且离散点多，因此对点云进行预处理，需要标定板上有足够多的点，才能获取精确点云边角特征进而提取标定板关键点。首先粗分割方法提取出标定板上的点云，再利用时域多帧融合算法增加点云密度，叠加多帧点云后得点云集，其中，需要融合的多帧三维点云是针对同一标定板处于同一位姿时采集的。
本申请实施例通过对同一标定板处于同一位姿时采集的多帧三维点云进行融合，保证三维点云中点的密度足够大，方便关键点的提取。
本申请实施例提供了一种可能的实施方式，在该实施方式中，如图4 所示，所述采用Hough变换确定所述三维点云中的第二关键点，包括：
步骤S401，采用预设的RANSAC算法对所述三维点云进行拟合，得到最优平面；
步骤S402，采用Hough变换确定该最优平面中的第二关键点。
在本申请实施例中，在得到点云集P之后，点云集P中存在一些与标定板中心平面距离远的异常点，为剔除异常点，先使用基于RANSAC算法来拟合最优平面P1，其中，拟合公式如公式(3)所示，
Ax1+By1+Cz1+D＝0 (3)
其中，A、B、C、D是平面拟合的参数，(x1,y1,z1)标识最优平面P1上的点，在点云集中P剔除与拟合平面距离远的点，然后再把剩余点投影到平面P1上得到点云集P′。
经点云预处理后，点集P′上的点均在平面P1上，标定板边缘离散点并没有完全剔除，标定时应避免使用这些误差大的离散点，后采用Hough 变换拟合标定板点云上顶点的两条邻边，直线交点即为标定板的上顶点，并根据标定板实际边缘长度求标定板的左右顶点，进而确定标定板关键点的坐标值。
本申请实施例通过算法将点云集中的异常点剔除，消除异常点对关键点提取的影响。
本申请实施例提供了一种可能的实施方式，在该实施方式中，如图5 所示，所述采用Hough变换确定该最优平面中的第二关键点，包括：
步骤S501，利用Hough变换拟合所述最优平面中所述标定板的边缘直线；
步骤S502，根据所述边缘直线交点及所述标定板的实际长度确定所述第二关键点，其中，所述边缘直线的长度大于所述标定板的实际长度。
在本申请实施例中，Hough变换原理是利用点线对偶性，将图像中的直线转换为参数域的点，通过统计参数域检测到的点数量确定图像域中的直线。因此，延长标定板边缘直线以增加边缘线的点云数量，进而增加边缘直线的辨识度，便于利用Hough变换拟合边缘直线，然后根据拟合边缘直线的交点及标定板边缘实际长度求关键点。
在本申请实施例中，采用极坐标的方式表示直线，x-y空间的直线 y＝kx+b转换为极坐标表示形式ρ＝xcosθ+ysinθ，直线对应参数空间点 (ρ,θ)，其中ρ表示直线上点到原点的距离,θ表示点到原点的线段所在直线与X轴的夹角。而采用Hough变换确定关键点的步骤包括，先拟合点云平面，再重采样点云使其均匀分布，目的是将三维点云转换为二维点云，确定参数空间的取值范围，离散化参数空间，得到θi(i＝1,2,3…m)，ρj(j＝1,2,3…m)，初始化用于累计参数空间点数的数组A(ρ,θ)，直线参数数量阈值Nρ，合并参数阈值σ1，σ2，线段长度阈值NL，以及空数组Line；历遍θi(i＝1,2,3…m)，求解直线空间的ρ值，然后与参数空间的ρj对比，设共线点的容错阈值为σρ，若|ρ-ρj|<σρ，数组A(ρt,θt)累加1，数组 A(ρj,θi)的值大于阈值Nρ时，判定(ρt,θt)为直线的参数，x-y空间的点代入到ρk＝xi cosθi+yi sinθi，记录满足|ρk-ρt|<σρ的点，并存放于数组Line中，合并近距离的直线，若两条直线参数(ρ1,θ1)、(ρ2,θ2)满足|ρ1-ρ2|<σ1、 |θ1-θ2|<σ2，则合并为一条直线的参数，设检测到的点云线段误差阈值为σL，按直线共线点的坐标大小进行排序，最大值、最小值分别为拟合直线上的线段端点，若|Lt-Llength|<σL，当k>0时，判断为第i条左邻边当k<0时，判断为第j条右邻边设共线点数量为n，根据最小二乘法拟合直线上的共线点，求出直线的斜率k和截取b，计算方式如公式(4)和公式(5)所示，
求出和/>的交点，即为标定板的上顶点，设标定板左邻边和右邻边的实际边长分别为L1和L2，进而可以推算出标定板的左顶点和右顶点，进而确定出三维点云的三个关键点。
本申请实施例通过利用Hough变换提取点云关键点。延长标定板的邻边长度，以增加邻边上的点云数量，进而增加邻边的辨识度，方便通过 Hough变换进行标定板邻边提取，然后再根据邻边交点、邻边实际长度求点云关键点。并提高关键点提取的精度。
本申请实施例提供了一种可能的实施方式，在该实施方式中，所述基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参，包括：
采用预设的像素坐标-相机坐标公式将所述第一关键点的像素坐标转换为相机坐标；
基于所述第一关键点的相机坐标与所述第二关键点在所述三维点云中的坐标的关系确定所述外参。
对于本申请实施例，为方便说明，以一个实施例为例，外参值求解先是从这两类传感器的同一时刻帧中提取对应的点云-像素坐标，再根据对应坐标值来求解外参值。在激光雷达与相机外参标定前获取相机的固有参数，即相机的内参，然后将外参求解转化为PnP(多点透视成像， perspective-n-point)问题，相机图像的像素点坐标与相机坐标系的关系如公式(1)所示，
其中，(u,v)表示第一关键点在像素坐标系中的坐标，(Xc,Yc,Zc)标识第一关键点在相机坐标系中的坐标，相机坐标系相对于点云坐标系的关系如公式(2)所示，
[Xc,Yc,Zc]T＝[Rt,tt][Xl,Yl,Zl]T (2)
其中，(Xl,Yl,Zl)表示第二关键点在点云坐标系中的坐标，Rt表示激光雷达坐标系下点云到相机坐标系下图像像素的3x3旋转矩阵，tt表示三维平移向量，(Rt,tt)即为外参。
本申请实施例通过利用Hough变换提取点云关键点。延长标定板的邻边长度，以增加邻边上的点云数量，进而增加邻边的辨识度，方便通过Hough变换进行标定板邻边提取，然后再根据邻边交点、邻边实际长度求点云关键点。并提高关键点提取的精度，精确提取关键点之后，根据几何约束设立最优化条件，统计多个标定板的位姿下的关键点，求出不同关键点对求出的外参值，再根据约束条件选出误差最小的外参值，提高外参标定的精度。
本申请实施例提供了一种可能的实施方式，在该实施方式中，如图6 所示，该方法还包括：
步骤S601，针对同一标定板的多个不同位姿，分别获取多组激光雷达采集的三维点云和相机采集的像素图像，并求取多个所述外参；
步骤S602，采用预设的算法在多个外参中确定最优外参。
在本申请实施例中，用一个标定板求出外参(Rt,tt)中的参数，则至少需要3个不同的位姿,得到多组像素与点云对应标定板关键点，再根据公式(1)、(2)求外参。因此，使标定板在传感器视野范围内移动，取得 N(N>3)个不同的标定板位姿，进而可求取N组点云与图像对应的几何特征，再根据标定板关键点及法向量的对应关系计算出多组外参(Rt,tt)，再根据公式(3)，可求得平面p1的法向量n(1)，n(1)经过旋转矩阵Rt变换后得到n(1,c)，理想情况下n(1,c)与图像平面向量的点积为0，但是存在***测量误差，设平均点积误差为ed，n(1,c)与图像平面法向量n(c)的校准误差为er，根据公式(7)可求出最优旋转矩阵
其中，N表示标定板的总位姿数目，i∈[1，N]，表示第i个位姿，表示图像上的关键点，由OpenCV库获取，ed为平均点积误差， er为n(1,c)与图像平面法向量n(c)的校准误差。然后根据公式(8)求最优旋转矩阵/>
其中，Rt表示旋转矩阵，由多个像素坐标和点云坐标求得，具体参考式(1)、(2)，坐标值不同，得到的Rt也不同，可理解为，Rt是一个变量，式(7)中n(c)是一个定值，而n(1,c)＝Rtn(l)中的n(l)也是一个定值，多个Rt中总有一个值使得ed+er最小，取得最小值时
根据标定板在像素图像中的第一关键点和在三维点云中的第二关键点的对应关系，求出最优平移矩阵
所有点云关键点投影到图像上后，计算其与图像关键点之间的平均欧式距离，作为平均误差，计算方式如式(9)所示：
式(9)中，N为位姿总数，为第i个位姿上第j个图像关键点，/>为第i个位姿上第j个点云关键点的投影点，其中/> 第i个位姿上第j个点云关键点。/>与/>的欧氏距离的方差为：
遍历候选外参值，取出使得方差vt最小的外参值，然后使用该外参值重新计算点云关键点的投影点与图像关键点的平均欧氏距离，剔除欧氏距离大于平均欧氏距离的关键点，设剩余的点云关键点集为Ol，图像关键点集为Oc，求出最优平移向量如式(11)所示，其中mean(·)函数表示按行取平均值。
其中，为最优外参。
本申请实施例在精确提取关键点之后，根据几何约束设立最优化条件，统计多个标定板的位姿下的关键点，求出不同关键点对求出的外参值，再根据约束条件选出误差最小的外参值，提高外参标定的精度。
本申请实施例通过利用Hough变换提取点云关键点。延长标定板的邻边长度，以增加邻边上的点云数量，进而增加邻边的辨识度，方便通过 Hough变换进行标定板邻边提取，然后再根据邻边交点、邻边实际长度求点云关键点。并提高关键点提取的精度，精确提取关键点之后，根据几何约束设立最优化条件，统计多个标定板的位姿下的关键点，求出不同关键点对求出的外参值，再根据约束条件选出误差最小的外参值，提高外参标定的精度。
本申请实施例提供了一种激光雷达与相机的外参标定装置，如图7所示，该激光雷达与相机的外参标定装置70可以包括：图像和点云获取模块701、关键点确定模块702、以及外参确定模块703，其中，
图像和点云获取模块701，用于获取同一时刻的激光雷达采集的三维点云和相机采集的像素图像，其中，所述三维点云和所述像素图像是针对同一标定板采集的；
关键点确定模块702，用于确定所述像素图像中的第一关键点，并采用Hough变换确定所述三维点云中的第二关键点；其中，所述第一关键点和所述第二关键点有多个，所述第一关键点对应的所述标定板上的点与所述第二关键点对应的标定板上的点相同；
外参确定模块703，用于基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参。
进一步的，如图8所示，所述关键点确定模块702包括：
直线拟合单元801，用于利用Hough变换拟合所述最优平面中所述标定板的边缘直线；
关键点确定单元802，用于根据所述边缘直线交点及所述标定板的实际长度确定所述第二关键点，其中，所述边缘直线的长度大于所述标定板的实际长度。
本申请实施例的激光雷达与相机的外参标定装置可执行本申请上述实施例所示的激光雷达与相机的外参标定方法，其实现原理相类似，此处不再赘述。
本申请实施例通过利用Hough变换提取点云关键点。延长标定板的邻边长度，以增加邻边上的点云数量，进而增加邻边的辨识度，方便通过 Hough变换进行标定板邻边提取，然后再根据邻边交点、邻边实际长度求点云关键点。并提高关键点提取的精度，精确提取关键点之后，根据几何约束设立最优化条件，统计多个标定板的位姿下的关键点，求出不同关键点对求出的外参值，再根据约束条件选出误差最小的外参值，提高外参标定的精度。
本申请实施例中提供了一种电子设备，该电子设备包括：存储器和处理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技术相比，本申请实施例通过利用Hough变换提取点云关键点。延长标定板的邻边长度，以增加邻边上的点云数量，进而增加邻边的辨识度，方便通过Hough变换进行标定板邻边提取，然后再根据邻边交点、邻边实际长度求点云关键点。并提高关键点提取的精度，精确提取关键点之后，根据几何约束设立最优化条件，统计多个标定板的位姿下的关键点，求出不同关键点对求出的外参值，再根据约束条件选出误差最小的外参值，提高外参标定的精度。
在一个可选实施例中提供了一种电子设备，如图9所示，图9所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC (Application SpecificIntegrated Circuit，专用集成电路)，FPGA(FieldProgrammable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或 EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscReadOnly Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码(计算机程序)，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (7)
1.一种激光雷达与相机的外参标定方法，其特征在于，包括：
获取同一时刻的激光雷达采集的三维点云和相机采集的像素图像，其中，所述三维点云和所述像素图像是针对同一标定板采集的；
确定所述像素图像中的第一关键点，并采用Hough变换确定所述三维点云中的第二关键点；其中，所述第一关键点和所述第二关键点有多个，所述第一关键点对应的所述标定板上的点与所述第二关键点对应的标定板上的点相同；
基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参；
所述获取同一时刻的激光雷达采集的三维点云，包括：
针对同一标定板，采集同一位姿的多帧中间三维点云，将所述多帧中间三维点云进行融合，得到激光雷达采集的三维点云；
所述采用Hough变换确定所述三维点云中的第二关键点，包括：
采用预设的RANSAC算法对所述三维点云进行拟合，得到最优平面；
采用Hough变换确定该最优平面中的第二关键点。
2.根据权利要求1所述的激光雷达与相机的外参标定方法，其特征在于，所述采用Hough变换确定该最优平面中的第二关键点，包括：
利用Hough变换拟合所述最优平面中所述标定板的边缘直线；
根据所述边缘直线交点及所述标定板的实际长度确定所述第二关键点，其中，所述边缘直线的长度大于所述标定板的实际长度。
3.根据权利要求1所述的激光雷达与相机的外参标定方法，其特征在于，所述基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参，包括：
采用预设的像素坐标-相机坐标公式将所述第一关键点的像素坐标转换为相机坐标；
基于所述第一关键点的相机坐标与所述第二关键点在所述三维点云中的坐标的关系确定所述外参。
4.根据权利要求2所述的激光雷达与相机的外参标定方法，其特征在于，还包括：
针对同一标定板的多个不同位姿，分别获取多组激光雷达采集的三维点云和相机采集的像素图像，并求取多个所述外参；
采用预设的算法在多个外参中确定最优外参。
5.一种激光雷达与相机的外参标定装置，其特征在于，包括：
图像和点云获取模块，用于获取同一时刻的激光雷达采集的三维点云和相机采集的像素图像，其中，所述三维点云和所述像素图像是针对同一标定板采集的；
关键点确定模块，用于确定所述像素图像中的第一关键点，并采用Hough变换确定所述三维点云中的第二关键点；其中，所述第一关键点和所述第二关键点有多个，所述第一关键点对应的所述标定板上的点与所述第二关键点对应的标定板上的点相同；
外参确定模块，用于基于所述第一关键点在所述像素图像中的坐标和所述第二关键点在所述三维点云中的坐标确定所述激光雷达与相机的外参；
所述获取同一时刻的激光雷达采集的三维点云，包括：
针对同一标定板，采集同一位姿的多帧中间三维点云，将所述多帧中间三维点云进行融合，得到激光雷达采集的三维点云；
所述采用Hough变换确定所述三维点云中的第二关键点，包括：
采用预设的RANSAC算法对所述三维点云进行拟合，得到最优平面；
采用Hough变换确定该最优平面中的第二关键点；
所述采用Hough变换确定该最优平面中的第二关键点，包括：
直线拟合单元，用于利用Hough变换拟合最优平面中所述标定板的边缘直线；
关键点确定单元，用于根据所述边缘直线交点及所述标定板的实际长度确定所述第二关键点，其中，所述边缘直线的长度大于所述标定板的实际长度。
6.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行根据权利要求1～4任一项所述的激光雷达与相机的外参标定方法。
7.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1～4任一所述的激光雷达与相机的外参标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110286400.3A CN113256729B (zh) | 2021-03-17 | 2021-03-17 | 激光雷达与相机的外参标定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110286400.3A CN113256729B (zh) | 2021-03-17 | 2021-03-17 | 激光雷达与相机的外参标定方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113256729A CN113256729A (zh) | 2021-08-13 |
| CN113256729B true CN113256729B (zh) | 2024-06-18 |
Family
ID=77181467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110286400.3A Active CN113256729B (zh) | 2021-03-17 | 2021-03-17 | 激光雷达与相机的外参标定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113256729B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838141B (zh) * | 2021-09-02 | 2023-07-25 | 中南大学 | 一种单线激光雷达与可见光相机的外参标定方法及*** |
| CN114387347B (zh) * | 2021-10-26 | 2023-09-19 | 浙江视觉智能创新中心有限公司 | 确定外参标定的方法、装置、电子设备及介质 |
| CN114758005B (zh) * | 2022-03-23 | 2023-03-28 | 中国科学院自动化研究所 | 激光雷达与相机外参标定方法及装置 |
| CN115187715A (zh) * | 2022-06-30 | 2022-10-14 | 先临三维科技股份有限公司 | 贴图方法、装置、设备及存储介质 |
| CN115994955B (zh) * | 2023-03-23 | 2023-07-04 | 深圳佑驾创新科技有限公司 | 相机外参标定方法、装置和车辆 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932736B (zh) * | 2018-05-30 | 2022-10-11 | 南昌大学 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
| CN111862224B (zh) * | 2019-04-17 | 2023-09-19 | 杭州海康威视数字技术股份有限公司 | 确定相机与激光雷达之间外参的方法和装置 |
| CN111179358B (zh) * | 2019-12-30 | 2024-01-05 | 浙江商汤科技开发有限公司 | 标定方法、装置、设备及存储介质 |
| CN111192331B (zh) * | 2020-04-09 | 2020-09-25 | 浙江欣奕华智能科技有限公司 | 一种激光雷达和相机的外参标定方法及装置 |
| CN111627072B (zh) * | 2020-04-30 | 2023-10-24 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN111965624B (zh) * | 2020-08-06 | 2024-04-09 | 阿波罗智联(北京)科技有限公司 | 激光雷达与相机的标定方法、装置、设备和可读存储介质 |
| CN112270713B (zh) * | 2020-10-14 | 2024-06-14 | 北京航空航天大学杭州创新研究院 | 标定方法以及装置、存储介质、电子装置 |
-
2021
- 2021-03-17 CN CN202110286400.3A patent/CN113256729B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| Automatic extrinsic calibration between a camera and a 3D Lidar using 3D point and plane correspondences;Surabhi Verma 等;《2019 IEEE Intelligent Transportation Systems Conference (ITSC)》;全文 * |
| 基于Hough变换的点云数据直线特征提取研究;张云鹏;《矿山测量》;第47卷(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113256729A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113256729B (zh) | 激光雷达与相机的外参标定方法、装置、设备及存储介质 | |
| CN109035320B (zh) | 基于单目视觉的深度提取方法 | |
| CN109146980B (zh) | 基于单目视觉的优化的深度提取和被动测距方法 | |
| CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| CN109961468B (zh) | 基于双目视觉的体积测量方法、装置及存储介质 | |
| US10339390B2 (en) | Methods and apparatus for an imaging system | |
| Micusik et al. | Structure from motion with wide circular field of view cameras | |
| US9928595B2 (en) | Devices, systems, and methods for high-resolution multi-view camera calibration | |
| CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| CN111627075B (zh) | 基于aruco码的摄像头外参标定方法、***、终端及介质 | |
| EP3460715B1 (en) | Template creation apparatus, object recognition processing apparatus, template creation method, and program | |
| CN103473771A (zh) | 一种摄相机标定方法 | |
| CN108182708B (zh) | 一种双目相机的标定方法、标定装置及终端设备 | |
| KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| CN112150448B (zh) | 图像处理方法、装置及设备、存储介质 | |
| CN114241062A (zh) | 自动驾驶的相机外参确定方法、装置和计算机可读存储介质 | |
| CN113643380A (zh) | 一种基于单目相机视觉标靶定位的机械臂引导方法 | |
| CN116012428A (zh) | 一种雷视联合定位方法、装置及存储介质 | |
| CN110458951B (zh) | 一种电网杆塔的建模数据获取方法及相关装置 | |
| CN111656404B (zh) | 图像处理方法、***及可移动平台 | |
| CN111598956A (zh) | 标定方法、装置和*** | |
| CN115713564A (zh) | 相机标定方法及装置 | |
| CN115018922A (zh) | 畸变参数标定方法、电子设备和计算机可读存储介质 | |
| CN112734854A (zh) | 一种基于三目极线约束的相机自标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |