CN111862224B - 确定相机与激光雷达之间外参的方法和装置 - Google Patents

确定相机与激光雷达之间外参的方法和装置 Download PDF

Info

Publication number
CN111862224B
CN111862224B CN201910308370.4A CN201910308370A CN111862224B CN 111862224 B CN111862224 B CN 111862224B CN 201910308370 A CN201910308370 A CN 201910308370A CN 111862224 B CN111862224 B CN 111862224B
Authority
CN
China
Prior art keywords
coordinate system
calibration
camera
calibration plate
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910308370.4A
Other languages
English (en)
Other versions
CN111862224A (zh
Inventor
步青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910308370.4A priority Critical patent/CN111862224B/zh
Publication of CN111862224A publication Critical patent/CN111862224A/zh
Application granted granted Critical
Publication of CN111862224B publication Critical patent/CN111862224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种确定相机和激光雷达之间外参的方法和装置，属于计算机视觉技术领域。所述方法包括：获取多组标定图像；基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系；基于所述非线性关系，确定相机和激光雷达之间的外参。采用本申请，可以较为准确的确定出相机和激光雷达之前的外参。

Description

确定相机与激光雷达之间外参的方法和装置
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种确定相机与激光雷达之间外参的方法和装置。
背景技术
相机可以获取到目标物二维RGB(Red Green Blue，红绿蓝)图像，该二维RGB图像包含有目标物的颜色信息，激光雷达可以获取目标物的三维点云图像，该三维点云图像包含有目标物的深度信息。实际应用中多将二者结合使用，例如在三维重建中使用相机获取场景颜色信息的RGB图像，使用激光雷达获取包含场景深度信息的三维点云图像。通过相机和激光雷达之间的外参可以将场景的深度信息和场景的颜色信息相结合，以得到带有颜色信息的场景三维图像，外参即为旋转矩阵和平移向量，基于该外参可以完成将某一点从激光雷达坐标系到相机坐标系下的转换，反之亦可。然而，在对场景的深度信息和场景的颜色信息相结合之前，需要预先对相机和激光雷达之间的外参进行标定。
如果采用现有的相机和激光雷达之间外参标定的方法需要使用激光雷达获取的两帧图像进行特征点匹配，以确定激光雷达的相对外参，由于激光雷达成像上的点较为稀疏，以此方法得到的激光雷达的相对外参并不准确，那么，基于该激光雷达的相对外参进一步得到的相机和激光雷达之间的外参也就不准确。
发明内容
为了解决相关技术的问题，本申请实施例提供了一种确定相机与激光雷达之间外参的方法和装置。所述技术方案如下：
第一方面，提供了一种确定相机与激光雷达之间外参的方法，所述方法包括：
获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像；
基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；
基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；
基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系；
基于所述非线性关系，确定相机和激光雷达之间的外参。
可选的，所述基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系，包括：
基于每组标定图像对应的所述标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面特征；
基于每组标定图像中的二维图像，确定每组标定图像对应的所述标定板在所述相机坐标系下的边缘点二维坐标；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征、以及所述标定板在所述相机坐标系下的边缘点二维坐标，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
可选的，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系，包括：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定所述每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
可选的，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系，包括：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数；
所述基于所述非线性关系，确定相机和激光雷达之间的外参，包括：
对所述代价函数进行优化，确定相机和激光雷达之间的外参。
可选的，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数，包括：
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量表达式，其中，所述法向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的法向量表达式、以及所述标定板在所述相机坐标系下的平面的法向量，计算差异值，得到法向量差异值表达式；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式，其中所述方向向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式、以及所述标定板在所述相机坐标系下的各边缘对应的方向向量，计算差异值，得到方向向量差异值表达式；
基于每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标，和所述相机的内参，确定每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式，其中，所述边缘点表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式、以及所述标定板在成像坐标系下的各边缘直线特征，计算欧氏距离，得到距离表达式；
基于所述法向量差异值表达式、所述方向向量差异值表达式和所述距离表达式，建立所述相机和所述激光雷达之间外参的代价函数。
可选的，所述对所述代价函数进行优化，确定相机和激光雷达之间的外参，包括：
使用非线性优化方法，对所述代价函数进行优化，确定相机和激光雷达之间的外参。
可选的，所述标定板为多边形，所述激光雷达的扫描线不与所述标定板的任一边缘平行，所述标定板的各边缘均有所述激光雷达的扫描线经过。
第二方面，提供了一种确定相机与激光雷达之间外参的***，所述***包括：相机、激光雷达和计算机设备，其中：
所述相机，用于分别拍摄处于多个位姿的标定板的二维图像，将拍摄的二维图像发送至所述计算机设备；
所述激光雷达，用于分别拍摄处于所述多个位姿的标定板的三维激光点云图像，将拍摄的三维激光点云图像发送至所述计算机设备；
所述计算机设备，用于将所述相机和所述激光雷达分别拍摄的所述标定板在同一位姿下的二维图像和三维激光点云图像，作为一组标定图像，确定出多组标定图像；基于所述多组标定图像，确定所述相机和所述激光雷达之间的外参。
可选的，所述计算机设备，用于：
基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；基于所述每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征和所述每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标，确定所述相机和所述激光雷达之间的外参。
可选的，所述计算机设备，用于：
基于每组标定图像对应的所述标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面特征；所述每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征、所述每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标和所述每组标定图像对应的所述标定板在所述相机的相机坐标系下所处的平面特征，确定所述相机和所述激光雷达之间的外参。
第三方面，提供了一种确定相机与激光雷达之间外参的装置，所述装置包括：
获取模块，用于获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像；
确定模块，用于基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；
所述确定模块，用于基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；
建立模块，用于基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系；
优化模块，用于基于所述非线性关系，确定相机和激光雷达之间的外参
可选的，所述建立模块，用于：
基于每组标定图像对应的所述标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面特征；
基于每组标定图像中的二维图像，确定每组标定图像对应的所述标定板在所述相机坐标系下的边缘点二维坐标；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征、以及所述标定板在所述相机坐标系下的边缘点二维坐标，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
可选的，所述建立模块，用于：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定所述每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
可选的，所述建立模块，用于：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数；
所述优化模块，用于：
对所述代价函数进行优化，确定相机和激光雷达之间的外参。
可选的，所述建立模块，用于：
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量表达式，其中，所述法向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的法向量表达式、以及所述标定板在所述相机坐标系下的平面的法向量，计算差异值，得到法向量差异值表达式；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式，其中所述方向向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式、以及所述标定板在所述相机坐标系下的各边缘对应的方向向量，计算差异值，得到方向向量差异值表达式；
基于每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标，和所述相机的内参，确定每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式，其中，所述边缘点表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式、以及所述标定板在成像坐标系下的各边缘直线特征，计算欧氏距离，得到距离表达式；
基于所述法向量差异值表达式、所述方向向量差异值表达式和所述距离表达式，建立所述相机和所述激光雷达之间外参的代价函数。
可选的，所述优化模块，用于：
使用非线性优化装置，对所述代价函数进行优化，确定相机和激光雷达之间的外参。
可选的，所述标定板为多边形，所述激光雷达的扫描线不与所述标定板的任一边缘平行，所述标定板的各边缘均有所述激光雷达的扫描线经过。
第四方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的确定相机和激光雷达之间外参的方法。
第五方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的确定相机和激光雷达之间外参的方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
本申请实施例中，获取多组标定图像，然后基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在相机的成像坐标系下的各边缘直线特征，再基于每组标定图像中的三维点云图像，确定每组标定图像对应的该标定板在激光雷达坐标系下的边缘点三维坐标。基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标。以上方法可以得到标定板在激光雷达坐标系下边缘点三维坐标，和相机的成像坐标系下的边缘直线特征，这样便可以根据二者之间的关系，建立相机和激光雷达之间外参的非线性关系。然后根据该非线性关系，即可确定相机和激光雷达之间的外参。该方法不需要获取激光雷达的相对外参这一参数，受到激光雷达成像点稀疏的影响也就较小，所得到出的相机和激光雷达之间的外参也就较为准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种确定相机和激光雷达之间外参的方法的实施环境图；
图2是本申请实施例提供的一种激光雷达扫描标定板的示意图；
图3是本申请实施例提供的一种确定相机和激光雷达之间外参的方法的流程图；
图4是本申请实施例提供的一种确定相机和激光雷达之间外参的装置的结构示意图；
图5是本申请实施例提供的一种计算机设备结构示意图；
图6是本申请实施例提供的一种确定相机和激光雷达之间外参的方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供了一种相机和激光雷达之间外参确定的方法，该方法可以由计算机设备实现。其中，计算机设备可以是笔记本、台式机等。该方法的实施环境，可以如图1所示，相机放置于激光雷达下面，且二者位置固定，标定板放置在相机视场和激光雷达视场的重叠区域内。其中，激光雷达可以为多线激光雷达，相机可以为RGB相机，标定板表面可以为棋盘格。激光雷达视场为垂直方向的视场，即激光雷达在垂直方向上可扫描到的区域范围，激光雷达在水平方向上的视场通常可以达到360°的环视区域，相机视场，即相机可拍摄到的区域范围。并且如图2所示，标定板的放置要满足如下条件：激光雷达的扫描线经过标定板的各个边缘。在对相机和激光雷达之间外参进行确定之前，需要使用位置固定的激光雷达和相机，拍摄多组标定图像，来作为该外参确定方法的输入数据。当激光雷达或相机拍摄得到多组标定图像后，将标定图像输入到计算机设备中，由计算机设备对标定图像进行处理，并使用相机和激光雷达之间的外参确定的方法对其外参进行确定。以下为一种确定相机和激光雷达之间外参的方法的示例性实施例。
如图3所示，该方法的处理流程可以包括如下的步骤：
在步骤301中，获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像。
其中，相机和激光雷达在拍摄不同组的标定图像时，标定板所处的位置不同，在拍摄同一组的标定图像时，标定板所处的位置相同，为了达到更好的标定效果，在拍摄同一组的标定图像时，相机和激光雷达可以同步拍摄标定板。二维图像可以是RGB图像。
在实施中，相机和激光雷达在拍摄标定图像之前，可以先使用常用的单目相机标定的方法，对相机的内参进行标定，以获得相机内参，此处的单目相机标定法可以为张正友的棋盘格标定法，也可以为其他通用的单目相机标定方法，本申请对具体使用何种方法对相机的内参进行标定，不做限定。终端获取多组标定图像，每组标定图像中包括有一张相机拍摄的二维图像和激光雷达拍摄的三维点云图像。该获取图像的方法，可以是由相机和激光雷达拍摄得到标定图像后，通过有线或者无线的数据传输，直接传输给计算机设备，也可以是相机和激光雷达拍摄得到标定图像后，先在本地进行存储，当需要时，计算机设备再从相机和激光雷达中获取。计算机设备对于获取到的每组标定图像，均可以分别进行以下处理。
在步骤302中，基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在相机的成像坐标系下的各边缘直线特征。
其中，各边缘的直线特征可以为直线方程，以下均以直线特征为直线方程进行说明。
在实施中，可以先使用预先标定得到的相机内参对标定图像中的二维图像进行畸变校正。然后可以使用Harris角点提取算法、OpenCV基于生长的角点提取算法等，对畸变校正后的二维图像提取出标定板上棋盘格的角点，进一步的为了提高后续流程的精度，此处也可以使用上述算法或其他角点提取算法，提取出标定板上棋盘格的亚像素角点。然后，使用提取出的亚像素角点作为检测点，使用LSD(Line Segment Detector，直线检测)算法，检测畸变校正后的二维图像上标点板边缘，从而得到标定板在成像坐标系下的边缘点二维坐标。然后对得到的标定板在成像坐标系下的边缘点二维坐标进行直线拟合，得到标定板在成像坐标系下的边缘直线方程。
在步骤303中，基于每组标定图像中的三维点云图像，确定每组标定图像对应的该标定板在激光雷达坐标系下的边缘点三维坐标。
在实施中，对于获取到的每组标定图像中的三维点云图像，可以由技术人员人工筛选出标定板的三维激光点以及标定板周围一定距离的三维激光点。由于标定板多为木质板，棋盘格可以为在纸上打印的棋盘格，然后贴在标定板上。而激光雷达对不同材质不同颜色的物体反射率不同，导致获取到的三维激光点存在波动。所以，在使用这些三维激光点进行后续处理之前，可以先对其进行平滑滤波，即先使用RANSAC(Random Sample Consensus，随机抽样一致性)算法对上述筛选出的三维激光点进行平面拟合，然后把距离该拟合平面大于预设阈值的三维激光点拉回平面上。这样，便可以得到标定板的三维激光点以及标定板周围一定距离的三维激光点，在激光雷达坐标系下经过平滑滤波的三维激光点。然后，对经过平滑滤波的三维激光点中，查找深度梯度变化超过预定阈值的激光点，作为标定板在激光雷达坐标系下的边缘点，进一步的可以得出标定板在激光雷达坐标系下的边缘点三维坐标。
在步骤304中，基于每组标定图像对应的标定板在成像坐标系下的各边缘直线特征、以及标定板在所述激光雷达坐标系下的边缘点三维坐标，建立相机和激光雷达之间外参的非线性关系。
其中，相机和激光雷达之间外参的非线性关系可以为代价函数，以下均以非线性关系为代价函数进行说明。
在实施中，标定板在激光雷达坐标系下的边缘点三维坐标可以以表示，其中k为标定板在激光雷达坐标系下的边缘点三维坐标的个数(边缘激光点个数)，待确定的相机和激光雷达间的外参可以以/>和/>其中/>为旋转矩阵、/>为平移向量，基于上述参数得到标定板在激光雷达坐标系下的边缘点三维坐标在相机坐标系下的表达式可以为：
那么，该标定板在激光雷达坐标系下的边缘点三维坐标在相机的成像坐标系下的表达式可以为：其中Kc为步骤301中所得出的相机内参。
而标定板在成像坐标系下的各边缘直线方程可以以表示，其中j为标定板的边缘数，这样对与/>和/>可以求/>和之间的欧式距离，得到距离表达式。然后，根据该距离表达式，可以建立相机和激光雷达间外参的代价函数，具体的，该代价函数可以如下：
其中N为标定图像的组数，M为标定板边缘激光点的总个数。
可选的，为了使确定出的相机和激光雷达的外参更加准确，在建立代价函数时，还可以基于更多的条件建立，以下给出了几种建立代价函数的方法，除此之外还可以有其他方法建立代价函数，在此不做赘述。
方法一，基于每组标定图像对应的该标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的该标定板在相机坐标系下的平面特征。基于每组标定图像中的二维图像，确定每组标定图像对应的该标定板在相机坐标系下的边缘点二维坐标。基于每组标定图像对应的标定板在相机坐标系下的平面特征、以及该标定板在相机坐标系下的边缘点二维坐标，确定每组标定图像对应的标定板在相机坐标系下的各边缘直线方程对应的方向向量。基于每组标定图像对应的该标定板在激光雷达坐标系下的边缘点三维坐标，确定每组标定图像对应的标定板在激光雷达坐标系下的各边缘对应的方向向量，基于每组标定图像对应的该标定板在相机坐标系下的各边缘对应的方向向量、标定板在激光雷达坐标系下的各边缘对应的方向向量、标定板在成像坐标系下的各边缘直线特征、以及标定板在激光雷达坐标系下的边缘点三维坐标，建立相机和激光雷达之间外参的非线性关系。
其中，平面特征可以为平面方程，以下均以平面特征为平面方程进行说明。
在实施中，首先可以使用常用的单目相机的相机坐标系相对与世界坐标系的外参标定法，对相机的相机坐标系相对与世界坐标系的外参进行标定，此处的外参标定法可以为张正友的棋盘格标定法，也可以为其他同样的外参标定法，本申请对此不做限定。
然后，利用该相机的相机坐标系相对于世界坐标系的外参，将标定板上的棋盘格在世界坐标系下的各角点三维坐标，转换到相机坐标系下，得到标定板上的棋盘格在相机坐标系下的各角点三维坐标，再对得到的这些各角点三维坐标进行平面拟合，得到标定板在相机坐标系下的平面方程。然后，再使用相机的内参，将标定板在成像坐标系下的边缘点二维坐标反投影到相机坐标系下，得到标定板在相机坐标系下的边缘点二维坐标，然后将得到的各边缘点二维坐标代入到上述标定板在相机坐标系下的平面方程中，便可以得到标定板在相机坐标系下的边缘点三维坐标。再将得到的边缘点三维坐标，进行直线拟合，即可得到标定板在相机坐标系下各边缘的直线方程，进一步可以计算出标定板在相机坐标系下的各边缘对应的方向向量，该方向向量可以以表示。
对步骤303中得到的标定板在激光雷达坐标系下的边缘点进行直线拟合，可以得到标定板在激光雷达坐标系下的各边缘直线方程，从而可以计算出标定板在激光雷达坐标系下的各边缘对应的方向向量，该方向向量可以以表示。那么，该方向向量/>在相机坐标系下的表达式可以为：/>
对和/>可以计算其差异值，具体的，可以先对/>和/>求差，再计算该差值的二范数，得到方向向量差异表达式。再基于该方向向量差异表达式和上述方法一中的距离表达式，建立相机和激光雷达间外参的代价函数，具体的该代价函数可以如下：
其中，λ1和λ2为常数系数，在实际使用中可以根据需要对其进行调整，但需满足以下条件：0<λ1，λ2<1，且λ1+λ2＝1。
方法二，基于每组标定图像对应的标定板在相机坐标系下的平面特征，确定每组标定图像对应的标定板在相机坐标系下的平面的法向量；基于每组标定图像对应的标定板在激光雷达坐标系下的边缘点三维坐标，确定所述每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量；基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、该标定板在成像坐标系下的各边缘直线特征、以及标定板在激光雷达坐标系下的边缘点三维坐标，建立相机和激光雷达之间外参的非线性关系。
其中，平面特征可以为平面方程，以下均以平面特征为平面方程进行说明。
在实施中，在上述方法一得到标定板在相机坐标系下的平面方程后，可以计算出该平面方程所表达的平面的法向量，该法向量可以以表示。然后，通过步骤303筛选出的标定板在激光雷达坐标系下的各激光点的三维坐标，计算出标定板在激光雷达坐标系下的平面方程，从而计算出该平面方程所所表达的平面的法向量，该法向量可以以/>表示。那么，该法向量/>在相机坐标下的表达式可以为：/>
对上述得到的和/>可以计算其差异值，具体的，可以先对/>和/>求差，再计算该差值的二范数，得到法向量差异表达式。再根据该法向量差异表达式以及步骤304中得到距离表达式，建立相机和激光雷达之间外参的代价函数，具体的该代价函数可以如下：
其中，λ1和λ3为常数系数，在实际使用中可以根据需要对其进行调整，但需满足以下条件：0<λ1，λ3<1，且λ1+λ3＝1。
方法三，基于每组标定图像对应的标定板在相机坐标系下的平面的法向量、标定板在激光雷达坐标系下的平面的法向量、标定板在相机坐标系下的各边缘对应的方向向量、标定板在激光雷达坐标系下的各边缘对应的方向向量、标定板在成像坐标系下的各边缘直线特征、以及标定板在激光雷达坐标系下的边缘点三维坐标，建立相机和激光雷达之间外参的非线性关系。
可以基于上述步骤304中得到的距离表达式、上述方法一得到的方向向量表达式，以及上述方法二得到的法向量表达式，建立相机和激光雷达之间外参的代价函数，具体的该代价函数可以如下：
其中，λ1、λ2和λ3为常数系数，在实际使用中可以根据需要对其进行调整，但需满足以下条件：0<λ1，λ2，λ3<1，且λ1+λ2+λ3＝1。
在步骤304中，基于上述非线性关系，确定相机和激光雷达之间的外参。
在实施中，对于上述步骤303及其相关步骤得到的代价函数，可以使用常用的代价函数优化方法，对其进行优化。当代价函数值最小时，对应的相机和激光雷达的外参即为最优的外参和/>具体的优化方法可以为非线性优化方法中的LM(Levenberg-Marquardt，莱文贝格－马夸特方法)、梯度下降法、牛顿法等，具体采用何种优化方法，本申请不做限定。/>
本申请实施例还提供了一种相机和激光雷达之间外参确定的方法，该方法可以由确定相机与激光雷达之间外参的***完成，该***包括有相机、激光雷达和计算机设备，如图6所示，该方法的处理流程可以包括如下的步骤：
步骤601，相机分别拍摄处于多个位姿的标定板的二维图像，将拍摄的二维图像发送至计算机设备。
其中，多个位姿为多个不同位姿。
步骤602，激光雷达分别拍摄处于多个位姿的标定板的三维激光点云图像，将拍摄的三维激光点云图像发送至计算机设备。
步骤603，计算机设备将相机和激光雷达分别拍摄的标定板在同一位姿下的二维图像和三维激光点云图像，作为一组标定图像，确定出多组标定图像；基于多组标定图像，确定相机和激光雷达之间的外参。
可选的，计算机设备在确定相机和激光雷达之间的外参时，可以基于多种信息进行确定，相应的在步骤603中的处理可以如下：基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在相机的成像坐标系下的各边缘直线特征；基于每组标定图像中的三维点云图像，确定每组标定图像对应的标定板在激光雷达坐标系下的边缘点三维坐标；基于每组标定图像对应的标定板在相机的成像坐标系下的各边缘直线特征和每组标定图像对应的标定板在激光雷达坐标系下的边缘点三维坐标，确定相机和激光雷达之间的外参。
可选的，为了更加准确的确定出相机和激光雷达之间的外参，在步骤603中可以进一步的有如下处理：基于每组标定图像对应的标定板在世界坐标系下的各角点坐标、以及相机坐标系和世界坐标系之间的外参，确定每组标定图像对应的标定板在相机坐标系下的平面特征；每组标定图像对应的标定板在相机的成像坐标系下的各边缘直线特征、每组标定图像对应的标定板在激光雷达坐标系下的边缘点三维坐标和每组标定图像对应的标定板在相机的相机坐标系下所处的平面特征，确定相机和激光雷达之间的外参。
需要说明的是，图6所示的方法，具体实施与图3所示方法的具体实施相同，在此不做赘述。
基于相同的技术构思，本申请实施例还提供了一种确定相机和激光雷达之间外参的装置，该装置可以为上述实施例中的计算机设备，如图4所示，该装置包括：获取模块410，确定模块420，建立模块430和优化模块440。
获取模块410，用于获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像；
确定模块420，用于基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；
所述确定模块420，用于基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；
建立模块430，用于基于每组标定图像对应的所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在所述激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系；
优化模块440，用于基于所述非线性关系，确定相机和激光雷达之间的外参
可选的，所述建立模块430，用于：
基于每组标定图像对应的所述标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面特征；
基于每组标定图像中的二维图像，确定每组标定图像对应的所述标定板在所述相机坐标系下的边缘点二维坐标；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征、以及所述标定板在所述相机坐标系下的边缘点二维坐标，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
可选的，所述建立模块430，用于：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定所述每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
可选的，所述建立模块430，用于：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数；
所述优化模块440，用于：
对所述代价函数进行优化，确定相机和激光雷达之间的外参。
可选的，所述建立模块430，用于：
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量表达式，其中，所述法向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的法向量表达式、以及所述标定板在所述相机坐标系下的平面的法向量，计算差异值，得到法向量差异值表达式；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式，其中所述方向向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式、以及所述标定板在所述相机坐标系下的各边缘对应的方向向量，计算差异值，得到方向向量差异值表达式；
基于每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标，和所述相机的内参，确定每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式，其中，所述边缘点表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式、以及所述标定板在成像坐标系下的各边缘直线特征，计算欧氏距离，得到距离表达式；
基于所述法向量差异值表达式、所述方向向量差异值表达式和所述距离表达式，建立所述相机和所述激光雷达之间外参的代价函数。
可选的，所述优化模块440，用于：
使用非线性优化装置，对所述代价函数进行优化，确定相机和激光雷达之间的外参。
可选的，所述标定板为多边形，所述激光雷达的扫描线不与所述标定板的任一边缘平行，所述标定板的各边缘均有所述激光雷达的扫描线经过。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是：上述实施例提供的确定相机和激光雷达之间外参的装置在确定相机和激光雷达之间外参时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的确定相机和激光雷达之间外参的装置与确定相机和激光雷达之间外参的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例中的识别动作类别的方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图5是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现上述确定相机和激光雷达之间外参的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种确定相机和激光雷达之间外参的方法，其特征在于，所述方法包括：
获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像；
基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；
基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；
基于每组标定图像对应的所述标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面特征；
基于每组标定图像中的二维图像，确定每组标定图像对应的所述标定板在所述相机坐标系下的边缘点二维坐标；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征、以及所述标定板在所述相机坐标系下的边缘点二维坐标，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系；
基于所述非线性关系，确定相机和激光雷达之间的外参。
2.根据权利要求1所述的方法，其特征在于，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系，包括：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定所述每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
3.根据权利要求2所述的方法，其特征在于，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系，包括：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数；
所述基于所述非线性关系，确定相机和激光雷达之间的外参，包括：
对所述代价函数进行优化，确定相机和激光雷达之间的外参。
4.根据权利要求3所述的方法，其特征在于，所述基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数，包括：
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量表达式，其中，所述法向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的法向量表达式、以及所述标定板在所述相机坐标系下的平面的法向量，计算差异值，得到法向量差异值表达式；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式，其中所述方向向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式、以及所述标定板在所述相机坐标系下的各边缘对应的方向向量，计算差异值，得到方向向量差异值表达式；
基于每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标，和所述相机的内参，确定每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式，其中，所述边缘点表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式、以及所述标定板在成像坐标系下的各边缘直线特征，计算欧氏距离，得到距离表达式；
基于所述法向量差异值表达式、所述方向向量差异值表达式和所述距离表达式，建立所述相机和所述激光雷达之间外参的代价函数。
5.根据权利要求3所述的方法，其特征在于，所述对所述代价函数进行优化，确定相机和激光雷达之间的外参，包括：
使用非线性优化方法，对所述代价函数进行优化，确定相机和激光雷达之间的外参。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述标定板为多边形，所述激光雷达的扫描线不与所述标定板的任一边缘平行，所述标定板的各边缘均有所述激光雷达的扫描线经过。
7.一种确定相机和激光雷达之间外参的***，其特征在于，所述***包括：相机、激光雷达和计算机设备，其中：
所述相机，用于分别拍摄处于多个位姿的标定板的二维图像，将拍摄的二维图像发送至所述计算机设备；
所述激光雷达，用于分别拍摄处于所述多个位姿的标定板的三维激光点云图像，将拍摄的三维激光点云图像发送至所述计算机设备；
所述计算机设备，用于将所述相机和所述激光雷达分别拍摄的所述标定板在同一位姿下的二维图像和三维激光点云图像，作为一组标定图像，确定出多组标定图像；基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；基于每组标定图像对应的所述标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面特征；基于所述每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征、所述每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标和所述每组标定图像对应的所述标定板在所述相机的相机坐标系下所处的平面特征，确定所述相机和所述激光雷达之间的外参。
8.一种确定相机和激光雷达之间外参的装置，其特征在于，所述装置包括：
获取模块，用于获取多组标定图像，每组标定图像包括二维图像和三维激光点云图像；
确定模块，用于基于每组标定图像中的二维图像，确定每组标定图像对应的标定板在所述相机的成像坐标系下的各边缘直线特征；
所述确定模块，用于基于每组标定图像中的三维点云图像，确定每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标；
建立模块，用于基于每组标定图像对应的所述标定板在世界坐标系下的各角点坐标、以及相机坐标系和所述世界坐标系之间的外参，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面特征；基于每组标定图像中的二维图像，确定每组标定图像对应的所述标定板在所述相机坐标系下的边缘点二维坐标；基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征、以及所述标定板在所述相机坐标系下的边缘点二维坐标，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量；基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量；基于每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在所述成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系；
优化模块，用于基于所述非线性关系，确定相机和激光雷达之间的外参。
9.根据权利要求8所述的装置，其特征在于，所述建立模块，用于：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面特征，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的边缘点三维坐标，确定所述每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量；
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的非线性关系。
10.根据权利要求9所述的装置，其特征在于，所述建立模块，用于：
基于每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量、所述标定板在所述激光雷达坐标系下的平面的法向量、所述标定板在所述相机坐标系下的各边缘对应的方向向量、所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量、所述标定板在成像坐标系下的各边缘直线特征、以及所述标定板在激光雷达坐标系下的边缘点三维坐标，建立所述相机和所述激光雷达之间外参的代价函数；
所述优化模块，用于：
对所述代价函数进行优化，确定相机和激光雷达之间的外参。
11.根据权利要求10所述的装置，其特征在于，所述建立模块，用于：
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的平面的法向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的平面的法向量表达式，其中，所述法向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的法向量表达式、以及所述标定板在所述相机坐标系下的平面的法向量，计算差异值，得到法向量差异值表达式；
基于每组标定图像对应的所述标定板在所述激光雷达坐标系下的各边缘对应的方向向量，确定每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式，其中所述方向向量表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述相机坐标系下的各边缘对应的方向向量表达式、以及所述标定板在所述相机坐标系下的各边缘对应的方向向量，计算差异值，得到方向向量差异值表达式；
基于每组标定图像对应的所述标定板在激光雷达坐标系下的边缘点三维坐标，和所述相机的内参，确定每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式，其中，所述边缘点表达式中的未知参数包括所述相机和所述激光雷达之间的外参；
对每组标定图像对应的所述标定板在所述成像坐标系下的边缘点表达式、以及所述标定板在成像坐标系下的各边缘直线特征，计算欧氏距离，得到距离表达式；
基于所述法向量差异值表达式、所述方向向量差异值表达式和所述距离表达式，建立所述相机和所述激光雷达之间外参的代价函数。
12.根据权利要求10所述的装置，其特征在于，所述优化模块，用于：
使用非线性优化装置，对所述代价函数进行优化，确定相机和激光雷达之间的外参。
13.根据权利要求8-12中任一项所述的装置，其特征在于，所述标定板为多边形，所述激光雷达的扫描线不与所述标定板的任一边缘平行，所述标定板的各边缘均有所述激光雷达的扫描线经过。
CN201910308370.4A 2019-04-17 2019-04-17 确定相机与激光雷达之间外参的方法和装置 Active CN111862224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910308370.4A CN111862224B (zh) 2019-04-17 2019-04-17 确定相机与激光雷达之间外参的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910308370.4A CN111862224B (zh) 2019-04-17 2019-04-17 确定相机与激光雷达之间外参的方法和装置

Publications (2)

Publication Number Publication Date
CN111862224A CN111862224A (zh) 2020-10-30
CN111862224B true CN111862224B (zh) 2023-09-19

Family

ID=72951253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910308370.4A Active CN111862224B (zh) 2019-04-17 2019-04-17 确定相机与激光雷达之间外参的方法和装置

Country Status (1)

Country Link
CN (1) CN111862224B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446927A (zh) * 2020-12-18 2021-03-05 广东电网有限责任公司 激光雷达和相机的联合标定方法、装置、设备及存储介质
CN112734857B (zh) * 2021-01-08 2021-11-02 香港理工大学深圳研究院 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN113256729B (zh) * 2021-03-17 2024-06-18 广西综合交通大数据研究院 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN113177988B (zh) * 2021-04-30 2023-12-05 中德（珠海）人工智能研究院有限公司 一种球幕相机与激光的标定方法、装置、设备及存储介质
CN113436278A (zh) * 2021-07-22 2021-09-24 深圳市道通智能汽车有限公司 标定方法、标定装置、测距***及计算机可读存储介质
CN113610929B (zh) * 2021-08-09 2023-08-18 西安外事学院 一种相机与多线激光的联合标定方法
CN113838141B (zh) * 2021-09-02 2023-07-25 中南大学 一种单线激光雷达与可见光相机的外参标定方法及***
CN114488097A (zh) * 2022-01-26 2022-05-13 广州小鹏自动驾驶科技有限公司 激光雷达的外参标定方法、计算机设备及计算机存储介质
CN114758005B (zh) * 2022-03-23 2023-03-28 中国科学院自动化研究所 激光雷达与相机外参标定方法及装置
CN115994955B (zh) * 2023-03-23 2023-07-04 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆
CN116137039B (zh) * 2023-04-14 2023-09-12 深圳大学 一种视觉与激光传感器外参校正方法及相关设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882313A (zh) * 2010-07-14 2010-11-10 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
CN104484887A (zh) * 2015-01-19 2015-04-01 河北工业大学 摄像机与二维激光测距仪联合使用时的外参数标定方法
CN104656097A (zh) * 2015-01-28 2015-05-27 武汉理工大学 基于旋转式二维激光三维重构***的标定装置及方法
CN106097348A (zh) * 2016-06-13 2016-11-09 大连理工大学 一种三维激光点云与二维图像的融合方法
CN107255443A (zh) * 2017-07-14 2017-10-17 北京航空航天大学 一种复杂环境下双目视觉传感器现场标定方法及装置
CN107862719A (zh) * 2017-11-10 2018-03-30 未来机器人（深圳）有限公司 相机外参的标定方法、装置、计算机设备和存储介质
CN107976669A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的装置
CN108389233A (zh) * 2018-02-23 2018-08-10 大连理工大学 基于边界约束和均值逼近的激光扫描仪与相机标定方法
CN108399643A (zh) * 2018-03-15 2018-08-14 南京大学 一种激光雷达和相机间的外参标定***和方法
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法
CN109615661A (zh) * 2017-12-05 2019-04-12 西北工业大学 光场相机内参数标定装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3615955A4 (en) * 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
US10474161B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101882313A (zh) * 2010-07-14 2010-11-10 中国人民解放军国防科学技术大学 单线激光雷达与ccd相机之间相互关系的标定方法
CN104156972A (zh) * 2014-08-25 2014-11-19 西北工业大学 基于激光扫描测距仪与多相机融合的透视成像方法
CN104484887A (zh) * 2015-01-19 2015-04-01 河北工业大学 摄像机与二维激光测距仪联合使用时的外参数标定方法
CN104656097A (zh) * 2015-01-28 2015-05-27 武汉理工大学 基于旋转式二维激光三维重构***的标定装置及方法
CN106097348A (zh) * 2016-06-13 2016-11-09 大连理工大学 一种三维激光点云与二维图像的融合方法
CN107976669A (zh) * 2016-10-21 2018-05-01 法乐第(北京)网络科技有限公司 一种确定相机与激光雷达之间的外参数的装置
CN107255443A (zh) * 2017-07-14 2017-10-17 北京航空航天大学 一种复杂环境下双目视觉传感器现场标定方法及装置
CN107862719A (zh) * 2017-11-10 2018-03-30 未来机器人（深圳）有限公司 相机外参的标定方法、装置、计算机设备和存储介质
CN109615661A (zh) * 2017-12-05 2019-04-12 西北工业大学 光场相机内参数标定装置及方法
CN108389233A (zh) * 2018-02-23 2018-08-10 大连理工大学 基于边界约束和均值逼近的激光扫描仪与相机标定方法
CN108399643A (zh) * 2018-03-15 2018-08-14 南京大学 一种激光雷达和相机间的外参标定***和方法
CN109270534A (zh) * 2018-05-07 2019-01-25 西安交通大学 一种智能车激光传感器与相机在线标定方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
Extrinsic Calibration of a Camera and a Laser Range Finder using Point to Line Constraint;Zhen Chen，et al;Procedia Engineering;第29卷;4348-4352 *
Laser scanned point clouds to support autonomous vehicles;Vivien Potó,et al;Transportation Research Procedia;第27卷;531-537 *
一种自适应摄像机与激光雷达联合标定算法;姚文韬等;控制工程;第24卷(第S0期);75-79 *
一种针孔相机与三维激光雷达外参标定方法;韩正勇，等;传感器与微***(第04期);14-17+21 *
二维和三维视觉传感集成***联合标定方法;李琳，等;仪器仪表学报(第11期);75-81 *
基于相机标定的直线距离测量的研究;周超，等;科技资讯(第14期);86+88 *
姚文韬，等.一种自适应摄像机与激光雷达联合标定算法.控制工程.2017,(第S1期),77-81. *
采用直线模型的相机参数优化方法;孙俊锋，等;光学精密工程(第10期);232-242 *

Also Published As

Publication number Publication date
CN111862224A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862224B (zh) 确定相机与激光雷达之间外参的方法和装置
CN109509226B (zh) 三维点云数据配准方法、装置、设备及可读存储介质
EP3158532B1 (en) Local adaptive histogram equalization
CN110223226B (zh) 全景图像拼接方法及***
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN105279372B (zh) 一种确定建筑物高度的方法和装置
WO2017076106A1 (zh) 图像的拼接方法和装置
WO2021196548A1 (zh) 距离确定方法、装置及***
CN110915193B (zh) 图像处理***、服务器装置、图像处理方法及记录介质
WO2016155110A1 (zh) 图像透视畸变校正的方法及***
CN108734738B (zh) 相机标定方法及装置
CN113012234B (zh) 基于平面变换的高精度相机标定方法
CN111383254A (zh) 一种深度信息获取方法、***及终端设备
CN115082777A (zh) 基于双目视觉的水下动态鱼类形态测量方法及装置
US20240054662A1 (en) Capsule endoscope image three-dimensional reconstruction method, electronic device, and readable storage medium
CN109496326B (zh) 一种图像处理方法、设备及***
US11902504B2 (en) Method and system for mapping the non-uniformity of an image sensor
CN105184736B (zh) 一种窄重叠双视场高光谱成像仪的图像配准的方法
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения
WO2023273158A1 (zh) 车路协同中相机作用距离确定方法、装置和路侧设备
CN111062984B (zh) 视频图像区域面积的测量方法、装置、设备及存储介质
CN115170670A (zh) 外参标定方法、装置及程序产品
US20220198814A1 (en) Image dewarping with curved document boundaries
CN111387987A (zh) 一种基于图像识别的身高测量方法、装置、设备及存储介质
WO2022253043A1 (zh) 人脸深度图像的面部变形补偿方法、成像装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant