CN113050074A - 无人驾驶环境感知中相机与激光雷达标定***及标定方法 - Google Patents

无人驾驶环境感知中相机与激光雷达标定***及标定方法 Download PDF

Info

Publication number
CN113050074A
CN113050074A CN202110280532.5A CN202110280532A CN113050074A CN 113050074 A CN113050074 A CN 113050074A CN 202110280532 A CN202110280532 A CN 202110280532A CN 113050074 A CN113050074 A CN 113050074A
Authority
CN
China
Prior art keywords
camera
calibration
calibration plate
dimensional
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110280532.5A
Other languages
English (en)
Other versions
CN113050074B (zh
Inventor
付克昌
邢修华
蒋涛
刘甲甲
周楠
吴思东
袁建英
崔亚男
段翠萍
蔡明希
胡泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202110280532.5A priority Critical patent/CN113050074B/zh
Publication of CN113050074A publication Critical patent/CN113050074A/zh
Application granted granted Critical
Publication of CN113050074B publication Critical patent/CN113050074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人驾驶环境感知中相机与激光雷达标定***及标定方法，基于一种定制标定板的传感器***，分别对相机和激光雷达所采集的数据进行处理，得到两传感器各自坐标下标定板上镂空圆圆心的三维坐标，再基于改进的ICP(迭代最近点)算法对两组点集进行配准，解算相机与激光雷达之间的相对位姿关系，得到标定结果。本发明提供一种无人驾驶环境感知中相机与激光雷达标定***及算法，其通过改进的算法使得软件***或者算法具有较强的鲁棒性，提升了标定精度，为相机与激光雷达数据融合做准备。

Description

无人驾驶环境感知中相机与激光雷达标定***及标定方法
技术领域
本发明涉及无人驾驶领域。更具体地说，本发明涉及一种无人驾驶环境 感知中相机与激光雷达标定***及标定方法。
背景技术
在无人驾驶中，车辆必须实时的感知周围的环境，其任务包括目标检测 及分类、多目标追踪、场景理解。在目标检测和场景理解领域，障碍物检测、 车道线检测、行人识别、交通标志识别、红绿灯识别等是首要需要解决的任 务。相机作为一种视觉传感器，已成熟应用在目标检测领域，自从2012年Alexnet卷积神经网络在图片分类问题上的突破，基于深度学习的目标检测 网络如雨后春笋般涌现，RCNN、MS-CNN、YOLO、FastRCNN、DCNN等一系列2D 目标检测网络相继提高了检测准确度和速度。然而，相机具有一些局限，采 集的数据是RGB图像的像素阵列，没有深度信息(距离信息)，双目相机可以 完成测距工作，但是算法不够成熟，其测量误差与雷达等专业测距设备差距 太大。相机本身视场角也有限，摄像头受外界条件的影响也比较大，如光线 的强度。激光雷达能精确的采集带有距离信息的3D点云数据，不受光照影响， 并且感知距离能达到150m，但在角分辨度上远远不如相机，在复杂场景下， 如小物体和远距离物体，相机可以清楚的识别目标，但激光雷达采集到的目 标物体点是比较少的，难以聚类，这不利于使用点云数据实现目标检测。且 容易受雨雪、沙尘、雾霾等影响。毫米波雷达受自身性能所限，无法反馈高 度信息。它可以探测到物体所在的位置，但无法探测它的高度，如路边存在 一个较高的指路牌，毫米波雷达能探测代此处存在障碍物，却不知道指路牌 是悬挂于道路上方。
由于自动驾驶车辆在单一传感器的环境感知任务中遇到越来越大的挑战 和需要实现更多的功能，多传感器融合方案受到越来越多研究人员的青睐。 多传感器融合技术能解决单一传感器在自动驾驶中的局限。通过多传感器数 据融合，传感器之间能取长补短，提升整个感知***的效果。激光雷达测距 具有精度高的特点，而且可以提供360度全视野的信息，由于传感器各自的 特殊性，它们适合作为同一感知***的一部分。多传感器深度融合可以实现 将3D点云数据映射到图像上，即图像上的某些像素也具有了深度信息，可以帮助感知***进行基于图像的分割或目标检测。传感器信息融合技术的基本 原理与人的大脑综合处理信息的过程一样，各传感器之间进行多层次、多空 间的信息互补，优化组合处理，最终产生对环境信息的一致性解释。信息融 合的最终目标是基于各传感器获得的分离观测信息，通过信息多级别、多方 面的组合而导出更多有效信息。传感器融合利用了多个传感器相互协同操作 的优势，而且也综合处理其他信息源的数据来提高整个感知***的智能化。 多传感器联合标定是多传感器数据融合的前提，是移动机器人、无人驾驶技 术等研究领域的核心问题。
专利CN202010084392.X提供了一种基于球体标定物的标定方法，通过获 取图像中球心的二维坐标和点云中球心的三维坐标，构成一组相互对应的 2D-3D位置数据对，再使用pnp方法求解旋转矩阵和平移向量。该方法使用 一个球体，由于至少需要4对相互对应的2D-3D位置数据对，需要人为摆放 标定物4次，得到4张图像数据和4帧点云数据再分别进行处理，不仅增加 了工作量，还会人为引入误差，且2D-3D对应点集求解是一个PNP问题，此类问题求解的结果通常不稳定。
专利CN201910639761.4中，采用了一种基于正方形棋盘格标定物的标定 方法，首先对双目相机进行标定，再对双目图像进行校正，得到棋盘格角点 的深度值，再利用相机内参矩阵得到角点三维坐标，最终生成了标定板的点 云图，点云处理中，也是利用RANSAC算法来拟合标定板平面方程，通过将 所有角点投影到拟合平面上，再提取拟合平面上标定板两条对角线上的角点 来拟合直线方程，得到棋盘格4个顶点三维坐标。激光雷达则是通过相邻交 边确定标定板顶点坐标，最后利用ICP算法来求解相机与激光雷达之间的相 对位姿关系。该方法涉及相机标定、图像矫正、生成点云等，不仅增加了工 作量，且在双目标定的过程中容易出错，导致得到的角点深度值误差大，其 次，由于受光照影响大，再三角测量时易导致三维坐标计算出错。另外，由 于采用传统的ICP算法配准，在数据包含包含噪点的情况下，配准结果不够 精确。
由此可知，现有的标定***其标定方式、计算方法复杂，且在对坐标标 定算法进行计算时，其标定配准的精度达不到要求，将二维与三维，三维与 三维两幅图进行配准时，现在的标定方法通常会产生投影，不能满足使用要 求和测量要求。
发明内容
本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说 明的优点。
为了实现根据本发明的这些目的和其它优点，提供了一种无人驾驶环境 感知中相机与激光雷达标定***及标定方法，包括：
步骤一、基于三维激光雷达、RGB-D相机、镂空标定板搭建车载的传感 器***，其中标定板上设置有四个镂空圆；
步骤二、基于相机与镂空标定板的配合，通过计算得到标定板上各镂空 位置的中心在三维空间下的多个第一组圆心坐标；
步骤三、基于三维激光雷达与镂空标定板的配合，通过计算得到标定板 各镂空位置在三维状态下对应的多个第二组圆心坐标；
步骤四、基于标定板上的镂空圆个数，获得多对一一对应的圆心坐标数 据对；
步骤五、利用改进的ICP算法解算数据对之间的位置关系，完成二者的 标定。
优选的是，在步骤一中，所述三维激光雷达被配置为采用VLP-16线激 光雷达，所述RGB-D相机被配置为采用MYNT EYE深度相机；
其中，所述标定板被配置在传感器***正前方1.5～7m，且标定板能全部 在相机的取景图像中，同时至少有2行激光束能扫描到4个镂空圆的边缘；
镂空标定板后面设置有与其大小一致的黄色背景板。
优选的是，在步骤二中，第一组圆心坐标的获取方式被配置为包括：
S21、基于单目采集的RGB图像数据转换成LAB图像，对B通道进行 阈值分割，滤除黄色以外的所有颜色；
S22、对图像进行二值化处理、candy边缘检测、最小二乘法对圆进行拟 合，以得到标定板镂空圆圆心对应的二维像素坐标；
S23、调用相机自带的深度图数据，将彩色图与深度图对齐，得到与二维 像素坐标对应的深度值，并基于以下公式得到圆心在三维空间下的第一组圆 心坐标：
Figure BDA0002978617010000041
x＝(u-cx)*z/fx
y＝(v-cy)*z/fy
其中，(u，v)为二维像素坐标，(x，y，z)为二维像素坐标对应的第一圆心 坐标，d为深度，depth_scale为尺度因子，fx和fy为焦距，cx和cy为相机主点。
优选的是，在步骤三中，第二组圆心坐标的获取方式被配置为包括：
S31、使用直通滤波滤除标定板周围点云，使用RANSAC算法拟合标定 板平面方程；
S32、通过指定一个表示相邻点云深度差的一个量值的方法，过滤掉标定 板上的连续点，保留不连续点，去除不属于标定板镂空圆边缘的点云；
S33、将镂空圆边缘上的点映射到二维平面上拟合圆，得圆心二维坐标；
S34、将圆心二维坐标映射到三维空间中，以得到第二组三维坐标。
优选的是，在步骤五中，所述改进的ICP算法被配置为在ICP算法中加 入最大相关熵准则(MCC)，其被配置为包括：
S51、基于MCC的局部相似度量函数，建立稀疏ICP算法模型；
S52、对基于MCC的稀疏ICP算法模型进行求解。
优选的是，最大相关熵准则论证方式被配置为包括：
S510、将两个随机变量的局部相似性表示为：Vσ(A,B)＝E[kσ(A-B)]，其中 kσ(.)是一种内核函数，E是数学期望；
S511、两个有限集数据
Figure BDA0002978617010000042
的相关熵通过
Figure BDA0002978617010000043
进行估计，其中，高斯核函数kσ(.)为：
Figure BDA0002978617010000044
S512、对于任意两个相同维度的向量
Figure RE-GDA0003037546090000051
和
Figure RE-GDA0003037546090000052
将之 作差得到
Figure RE-GDA0003037546090000053
其中ej＝aj-bj，则ej的最大相关熵为
Figure RE-GDA0003037546090000054
在内核宽度σ决定的小范围邻域内，相关熵可以看作是衡量 两个随机变量相似度的方法，则相关熵越大，两个变量间的相似度越高，当 Vσ(A,B)取得最大值的时候，A,B之间的误差E就最小。
优选的是，基于MCC的稀疏ICP算法模型数学表达式如下所示：
Figure BDA0002978617010000055
s.t.RTR＝I,det(R)＝1。
优选的是，稀疏ICP算法模型的求解方式被配置为包括：
S521、对t求偏导：
Figure BDA0002978617010000056
得到：
Figure BDA0002978617010000057
其中，w表示迭代时用指数项部分的(Ek-1,Rk-1,tk-1)代替(Ek,Rk,tk)；
S522、令：
Figure BDA0002978617010000058
则含参数R,E的目标函数变为：
Figure BDA0002978617010000059
S523、令：
N＝Q+E；
则含参数R的目标函数为：
Figure BDA00029786170100000510
通过半方(HQ)技术，将上式转换为：
Figure BDA0002978617010000061
其中：
Figure BDA0002978617010000062
则最大化f(R)等价于：
F(R)＝-tr(H)；
其中：
Figure BDA0002978617010000063
通过SVD分解H得：
R＝VDUT；
此时求解稀疏矩阵E，则只含E的目标函数如下：
Figure BDA0002978617010000064
其中：
Figure BDA0002978617010000065
S524、令：
RX+t-P＝M；
则等价于：
Figure BDA0002978617010000066
其中，B是一个以b为对角元素的对角矩阵，上式等价于：
Figure BDA0002978617010000067
其中：
Figure BDA0002978617010000068
将上述问题看成一个子问题，有：
Figure BDA0002978617010000071
解得：
Figure BDA0002978617010000072
Figure BDA0002978617010000073
其中：
Figure BDA0002978617010000074
即A中的每个元素都是：
Figure BDA0002978617010000075
本发明至少包括以下有益效果：本发明无人驾驶环境感知中相机与激光 雷达标定***及算法，其通过改进的算法使得软件***或者算法具有较强的 鲁棒性，提升了标定精度，为相机与激光雷达数据融合做准备，经仿真实验 和实际标定(也可称为配准)，结果表明对比传统ICP算法该方法能够有效提 升配准结果的精度。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将 通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为标定***流程图；
图2为标定板示意图；
图3为相机视角的标定板示意图；
图4相机获取的标定板镂空圆圆心二维点；
图5为基于ROS的相机自带的深度图；
图6为激光雷达获取的标定板镂空圆圆心三维点；
图7为配准样图；
图8为改进的ICP算法在公共数据集上的配准结果；
图9为传统ICP算法在公共数据集上的配准结果。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照 说明书文字能够据以实施。
本发明提出了一种RGB-D相机与三维激光雷达***外参标定的方法，采 用的是一个具有4个镂空圆的标定板，该方法能简化标定流程且提高标定精 度。
本发明原理是针对图像数据获取镂空圆的圆心像素坐标，通过ROS下的 同步机制，得到圆心像素坐标对应的深度值，最后计算出对应的相机坐标系 下的三维坐标。针对激光雷达点云数据，经处理同样得到激光雷达坐标系下 镂空圆心三维坐标，然后对其进行配准，求解相对位姿关系。
本发明具体步骤如下：
1、搭建传感器***，固定相机和激光雷达，放置标定板在合理位置。
2、相机获取标定板镂空圆圆心像素坐标；
3、获取镂空圆圆心像素坐标对应的深度值；
4、计算相机坐标系下镂空圆圆心的三维坐标；
5、计算激光雷达坐标系下镂空圆圆心的三维坐标；
6、采用基于最大相关熵准则的稀疏ICP算法对两点集进行配准，求解相 机与激光雷达之间的相对位姿关系；
实施例：
1、搭建传感器***，固定相机和激光雷达，放置标定板在合理位置。
首先，固定相机与激光雷达，标定板为红色的亚克力板，板上有4个相 互对称的镂空圆，标定板后面有一个同样大小的黄色背景完整无镂空亚克力 板，将该标定装置放置在多传感器***正前方1.5～7.5m，且垂直于水平面。
其次，调整标定装置离多传感器***之间的距离和他们之间的相对高度， 使标定装置在相机视野中能完全显示处来，且至少有2束激光能扫描到每个 镂空圆上。
2、相机获取标定板镂空圆圆心像素坐标。
如图2，由于标定板有4个镂空圆，在黄色背景板的重叠上，图像上呈 现的是红色板面和黄色圆，使用相机检测图像中的黄色圆，将RGB图像转换 到LAB空间，将LAB三个通道分离出来，B通道对应的是黄色，则对B通 道进行阈值分割，设定其范围为(150，240)，可滤除黄色以外所有背景，得 到黄色的圆。再对图像进行二值化处理，得到黑白图像，利用candy边缘检 测算法检测圆的边缘，最后利用最小二乘法拟合圆，求得4个圆心的像素坐标。
3、相机获取标定板镂空圆圆心三维坐标。
如图3-5，由于RGB-D相机自带环境深度信息，不需要再进行相机的标 定、图像校正、匹配、三角测量等，直接通过ROS的话题机制，订阅相机的 深度图节点，再利用ROS的同步机制，同时引入彩色图数据和深度图数据， 目的在于对齐彩色图和深度图(如图5)，具体来说，首先基于单目采集RGB 图像数据，然后将彩色图像转换到LAB颜色空间，将LAB三通道单独分离 出来，由于B通道对黄色敏感，故对B通道进行阈值分割，设定其阈值范围 为(160，250)，可滤除黄色以外所有颜色。再对图像进行二值化处理，得到 黑白图像，进行candy边缘检测，最后使用最小二乘法对圆进行拟合，得到 标定板镂空圆圆心的二维坐标。由于MYNTEYE相机自带深度值，将彩色图 与深度图对齐，则可得到彩色图中像素坐标对应的深度值，经过如下公式得 到相机坐标系下如图4所示的圆心三维坐标：
Figure BDA0002978617010000091
x＝(u-cx)*z/fx
y＝(v-cy)*z/fy；
其中，(u,v)为像素坐标，(x,y,z)为像素坐标对应的三维坐标，d为深 度，depth_scale为尺度因子，一般默认为1000.0，fx和fy为焦距，cx和cy为 相机主点。
4、激光雷达获取标定板镂空圆圆心三维坐标。
首先，使用直通滤波对镂空标定板周围x、y、z 3个方向上的无关数据进 行滤除，只保留了标定上的点云，使用样本一致性算法拟合标定板平面方程， 通过设定一个离标定板距离远近的阈值a，保留a范围内的点云，此处阈值a 设为1cm，即得到了标定板上面的点云。
其次通过为每个点云人为附加一个深度不连续值，通过比较同一束激光 上相邻点云直接的深度不连续值，过滤掉连续的点云。然后使用RANSAC算 法找到标定板点云中的直线，过滤掉能拟合成直线的点云，此时只剩下镂空 圆边缘的点云了，可拟合圆，得圆心二维坐标，再将圆心二维坐标返投到三 维空间中，得圆心三维坐标；保证至少两束激光能扫描到镂空圆的边缘，因 为至少需要3个点才能拟合圆。最终得到4组一一对应的3D-3D圆心数据对， 即如图6所示的圆心三维坐标。
5、采用改进的ICP算法对两组点集配准，求解的结果用于配准，相机与 激光雷达标定就是求解相机与激光雷达之间的位置关系，本专利就是通过点 配准这种方法来标定，配准结果好，说明标定的好。
由于传统ICP算法以欧式距离为度量函数，对噪声敏感，本发明在传统 ICP算法上加入了最大相关熵准则并利用L1范数的稀疏性来减小点集配准间 的误差，提高配准鲁棒性。其中最大相关熵准则(MCC)是一种局部相似度 量函数，包括：
1)最大相关熵准则
2)基于最大相关熵准则的稀疏ICP算法模型
3)模型求解
将两个随机变量的局部相似性表示为：Vσ(A,B)＝E[kσ(A-B)]，其中kσ(.)是 一种内核函数，E是数学期望；
S511、两个有限集数据
Figure BDA0002978617010000101
的相关熵通过
Figure BDA0002978617010000102
进行估计，其中，高斯核函数kσ(.)为：
Figure BDA0002978617010000103
S512、对于任意两个相同维度的向量
Figure RE-GDA0003037546090000104
和
Figure RE-GDA0003037546090000105
将之 作差得到
Figure RE-GDA0003037546090000106
其中ej＝aj-bj，则ej的最大相关熵为
Figure RE-GDA0003037546090000107
在内核宽度σ决定的小范围邻域内，相关熵可以看作是衡量 两个随机变量相似度的方法，则相关熵越大，两个变量间的相似度越高，当Vσ(A,B)取得最大值的时候，A,B之间的误差E就最小。
稀疏ICP算法模型数学表达式如下所示：
Figure BDA0002978617010000111
s.t.RTR＝I,det(R)＝1；
其中，R是旋转矩阵，t是平移向量，e是误差，其中对e进行L1范数 约束，代表稀疏性，E为稀疏矩阵。
稀疏ICP算法模型的求解方式被配置为包括：
S521、对t求偏导：
Figure BDA0002978617010000112
得到：
Figure BDA0002978617010000113
其中，w表示迭代时用指数项部分的(Ek-1,Rk-1,tk-1)代替(Ek,Rk,tk)；
S522、令：
Figure BDA0002978617010000114
则含参数R，E的目标函数变为：
Figure BDA0002978617010000115
S523、令：
N＝Q+E；
则含参数R的目标函数为：
Figure BDA0002978617010000116
通过半方(HQ)技术，将上式转换为：
Figure BDA0002978617010000117
其中：
Figure BDA0002978617010000121
则最大化f(R)等价于：
F(R)＝-tr(H)；
其中：
Figure BDA0002978617010000122
通过SVD分解H得：
R＝VDUT；
此时求解稀疏矩阵E，则只含E的目标函数如下：
Figure BDA0002978617010000123
其中：
Figure BDA0002978617010000124
S524、令：
RX+t-P＝M；
则等价于：
Figure BDA0002978617010000125
其中，B是一个以b为对角元素的对角矩阵，上式等价于：
Figure BDA0002978617010000126
其中：
Figure BDA0002978617010000127
将上述问题看成一个子问题，有：
Figure BDA0002978617010000128
解得：
Figure BDA0002978617010000131
Figure BDA0002978617010000132
其中：
Figure BDA0002978617010000133
即A中的每个元素都是：
Figure BDA0002978617010000134
模型求解求解后的结果(是一个矩阵)就是两组三维圆心坐标的空间位 姿关系。也就是求解相机与激光雷达之间的相对位姿关系，得：
Figure BDA0002978617010000135
其中，另外R是旋转矩阵，t是平移向量，e是误差，其中对e进行L1 范数约束，代表稀疏性。E为稀疏矩阵，这三个个量就是要求解的量，R、t 就是两个点集对应的位姿关系，也就是相机与激光雷达之间的位姿关系，为 了简化数学过程，其中P、N、M、ωi、yi是中间变量，xi和pc(i)分别代表两组 点集，ci代表两点集中的点一一对应，Np代表每组点集中的点个数。
6、为验证改进的ICP算法的性能，首先进行该算法的仿真实验，通过与传统 ICP算法、CPD算法做对比，不同算法耗时比较如表一所示：
Figure BDA0002978617010000136
表一
由表一可以看出，改进的算法比传统ICP算法慢，这是因为我们的算法 中包含了指数项的计算，但仍然具有较快的速度。
Figure BDA0002978617010000137
表二
而表二可以看出，与传统的ICP算法相比，本发明算法中旋转和平移两 参数的误差较小，这表明我们的算法在噪声点集配准中具有较高的精度。
在仿真实验中，采用如图7的配准样图，采用改进的ICP算法进行点集 配准，由图8的对比图可知，其重合度很高(重叠、配准)，几乎没有任何间隙， 而相对于如图9中现有技术的ICP配准效果所产生的较大间隙而言，可知本 发明改进的ICP算法配准精度得到显著提高。
7、为验证此标定方法在真实环境中的可行性和标定结果的优劣，进行实 验验证。标定板如图2所示，参数为120cm×80cm×4mm，镂空圆半径为 12cm，相机为小觅深度版，激光雷达为Velodyne16线激光雷达。分别采集 10帧同一时刻的图像数据和点云数据。
8、利用两传感器获得的标定板镂空圆心的三维坐标，进行真实场景的相 机与激光雷达标定，采用改进的基于最大相关熵准则的稀疏ICP算法进行配 准，获得相机与激光雷达之间的相对位姿关系，
得到旋转矩阵R为：
Figure BDA0002978617010000141
平移向量t为：
Figure BDA0002978617010000142
采用重投影误差来量化相机与激光雷达标定结果，值越小代表标定结果 越好，越大代表标定结果不好。得到10组标定结果的重投影误差为0.01263 像素；而采用传统的ICP算法进行配准，10组标定结果的重投影误差为 1.20185像素。由此可知，本发明的方法，其标定效果更为优异。
以上方案只是一种较佳实例的说明，但并不局限于此。在实施本发明时， 可以根据使用者需求进行适当的替换和/或修改。
这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明 的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方 式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领 域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范 围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图 例。

Claims (8)

1.一种无人驾驶环境感知中相机与激光雷达标定***及标定方法，其特征在于，包括：
步骤一、基于三维激光雷达、RGB-D相机、镂空标定板搭建车载的传感器***，其中标定板上设置有四个镂空圆；
步骤二、基于相机与镂空标定板的配合，通过计算得到标定板上各镂空位置的中心在三维空间下的多个第一组圆心坐标；
步骤三、基于三维激光雷达与镂空标定板的配合，通过计算得到标定板各镂空位置在三维状态下对应的多个第二组圆心坐标；
步骤四、基于标定板上的镂空圆个数，获得多对一一对应的圆心坐标数据对；
步骤五、利用改进的ICP算法解算数据对之间的位置关系，完成二者的标定。
2.如权利要求1所述的无人驾驶环境感知中相机与激光雷达标定***及标定方法，其特征在于，在步骤一中，所述三维激光雷达被配置为采用VLP-16线激光雷达，所述RGB-D相机被配置为采用MYNT EYE深度相机；
其中，所述标定板被配置在传感器***正前方1.5～7m，且标定板能全部在相机的取景图像中，同时至少有2行激光束能扫描到4个镂空圆的边缘；
镂空标定板后面设置有与其大小一致的黄色背景板。
3.如权利要求1所述的无人驾驶环境感知中相机与激光雷达标定***及标定方法，其特征在于，在步骤二中，第一圆心坐标的获取方式被配置为包括：
S21、基于单目采的集RGB图像数据转换成LAB图像，对B通道进行阈值分割，滤除黄色以外的所有颜色；
S22、对图像进行二值化处理、candy边缘检测、最小二乘法对圆进行拟合，以得到标定板镂空圆圆心对应的二维像素坐标；
S23、调用相机自带的深度图数据，将彩色图与深度图对齐，得到与二维像素坐标对应的深度值，并基于以下公式得到圆心在三维空间下的第一组圆心坐标：
Figure FDA0002978612000000021
x＝(u-cx)*z/fx
y＝(v-cy)*z/fy
其中，(u，v)为二维像素坐标，(x，y，z)为二维像素坐标对应的第一圆心坐标，d为深度，depth_scale为尺度因子，fx和fy为焦距，cx和cy为相机主点。
4.如权利要求1所述的无人驾驶环境感知中相机与激光雷达标定***及标定方法，其特征在于，在步骤三中，第二组圆心坐标的获取方式被配置为包括：
S31、使用直通滤波滤除标定板周围点云，使用RANSAC算法拟合标定板平面方程；
S32、通过指定一个表示相邻点云深度差的一个量值的方法，过滤掉标定板上的连续点，保留不连续点，去除不属于标定板镂空圆边缘的点云；
S33、将镂空圆边缘上的点映射到二维平面上拟合圆，得圆心二维坐标；
S34、将圆心二维坐标映射到三维空间中，以得到第二组三维坐标。
5.如权利要求1所述的无人驾驶环境感知中相机与激光雷达标定***及标定方法，其特征在于，在步骤五中，所述改进的ICP算法被配置为在ICP算法中加入最大相关熵准则MCC，其被配置为包括：
S51、基于MCC的局部相似度量函数，建立稀疏ICP算法模型；
S52、对基于MCC的稀疏ICP算法模型进行求解。
6.如权利要求5所述的无人驾驶环境感知中相机与激光雷达标定***及标定方法，其特征在于，最大相关熵准则论证方式被配置为包括：+
S510、将两个随机变量的局部相似性表示为：Vσ(A,B)＝E[kσ(A-B)]，其中kσ(.)是一种内核函数，E是数学期望；
S511、两个有限集数据
Figure RE-FDA0003037546080000022
的相关熵通过
Figure RE-FDA0003037546080000023
进行估计，其中，高斯核函数kσ(.)为：
Figure RE-FDA0003037546080000024
S512、对于任意两个相同维度的向量
Figure RE-FDA0003037546080000025
和
Figure RE-FDA0003037546080000026
将之作差得到
Figure RE-FDA0003037546080000031
其中ej＝aj-bj，则ej的最大相关熵为
Figure RE-FDA0003037546080000032
在内核宽度σ决定的小范围邻域内，相关熵可以看作是衡量两个随机变量相似度的方法，则相关熵越大，两个变量间的相似度越高，当Vσ(A,B)取得最大值的时候，A,B之间的误差E就最小。
7.如权利要求5所述的无人驾驶环境感知中相机与激光雷达标定***及标定方法，其特征在于，基于MCC的稀疏ICP算法模型数学表达式如下所示：
Figure FDA0002978612000000033
s.t.RTR＝I,det(R)＝1。
8.如权利要求5所述的无人驾驶环境感知中相机与激光雷达标定***及标定方法，其特征在于，基于MCC的稀疏ICP算法模型的求解方式被配置为包括：
S521、对t求偏导：
Figure FDA0002978612000000034
得到：
Figure FDA0002978612000000035
其中，w表示迭代时用指数项部分的(Ek-1,Rk-1,tk-1)代替(Ek,Rk,tk)；
S522、令：
Figure FDA0002978612000000036
Figure FDA0002978612000000037
Figure FDA0002978612000000038
则含参数R,E的目标函数变为：
Figure FDA0002978612000000039
S523、令：
N＝Q+E；
则含参数R的目标函数为：
Figure FDA0002978612000000041
通过半方(HQ)技术，将上式转换为：
Figure FDA0002978612000000042
其中：
Figure FDA0002978612000000043
则最大化f(R)等价于：
F(R)＝-tr(H)；
其中：
Figure FDA0002978612000000044
通过SVD分解H得：
R＝VDUT；
此时求解稀疏矩阵E，则只含E的目标函数如下：
Figure FDA0002978612000000045
其中：
Figure FDA0002978612000000046
S524、令：
RX+t-P＝M；
则等价于：
Figure FDA0002978612000000047
其中，B是一个以b为对角元素的对角矩阵，上式等价于：
Figure FDA0002978612000000048
其中：
Figure FDA0002978612000000051
有：
Figure FDA0002978612000000052
解得：
Figure FDA0002978612000000053
Figure FDA0002978612000000054
其中：
Figure FDA0002978612000000055
即A中的每个元素都是：
Figure FDA0002978612000000056
CN202110280532.5A 2021-03-16 2021-03-16 无人驾驶环境感知中相机与激光雷达标定***及标定方法 Active CN113050074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110280532.5A CN113050074B (zh) 2021-03-16 2021-03-16 无人驾驶环境感知中相机与激光雷达标定***及标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110280532.5A CN113050074B (zh) 2021-03-16 2021-03-16 无人驾驶环境感知中相机与激光雷达标定***及标定方法

Publications (2)

Publication Number Publication Date
CN113050074A true CN113050074A (zh) 2021-06-29
CN113050074B CN113050074B (zh) 2023-08-25

Family

ID=76512507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110280532.5A Active CN113050074B (zh) 2021-03-16 2021-03-16 无人驾驶环境感知中相机与激光雷达标定***及标定方法

Country Status (1)

Country Link
CN (1) CN113050074B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340334A (zh) * 2021-07-29 2021-09-03 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法
TWI810809B (zh) * 2022-02-10 2023-08-01 勤崴國際科技股份有限公司 街道路牌之大地座標處理方法
CN117872330A (zh) * 2024-03-11 2024-04-12 安徽大学 面向复杂环境的无人驾驶多激光雷达标定与融合建图方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407866A (zh) * 2015-02-24 2017-11-28 嗨魄Vr公司 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建
CN109215063A (zh) * 2018-07-05 2019-01-15 中山大学 一种事件触发相机与三维激光雷达的配准方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN110363800A (zh) * 2019-06-19 2019-10-22 西安交通大学 一种基于点集数据与特征信息相融合的精确刚体配准方法
CN111123242A (zh) * 2018-10-31 2020-05-08 北京亚兴智数科技有限公司 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN112102376A (zh) * 2020-08-04 2020-12-18 广东工业大学 混合稀疏icp的多视点云配准方法、装置及存储介质
CN112396664A (zh) * 2020-11-24 2021-02-23 华南理工大学 一种单目摄像机与三维激光雷达联合标定及在线优化方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407866A (zh) * 2015-02-24 2017-11-28 嗨魄Vr公司 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建
CN109215063A (zh) * 2018-07-05 2019-01-15 中山大学 一种事件触发相机与三维激光雷达的配准方法
CN111123242A (zh) * 2018-10-31 2020-05-08 北京亚兴智数科技有限公司 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN110363800A (zh) * 2019-06-19 2019-10-22 西安交通大学 一种基于点集数据与特征信息相融合的精确刚体配准方法
CN110349221A (zh) * 2019-07-16 2019-10-18 北京航空航天大学 一种三维激光雷达与双目可见光传感器的融合标定方法
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法
CN112102376A (zh) * 2020-08-04 2020-12-18 广东工业大学 混合稀疏icp的多视点云配准方法、装置及存储介质
CN112396664A (zh) * 2020-11-24 2021-02-23 华南理工大学 一种单目摄像机与三维激光雷达联合标定及在线优化方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MARTIN VELAS, ET AL: "Calibration of RGB Camera With Velodyne LiDAR", WSCG2014 CONFERENCE ON COMPUTER GRAPHICS, VISUALIZATION AND COMPUTER VISION, pages 135 - 144 *
SHUANG LUO, ET AL: "3D Reconstruction System Based on 2D Laser Radar, Rotary Platform and Cameras", 2019 INTERNATIONAL CONFERENCE ON SENSING, DIAGNOSTICS, PROGNOSTICS, AND CONTROL (SDPC), pages 729 - 734 *
SOFIEN BOUAZIZ , ET AL: "Sparse Iterative Closest Point", EUROGRAPHICS SYMPOSIUM ON GEOMETRY PROCESSING 2013, pages 113 - 123 *
ZONGZE WU，ET AL: "Correntropy based scale ICP algorithm for robust point set registration", PATTERN RECOGNITION 93 (2019), pages 14 *
董方新等: "立体视觉和三维激光***的联合标定方法", 仪器仪表学报, pages 2589 - 2596 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406604A (zh) * 2021-06-30 2021-09-17 山东新一代信息产业技术研究院有限公司 一种激光雷达和摄像机位置标定的装置和方法
CN113340334A (zh) * 2021-07-29 2021-09-03 新石器慧通（北京）科技有限公司 用于无人车的传感器标定方法、装置及电子设备
TWI810809B (zh) * 2022-02-10 2023-08-01 勤崴國際科技股份有限公司 街道路牌之大地座標處理方法
CN117872330A (zh) * 2024-03-11 2024-04-12 安徽大学 面向复杂环境的无人驾驶多激光雷达标定与融合建图方法
CN117872330B (zh) * 2024-03-11 2024-05-31 安徽大学 面向复杂环境的无人驾驶多激光雷达标定与融合建图方法

Also Published As

Publication number Publication date
CN113050074B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定***及标定方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN107292921B (zh) 一种基于kinect相机的快速三维重建方法
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN104574406B (zh) 一种360度全景激光与多个视觉***间的联合标定方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN108731587A (zh) 一种基于视觉的无人机动态目标跟踪与定位方法
CN114724120B (zh) 基于雷视语义分割自适应融合的车辆目标检测方法及***
CN108230242B (zh) 一种从全景激光点云到视频流的转换方法
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN110517284B (zh) 一种基于激光雷达和ptz摄像机的目标追踪方法
CN105739106A (zh) 一种体感多视点大尺寸光场真三维显示装置及方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
Ivanovas et al. Block matching based obstacle avoidance for unmanned aerial vehicle
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN113256696B (zh) 基于自然场景的激光雷达和相机的外参标定方法
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
Nguyen et al. CalibBD: Extrinsic calibration of the LiDAR and camera using a bidirectional neural network
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
CN114898144A (zh) 一种基于相机和毫米波雷达数据的自动对齐方法
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
Su Vanishing points in road recognition: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant