CN108828606A

CN108828606A - 一种基于激光雷达和双目可见光相机联合测量方法

Info

Publication number: CN108828606A
Application number: CN201810240140.4A
Authority: CN
Inventors: 曹剑中; 胡国良; 周祚峰; 郭惠楠; 黄会敏
Original assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Current assignee: XiAn Institute of Optics and Precision Mechanics of CAS
Priority date: 2018-03-22
Filing date: 2018-03-22
Publication date: 2018-11-16
Anticipated expiration: 2038-03-22
Also published as: CN108828606B

Abstract

本发明提供一种基于激光雷达和双目可见光相机联合测量方法，能够简便、高效地获得目标更加准确和稠密的三维信息。该联合测量方法将激光雷达假设成一个具有固定内参的相机设备，将三维点云数据直接投影为二维图像，采用图像处理的方法，利用二维图像之间的匹配标定出激光雷达设备和双目相机之间的旋转、平移关系；其中创新性的引入求矩阵范数和矩阵迹的思想进行旋转矩阵的求解；最终将激光雷达和双目立体视觉点云数据融合，不但可以获得精确的位置和姿态信息，而且可以重建出目标表面特殊的纹理、特征信息，这对于军用领域中的航天器交汇对接，敌对卫星捕获等、以及民用领域中的工件测量、无人驾驶等都有很高的应用价值。

Description

一种基于激光雷达和双目可见光相机联合测量方法

技术领域

本发明属于雷达与视觉测量技术领域，涉及一种三维信息测量的方法。

背景技术

双目视觉主要研究如何利用计算机实现人眼的功能，即利用二维投影图像实现对客观世界三维场景的感知、识别和理解。随着计算机技术的迅速发展，人们对三维模型的需求越来越多。双目立体视觉测量工作原理是由不同位置的两台拍摄一幅场景，根据空间点在两幅图像中的视差，获得该点的三维坐标值。

视觉测量***经过长期发展，已经出现了多种先进的图像处理方法。但是视觉***仍然只能在工程环境，如工业化或者实验室场景中使用。在对测量精度要求严格的场景中，例如卫星的自主交汇对接和避障中，非合作航天器或卫星的捕获中，极小的误差就会导致灾难性的后果，这种情况下，视觉***还不能作为主要手段单独使用。视觉测量***的限制来源于测量原理的限制，不管通过主动照明或者被动光源，测量结果往往过于依赖于反射光的强度，因此这种测量方式在敏感的照明条件下，对于成像中的弱纹理区域，物体特征提取与匹配很难实现，导致测量不准确。

激光雷达又称激光扫描仪，是一种新兴的遥感手段，它利用激光测距原理，通过实时的激光束空间角位移来获取目标物表面点的三维坐标信息。三维激光扫描技术集光、机、电等各种技术于一身，它是传统测绘计量技术经过精密的传感工艺整合和多种现代高科技手段集成而发展起来的，是对多种传统测绘技术的概括及一体化。三维激光扫描技术是一门新兴的测绘技术，是测绘领域GPS技术之后的又一次技术革命。由于技术上突破了传统的单点测量方法，其最大特点就是精度高、速度快、逼近原形，是目前国内外测绘领域研究关注的热点之一。

激光雷达测量***与双目视觉测量***相比，虽然单点测量精度更高，但如果对整个目标场景扫描，则存在相对数据稀疏、扫描频率相对低的缺点，而且激光雷达只对距离信息敏感，对纹理不敏感，所以激光雷达点云数据缺失纹理信息，而且缺少表面特殊特征或颜色信息。

中国专利文献CN 107421465 A(一种基于激光跟踪仪的双目视觉拼接方法)提出了采用激光跟踪仪(并不是激光雷达测量***)和双目视觉***进行三维数据拼接的方法。激光跟踪仪实质相当于一台能激光干涉测距和自动跟踪测角测距的全站仪，区别之处在于它没有望远镜。激光跟踪仪的关键设备是反射器靶标，造价比较昂贵，为一种光学逆反射器，它把所有沿光轴方向入射的光线沿原路反射回去，进入干涉***，与参考光发生干涉实现对位移的高精度测量。激光跟踪仪根据接收回来的光束在位置检测器上的偏差来带动转镜转动，直至入射光通过目标反射镜的中心，使***重新达到跟踪平衡状态。此方案中对于目标的测量完全是依靠双目视觉***，为了解决遮挡现象，围绕目标旋转双目***，重建出多组三维点云数据。引入激光跟踪仪的目的，是将多组双目点云数据全部转换到统一的激光跟踪仪坐标系下，从而实现目标的全部表面的三维重建。为了实现多组点云的融合，***必须先要获得相机和激光跟踪仪之间的旋转、平移关系，该方法分别建立激光跟踪仪坐标系，发射器靶标坐标系，双目相机坐标系三个坐标系，通过分别标定出激光跟踪仪与靶标坐标系的位置关系，双目相机与靶标坐标系之间的位置关系，进而求出激光跟踪仪和双目相机坐标系之间的位置关系，为后续的点云数据拼接做准备。此方法中使用的反射器靶标造价昂贵，无法使用很多，这样对于双目相机和靶标坐标系的标定是非常不利的，因为使用的特征点太少，而且占整个相机成像视场太小，相机标定的精度不会很高。工业中对于表面纹理信息不是非常丰富的工件(比如纯色的)进行测量，使用双目视觉测量手段也是很难实现的，双目特征误匹配率非常高。

国防科学技术大学焦宏伟的博士论文“基于成像激光雷达与双CCD复合的三维精细成像技术研究”一文中提出了一种利用三维靶标来实现激光雷达与相机的标定方法。该方案使用的三维靶标由三个面组成，三个面上全部绘制网格，激光雷达扫描的数据中找不到网格点的三维坐标，因为雷达扫描数据是没有平面特征点的。为了实现标定，文章中必须要先将激光雷达数据中各个面的点集筛选开来，然后各自拟合平面，拟合出三个面再求三个面的交点作为激光雷达坐标系中的最重要的一个三维点，然后再根据设计网格时候的网格尺寸和三个面各自的方程，算出其他网格点的三维坐标。同时这个三面网格立体靶标在相机图像中是很容易提取出其所有的网格点的二维图像坐标的，这样利用上面的三维坐标和对应的二维坐标利用类似于张正友标定法就可以先算出投影矩阵，然后再算出旋转矩阵和平移矩阵，至此就完成了激光雷达和相机之间的标定。这种标定方法存在一些问题：

1)计算工作量过大，流程繁杂。因为首先要准确的将三个面的点集筛选开来，还要拟合平面，再匹配三维网格点和图像中的网格点之后，然后才能进行标定流程。

2)容易引入累积误差，精度没保证。三个平面的拟合过程必然是有误差的，就导致三面交点的求解有误差引入，进而计算出的其他网格坐标都是有误差的。后面用的是类似张正友标定法中的，先求投影矩阵，然后求旋转，平移矩阵。此类方法得出的结果往往并不好，因为依赖的标定点需要非常多，而且必须对标定的数据进行优化才能得到好的标定值。

3)标定中要使用尽量多的网格点以减小误差，因为立体靶标是三面的，为了让相机拍摄到尽量多的网格点，对靶标的放置就有要求，如果随意放置，拍摄出的网格点在图像中的布局不规则，在做三维网格点与二维图像的网格点匹配时候很难自动完成，如果点非常多的话，人工介入处理就非常麻烦。

发明内容

本发明提供一种基于激光雷达和双目可见光相机联合测量方法，能够简便、高效地获得目标更加准确和稠密的三维信息，不但可以获得精确的位置和姿态信息，而且可以重建出目标表面特殊的纹理、特征信息。

本发明技术实现的关键在于：激光雷达和双目相机之间的的标定，双目相机之间的标定；从而可以实现激光雷达获得的点云数据和双目相机测量获取的点云数据进行融合测量，最终可获得非合作目标的相对更加精确和稠密的点云数据。

对于如何实现对激光雷达和双目相机的联合标定，总结本发明的设计构思以及理论分析如下：

对于激光雷达与双目可见光相机的标定，使用激光雷达和双目相机中的左相机都对立体靶标进行扫描和成像，将激光雷达假设成一个具有固定内参的相机设备，利用设定的合适的参数将空间三维靶标投影到二维图像上，利用图像处理的手段得到靶标中心坐标，利用计算机视觉中的对极几何理论，先采用8点法计算出两个设备之间的基础矩阵F，进而求出本质矩阵E。基于本质矩阵E，本发明特别引入一种求矩阵范数和求矩阵迹的推导思路，提出了一种新的通过分解本质矩阵求解旋转矩阵R、平移矩阵T的方法。

上述方法过程同样适用于双目相机之间的标定。

以上标定方法具体的理论推导如下：

设p_l和p_r分别为左右图像中对应的特征点，M_l、M_r分别为左右两个成像设备的内参矩阵，根据计算机视觉中对极几何理论，有：

矩阵E称为本质矩阵，矩阵F称为基础矩阵，都是3*3的矩阵。公式(1)可化为:

其中：p_l＝[x₁ y₁]^T，p_r＝[x₂ y₂]^T，

利用8对以上的匹配点就可以求出基础矩阵F。然后再通过公式(2)求得本质矩阵E。为了减小误差，尽量采用足够多的匹配点进行解算。

标定最想得到的是两个成像设备之间的旋转和平移矩阵。

本质矩阵的性质：

E＝RS (4)

E*T＝RS*T＝0 (5)

其中，R为设备间的旋转矩阵，S为平移矩阵T构造的反对称矩阵。

利用奇异值分解的方法可得T的值，这里注意T是归一化的，缺少一个比例系数，并不是两个设备之间真实的平移向量。要在求出R以后才能再去求比例系数。

求出T以后，假设T＝[t₁ t₂ t₃]^T，就是求解旋转矩阵R了。R的求解其实是一个最优化问题，本发明创新性的引入求矩阵范数和矩阵迹的思想进行推导，方程如下：

问题转化为：

其中M＝SE^T进行奇异值分解：

M＝UDV^T (8)

因为Z＝V^TRU为正交矩阵，故Z_ii≤1

则当Z＝V^TRU＝I，trace(MRS)最大。

则R＝V*U^T (10)

实验过程中发现，R有两个解。原因是本质矩阵的一个性质：特征值有一个为零，另外两个相等，即：

则对于奇异值分解：M＝[U₁ U₂ U₃]D[V₁ V₂ V₃]^T (11)

U₃的正负取值，使得奇异值分解都是成立的。而如何判定哪个R正确呢？因为R(1)值代表左设备的X轴在右设备X轴上的投影，应为正的，如果解算过程中发现R(1)为负，则这时候，把U₃取负，再带入解算，就正确了。至此R就得到了。

前面提到T的值缺少一个比例系数，这时候只要利用刚标定出来的R和T对两组对应点进行重建，用两个点三维空间的真实距离除以计算值就可以得到需要的比例系数了，当然，为了减小误差，可以计算多组数据求平均值即可。

为了验证以上本质矩阵分解理论的正确性，实验过程中构造了20组R、T矩阵，利用公式(4)算出本质矩阵，再用上述方法进行分解反求R、T，结果与构造的R、T完全相同，证明了分解理论的正确性。

对于激光雷达的扫描成像，本发明优化设计立体靶标为球型靶标。无论是激光雷达还是相机，从任何角度扫描或拍摄都是一个圆球或圆斑，激光雷达扫描出的圆球点云在投影到二维图像时候必然就是一个圆斑了。这样，在进行圆斑中心坐标的提取就相对简单，而且激光雷达的投影图像和相机的图像中，所有圆斑的布局顺序是一样的，中心点的匹配就可以自动完成，速度很快。

由于圆斑中心的匹配可以很容易的自动完成，所以整个靶标可以使用很多的圆球以减小误差。每个圆斑中心的提取都是独立的，特征点越多，利用8点法求出本质矩阵E误差越小，不会像传统方法那样引入累积误差。再利用本发明提出的分解本质矩阵求旋转、平移的方法，就可以准确分解得到设备间的旋转R、平移矩阵T。

基于以上设计构思以及理论分析，本发明最终给出以下解决方案：

该基于激光雷达和双目可见光相机联合测量方法，其特征在于：包括以下步骤：

1)搭建测量***，并设立坐标系；所述实验设备包括激光雷达、双目可见光相机；

2)激光雷达与双目可见光相机的标定

设置球型靶标，即在平整的基板上布置多个圆球，各圆球之间的间距已知；

激光雷达对球型靶标进行扫描得到三维点云数据，将激光雷达假设成一个具有固定内参的相机设备，将三维点云数据投影得到第一组二维图像；

使用双目可见光相机其中一个相机对球型靶标进行成像得到第二组二维图像；

利用图像处理的手段分别得到两组二维图像中的所有圆球的中心坐标，基于两组中心坐标，依据计算机视觉中对极几何理论，先采用8点法计算出激光雷达和双目可见光相机之间的基础矩阵F，进而求出本质矩阵E；

按照公式E*T＝RS*T＝0，S为平移矩阵T构造的反对称矩阵，根据本质矩阵E求解得到激光雷达和双目可见光相机之间的平移矩阵T；

然后根据E＝RS，按照求矩阵范数和求矩阵迹的推导思路进行最优化求解，推导得出当trace(SE^TRS)最大时满足trace(||E-RS||)最小，根据R＝V*U^T计算得出旋转矩阵R，其中V和U为对SE^T进行奇异值分解得到的两个酉矩阵；即完成激光雷达与双目可见光相机的标定；

3)双目可见光相机之间的标定

设置靶标，双目可见光相机中的两个相机分别对靶标进行成像，得到两组二维图像，利用图像处理的手段分别得到两组二维图像中靶标的对应特征点坐标，基于两组特征点坐标，依据计算机视觉中对极几何理论，先采用8点法计算出双目可见光相机之间的基础矩阵F，进而求出本质矩阵E；

按照公式E*T＝RS*T＝0，S为平移矩阵T构造的反对称矩阵，根据本质矩阵E求解得到双目可见光相机之间的平移矩阵T；

然后根据E＝RS，按照求矩阵范数和求矩阵迹的推导思路进行最优化求解，推导得出当trace(SE^TRS)最大时满足trace(||E-RS||)最小，根据R＝V*U^T计算得出旋转矩阵R，其中V和U为对SE^T进行奇异值分解得到的两个酉矩阵；即完成双目可见光相机之间的标定；

需要说明的是，以上区分步骤2)、步骤3)只是表明这是两个独立的过程，并非是对先后顺序的限定，即：可以先进行步骤2)再进行步骤3)，也可以先进行步骤3)再进行步骤2)；而且，在都选择球型标靶的情况下这两个步骤可以同时进行。

4)测量、融合

激光雷达对被测目标进行扫描得到第一组三维点云数据；

双目可见光相机对被测目标进行成像，根据步骤3)标定得到的平移矩阵T和旋转矩阵R进行三维重建，得到第二组三维点云数据；

根据步骤2)标定得到的平移矩阵T和旋转矩阵R，对第一组三维点云数据进行相应的平移、旋转变换，完成两组三维点云数据的融合。

进一步优化的，步骤3)中靶标可采用棋盘格标定板。相比步骤2)特别设置的球型靶标，步骤3)采用常规的棋盘格标定板能够使最终位姿测量的精度更高。

进一步优化的，步骤2)中所设置的球型靶标，其基板上多个圆球大小相同，等间距布置。如此，能够方便步骤2)标定更为精确，从而使最终点云融合的效果更好。

进一步优化的，根据本质矩阵E求解平移矩阵T，可采用SVD分解的方式。当然，现有技术中对此还有很多其他常规求解方式。

进一步优化的，双目可见光相机的两个相机分别置于激光雷达的左右两侧。由于联合测量只对重合区域进行融合，所以如此设置可使重合区域更大，则最终融合的范围更完整。

进一步优化的，若所采用的双目相机并非工业相机(内参已知)，则在步骤2)之前，最好先对双目相机的单个相机的内参进行标定。具体可利用张正友标定法完成双目相机单个相机的内参的标定。

本发明的技术效果如下：

1、本发明将激光雷达和双目立体视觉点云数据融合，可以弥补各自的缺点，获得目标更加准确和稠密的三维信息，不但可以获得精确的位置和姿态信息，而且可以重建出目标表面特殊的纹理、特征信息，这对于军用领域中的航天器交汇对接，敌对卫星捕获等，以及民用领域中的工件测量，无人驾驶等都有很高的应用价值。

2、对于多组点云之间的融合，现有的方法大都采用的是基于点云坐标和局部特征相似度进行匹配的方法，比如迭代最近点、基于薄板样条的匹配方法、一致点漂移和基于全局与局部特征的匹配方法。由于一组点云数据往往有几百万个点，如果每次融合都重新采用传统的方法进行配准，工作量将非常大，效率很低。

而本发明中将激光雷达假设成一个具有固定内参的相机设备，将三维点云数据直接投影为二维图像，采用图像处理的方法，利用二维图像之间的匹配标定出激光雷达设备和双目相机之间的旋转、平移关系。这样，就可以对任意多组的点云数据直接利用标定出的旋转、平移关系进行融合。本发明只需进行一次标定，时间复杂度和空间复杂度都远远小于传统的方法，大大减少了工作量。

3、本发明创新性地引入求矩阵范数和矩阵迹的思想进行旋转矩阵的求解，与先求出多组的R、T、再进行优化的常规方法相比，本发明的这种求解方法计算量更小，标定速度更快，不会引入更多的累积误差，标定的准确度更高，从而使得最终的位姿测量精度更高。

4、本发明优化设计立体靶标为球型靶标，进行靶标的对应特征点坐标提取时简便快捷，而且整个靶标可以使用很多的圆球以减小误差。

附图说明

图1为为测量总流程图。

图2为相机与激光雷达标定流程图。

图3为双目测量流程图。

图4为双目相机标定使用的棋盘格标定板。

图5为激光雷达与相机联合标定的立体靶标。

图6为激光雷达三维点云图。

图7为激光雷达点云截取靶标处的三维点云图。

图8为激光雷达靶标三维点云投影到二维的图像。

图9为滤波后图像。

图10为二值化处理后的图像。

图11为提取的40个圆斑中心。

图12为相机图像处理后提取的靶标中心。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本实施例搭建的测量***，激光雷达架设在双目相机中间，双目相机测量***的总坐标系建立在左相机上，原点建立在光心处，相机成像平面的u方向为X方向，v方向为Y方向，光轴方向为Z轴方向。

测量***中采用的相机为京航JHSM300f。像元大小3.2*3.2μm，分辨率2048*1536。采用两台可随意放置构成双目测量***。

激光雷达采用的是FARO Focus3D X330 HDR，是一款具有超长扫描距离的高速三维扫描仪。扫描范围0.6-330米；测量误差在10m和25m时误差为±2mm,；反射率分别为90％和10％；分辨率为大于7000万彩色像素；垂直分辨率为0.009度；水平分辨率为0.009度。

如图1所示，总体测量过程为：

首先利用张正友标定法完成双目相机单个相机的内参的标定，利用本发明提出的矩阵求解方法完成双目相机之间的旋转、平移关系的标定。再完成双目左相机与激光雷达设备之间的旋转、平移关系的标定。然后利用标定的结果，首先完成双目相机的测量从而重建目标的三维点云，最后完成双目点云与激光雷达点云的融合。

如图2所示，双目相机(之一)与激光雷达标定的过程为：

首先将激光雷达假设成一个具有固定内参的相机设备，先假设出它的焦距，光心位置，然后对其扫描得到的三维点云进行投影到2D图像，经过滤波，二值化处理就可以提取出立体靶标，进而提取靶标中心。对双目中左相机的靶标图像采用同样的方法提取出靶标中心，两组图像的靶标中心利用对极几何的原理，采用8点法求解出基础矩阵F，进而求本质矩阵E，然后对本质矩阵SVD分解，最后得到两个设备间的旋转、平移矩阵。

双目相机之间的标定与上面的方法类似。

双目相机测量的流程图，如图3所示。首先进行双目相机相机标定(包括双目相机内参的标定和双目相机之间的标定)，然后分别对左右图像进行特征提取和匹配，获取视差图进而重建出目标的三维点云。

下面结合具体的试验案例，对本发明进行说明，步骤如下：

步骤1)搭建实验设备，并设立坐标系。

步骤2)双目相机测量***的标定：

采用两个JHSM300f相机构成双目测量***，利用张正友标定法和图4所示棋盘格标定板对相机进行标定，标定结果如下：

左相机内参矩阵：

右相机内参矩阵：

利用1458组对应点求解出本质矩阵。

并用本发明提出的方法分解求得旋转、平移矩阵。分解得到右相机到左相机的旋转、平移关系为：

为了验证本发明求解的旋转平移关系更好，用得到的矩阵对这1458个点进行三维坐标的重建，对比真实距离与计算值之间的误差，与Matlab中自带的传统方法进行比较。

Matlab中自带的传统方法，求解的旋转、平移矩阵为：

T＝[-332.284802560441 -2.10062465311190 6.67091696474354]

表1求解方法效果对比

真值(mm)	本发明方法(mm)	Matlab传统方法(mm)
			50	49.7691	50.2390
100	99.8966	100.6317
			150	149.8056	150.5668
200	199.8594	200.4737
			70.7107	70.3406	71.1591
400	399.6709	400.6941

从表1中数据可以明显看出，本发明方法求解的结果比Matlab自带的方法精度要高很多。

步骤3)激光雷达与双目左相机的标定

首先利用图5所示的球型靶标获取激光雷达的扫描数据，如图6所示，然后单独截取立体靶标处的三维数据，如图7所示。

现在将激光雷达假设成一个相机，为其设定合适的内参矩阵：

对靶标点云进行投影为2D图像，如图8所示。对图像进行滤波，得到如图9所示图像，然后二值化得图10所示图像。提取圆斑中心，如图11所示。

获取左相机图像，设定合适的阈值进行二值化提取，进而提取靶标中心，如图12所示。

对两组靶标中心采用8点法求解出本质矩阵，然后对本质矩阵进行分解得到两个设备间的旋转平移关系。

T＝[0.203788030063619 -0.124632794510692 -0.0517513804995891]

步骤4)点云融合

根据标定结果，双目测量***重建点云，对激光雷达点云数据进行相应的平移、旋转变换，完成两组三维点云数据的融合。

实验结果表明：

双目测量***对于目标上强纹理区域，比如颜色特征明显的红色，蓝色圆环，角点区域都可以很好的重建出来，但是对于其他地方的弱纹理区域是很难重建的。

激光雷达获取的点云数据范围较大，但是激光雷达只对距离信息敏感，而对目标上的的颜色，特殊特征是不敏感的，所以扫描出的点云只有距离信息。

通过将两组点云数据的融合，可以很好的弥补各自的缺点，获得非合作目标更加准确和丰富的三维信息。

为了验证本次测量实验的测量精度，采用了高精度的旋转平台Zolix RAK200，定位误差小于0.005度。通过比较计算值和实际旋转、平移值，得出算法满足1m距离下相对距离测量误差小于0.05m@1m，相对角度测量误差小于0.4°@1m。多组高精度数据结果，也验证了本发明提出的本质矩阵分解求取旋转、平移矩阵的方法的正确性；无论是在军用、民用领域，都有很高的应用价值。

Claims

1.一种基于激光雷达和双目可见光相机联合测量方法，其特征在于：包括以下步骤：

2)激光雷达与双目可见光相机的标定

3)双目可见光相机之间的标定

4)测量、融合

激光雷达对被测目标进行扫描得到第一组三维点云数据；

2.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法，其特征在于：步骤3)中靶标为棋盘格标定板。

3.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法，其特征在于：所述球型靶标的基板上，多个圆球大小相同，等间距布置。

4.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法，其特征在于：根据本质矩阵E求解平移矩阵T是采用SVD分解的方式。

5.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法，其特征在于：双目可见光相机的两个相机分别置于激光雷达的左右两侧。

6.根据权利要求1所述的基于激光雷达和双目可见光相机联合测量方法，其特征在于：在步骤2)之前，先对双目可见光相机的单个相机的内参进行标定。

7.根据权利要求6所述的基于激光雷达和双目可见光相机联合测量方法，其特征在于：利用张正友标定法完成双目可见光相机单个相机的内参的标定。