CN104574406A - 一种360度全景激光与多个视觉***间的联合标定方法 - Google Patents

Abstract

本发明提供了一种360度全景激光与多个视觉***的联合标定方法，属于移动机器人自主环境感知技术领域。本发明最大的创新点在于采用简单的黑色卡纸作为标定设备，快速实现多个视觉***与全景激光的同时标定。为此本发明基于黑卡纸可使照射到其表面的激光光束具有较低的反射率特性，经过生成反射值图、范围滤波、二值化、点聚类处理，从采集的三维激光数据中提取出属于标定装置的特征点，并采用平面提取方法滤除环境中的噪声物体，进而采用迭代优化方法对基于激光数据的三维特征点和基于图像数据的二维特征点进行求解，从而得到传感器之间的旋转矩阵和平移矩阵。本发明为多传感器信息融合奠定基础，可用在移动机器人场景重构等领域。

Description

一种360度全景激光与多个视觉***间的联合标定方法

技术领域

本发明属于环境感知技术领域，涉及到三维激光测距***与多个视觉***之间的数据融合，特别涉及到三维激光测距***与多个视觉***之间的联合标定方法。

背景技术

在复杂场景中，单一传感器无法满足环境感知和场景理解等任务需求，因而多个传感器之间的数据匹配与融合是提高环境感知与场景理解性能的必要手段，其中多个传感器之间的联合标定是其关键步骤。目前已有多种三维激光和单目视觉的外参标定方法，最常见的方法是使用黑白标定板来标定三维激光与视觉***之间的外部参数(Joung J H,An K H,Kang J W,et al.3D environmentreconstruction using modified color ICP algorithm by fusion of a camera and a 3Dlaser range finder[C],IEEE/RSJ International Conference on Intelligent Robots andSystems(IROS),2009:3082-3088.)，由于这种标定板本身是用于视觉***内参标定的，所以方便视觉***处理，但是对于三维激光***来说，在标定过程中对黑白标定板的扫描效果要求很高，且该方法只适用于较近场景的标定，扫描角度有一定限制。为了便于三维激光***获取标定特征，文献(García-Moreno A I,Gonzalez-Barbosa J J,Ornelas-Rodriguez F J,et al.LIDAR and Panoramic CameraExtrinsic Calibration Approach Using a Pattern Plane[M],Pattern Recognition.Springer Berlin Heidelberg,2013:104-113.)利用多个菱形孔洞的边缘角点作为特征进行三维激光雷达与全景摄像机的参数标定，但是由于受激光点边缘效应的影响，角点特征的获取并不是特别精确，标定的稳定性无法保证。此外，文献(Thomas J Osgood,Yingping Huang.Calibration of laser scanner and camerafusion system for intelligent vehicles using Nelder-Mead optimization[J],Measurement Science & Technology,2013,vol.24,no.3,pp:1-10.)用悬在空中的圆形白色卡片作为标定物进行外参标定，这种方法虽然便于确定特征物体在三维激光数据和图像中的位置，但标定时需要开阔的实验环境，且由于标定物体积比较小，放大了激光点边缘效应对标定物三维坐标的影响，影响标定精度。专利(庄严；王伟；陈东；杨生鹏，大连理工大学，一种三维激光和单目视觉间的自动标定方法，专利号200910187344，)提出采用带孔洞的黑白标定板进行三维激光与单目视觉间的自动标定，该板上有两种信息：颜色信息和空洞信息。其中颜色信息由摄像机获取，通过OpenCV中提供的相关角点检测算法检测出黑白格的交点(即特征点)；空洞信息则通过激光测距仪获取，通过相关算法在激光数据中找到黑白格的交点，然后将两种场景中的特征点对应，就完成了场景的匹配。但该方法存在一定局限性，要求摄像机和激光测距仪的距离较小，不适合摄像机和激光测距仪较远的情况，而且只能适用于激光与单个视觉***的标定。

发明内容

本发明要解决的问题是三维激光测距***与多个视觉***之间的自动联合标定，仅通过一次数据采集就可以方便的实现多个***的外参计算，解决了激光测距***与视觉***不能距离太远的局限，降低了标定方法对标定物和标定环境的要求，减小激光点边缘效应对标定结果的影响，增强了标定方法的实用性和准确性。

本发明的技术方案如下：

1.三维全景激光特性分析和标定装置的设计

本发明使用的三维全景激光***是由二维激光传感器和带有步进电机的旋转云台构成的，旋转云台在水平面上旋转，二维激光传感器扫描平面成扇形，与云台旋转平面垂直，每组激光数据同时包含测距数据和反射值数据，且两种数据一一对应。由于激光传感器存在一定的测量误差，且在物体边缘的激光数据受边缘效应影响，当前景与后景物体距离比较近时，很难根据测距数据将前景和后景物体的数据精确区分；而反射值数据同时受物体材质、颜色等多种物体属性影响，不受物体间距离的限制，可方便实现多类物体数据的划分。

针对上述三维全景激光特性，设计出了三维全景激光与多个视觉***的联合标定装置，所选材料为黑卡纸，并裁剪统一的形状和规格(如图1所示)。经过实验验证，选择黑卡纸可使照射到其表面的激光光束具有较低的反射率，为标定装置设计统一的形状，便于后续特征点的提取，以保证标定算法的鲁棒性和标定结果的准确性。为了获得最好的标定效果，标定黑纸的大小可以根据摄像头的可视范围、激光数据的疏密程度进行适当调整。

2.标定所需激光数据特征点的提取

标定中所需要提取的激光数据特征点是标定黑纸的中心点，首先需要提取投射在标定黑纸上的三维激光点。标定黑纸数据的提取分为预检测和去噪两个环节，其中预检测环节利用黑卡纸的反射值特性，从二维反射值图中查找标定黑纸上激光点的序号，并确定激光点的三维坐标。去噪环节对获取的三维激光数据进行分析处理，去除误检测的三维激光数据，以保证标定精度。

基于激光数据的标定黑纸预检测步骤如下：

1)生成二值化反射值图。以总数据组数和每组数据的激光点数量作为x方向和y方向的像素点个数生成二维图片，使得一个激光点对应一个图像像素。每个像素点的灰度值根据激光点的反射值大小，利用公式(1)对图片进行灰度处理获得，进而得到三维激光点云对应的二维反射值图(如图5(a)所示)。

$g_i=\frac{d_i}{d_{\max }-d_{\min }}\×255---\left(1\right)$

其中d_i和g_i分别为激光点i的反射值和灰度值，d_max和d_min是所有激光点的最大和最小反射值。

为了更便于处理，避免较多干扰，选取标定黑纸所在的距三维全景激光一定范围内的激光数据，此范围可以根据标定黑纸摆放的位置而适当调整(如图5(b)所示)。对反射值图进行二值化处理：

$g_i^{\&prime;}=\left\{\begin{array}{cc}255& g_i>k_g\stackrel{\&OverBar;}{g}\\ 0& g_i<k_g\stackrel{\&OverBar;}{g}\end{array}\right.---\left(2\right)$

其中g_i′为二值化后的像素灰度值，是所有像素点的灰度均值，k_g为灰度调节阈值，影响二值化效果。二值化后，黑纸区域数据的灰度值均为0，图中只剩下黑色和白色，使黑纸区域更加清晰(如图5(c)所示)。

2)对黑色像素点进行聚类。

上述产生的二值图会有一些黑色杂点，为了确定属于各个标定黑纸的激光点，排除干扰，将采用邻域搜索的方法，对二值化灰度图中的黑色像素点进行聚类。聚类过程如下：

聚类算法：

通过上述聚类算法，黑色像素点被聚类为多个像素簇。因为标定黑纸在二值图中所占面积较大，因此可以通过判断像素簇的大小确定是否为标定黑纸，若像素簇的点数小于一定范围，则判断为杂点簇，然后将此簇中所有点的灰度值变成255。通过上述处理，反射值图中只剩下标定黑纸(如图5(d)所示)。

由于激光测距数据和反射值数据按次序一一对应，根据聚类后的像素簇中每个像素的图像索引(x_i,y_i)，利用公式m×x_i+y_i可以得到对应的测距数据序号，其中m为每组激光数据的激光点个数，所以每个像素簇都可以找到对应激光点簇。

上述算法完成了对标定黑纸上激光点的初步检测。该检测方法的优点在于：利用激光的反射值作为检测依据，标定黑纸不用远离背景环境，降低了对标定环境的要求；在二维反射值图的基础上进行聚类，与三维激光点比较降低一维难度。

3)三维激光特征点的去噪算法

受环境中干扰物体的影响，检测到的激光点簇并不全部对应标定黑纸，因此需要下面给出的算法对初步检测得到的激光点簇进行验证，除去环境噪声的影响，确保标定精度。

由于采用激光的反射值作为检测依据，所以环境中具有与标定黑纸相近颜色和材质的物体为主要干扰。针对这种主要干扰，用平整度评估方法区分标定物体和非标定物体。由于属于标定物上的激光点完全在一个平面上，所以通过判断激光点构成的平面是都平整，可以将非平面的标定物体区分出来。设一个激光点簇包含p＝[p₁,p₂,...,p_N]共N个激光点，则激光点的坐标协方差矩阵为：

$A=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{({(p_i-\stackrel{\&OverBar;}{p})}^T\&CenterDot;(p_i-\stackrel{\&OverBar;}{p}))}^2---\left(3\right)$

其中，为激光点中点。计算该协方差矩阵的三个特征值：λ₀、λ₁、λ₂，当其中最小的特征值满足λ₂□λ₁≈λ₀，激光点簇成平面行。这种情况下，可以用两个特征值λ₂和λ₀的比值来评估所成平面的平整度，当比值小于给定阈值的时候，认为该激光点簇属于标定物体：

$\frac{{\mathrm{\&lambda;}}_2}{{\mathrm{\&lambda;}}_0}<k_{\mathrm{\&lambda;}}---\left(4\right)$

其中k_λ为平整度评估阈值。

此外，当激光光束超射到玻璃镜面的时候，由于反射和折射的综合作用，激光的反射值比较小，这种情况下，在灰度图中很难与标定黑纸进行有效区分，对于这种干扰，可以从激光传感器的特性入手。激光光束穿过玻璃镜面后，碰到障碍物反射回来，实际的测量距离远大于玻璃镜面相对于激光传感器的距离。所以当激光点簇的中心点距离小于一定阈值时，认为该点簇为标定物体：

$\sqrt{{x_{\stackrel{\&OverBar;}{q}}}^2+{y_{\stackrel{\&OverBar;}{q}}}^2+{z_{\stackrel{\&OverBar;}{q}}}^2}<k_d---\left(5\right)$

其中和是激光点中点的三维坐标，k_d为距离阈值。

3.三维激光数据到二维视觉数据间变换关系的迭代计算

由于视觉传感器的可视范围有限，远小于三维激光传感器的测量范围，在进行标定时，可以设计与标定黑纸存在色差的背景，然后可以利用像素灰度信息提取出黑卡纸在图像中的对应像素，借鉴黑色像素点聚类方法，对像素点进行分割，以每个像素簇的所有像素的平均图像坐标作为图像特征点。

根据已经获得的激光数据特征中心点和视觉数据特征角点匹配对，采用迭代优化方法来求解三维空间到二维空间的射影变换，此处采用高斯牛顿迭代法进行外参数优化求取。为了方便计算，图像特征点和激光特征点都将用齐次坐标表示。定义为图像特征点二维齐次坐标向量，p_i＝[x_i,y_i,z_i,1]为三维激光点齐次坐标向量，激光点经过转换后对应图像中的像素点坐标向量为 ${\tilde{p}}^{\&prime;}=p\left(\stackrel{\&RightArrow;}{m}\right)=p(f_x,f_y,u_x,u_y,r_1,r_2,r_3,t_x,t_y,t_z),$ 标定的目的是计算一组变换参数使得： $\stackrel{\&RightArrow;}{m}=\arg \underset{\stackrel{\&RightArrow;}{m}}{\min }\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|{\tilde{p}}_i-p_i\left(\stackrel{\&RightArrow;}{m}\right)\left|\right|}^2---\left(6\right)$ 其中f_x,f_y分别为视觉传感器x，y方向的焦距，(u_x,u_y)是感光元件中点相对于图像中心的偏移向量。f_x,f_y,u_x,u_y为视觉***的内部参数，可以通过传统的内参标定方法获得的，所以此处为已知量。r₁,r₂,r₃分别为绕x，y，z三轴的旋转角度，t_x,t_y,t_z分别为三坐标轴方向的平移量。

由高斯牛顿迭代法，给定k时刻的变换参数令在附近有：

$p_i({\stackrel{\&RightArrow;}{m}}^k+{\mathrm{\&Delta;}}^k)=p_i\left({\stackrel{\&RightArrow;}{m}}^k\right)+J_{{\stackrel{\&RightArrow;}{m}}^k}{\mathrm{\&Delta;}}^k$

其中Jacobian矩阵寻找下一个迭代点使得：

$\begin{array}{c}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|{\tilde{p}}_i-p_i\left({\stackrel{\&RightArrow;}{m}}^{k+1}\right)\left|\right|}^2=\underset{{\mathrm{\&Delta;}}^k}{\min }\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left|\right|{\tilde{p}}_i-p_i\left({\stackrel{\&RightArrow;}{m}}^k\right)-J_{{\stackrel{\&RightArrow;}{m}}^k}{\mathrm{\&Delta;}}^k\left|\right|\\ =\underset{{\mathrm{\&Delta;}}^k}{\min }\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\left|\right|{\stackrel{\&RightArrow;}{e}}_i^k-J_{{\stackrel{\&RightArrow;}{m}}^k}{\mathrm{\&Delta;}}^k\left|\right|\end{array}---\left(8\right)$

令 ${\stackrel{\&RightArrow;}{e}}_i^k-J_{{\stackrel{\&RightArrow;}{m}}^k}{\mathrm{\&Delta;}}^k\&ap;0,$ 得正规化方程：

${\mathrm{\&Delta;}}^k={\left({J^T}_{{\stackrel{\&RightArrow;}{m}}^k}{J}_{{\stackrel{\&RightArrow;}{m}}^k}\right)}^{-1}{J^T}_{{\stackrel{\&RightArrow;}{m}}^k}{\stackrel{\&RightArrow;}{e}}_i^k---\left(9\right)$

代入前式的高斯牛顿法的迭代格式：

${\stackrel{\&RightArrow;}{m}}^{k+1}={\stackrel{\&RightArrow;}{m}}^k+{\left({J^T}_{{\stackrel{\&RightArrow;}{m}}^k}{J}_{{\stackrel{\&RightArrow;}{m}}^k}\right)}^{-1}{J^T}_{{\stackrel{\&RightArrow;}{m}}^k}{\stackrel{\&RightArrow;}{e}}^k---\left(10\right)$

利用该迭代格式求取满足公式(6)的变换参数，得到标定结果。

本发明的效果和好处是可以有效地减少噪点、距离、入射角等对三维激光和视觉***间标定的干扰，标定效果比较稳定，能够同时实现三维全景激光和多个视觉***间的标定，标定的实际应用性得到有效的提高。标定所应用的方法设计简单，而且标定装置质量轻、易于携带，不仅可以在室内应用，也可以在室外复杂的环境下实现三维全景激光和视觉***的快速正确标定，进而可以实现三维激光数据和视觉数据的融合，实现复杂环境的场景重构，为基于多传感器数据融合的机器智能技术的发展打下坚实的基础。

附图说明

图1为标定使用的黑卡纸。

图2为设备分布图，包括四个视觉***和一个全景激光

图3为四个视觉***采集的包含标定黑纸的图片

图4为全景激光传感器采集的三维激光数据

图5为从激光数据中提取标定黑纸的过程。(a)三维激光点云对应的二维反射值图，(b)是选取范围内的反射值图，(c)是二值化后的反射值图，(d)是聚类处理后的反射值图。

图6为从三维激光数据中提取出投射到人身体上的三维激光点。

图7为将图5中的激光点利用标定结果反投到四个图片中的效果图。

具体实施方式

为了验证本方法的有效性，利用如图2所构建的传感器***来进行标定方法的验证。全景激光传感器由Hokuyo UTM-30LX型激光传感器和旋转云台组成，其中激光传感器平面扫描角度为0-270度，云台步进电机的频率的应用范围为500-2500Hz。利用电机带动激光传感器获得场景的三维激光测距数据。四个视觉***采用的都是普通ANC FULL HD1080P网络摄像机，使用USB2.0接口，可视视角为60度，分辨率为1280×960。标定装置采用九个300mm×100mm的黑纸，放置在场景中的不同位置。

分别从四个视觉***采集场景中的标定装置图片(如图3所示)，利用对应的图像处理方法可以从图片中提取标定装置。全景激光传感器可以获取整个空间的三维点云数据(如图4所示)以及每个激光点对应的反射值，再经过生成反射值图、范围滤波、二值化、点聚类处理后，可以从激光数据中提取出数据标定装置的激光点(如图5所示)。对图片中二维标定装置特征点和激光数据中的三维标定装置特征点进行迭代匹配，可以计算出旋转和平移矩阵。

得到的三维全景激光测距***与四个视觉***的外参数为:

从定性的角度分析，通过激光点向图片投影的方式对标定结果进行直观验证。以人作为参考物，重新采集对应的图片和三维激光数据，从三维激光点中提取出属于身体部分的激光点(如图6所示)，利用标定得到的旋转矩阵和平移矩阵，将激光点投影到四个图片上，检验标定效果，图7中四个图片里人身体上的白色点为投影的激光点，可以看出激光点可以准确的投影到图片的对应区域上。

Claims (1)

1.一种360度全景激光与多个视觉***间的联合标定方法，其特征在于：采用简单的黑卡纸作为标定装置，利用黑卡纸可使照射到其表面的激光光束具有较低的反射率特性，从二维反射值图中提取属于黑卡纸的激光点，并取其中点作为特征点，分别在不同视觉***的图像中匹配对应的特征点，迭代计算***之间的变换关系，完成三维全景激光和多个视觉***的联合标定；具体步骤如下：

a)首先裁剪出若干个矩形黑色卡纸，卡纸的长不小于30厘米，宽不小于10厘米，随机放置在室内环境中的不同平面上；

b)利用全景激光采集环境三维数据和反射值数据，用对图片进行灰度处理，得到三维激光点云对应的二维反射值图，其中d_i和g_i分别为激光点i的反射值和灰度值，d_max和d_min是所有激光点的最大和最小反射值；选取标定黑纸所在的距三维全景激光一定范围内的激光数据，并对该数据对应的像素点进行二值化处理，使图中只剩下黑色和白色，黑纸区域更加清晰；采用邻域搜索的方法，将二值化后黑色像素点进行聚类，排除干扰；

c)用平整度评估方法区分标定物体和非标定干扰物体，设一个激光点簇包含p＝[p₁,p₂,...,p_N]共N个激光点，则激光点的坐标协方差矩阵为其中为激光点中点；计算该协方差矩阵的三个特征值：λ₀、λ₁、λ₂，当λ₂□λ₁≈λ₀且比值小于给定阈值的时候其中k_λ为平整度评估阈值，认为该激光点簇属于标定物体；

d)定义为图像特征点，为三维激光点，激光点经过转换后对应图像中的像素点坐标向量为 $p\left(\stackrel{\&RightArrow;}{m}\right)=p(f_x,f_y,u_x,u_y,r_1,r_2,r_3,t_x,t_y,t_z),$ 标定的目的是计算一组变换参数满足其中f_x,f_y分别为视觉传感器x，y方向的焦距，(u_x,u_y)是感光元件中点相对于图像中心的偏移向量，都为已知量；r₁,r₂,r₃分别为绕x，y，z三轴的旋转角度，t_x,t_y,t_z分别为三坐标轴方向的平移量；给定k时刻的变换参数令在附近有 $p_i({\stackrel{\&RightArrow;}{m}}^k+{\mathrm{\&Delta;}}^k)=p_i\left({\stackrel{\&RightArrow;}{m}}^k\right)+J_{{\stackrel{\&RightArrow;}{m}}^k}{\mathrm{\&Delta;}}^k,$ 其中Jacobian矩阵 $J_{{\stackrel{\&RightArrow;}{m}}^k}={\frac{\&PartialD;p_i}{\&PartialD;\stackrel{\&RightArrow;}{m}}|}_{\stackrel{\&RightArrow;}{m}={\stackrel{\&RightArrow;}{m}}^k},$ 寻找下一个迭代点 ${\stackrel{\&RightArrow;}{m}}^{k+1}={\stackrel{\&RightArrow;}{m}}^k+{\mathrm{\&Delta;}}^k$ 使得：令 ${\stackrel{\&RightArrow;}{e}}_i^k-J_{{\stackrel{\&RightArrow;}{m}}^k}{\mathrm{\&Delta;}}^k\&ap;0,$ 得正规化方程 ${\mathrm{\&Delta;}}^k={\left({J^T}_{{\stackrel{\&RightArrow;}{m}}^k}{J}_{{\stackrel{\&RightArrow;}{m}}^k}\right)}^{-1}{J^T}_{{\stackrel{\&RightArrow;}{m}}^k}{\stackrel{\&RightArrow;}{e}}_i^k,$ 从而得到利用该迭代格式求取变换参数，得到标定结果。