CN105043250B

CN105043250B - 一种基于至少两个公共标记点的双视角数据对齐方法

Info

Publication number: CN105043250B
Application number: CN201510289607.0A
Authority: CN
Inventors: 聂建辉; 刘烨
Original assignee: Nanjing Post and Telecommunication University
Current assignee: Nanjing Post and Telecommunication University
Priority date: 2015-05-29
Filing date: 2015-05-29
Publication date: 2017-08-11
Anticipated expiration: 2035-05-29
Also published as: CN105043250A

Abstract

本发明公开了一种基于至少两个公共标记点的双视角数据对齐方法，其步骤包括：重建相邻视角下标记点中心位置和法向量信息，基于重建的公共标记点中心位置和法向量信息计算相邻视角的旋转平移关系。相对于传统的仅依赖标记点中心位置的数据对齐方法，本发明所述方法能够充分利用标记点提供的信息，仅需在相邻视角中看到2个公共标记点即能实现可靠的数据对齐，减少了需要粘贴在物体表面的标记点数量和标记点对被测量物体的遮盖。本发明易于实施、结果可靠，可应用在一切采用标记点辅助对齐不同视角测量数据的领域。

Description

一种基于至少两个公共标记点的双视角数据对齐方法

技术领域

本发明涉及一种基于至少两个公共标记点的双视角数据对齐方法，属于图像处理和视觉测量领域。

背景技术

视觉测量是一种利用相机采集被测量物体表面图像并从中恢复出其三维外形的技术。线结构光测量和面结构光测量是诸多视觉测量方法中常用的两种实现方式。无论采用何种视觉测量方法，为了获取完整的物体表面数据，需要在多个位置以多个角度对物体进行测量。这就需要将多个角度下不同坐标系的测量数据融合到一个统一的坐标系下，以纠正由于测量装置位置移动带来的数据错位。

目前，对齐不同视角下测量数据的算法大致可以分为基于运动机构的方法、基于ICP的方法和基于标记点的方法三类：

第一类方法通过将测量装置固定在特定的运动机构上然后依靠读取运动机构编码器的数值获取视角间坐标系的变换关系，如林娜等人将测量装置安装在六自由度机械臂上；吴俣等人将测量装置与旋转平台相结合进行测量。采用这种方式进行数据对齐的缺陷是，测量装置的工作范围受到运动机构行程的限制，且容易形成测量死角。

第二类方法将两视角数据中距离最近点作为匹配点，并依此计算出一个旋转平移关系。迭代地进行上述步骤，即可以得出最终的双视角变换关系。但这种方法仅适用于面结构光测量方式，并且对两视角数据初始位置关系有要求，如果数据错位严重，则有可能得不到正确的对齐结果。

第三类方法通过在被测量物体表面粘贴标记点，并利用标记点中心的拓扑关系搜索两视角中的公共标记点(为计算稳定性一般采用四个)实现数据对齐。由于标记点中心具有很高的定位精度，因此，基于该方法的数据融合精度很高。同时，由于没有运动机构的束缚，理论上可以进行无限拼接。但是，标记点覆盖了物体部分表面，因此，被遮挡部分的数据只能依靠后期修复得到，影响了数据获取的完整性和准确性。

发明内容

本发明所要解决的技术问题是提供一种基于至少两个公共标记点的双视角数据对齐方法，本发明将标记点数量减少到了两个，减少了在物体表面粘贴标记点的数量，进而减少了被标记点遮挡的物体表面积，提高了数据的完整性。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于至少两个公共标记点的双视角数据对齐方法，双视角至少有两个公共标记点，该方法包含以下步骤：

步骤1，在被测量物体上粘贴圆形标记点，左右目相机分别拍摄被测量物体，得到左右目图像；

步骤2，从步骤1中得到的左右目图像中提取出标记点边缘成像位置，利用椭圆拟合算法得到左右目标记点中心成像位置；

步骤3，将步骤2中得到的左右目标记点中心成像位置进行立体匹配，并根据匹配结果，完成标记点边缘成像位置在左右目图像中的匹配；

步骤4，利用双目三角法重建标记点中心和边缘位置的三维坐标；

步骤5，利用步骤4重建得到的标记点中心和边缘位置的三维坐标拟合平面，得到标记点所在局部平面的法向量信息；

步骤6，在另一个视角下，利用左右目相机分别拍摄被测量物体，重复步骤2～步骤5，得到该视角下的标记点中心的三维坐标及其所在局部平面的法向量信息；

步骤7，搜索两个视角下的公共标记点，利用搜索到的公共标记点的中心三维坐标及其所在局部平面的法向量信息，计算两视角间坐标系旋转平移关系，从而完成双视角数据对齐。

作为本发明的进一步优化方案，步骤1中的圆形标记点是编码或非编码标记点。

作为本发明的进一步优化方案，步骤1中在被测量物体上较为平坦的位置处粘贴标记点。

作为本发明的进一步优化方案，步骤1中左右目相机的内参数及左右目相机坐标系的刚体变换关系已经事先进行了标定。

作为本发明的进一步优化方案，步骤3中将步骤2中得到的左右目标记点中心成像位置进行立体匹配，具体步骤如下：

5.1如果采用圆形编码标记点，则依照标记点的编码值完成左右目标记点中心成像位置立体匹配；

5.2如果采用非编码标记点，则按照分为以下两种：

1)如果采用面结构光原理进行单视角数据测量，则依赖标记点中心成像位置的相位值完成立体匹配，具体为：

①对于左目中的任意标记点中心成像位置，根据左目相机的基本矩阵计算其在右目图像中的极线方程；

②搜索右目图像中位于①中极线两侧的标记点中心成像位置，找到其中与左目标记点中心成像位置相位最接近的那个作为匹配像素点，完成左右目标记点中心成像位置的匹配；

2)如果采用线结构光原理进行单视角数据测量，则具体为：

②搜索右目图像中位于极线两侧的标记点中心成像位置，作为左目标记点中心成像位置的潜在匹配点；

③利用视差梯度约束构造匹配支持度函数；

④通过松弛方法优化匹配支持度函数，完成左右目标记点中心成像位置的匹配。

作为本发明的进一步优化方案，步骤3中标记点边缘成像位置在左右目图像中的匹配，具体步骤如下：

6.1任意选取左目标记点边缘成像位置中的一点p_l，根据左目相机的基本矩阵计算其在右目图像中的极线方程L_l；

6.2记右目图像中的所有标记点边缘成像位置拟合所得的椭圆为e_r，找到极线L_l与椭圆e_r的两个交点p_r1和p_r2；

6.3假设左右目匹配标记点中心成像位置为c_l和c_r，则根据立体匹配顺序一致性原则，选取和中与向量夹角小者作为匹配点，完成p_l所在的边缘成像位置在左右目图像中的匹配。

作为本发明的进一步优化方案，步骤7中搜索两个视角下的公共标记点依赖标记点之间的拓扑关系来完成。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.相对于传统基于标记点对齐的方法，本发明所述方法将对齐所用最少标记点由4个减少为2个，这减少了在物体表面粘贴标记点的数量，进而减少了被标记点遮挡的物体表面积，提高了数据的完整性；

2.由于仅需要在相邻视角中看到两个公共标记点，因此，采用本发明方法进行数据对齐的测量装置可以有更灵活的测量姿态，极大的方便了测量操作，减少了测量死角的存在；

3.本发明的计算结果，可以为基于ICP的对齐方法提供良好的迭代初值；

4.本发明可应用于一切需要依靠圆形标记点进行两视角测量数据对齐的场合，诸如基于激光的线结构光测量、白光测量以及TOF相机测量等。

附图说明

图1是本发明实施所用的多激光线扫描装置示意图。

其中，1-左右目相机；2-一字线激光发射器；3-骨架。

图2是应用本方法进行双视角测量数据对齐的流程图。

图3是标记点边缘匹配示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

图1为本实施例所用的线结构光测量装置，其由左右目相机和一个一字线激光发射器组成。左右目相机均采用The Imaging Source公司的DMK23U445工业相机，其传感器为1/3"CCD，输出方式为USB3.0，镜头选用Computar M0814-MP2百万像素定焦镜头；两相机通过骨架刚性连接，左右目相机光轴间夹角约为40°，基线距离约为25cm。一字线激光器位于两相机中间位置。在实施具体步骤前，测量装置参数已经进行了标定，所述参数包括：左右目相机内参数、左右目相机坐标系间的刚体变换参数及光平面方程。

如图2所示，应用本方法进行双视角数据对齐的具体步骤如下：

步骤1：在被测量物体表面粘贴非编码圆形标记点。

步骤2：调用相机驱动程序，利用左右目相机拍摄被测量物体图像，分别记所采集的左右目图像为I_l和I_r。假设左目图像I_l上有m₁个标记点，右目图像I_r上有n₁个标记点。

步骤3：提取左、右目图像中的非编码圆形标记点的成像位置，其主要步骤如下：

1)对图像进行Canny边缘提取；

2)对Canny边缘的每一条边缘线进行验证，并滤除边缘长度或者边缘最小包围矩形长短轴比例超出合理范围的边缘线；

3)利用椭圆表达式拟合过滤后的边缘线，并进一步滤除拟合误差超出容限ε的边缘，最终通过椭圆表达式得到标记圆中心成像位置。

步骤4：匹配左右目标记点中心成像位置，主要步骤如下：

1)对于左目中的任意标记圆中心成像位置，根据相机基本矩阵计算其在右目图像中的极线方程。

2)搜索右目图像中位于极线两侧的标记点中心成像位置，作为左目标记点中心成像位置的潜在匹配点。

3)利用视差梯度约束来构造匹配支持度函数。

4)通过松弛方法优化匹配支持度函数完成标记点中心的匹配。

步骤5：匹配左右目标记点边缘成像位置，如图3所示，对于已匹配中心成像位置的左目椭圆e_l和右目椭圆e_r，采用如下步骤1)至步骤3)完成边缘成像位置匹配：

1)任意选取左目标记圆边缘成像中的一点p_l，根据相机基本矩阵计算其在右目图像中的极线方程L_l。

2)记该标记点边缘在右目图像中的所有成像位置拟合所得椭圆为e_r，并找到所述极线L_l与椭圆e_r的两个交点p_r1和p_r2。

3)假设左右目匹配标记点中心成像位置为c_l和c_r，根据立体匹配顺序一致性原则，选取和中与向量夹角小者作为匹配点(如图3中的p_r1点)。

步骤6：利用双目三角法重建标记点中心和边缘位置的三维坐标，具体为：

根据匹配关系和测量装置参数，计算每个已匹配标记点中心和边缘点在左目相机坐标系下的三维坐标。假设任意一个已匹配标记点在左、右目图像中成像位置分别为p_l(u_l,v_l)和p_r(u_r,v_r),且两相机坐标系间存在刚体变换关系R、T。记该点在左、右目相机坐标系下坐标分别为(x_l,y_l,z_l)、(x_r,y_r,z_r)，根据小孔成像模型

又，根据左右目相机位置变换关系

联立上述三个表达式，可得该点在左相机坐标系下的坐标为：

其中，A＝(u_r-c_rx)/f_rx，B＝(v_r-c_ry)/f_ry，C＝(u_l-c_lx)/f_lx，D＝(v_l-c_ly)/f_ly，f_lx,f_ly,f_rx,f_ry分别为左右目相机的焦距，(c_lx,c_ly),(c_rx,c_ry)分别为左右目相机图像中心。

步骤7：拟合标记点所在局部平面的法向量，具体为：分别对步骤6所得的每一个标记点的中心和边缘三维坐标进行平面拟合，得到标记点其所在局部平面的法向量信息，并保证所得法向量的z轴分量大于0，以消除法向量指向的二义性。

步骤8：移动测量装置到下一个视角，并拍摄左右目图像，移动时应保证两视角至少存在两个公共标记点。

步骤9：对第二视角下的图像按照步骤3～步骤7进行处理，得到该视角下的标记点中心的三维坐标及其所在局部平面的法向量信息。

步骤10：搜索第一视角与第二视角中的公共标记点。假设第一、二视角中重建出的标记点数量分别为m和n，那么，对于第一视角中的任意标记点依靠拓扑关系在第二视角中搜索其对应标记点的方案如下：

1)计算到第一视角下其他标记点中心的距离，得到距离向量为到第一视角下其他第α个标记点中心的距离α＝1,2,…,m-1；

2)对于第二视角中每一个标记点，计算其到该视角下其他标记点中心的距离，得到如下距离矩阵D₂：

其中，为第二视角中的任一标记点到该视角下其他标记点中心的距离向量，为到该视角下其他第β个标记点中心的距离，j＝1,2,…,n；

3)将依次与比较，并找到其中包含相同元素的个数。判定元素与相同的准则为其中δ为特征容忍度。将与中相同元素的个数顺次填充到向量N中，N＝[n₁ n₂ … n_n]。

4)找到向量N中最大元素的序号k，k＝1,2,…,n，如果该元素取值大于3则，判定与第二视角中的第k个标记点匹配关系成立。

步骤11：利用搜索到的公共标记点，通过双四元数方法计算两视角间坐标系旋转平移关系，即两视角间的刚性变换关系R和T，从而完成双视角数据对齐。

假设共搜索到g个(g≥2)公共标记点，其在第一视角坐标系下三维坐标及其所在局部平面的法向量信息分别表示为在第二视角坐标系下表示为具体求解步骤如下：

1)计算矩阵C₁、C₂

其中，γ＝[γ_x,γ_y,γ_z]为任意三维向量；

2)计算4×4对称矩阵A，

3)计算A的特征值与特征向量，记特征值中最大的那个为λ₁，其对应的特征向量为γ；

4)那么，计算R、T如下：

T＝-W^T(γ)·C₂·γ

本发明一种基于至少两个公共标记点的双视角数据对齐方法，提出了一种基于标记点中心与法向量信息的数据对齐方法，将对齐所用最少标记点由4个减少为2个，这减少了在物体表面粘贴标记点的数量，进而减少了被标记点遮挡的物体表面积，提高了数据的完整性；同时，由于仅需要在相邻视角中看到两个公共标记点，因此，采用本发明方法进行数据对齐的测量装置可以有更灵活的测量姿态，极大的方便了测量操作，减少了测量死角的存在。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种基于至少两个公共标记点的双视角数据对齐方法，其特征在于，双视角至少有两个公共标记点，该方法包含以下步骤：

其中，标记点边缘成像位置在左右目图像中的匹配，具体步骤如下：

1)任意选取左目标记点边缘成像位置中的一点p_l，根据左目相机的基本矩阵计算其在右目图像中的极线方程L_l；

2)记右目图像中的所有标记点边缘成像位置拟合所得的椭圆为e_r，找到极线L_l与椭圆e_r的两个交点p_r1和p_r2；

3)假设左右目匹配标记点中心成像位置为c_l和c_r，则根据立体匹配顺序一致性原则，选取和中与向量夹角小者作为匹配点，完成p_l所在的边缘成像位置在左右目图像中的匹配；

2.根据权利要求1所述的一种基于至少两个公共标记点的双视角数据对齐方法，其特征在于，步骤1中的圆形标记点是编码或非编码标记点。

3.根据权利要求1所述的一种基于至少两个公共标记点的双视角数据对齐方法，其特征在于，步骤1中在被测量物体上较为平坦的位置处粘贴标记点。

4.根据权利要求1所述的一种基于至少两个公共标记点的双视角数据对齐方法，其特征在于，步骤1中左右目相机的内参数及左右目相机坐标系的刚体变换关系已经事先进行了标定。

5.根据权利要求2所述的一种基于至少两个公共标记点的双视角数据对齐方法，其特征在于，步骤3中将步骤2中得到的左右目标记点中心成像位置进行立体匹配，具体步骤如下：

5.2如果采用非编码标记点，则按照分为以下两种：

2)如果采用线结构光原理进行单视角数据测量，则具体为：

③利用视差梯度约束构造匹配支持度函数；

6.根据权利要求1所述的一种基于至少两个公共标记点的双视角数据对齐方法，其特征在于，步骤7中搜索两个视角下的公共标记点依赖标记点之间的拓扑关系来完成。