CN110021039A

CN110021039A - 序列图像约束的多视角实物表面点云数据初始配准方法

Info

Publication number: CN110021039A
Application number: CN201811356769.1A
Authority: CN
Inventors: 孙殿柱; 沈江华; 李延瑞; 梁增凯
Original assignee: Shandong University of Technology
Current assignee: Shandong University of Technology
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2019-07-16

Abstract

本发明针对现有多视角点云数据配准算法对于实物表面多视角采样数据的初始位置要求过于严格并且配准效率较低的问题，提出一种序列图像约束的多视角实物表面点云数据初始配准方法，属于产品逆向工程技术领域。根据透视投影原理对摄像机在点云数据局部坐标系中的位置进行定位，将点云数据变换到对应的摄像机坐标系，并以图像特征点及其对应的匹配点作为同名控制点，在序列图像重建过程中将点云数据初步配准到近似重叠的位置。该初始配准方法对点云数据的初始位置无严格要求，能以较小的计算量获取近似全局最优的点云数据初始配准结果，提高了配准方法的稳健性和计算效率。

Description

序列图像约束的多视角实物表面点云数据初始配准方法

技术领域

本发明提供一种序列图像约束的多视角实物表面点云数据初始配准方法，属于产品逆向工程技术领域。

背景技术

主动式光学三维测量技术广泛应用于解决逆向工程、计算机视觉、生物医学等领域中的数字化建模问题。由于单个视角的可见性限制，通常需要采用三维点云配准技术将不同视角下的多幅部分重叠的点云统一到同一坐标系中以获得完整的数字模型。三维点云配准的精度决定了被测物体三维重构的质量以及点云后处理的效率与精度。

对现有的技术文献检索发现，Besl等在学术会议《IEEE Computer Society》(1992,14(2):P239-256)上发表的论文“A Method for Registration of 3-D Shapes”中提出了迭代最近点算法(ICP)，是一种基于几何模型的点到点配准算法，以欧氏距离最小的点作为对应点，通过最小化两个点集中的对应点距离平方和得到两个三维数据集之间的刚性变换。ICP算法自Besl和McKay于1992年提出后，逐渐衍生出众多变体，这些变体之间的主要区别是配准元素以及配准策略选取方式的不同。Sappa等在《In Proceedings of th 9thInternational Symposium on Intelligent Robotic Systems》(SIRS’01,2001)上发表的论文“Range Image Registration by using an Edge-Based Representation”中基于快速边缘分割技术直接选取点云深度图的边缘点作为采样点集，缩小了最近点搜索范围，但忽略了物体曲面特征，不适用于精确配准两幅重叠区域内边缘特征较少的点云。Li等在《Pattern Recognition Letters》(2015,65(11):0000)上发表的论文“A modified ICPalgorithm based on dynamic adjustment factor for registration of point cloudand CAD model”中基于由三角网格的小平面数据和矢量信息列表组成的STL文件搜索点云的对应点，并通过动态调整刚性变换参数有效降低了迭代次数。上述算法在一定程度上提高了ICP算法收敛速度，但存在同ICP算法一样可能因初始位置相差过大导致最近点搜索不准确而收敛到错误的局部最优解的缺陷。Rusu等在学术会议《IEEE InternationalConference on Robotics and Automation》(2009:P1848-1853)上发表的论文“Fastpoint feature histograms(FPFH)for 3D registration”中提出了一种FPFH特征，描述点云数据集中任一样点邻域的局部几何信息。通过样本一致性方法对初始FPFH特征点进行采样，对于符合要求的特征点予以保留并用于后续配准，该方法降低了迭代次数，取得了较好的配准效果，但需要求解样点法矢、曲率等几何信息，使算法复杂化，无法同时保证收敛速度和配准精度。Al-Manasir和Fraser在《Iaprs Dresden》(2006,21(115))上发表的论文“Automatic Registration of Terrestrial Laser Scanner Data via Imagery”中提出了基于图像信息的地面激光扫描数据的自动配准方法，放置在被测物表面的编码目标构成了确定待配准点云之间刚性变换的同名控制点。通过附加特征信息，降低了点云初始位置对配准结果的影响，且提高了配准算法收敛速度，但带来的问题是被测物表面的点云数据受到破坏。Han等在《IEEE Geoscience&Remote Sensing Letters》(2012,10(4):P746-750)上发表的论文“LiDAR Point Cloud Registration by Image Detection Technique”中通过检测和匹配序列图像对应特征点，根据其图像坐标与空间坐标的映射关系间接建立同名控制点三维坐标对应关系从而实现点云配准。由于特征点检测和匹配存在一定误差，当特征点较少时无法保证正确配准及配准精度。王瑞岩等在《测绘学报》(2016,45(1):P96-102.)上发表的论文“结合图像信息的快速点云拼接算法”中将配准过程分为两个阶段，首先通过图像信息求解摄像机的相对旋转变换，然后迭代计算平移变换，提高了算法的稳健性，但只能用于摄像机与扫描设配同轴的场合。

对于点云配准问题，鉴于ICP算法易于实现且配准精度较高，因此将ICP算法应用于存在较大重叠区域的点云配准问题的求解是非常合理的，但是ICP算法的配准结果对初始值较为敏感，较差的初始运动参数容易增加迭代次数，甚至导致配准过程收敛于不理想的局部最优解，因此需要对初始运动参数进行优化。此外，ICP算法时间复杂度主要被最近点搜索所主导，若能缩小最近点搜索范围，便能有效降低计算量。

综上所述，目前多视角点云数据配准过程中存在对实物表面多视角采样数据的初始位置要求过于严格并且配准效率较低的技术问题，因此，为多视角实物表面点云数据提供较好的初始配准参数以及降低配准过程时间消耗已成为本领域技术人员亟待解决的技术问题。

发明内容

为解决上述技术问题，本发明所采用的技术方案是一种序列图像约束的多视角实物表面点云数据初始配准方法，该方法对点云的初始位置无严格要求，能以较小的计算量获取近似全局最优的点云初始配准结果，根据初始配准结果进行精确配准，能显著提高多视角实物表面点云数据配准过程的稳健性和计算效率。其实现方案为：

一种序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于依次包含以下步骤：(1)依次采集被测物体在不同视角下的型面点云数据以及每一视角下对应的二维图像；(2)对摄像机在点云数据局部坐标系中的位置进行定位，将点云数据从其局部坐标系转换到摄像机坐标系；(3)基于序列图像增量式运动法重建方法估计所有的摄像机外参数；(4)根据摄像机坐标系下的点云数据和所有的摄像机外参数对点云数据进行初始配准。

为实现发明目的，所述序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于：步骤(2)中，用标定后的摄像机对标定物进行测量，基于透视投影原理将标定物上标识点的世界坐标与识别到的图像坐标建立一一映射关系实现摄像机在点云局部坐标系中的定位，根据求解的变换矩阵将点云数据转换到摄像机坐标系。

为实现发明目的，所述序列图像约束的多视角实物表面点云数据初始配准方法，在步骤(3)中，采用增量式运动法重建方法估计摄像机外参数Μ＝{M_i∈SE(3)|i＝1,2,…,N_I}的步骤具体是：1)读取序列图像Σ＝{I_i|i＝1,2,…,N_I}，检测每一幅图像的特征点，并将特征点集合记为其中，x_ij表示图像I_i特征点的图像坐标，f_ij表示x_ij点的特征描述符；2)根据对应特征点的特征描述符f_ij之间欧氏距离最小原则以及对极几何约束，对Σ中任意相邻两幅图像依次进行特征点匹配，则特征点匹配对集合为3)从Σ中选取前两幅图像I₁和I₂的特征点匹配对集合初始化摄像机外参数M₁、M₂以及三维点集X⁽¹⁾，并将X⁽¹⁾加入点集Ω；4)增加一幅图像I_i，估计摄像机外参数M_i；5)通过三角测量重建图像I_i，新扩展的点集为X^(i-1)，Ω←Ω∪X^(i-1)；6)利用光束法平差非线性优化摄像机外参数Μ和三维点坐标Ω；7)重复执行步骤4)～6)，直至所有图像处理完成。

为实现发明目的，所述序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于，步骤(3)中初始化摄像机外参数M₁、M₂以及三维点集X⁽¹⁾的步骤为：(1)对I₁和I₂的特征点匹配对集合采用八点法计算本质矩阵；(2)以I₁的摄像机坐标系为世界坐标系，通过奇异值分解法分解本质矩阵得到I₂的摄像机外参数M₂；(3)根据图像I₁和I₂特征点匹配对的像点坐标通过三角测量方法计算三维点坐标。

为实现发明目的，所述序列图像约束的多视角实物表面点云数据初始配准方法，在步骤(3)中计算新增图像I_i的摄像机外参数M_i的步骤为：(1)从I_i-1和I_i的特征点匹配对中选取能够在点集Ω找到对应空间坐标的特征点匹配对，记为(2)基于中I_i的特征点图像坐标与对应空间坐标建立空间后方交会方程，线性求解摄像机透视投影矩阵；(3)分解摄像机透视投影矩阵求出摄像机外参数M_i。

为实现发明目的，所述序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于：步骤(4)中，基于步骤(3)中摄像机外参数计算结果，仅使用精确的旋转变换参数对摄像机坐标系下的点云数据进行初始配准。

与现有技术相比，本发明具有以下优点：

(1)基于序列图像特征点运动法重建的点云初始配准过程能有效降低搜索同名控制点的计算代价，且能将待配准点云调整到近似重叠的位置；

(2)将点云配准问题转化为摄像机外参数估计问题，基于对极几何约束增量重建二维图像实现多视角点云的初始配准，对点云初始位置无严格要求，增强了配准算法的稳健性；

(3)将基于序列图像特征点运动法重建的点云初始配准算法确定的初始配准参数作为ICP算法的初始值，可明显提高ICP算法的迭代效率，并且随着点云数据规模的增大，配准效率呈递增趋势。

附图说明

图1是本发明序列图像约束的多视角实物表面点云数据初始配准方法的流程图；

图2是摄像机坐标系与点云数据局部坐标系位置关系示意图；

图3是摄像机姿态估计原理图；

图4是实施例一中汽车车头采样数据和序列图像示意图；

图5是实施例一中两幅图像特征点检测与匹配结果示意图；

图6是实施例一中两组点云数据初始配准结果示意图；

图7是实施例二中两组点云数据精确配准结果示意图。

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

图1为本文发明序列图像约束的多视角实物表面点云数据初始配准方法的程序流程图，采用C++程序设计语言实现，本发明所载方法的主要过程包括点云数据向摄像机坐标系下的转换、利用序列图像运动法重建方法估计摄像机姿态以及摄像机坐标系下点云数据的初始配准，可较为优化的完成初始配准参数的求解。

图2为摄像机坐标系与点云数据局部坐标系位置关系，设点云数据的局部坐标系为O_W-X_WY_WZ_W，其摄像机坐标系为O_C-X_CY_CZ_C，这两个坐标系之间的刚性变换关系记为旋转变换R_W和平移变换t_W。用标定后的摄像机测量标定物，空间中一标识点的三维坐标为(X,Y,Z)，在像平面上的图像坐标为(u,v)，其透视投影关系可描述为

整理消去Z_C得到关系式

式中，m_ij为摄像机透视投影矩阵的元素。基于像点与物点的匹配点对坐标采用最小二乘法求解上述方程，进而分解出R_W、t_W。若空间中任意一点在两个坐标系中的坐标分别为X_W和X_C，则采用式(3)将局部坐标系下的坐标转换到摄像机坐标系下：

X_C＝R_WX_W+t_W (3)

在序列图像增量式重建过程中，主要步骤包括：(1)初始化摄像机运动信息和物体三维结构：X⁽¹⁾＝{X_Wj}，Ω＝{X⁽¹⁾}，Μ＝{M₁,M₂}，k←2，其中，X_Wj表示重建得到的空间点坐标；(2)加入新的图像，与前一幅图像进行SIFT特征点检测与匹配，并将特征点匹配对记为(3)从C^(k)中选取能够在点集Ω中找到对应空间坐标的特征点匹配对，记为则另一部分特征点匹配对记为(4)根据与Ω建立空间点-图像点的一一映射关系，使用最小二乘法求解摄像机变换矩阵M_(k+1)，Μ←Μ∪M_(k+1)；(5)恢复新加入图像的摄像机变换矩阵P_(k+1)＝KM_(k+1)，应用三角测量原理重建中的特征点，将新增的重建点记为X^(k)；(6)Ω←Ω∪X^(k)；(7)光束法平差参数优化，并更新点集Ω以及摄像机外参数Μ；(8)k←k+1；(9)重复执行(2)～(8)，直至所有图像处理完成；(10)输出优化后的摄像机外参数Μ。图3是基于对极几何约束实现摄像机外参数估计的原理图，设I₁与I₂为摄像机在P₁、P₂两个位置所拍摄的图像，欧式空间中任意一空间点X在I₁与I₂上的投影点分别为x_1j、x_2k。摄像机由P₁位置运动到P₂位置的相对旋转、平移变换分别记为R_C、t_C，则由对极几何约束可知：

其中，E为两视图之间的本质矩阵，具有其次性，且仅与R_C、t_C有关，满足

E＝[t_C]_x R_C (5)

其中，[t_C]_x为平移向量t_C的反对称矩阵。对式(5)应用奇异值分解法获得的t_C与真实的平移向量之间存在不确定的尺度因子λ，因此图像信息只能提供摄像机在两个拍摄位置间的准确相对旋转矩阵。因此，摄像机拍摄I₁、I₂两幅图像时，空间点X在相应两个摄像机坐标系下的坐标分别记为X_C1和X_C2，则满足

X_C2＝R_CX_C1+λt_C (6)

由于λ无法确定，仅使用精确的旋转变换参数对摄像机坐标系下的点云数据进行初始配准。

实施例一：图4是采用光栅投影式三维测量获取的汽车车头模型多视角表面采样数据和序列图像示意图，5个视角下的点云数目分别为150423、156056、191188、191238、177400。图5～6所示为应用本文提出的序列图像约束的多视角实物表面点云数据初始配准方法对点云数据配准的效果图，为获得较好的视觉效果，只显示了前两个视角下的效果图。从图6配准结果可知，本文方法求解的初始配准参数能将待配准点云调整到近似重叠的位置。5组点云数据依次进行初始配准，其运行时间分别为6.649s、6.738s、7.145s、7.402s，误差分别为10.9741mm、7.5126mm、7.1157mm、3.5361mm。

实施例二：图7所示为将本文提出的序列图像约束的多视角实物表面点云数据初始配准方法求解出的初始配准参数作为ICP算法的初始值对图4中视角1和5的点云数据进行配准的效果图，两组点云数据初始位置相差较大，配准所用总时间为154.001s，且结果正确，其误差为0.1575mm。

通过实施例可以得出，本发明能以较小的计算代价获取近似全局最优的初始配准结果，这种方法对点云数据的初始位置没有严格要求，提高了配准算法的稳健性，在配准效率方面也有明显的优势。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims

1.一种序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于依次包含以下步骤：(1)依次采集被测物体在不同视角下的型面点云数据以及每一视角下对应的二维图像；(2)对摄像机在点云数据局部坐标系中的位置进行定位，将点云数据从其局部坐标系转换到摄像机坐标系；(3)基于序列图像增量式运动法重建方法估计所有的摄像机外参数；(4)根据摄像机坐标系下的点云数据和所有的摄像机外参数对点云数据进行初始配准。

2.如权利要求1所述的序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于：步骤(2)中，用标定后的摄像机对标定物进行测量，基于透视投影原理将标定物上标识点的世界坐标与识别到的图像坐标建立一一映射关系实现摄像机在点云局部坐标系中的定位，根据求解的变换矩阵将点云数据转换到摄像机坐标系。

3.如权利要求1所述的序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于：步骤(3)中，采用增量式运动法重建方法估计摄像机外参数Μ＝{M_i∈SE(3)|i＝1,2,…,N_I}的过程，步骤为：1)读取序列图像Σ＝{I_i|i＝1,2,…,N_I}，检测每一幅图像的特征点，并将特征点集合记为其中，x_ij表示图像I_i特征点的图像坐标，f_ij表示x_ij点的特征描述符；2)根据对应特征点的特征描述符f_ij之间欧氏距离最小原则以及对极几何约束，对Σ中任意相邻两幅图像依次进行特征点匹配，则特征点匹配对集合为3)从Σ中选取前两幅图像I₁和I₂的特征点匹配对集合初始化摄像机外参数M₁、M₂以及三维点集X⁽¹⁾，并将X⁽¹⁾加入点集Ω；4)增加一幅图像I_i，估计摄像机外参数M_i；5)通过三角测量重建图像I_i，新扩展的点集为X^(i-1)，Ω←Ω∪X^(i-1)；6)利用光束法平差非线性优化摄像机外参数Μ和三维点坐标Ω；7)重复执行步骤4)～6)，直至所有图像处理完成。

4.如权利要求3所述的序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于，初始化摄像机外参数M₁、M₂以及三维点集X⁽¹⁾的步骤为：(1)对I₁和I₂的特征点匹配对集合采用八点法计算本质矩阵；(2)以I₁的摄像机坐标系为世界坐标系，通过奇异值分解法分解本质矩阵得到I₂的摄像机外参数M₂；(3)根据图像I₁和I₂特征点匹配对的像点坐标通过三角测量方法计算三维点坐标。

5.如权利要求3所述的序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于，计算新增图像I_i的摄像机外参数M_i的步骤为：(1)从I_i-1和I_i的特征点匹配对中选取能够在点集Ω找到对应空间坐标的特征点匹配对，记为(2)基于中I_i的特征点图像坐标与对应空间坐标建立空间后方交会方程，线性求解摄像机透视投影矩阵；(3)分解摄像机透视投影矩阵求出摄像机外参数M_i。

6.如权利要求1所述的序列图像约束的多视角实物表面点云数据初始配准方法，其特征在于：步骤(4)中，基于步骤(3)中摄像机外参数计算结果，仅使用精确的旋转变换参数对摄像机坐标系下的点云数据进行初始配准。