CN112967325B - 一种信号修复增强方法及装置 - Google Patents

Abstract

本发明公开了一种信号修复增强方法及装置，通过孔洞检测、搜索目标块c_tj的相似区域源块c_sj及使用目标点云与源点云之间的距离误差最小化的刚体变换矩阵H_j进行缺失区域配准修复，完成信号的修复增强。本发明不需要对原始输入的整体点云进行整个三角网格模型的重建，对于目标物体表面曲率变化较大的情况有更好的适应性，避免了一点对多点匹配导致刚体变换过程出现收敛困难问题，提高了可填充缺失区域过程中的修复质量并节约耗时。

Description

一种信号修复增强方法及装置

技术领域

本发明属于信息信号处理领域，具体涉及一种信号修复增强方法及装置。

背景技术

光学激光测距仪、激光雷达扫描仪等三维扫描技术主要通过发射器脉冲出光线投放到目标探测的环境，接收器接收反射回来的光线，计算处理得到场景目标的三维信息。该项技术获取的空间三维信息通常以三维点云形式呈现，目前点云已广泛应用于文化遗产修复、自动驾驶导航、三维模型完善等各个领域。然而，三维扫描技术所采集的点云数据不可避免地存在数据误差，在扫描结果中会以缺失数据的孔洞形式呈现。缺失数据的原因包括不完整的扫描视图导致的物体遮挡、目标物体表面材料对激光束的折射率和反射率、扫描仪本身的局限性等。因此点云数据在后续应用前必须进行点云的孔洞检测及修复，提高点云数据质量。点云修复技术主要是从已有点云中搜索并推断合理的体素数据，通过调整后以插值的方式实现缺失区域的自动修复，或根据已有点云数据结构，预测待修复区域点云数据值，使被修复的目标物体呈现出完整的视觉效果，并和真实采集到的目标物体几何结构保持一致性。

现有的三维点云修复算法可以根据修复基于的信息分为基于数据库信息和基于孔洞周围局域信息两类，或者根据修复时使用的数据格式分为网格孔洞修复和点云孔洞修复两类。

基于数据库信息的方法主要通过搜索外界资源中相似的数据来填充缺失区域，例如先通过参考缺失区域周围的几何信息，从已有的点云库中寻找相似数据进行填充。此类方法的缺点是高度依赖于数据库中预先存储的相似数据，数据涵盖面越广，点云修复质量越高。基于孔洞周围局域信息的方法主要参照当前点云本身的数据，直接通过对缺失区域周围的点的分析来预测缺失区域。此类方法通常会提取孔洞特征，包括周围点云或孔洞边界点的几何特征，对缺失部分进行曲面拟合，拟合方法包括采样插值、边界延伸、优化方程求解等。此类方法的缺点是完全依靠孔洞周围的局部信息进行修补，参考信息较单一，所以其修补结果比实际内容要更趋于平面，保真度低。

网格孔洞修复方法通常基于三角网格模型的拓扑结构检测孔洞边界，利用邻近区域的几何结构及拓扑特征对缺失部分进行拟合修复。此类方法的缺点是依赖于网格质量，对于数据量小且曲面平缓的点云数据具有较好的修复效果，反之则由于需要对输入点云进行网格化，耗时大幅增加，效率降低。点云孔洞修复方法通常先对散乱无序点云进行预处理，通过边界检测算法提取点云边界实现孔洞识别，直接拟合缺失区域的点云曲面进行修复，此类方法无需对输入点云进行网格化建模，也不依赖预先存储的点云数据库，因此受到研究学者越来越多的关注。

中国专利申请CN109859114A公开了一种基于局域平滑性和非局域相似性的三维点云修复方法，通过点云的体素化、点云孔洞的检测、搜索相似区域及相对位置的匹配，从而修复缺失区域，该方法为了不使结果趋于平面或不符合事实，在修复缺失区域的优化问题中，专门设立了一个项来保持结果块中的已知区域的部分与目标块中一致，能保持原本的几何特征。但优化问题的求解需要大量矩阵计算，当点云数据量较大时，耗时增加显著。

综上所述，现有的针对三维点云修复方法的研究多数集中于基于网格化点云数据修复孔洞方法，针对直接利用点云数据修复孔洞的研究相对较少，所以探索并研究高效的三维点云修复方法，使修复后的目标点云在三维空间中保持高保真度、减少几何结构的损失已经成为了现阶段点云研究应用领域亟需解决的重大问题。

发明内容

针对上述问题，本发明提出了一种信号修复增强方法及装置，旨在通过将点云数据分割为更小的处理单元，搜索与包含孔洞的单元在几何特性上相似度最高的匹配单元，继而通过法线配准信息对匹配单元进行刚体变换，填补入孔洞内实现修复。该方法的目标是在搜索到相似度最高的匹配单元后进行填补修复时，实现较高质量和高保真度的点云修复效果。

为实现上述发明目的，本发明采用如下技术方案：

一种信号修复增强方法，其步骤包括：

1)提取原始点云Pⁱⁿ的点集几何特征，获取原始点云Pⁱⁿ的边界点，并从边界点中识别孔洞边界点，获取含有孔洞位置信息的小点云P^h；

2)将小点云P^h分割为含有孔洞单元标记的目标块c_tj与具有足够点数的候选块c_ci，并根据各目标块c_tj与所有候选块C_ci之间的匹配相似度，为目标块c_tj在候选块c_ci中选定源块c_sj，其中i为候选块的序号，j为目标块的序号；

3)依据点集几何特征，分别生成目标点云与源点云/>计算目标点云/>与源点云之间的距离误差最小化的刚体变换矩阵H_j，并将刚体变换矩阵H_j作用于源块c_sj上后，把不在目标块c_tj区域内的点去除，得到块c_pj；

4)将各块c_pj替代相应目标块c_tj，得到修复后点云P^o。

进一步地，所述几何特征包括：点法线。

进一步地，获取原始点云的边界点之前，对原始点云进行体素化预处理，得到预处理后的点云P^v；所述体素化预处理的步骤包括：

1)将原始点云Pⁱⁿ所在的原始全局坐标分割成单位为T的体素块，将输入原始点云Pⁱⁿ转换为体素化坐标，其中T＞0；

2)对于每个体素块中的点集，以体素块的几何中心点为中心建立非局部图，获取原始点云Pⁱⁿ中每个点对应的附加属性值；

3)对于每一体素块，将体素块中每个点对应的附加属性值进行加权平均，得到该体素块几何中心点的附加属性值；

4)将各体素块几何中心点代替相应体素块中点集，构成预处理后的点云P^v。

进一步地，通过以下步骤获取边界点：

1)利用KNN搜索提取各点的K领域；

2)基于采样点相对于k近邻点的位置特征，判断该采样点是否为边界点。

进一步地，通过以下步骤从边界点中识别孔洞边界点：

1)利用单坐标值搜索法，获取属于目标物体表面的完整边界点；

2)在边界点中删除完整边界点，得到孔洞边界点。

进一步地，计算匹配相似度的方法包括：直流分量(Direct Component，DC)和各向异性图全变分(Anisotropic Graph Total Variation，AGTV)。

进一步地，通过以下步骤生成目标点云与源点云/>

1)设定目标块c_tj包含的点集为{p_i′}，源块c_sj包含的点集为{q_j′}，其中0≤i′≤N，N为目标块c_tj中点的数量，0≤j′≤M，M为源块c_sj中点的数量；

2)对于目标块c_tj中每一点p_i′，遍历源块c_sj中的点q_j′，计算点p_i′与点q_j′之间的距离d_i′，j′及点p_i′的法向量n_i′与点q_j′的法向量n_j′之间的夹角θ_i′，j′，其中通过点集几何特征，得到点p_i′的法向量n_i′与点q_j′的法向量n_j′；

3)在夹角θ_i′，j′小于阈值ε的距离d_i′，j′中，选取数值最小的距离d_i′，j′，得到与点p_i′匹配的点q_j′，并将点g_j′从源块c_sj的点集中删除；

4)当源块c_sj的点集中点数量为0或目标块c_tj中的所有点遍历完毕后，目标块c_tj与源块c_sj中成功匹配的点分别进行重构，生成目标点云与源点云

进一步地，刚体变换矩阵其中R为旋转矩阵，t为平移向量，/> 为目标点云/>中的点，/>为源点云/>中的点，为一对匹配点对。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机以执行上述所述的方法。

与现有技术相比，本发明具有的优点和积极效果如下：

1、本发明针对三维扫描设备在采集目标物体的三维点云过程中因不完整的扫描视图导致的物体遮挡、目标物体表面材料对激光束的折射率和反射率、扫描仪本身的局限性等原因造成的点云缺失问题，提出一种高效的信号修复增强方法；

2、本发明是直接对点云数据进行处理的点云修复方法，与现有的基于三角网格的三维点云修复方法区别在于，其不需要对原始输入的整体点云进行整个三角网格模型的重建，从而节约点云预处理的计算成本；

3、本发明在经典迭代最近点算法的基础上对参考匹配点的选择方法上做了改进，匹配规则不仅考虑点之间欧几里德距离最近，还引入了通过法线表征的点云几何形状特征信息，位置信息与法线配准信息两者结合对目标点云和源点云中的点进行匹配，对于目标物体表面曲率变化较大的情况有更好的适应性；同时在参考匹配点配对过程中，对已配对点进行标记，避免一点对多点匹配导致刚体变换过程出现收敛困难问题；

4、与中国专利申请CN109859114A相比，本发明提出了一种主要利用法线信息配准修复的方法，可最后的填充缺失区域过程中提高修复质量并节约耗时。

附图说明

图1是本发明的信号修复增强方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，下面通过具体的实施例和附图对本发明进行进一步详细阐述。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

本信号修复增强方法的流程图见图1，具体步骤包括：

1)原始散乱点云数据预处理；2)孔洞检测；3)相似区域搜索；4)缺失区域配准修复。

对于上述的信号修复增强方法，进一步说明如下：

1)原始散乱点云数据预处理。首先将原始全局坐标分割成单位为1的体素块，将输入点云Pⁱⁿ转换为体素化坐标。对于每个体素块中的点集，以体素块的几何中心点为中心建立非局部图(参考文献：Lozes F，Elmoataz A，Lezoray O.Partial difference operatorson weighted graphs for image processing on surfaces and point clouds[J].IEEETransactions on Image Processing A Publication of the IEEE SignalProcessing Society，2014，23(9)：3896-909.)，获取该体素块内每个点的附加属性值并根据图权重进行加权平均，得到该体素块中点集几何中心点的附加属性值。各体素块几何中心点代替原体素块中点集，构成预处理后的点云P^v作为边界检测的输入数据。

2)孔洞检测。首先检测所有点云边界点，再从中识别孔洞边界点，主要通过BPD算法(参考文献：Carmelo M，Gareth P S，Rahul S.Novel algorithms for 3D surfacepoint cloud boundary detection and edge reconstruction[J].Journal ofComputational Design&Engineering，2018(1)：1.)对1)预处理后的点云P^v进行所有点云边界点的检测，即利用KNN搜索提取各点的K领域，基于采样点相对于k近邻点的位置特征来判断是否为边界点。然后利用单坐标值搜索法(参考文献：朱瑞芳，方勇.基于散乱点云边界提取及简化的单坐标搜索法之改进[J].科学技术与工程，2012(28)：110-114.)对属于目标物体表面的完整边界点进行检测并删除，其余边界点即为待修复的孔洞边界。在P^v中区分出普通点与孔洞边界点，构成含有孔洞位置信息的点云P^h作为相似区域搜索的输入数据。

3)相似区域搜索。首先将2)中含有孔洞位置信息的点云P^h按三维空间坐标分割归入块状单元，作为后续修复算法的最小处理单元。依据2)中识别出的孔洞边界，将含有孔洞的单元标记为目标块c_tj，其他具有足够点数的单元为候选块c_ci，其中i为该目标块的候选块标号，采用直流分量(Direct Component，DC)和各向异性图全变分(Anisotropic GraphTotal Variation，AGTV)(参考文献：Wei，Zeqing，Zongming，et al.Local FrequencyInterpretation and Non-Local Self-Similarity on Graph for Point CloudInpainting.[J].IEEE transactions on image processing：a publication ofthe IEEESignal Processing Society，2019.)计算各候选块c_ci与目标块c_tj之间的匹配相似度。选定匹配相似度最高的候选块作为此目标块的最优候选块c_cj，作为后续填补的源块c_sj。

4)缺失区域配准修复。设定目标块c_tj包含的点集为{p_i′}，源块c_sj包含的点集为{q_j′}，其中0≤i′≤N，N为目标块c_tj中点的数量，0≤j′≤M，M为源块c_sj中点的数量。对于目标块c_tj中每一点p_i′，遍历源块c_sj中的点q_j′，计算点p_i′与点q_j′之间的距离d_i′，j′及点p_i′的法向量n_i′与点q_j′的法向量n_j′之间的夹角θ_i′，j′，

d_i′，j′＝||p_i′-q_j′||

θ_i′，j′＝<n_i′，n_j′＞

在夹角θ_i′，j′小于阈值ε的距离d_i′，j′中，选取最小值记为d_i′，式中||·||₂是欧几里得范数，

d_i′＝min{d_i′，j′}，0≤j′≤M，θ_i′，j′＜ε

若存在符合条件的d_i′，点对(p_i′，q_j′)匹配成功，将源块中的点q_j′从点集中删除，重复步骤(2)，依次为目标块中的点寻找匹配点，直至源块c_sj中点数量为0或目标块c_tj中的点遍历完毕。

目标块c_tj和源块c_sj中成功匹配的点分别重新构成目标点云和源点云/>使用改进的迭代最近点算法计算将源点云与目标点云之间的距离误差最小化的刚体变换矩阵H_j。刚体变换分为旋转、平移两步，分别用旋转矩阵R和平移向量t表示，问题可以描述为

其中为目标点云中的点，/>为源点云中的点，/>为一对匹配点对。

刚体变换矩阵H_j可用旋转矩阵R和平移向量t表示，

将得到的刚体变换矩阵H作用于源块c_s上，将变换后不在目标块区域内的点去除，用最终得到的块c_p代替目标块c_t，得到最终修复后的点云P^out。

以上对本发明所述的信号修复增强方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (9)

1.一种信号修复增强方法，其步骤包括：

1)提取原始点云Pⁱⁿ的点集几何特征，获取原始点云Pⁱⁿ的边界点，并从边界点中识别孔洞边界点，获取含有孔洞位置信息的小点云P^h；

2)将小点云P^h按三维空间坐标分割归入块状单元之后，将含有孔洞的块状单元作为目标块c_tj且在目标块c_tj之外的块状单元中选择具有足够点数的块状单元作为候选块c_ci，并根据各目标块c_tj与所有候选块c_ci之间的匹配相似度，为目标块c_tj在候选块c_ci中选定源块c_sj，其中i为候选块的序号，j为目标块的序号；

3)依据点集几何特征，分别生成目标点云P_j ^t与源点云P_j ^s；其中，所述依据点集几何特征，分别生成目标点云P_j ^t与源点云P_j ^s，包括：

设定目标块c_tj包含的点集为{p_i′}，源块c_sj包含的点集为{q_j′}，其中0≤i′＜N，N为目标块c_tj中点的数量，0≤j′＜M，M为源块c_sj中点的数量；

对于目标块c_tj中每一点p_i′，遍历源块c_sj中的点q_j′，计算点p_i′与点q_j′之间的距离d_i′，j′及点p_i′的法向量n_i′与点q_j′的法向量n_j′之间的夹角θ_i′，j′，其中通过点集几何特征，得到点p_i′的法向量n_i′与点q_j′的法向量n_j′；

在夹角θ_i′，j′小于阈值ε的距离d_i′，j′中，选取数值最小的距离d_i′，j′，得到与点p_i′匹配的点q_j′，并将点q_j′从源块c_sj的点集中删除；

当源块c_sj的点集中点数量为0或目标块c_tj中的所有点遍历完毕后，目标块c_tj与源块c_sj中成功匹配的点分别进行重构，生成目标点云与源点云/>

4)计算目标点云P_j ^t与源点云P_j ^s之间的距离误差最小化的刚体变换矩阵H_j，并将刚体变换矩阵H_j作用于源块c_sj上后，把不在目标块c_tj区域内的点去除，得到块c_pj；

5)将各块c_pj替代相应目标块c_tj，得到修复后点云P^o。

2.如权利要求1所述的方法，其特征在于，所述几何特征包括：点法线。

3.如权利要求1所述的方法，其特征在于，获取原始点云的边界点之前，对原始点云进行体素化预处理，得到预处理后的点云P^v；所述体素化预处理的步骤包括：

1)将原始点云Pⁱⁿ所在的原始全局坐标分割成单位为T的体素块，将输入原始点云Pⁱⁿ转换为体素化坐标，其中T＞0；

2)对于每个体素块中的点集，以体素块的几何中心点为中心建立非局部图，获取原始点云Pⁱⁿ中每个点对应的附加属性值；

3)对于每一体素块，将体素块中每个点对应的附加属性值进行加权平均，得到该体素块几何中心点的附加属性值；

4)将各体素块几何中心点代替相应体素块中点集，构成预处理后的点云P^v。

4.如权利要求1所述的方法，其特征在于，通过以下步骤获取边界点：

1)利用KNN搜索提取各点的K领域；

2)基于采样点相对于k近邻点的位置特征，判断该采样点是否为边界点。

5.如权利要求1所述的方法，其特征在于，通过以下步骤从边界点中识别孔洞边界点：

1)利用单坐标值搜索法，获取属于目标物体表面的完整边界点；

2)在边界点中删除完整边界点，得到孔洞边界点。

6.如权利要求1所述的方法，其特征在于，计算匹配相似度的方法包括：直流分量和各向异性图全变分。

7.如权利要求1所述的方法，其特征在于，刚体变换矩阵其中R为旋转矩阵，t为平移向量，/> 为目标点云P_j ^t中的点，为源点云p_j ^s中的点，/>为一对匹配点对。

8.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-7中任一所述方法。

9.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-7中任一所述方法。