CN115471424A - 一种基于自学习的有向点云去噪方法 - Google Patents

一种基于自学习的有向点云去噪方法 Download PDF

Info

Publication number
CN115471424A
CN115471424A CN202211220083.6A CN202211220083A CN115471424A CN 115471424 A CN115471424 A CN 115471424A CN 202211220083 A CN202211220083 A CN 202211220083A CN 115471424 A CN115471424 A CN 115471424A
Authority
CN
China
Prior art keywords
point cloud
domain
grid
self
differentiable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211220083.6A
Other languages
English (en)
Inventor
唐琳琳
范艺杰
苏敬勇
刘洋
漆舒汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202211220083.6A priority Critical patent/CN115471424A/zh
Publication of CN115471424A publication Critical patent/CN115471424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及点云去噪技术领域,更具体来说涉及一种基于自学***衡。

Description

一种基于自学习的有向点云去噪方法
技术领域
本发明涉及点云去噪技术领域,更具体来说涉及一种基于自学习的有向点云去噪方法。
背景技术
随着三维采集设备和三维重构技术的不断发展,各种类型的三维输入数据变得越来越容易获得,三维点云数据也在多个领域被广泛应用。而非接触式的点云数据采集方法因其高精度和高分辨率以及采样速度,在自动驾驶、工业生产、机器人和医学等领域有着非常重要的应用。利用三维激光扫描设备得到的点云数据呈现出无序散乱的状态,另外由于目标对象表面粗糙度、设备精度、环境光照等因素的影响,获得的三维点云不可避免地受到噪声点的影响。噪声点不仅会严重影响后续的特征提取及匹配、重构精度,也会使点云数据识别率的高低。因此,怎样有效去除点云数据中的噪声点,同时获得完整可用的点云一直是众多研究者研究的重点。
传统的点云去噪方法通常以滤波器的方式进行,通过人为定义滤波器的参数,滤波器能够适有效地去除点云噪声。然而,定义参数需要相当的知识储备,且点云数据的复杂性和噪声的未知性都使得滤波器参数的定义非常困难,泛化性能较差。随着人工智能的发展,人们也提出了许多觉有深度神经网络的方法。基于深度神经网络的点云去噪技术中,神经网络以带噪点云为输入,直接输出去噪后的点云。这种简单的神经网络利用方式将方法的性能依赖于网络自身的学习能力,给神经网络的训练带来巨大的压力,导致神经网络对训练数据的需求量较大。
如果能够摒除对手工定义参数以及大量训练数据集以的依赖,充分挖掘三维点云数据自身的信息,就能够获得更多的应用场景。
本发明力图解决这些和本领域中的其他待解决的需要。
发明内容
为解决上述背景技术中提及的至少一种技术问题,本发明的目的旨在提供一种基于自学***衡。
在一个方面,本发明针对一种基于自学习的有向点云去噪方法,在可微分泊松求解器的基础上,先将有向点云映射到网格域,在网格域上利用更加充分的几何信息进行自训练和优化,再将损失函数基于可微分的性质回传到点云域,对点云域的点进行移动和优化,实现去噪。本发明方法在可微分泊松求解器的基础上,提出了一种基于自学习的点云去噪方法。该方法将点云域的去噪问题映射到了网格域的自身调整问题。该方法不需要预训练,首先将有向点云映射到网格域,在网格域上利用更加充分的几何信息进行自训练和优化,再将损失函数基于可微分的性质回传到点云域,对点云域的点进行移动和优化,从而达到去噪的目的。
在一个具体实施例中,所述方法利用网格域的重采样算法来保证点云法向的局部一致性,并在损失函数中结合多分辨率的点云,使得去噪工作能够在局部和整体信息间取得平衡。
在一个具体实施例中,所述基于自学习的有向点云去噪方法具体包括下述步骤:
步骤一、利用Shape As Points算法来作为可微分泊松方程求解器,将有向点云映射到网格域;
步骤二、将输入的带有噪声的有向点云P复制得到Pgt,P向Pgt学习的过程称为自训练,将P和Pgt使用可微分泊松方程求解器向网格域转化,得到网格M和Mgt,使用倒角距离求两个网格域中网格顶点之间的损失函数,将求得的损失函数反向传播到点云域,从而对于点云域中的点进行优化,经过若干次自训练进行降噪处理。
使用类似域傅里叶变换的思路,将点云问题转化到网格域上来解决,将有向点云去噪问题转化成了网格域的自我调整问题。具体是使用可微分泊松方程求解器来解决有向点云从点云域向网格域转化问题,通过这个过程的可微性用网格域的变化带动点云域中点的优化,利用自训练的过程来达到去噪的目的。
在一个具体实施例中,所述步骤一具体包括:利用Shape As Points算法来作为可微分泊松方程求解器,首先建立泊松方程,然后利用可微泊松表面重建求解器(DPSR)求解隐式场,再通过Marching Cubes将隐式场转化成具体的网格。
在一个具体实施例中,所述步骤一还包括:在可微泊松表面重建求解器中,使用傅里叶变换来加速求解;
在整个转化的过程中每一步都是可微的,需要在网格域中求得损失loss,通过loss对网格域M中的点p进行求偏导数来达到学习的目的,设网格域中网格顶点是pmesh,隐式场是χ,那么根据链式求导法则有:
Figure BDA0003877405260000031
其中
Figure BDA0003877405260000032
由可微分泊松求解器解决,
Figure BDA0003877405260000033
利用Marching Cubes的近似网格表面法向解决。
这样我们就可以将网格域的调整通过可微分的形式传达到点云域从而带动整个点云的去噪工作。
在一个具体实施例中,所述步骤二中的损失函数是:
Figure BDA0003877405260000034
其中,p是网格域M中的点,q是网格域Mgt中的点,dis(p,q)是p与q之间的距离。
在一个具体实施例中,所述方法还包括步骤三,在步骤二的自训练轮次中间定期从网格域使用重采样的策略来对有向点云的邻域法向一致性进行约束。
在一个具体实施例中,所述步骤三中重采样的策略具体是:在一定的训练轮次中间穿插重采样的方法,先将当前的点云向网格域转化,再考虑从网格域的网格上均匀的采样若干数量的点返回到点云域中,继续进行训练轮次。
然而在降噪过程中,由于噪声的随机性,会导致有向点云失去局部法向一致性,在这个过程中间利用重采样的步骤来优化有向点云的局部法向一致性,从而带来良好的去噪效果。
在一个具体实施例中,所述方法还包括步骤四多分辨率计算损失,对于训练中的噪声点云P,进行若干比率r1,r2,r3,...下采样P1,P2,P3,...。我们重新定义损失函数为:
loss(P,Pgt,P1,P2,P3,...)=w0*chamfer_distance(P,Pgt)
+w1*chamfer_distance(P,P1)
+w2*chamfer_distance(P,P2)
+w3*chamfer_distance(P,P3)
+...
其中权值序列w0,w1,w2,w3,...和下采样比率是我们需要通过实验获得的参数。在我们的方法中选择r1=2,r2=4,r3=8,...。
在自训练去噪过程中间利用重采样的步骤来优化有向点云的局部法向一致性,并重新定义多分辨率的损失函数,希望去噪的过程在局部和整体间权衡能够得到一个良好的效果,使得去噪工作能够在局部和整体信息间取得平衡。
一种计算机存储介质,所述计算机存储介质存储有至少一个计算机指令,当所述计算机指令被执行时,运行前述所述方法的至少一个步骤。
一种计算机装置,包括处理器、存储器以及计算机程序,所述计算机程序被存储在存储器中,所述计算机程序被所述处理器执行时,运行前述所述方法的至少一个步骤。
在符合本领域常识的基础上,上述各优选条件,可以相互组合,得到具体实施方式。
本发明的有益效果为:
1)本发明方法将点云域的去噪问题映射到了网格域的自身调整问题。该方法不需要预训练,首先将有向点云映射到网格域,在网格域上利用更加充分的几何信息进行自训练和优化,再将损失函数基于可微分的性质回传到点云域,对点云域的点进行移动和优化,从而达到去噪的目的;
2)在降噪过程中,由于噪声的随机性,会导致有向点云失去局部法向一致性,在这个过程中间利用重采样的步骤来优化有向点云的局部法向一致性,从而带来良好的去噪效果;
3)在自训练去噪过程中间利用重采样的步骤来优化有向点云的局部法向一致性,并重新定义多分辨率的损失函数,希望去噪的过程在局部和整体间权衡能够得到一个良好的效果,使得去噪工作能够在局部和整体信息间取得平衡。
本发明为实现上述目的而采用了上述技术方案,弥补了现有技术的不足,设计合理,操作方便。
附图说明
旨在为使得本领域技术人员更加迅速明确的了解本申请的上述和/或其他目的、特征、优点与实例,提供了部分附图,应当指出的是,构成本申请的说明书附图、示意性实施例及其说明用来提供对本申请的进一步理解,并不构成对本申请的不当限定。
图1是本发明方法流程图;
图2是原始带噪点云图;
图3是经过自学习去噪后的效果图。
具体实施方式
本领域技术人员可以借鉴本文内容,适当替换和/或改动工艺参数实现,然而特别需要指出的是,所有类似的替换和/或改动对本领域技术人员来说是显而易见的,它们都被视为包括在本发明。本发明所述内容已经通过较佳实例进行了描述,相关人员明显能在不脱离本发明内容、精神和范围内对本文所述的内容进行改动或适当变更与组合,来实现和应用本发明技术。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制本申请的技术方案。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
以下详细描述本发明。
实施例1:
提供一种基于自学习的有向点云去噪方法,方法流程图如图1所示,首先确定可微分泊松方程求解器:我们利用Shape As Points算法来作为可微分泊松方程求解器。我们首先建立泊松方程,然后利用可微泊松表面重建求解器(DPSR)求解隐式场,再通过MarchingCubes将隐式场转化成具体的网格。在这个过程中隐式场的大小可以由我们自行选择,更大的隐式场有更好的精度,但是会导致更慢的速度。在可微泊松表面重建求解器中,使用傅里叶变换来加速求解。
在整个转化的过程中每一步都是可微的,我们需要在网格域中求得了loss,而我们希望知道网格域中的点p,对于loss的偏导来达到学习的目的。设网格域中网格顶点是pmesh,隐式场是χ,那么根据链式求导法则有:
Figure BDA0003877405260000061
其中
Figure BDA0003877405260000062
由可微分泊松求解器解决,
Figure BDA0003877405260000063
我们利用Marching Cubes的近似网格表面法向解决。
这样我们就可以将网格域的调整通过可微分的形式传达到点云域从而带动整个点云的去噪工作。
实施例2:
在前述实施例的基础上,继续完善基于自学习的有向点云去噪方法,基于自训练的除噪方法:我们将输入的带有噪声的有向点云P复制得到Pgt。使用P向Pgt学习的过程我们称为自训练。考虑将P和Pgt使用可微分泊松方程求解器向网格域转化,得到网格M和Mgt。考虑使用倒角距离求两个网格域中网格顶点之间的损失函数:
Figure BDA0003877405260000064
其中,p是网格域M中的点,q是网格域Mgt中的点。
由于可微分泊松方程求解器的可微性,我们能够将求得的损失函数反向传播到点云域,从而对于点云域中的点进行优化。经过若干次训练后,自训练的方式对于噪声有不错的处理效果。
实施例3:
在前述实施例的基础上,继续完善基于自学***滑区域中的点云域中点的数量减少,多次迭代后,在网格域中体现为因为过于少量的点导致的此处网格的缺失。
对于这样的问题,我们考虑定期从网格域使用重采样的策略来对有向点云的邻域法向一致性进行约束。重采样会带来很多的优点,比如我们可以控制采样后点云的数量,能够保证整个点云分布均匀等等,但也会因为采样后,点云域中的噪声也带有了更强的邻域一致性,对于进一步的去噪工作带来困难。
我们在一定的训练轮次中间穿插重采样的方法。考虑先将当前的点云向网格域转化,再考虑从网格域的网格上均匀的采样若干数量的点返回到点云域中,继续进行训练轮次。
实施例4:
在前述实施例的基础上,继续完善基于自学习的有向点云去噪方法,进行多分辨率计算损失:
我们对于训练中的噪声点云P,进行若干比率r1,r2,r3,...下采样P1,P2,P3,...。我们重新定义损失函数为:
loss(P,Pgt,P1,P2,P3,...)=w0*chamfer_distance(P,Pgt)
+w1*chamfer_distance(P,P1)
+w2*chamfer_distance(P,P2)
+w3*chamfer_distance(P,P3)
+...
其中权值序列w0,w1,w2,w3,...和下采样比率是我们需要通过实验获得的参数。在我们的方法中选择r1=2,r2=4,r3=8,...。当采样比率越低时,采样后的点云较真实物体而言,细节更为丰富,受噪声的影响较大。而采样比率较高时,采样后的点云较真实物体而言,更加注重整体的信息,而受噪声影响较小。所以采样比率和权值的选择就尤为关键,适当的参数选择能够保证良好的除噪效率下,还能够保留点云丰富的细节。
最后输出对噪声点云除噪后的结果。
前述实施例所述方法以图2所示带噪点云为输入,输出图3所示去噪后的效果图,可知本申请提供的基于自学***衡,整体信息的完整程度以及细节信息的丰富程度兼顾,有效去除点云数据中的噪声点,同时获得完整可用的点云。
上述实施例中的常规技术为本领域技术人员所知晓的现有技术,故在此不再详细赘述。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管对本发明已作出了详细的说明并引证了一些具体实施例,但是对本领域熟练技术人员来说,只要不离开本发明的精神和范围可作各种变化或修正是显然的。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
本发明未尽事宜均为公知技术。

Claims (10)

1.一种基于自学习的有向点云去噪方法,其特征在于:在可微分泊松求解器的基础上,先将有向点云映射到网格域,在网格域上利用更加充分的几何信息进行自训练和优化,再将损失函数基于可微分的性质回传到点云域,对点云域的点进行移动和优化,实现去噪。
2.根据权利要求1所述的方法,其特征在于:所述方法利用网格域的重采样算法来保证点云法向的局部一致性,并在损失函数中结合多分辨率的点云,使得去噪工作能够在局部和整体信息间取得平衡。
3.根据权利要求1或2所述的方法,其特征在于:具体包括下述步骤:
步骤一、利用Shape As Points算法作为可微分泊松方程求解器,将有向点云映射到网格域;
步骤二、将输入的带有噪声的有向点云P复制得到Pgt,P向Pgt学习的过程称为自训练,将P和Pgt使用可微分泊松方程求解器向网格域转化,得到网格M和Mgt,使用倒角距离求两个网格域中网格顶点之间的损失函数,将求得的损失函数反向传播到点云域,从而对于点云域中的点进行优化,经过若干次自训练进行降噪处理。
4.根据权利要求3所述的方法,其特征在于:所述步骤一具体包括:
利用Shape As Points算法来作为可微分泊松方程求解器,首先建立泊松方程,然后利用可微泊松表面重建求解器(DPSR)求解隐式场,再通过Marching Cubes将隐式场转化成具体的网格;
在可微泊松表面重建求解器中,使用傅里叶变换来加速求解;
在整个转化的过程中每一步都是可微的,需要在网格域中求得损失loss,通过loss对网格域M中的点p进行求偏导数来达到学习的目的,设网格域中网格顶点是pmesh,隐式场是χ,那么根据链式求导法则有:
Figure FDA0003877405250000011
其中
Figure FDA0003877405250000012
由可微分泊松求解器解决,
Figure FDA0003877405250000013
利用Marching Cubes的近似网格表面法向解决。
5.根据权利要求3所述的方法,其特征在于:所述步骤二中的损失函数是:
Figure FDA0003877405250000014
其中p是网格域M中的点,q是网格域Mgt中的点,dis(p,q)是p与q之间的距离。
6.根据权利要求3所述的方法,其特征在于还包括步骤三:
在步骤二的自训练轮次中间定期从网格域使用重采样的策略来对有向点云的邻域法向一致性进行约束。
7.根据权利要求6所述的方法,其特征在于重采样的策略具体是:
在一定的训练轮次中间穿插重采样的方法,先将当前的点云向网格域转化,再考虑从网格域的网格上均匀的采样若干数量的点返回到点云域中,继续进行训练轮次。
8.根据权利要求3所述的方法,其特征在于还包括步骤四:
多分辨率计算损失,对于训练中的噪声点云P,进行若干比率r1,r2,r3,...下采样P1,P2,P3,...;
重新定义损失函数为:
loss(P,Pgt,P1,P2,P3,...)=w0*chamfer_distance(P,Pgt)+w1*chamfer_distance(P,P1)+w2*chamfer_distance(P,P2)+w3*chamfer_distance(P,P3)+...
其中权值序列w0,w1,w2,w3,...和下采样比率是需要通过实验获得的参数。
9.一种计算机存储介质,所述计算机存储介质存储有至少一个计算机指令,其特征在于当所述计算机指令被执行时,运行权利要求1-8任一项所述方法的至少一个步骤。
10.一种计算机装置,包括处理器、存储器以及计算机程序,所述计算机程序被存储在存储器中,其特征在于当所述计算机程序被所述处理器执行时,运行权利要求1-8任一项所述方法的至少一个步骤。
CN202211220083.6A 2022-10-08 2022-10-08 一种基于自学习的有向点云去噪方法 Pending CN115471424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211220083.6A CN115471424A (zh) 2022-10-08 2022-10-08 一种基于自学习的有向点云去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211220083.6A CN115471424A (zh) 2022-10-08 2022-10-08 一种基于自学习的有向点云去噪方法

Publications (1)

Publication Number Publication Date
CN115471424A true CN115471424A (zh) 2022-12-13

Family

ID=84335137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211220083.6A Pending CN115471424A (zh) 2022-10-08 2022-10-08 一种基于自学习的有向点云去噪方法

Country Status (1)

Country Link
CN (1) CN115471424A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422713A (zh) * 2023-12-18 2024-01-19 武汉光谷航天三江激光产业技术研究院有限公司 一种根据oct点云提取激光焊接熔深曲线的方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117422713A (zh) * 2023-12-18 2024-01-19 武汉光谷航天三江激光产业技术研究院有限公司 一种根据oct点云提取激光焊接熔深曲线的方法及***
CN117422713B (zh) * 2023-12-18 2024-05-14 武汉光谷航天三江激光产业技术研究院有限公司 一种根据oct点云提取激光焊接熔深曲线的方法及***

Similar Documents

Publication Publication Date Title
CN113870422B (zh) 一种点云重建方法、装置、设备及介质
CN105512723A (zh) 一种用于稀疏连接的人工神经网络计算装置和方法
Ryu et al. Improved informed RRT* using gridmap skeletonization for mobile robot path planning
CN111968217A (zh) 基于图片的smpl参数预测以及人体模型生成方法
CN113989547B (zh) 基于图卷积深度神经网络的三维点云数据分类***及方法
CN113052955B (zh) 一种点云补全方法、***及应用
CN111476249A (zh) 多尺度大感受野卷积神经网络的构建方法
CN115471424A (zh) 一种基于自学习的有向点云去噪方法
CN114021603B (zh) 一种基于模型重参数化的雷达信号调制方式识别方法
CN116596764B (zh) 一种基于Transformer与卷积交互的轻量级图像超分辨率方法
Mao et al. Pu-flow: A point cloud upsampling network with normalizing flows
CN113313176A (zh) 一种基于动态图卷积神经网络的点云分析方法
CN109063834B (zh) 一种基于卷积特征响应图的神经网络剪枝方法
CN114219701A (zh) 敦煌壁画艺术风格转换方法、***、计算机设备及存储介质
CN117593187A (zh) 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法
CN115965788B (zh) 基于多视角图结构特征注意力卷积的点云语义分割方法
CN112927304B (zh) 一种基于卷积神经网络的鱼眼镜头标定方法
CN115587628A (zh) 一种深度卷积神经网络轻量化方法
CN109087247A (zh) 一种对立体图像进行超分的方法
CN112435200A (zh) 一种应用于目标检测的红外图像数据增强方法
CN108121869B (zh) 基于滚动球模型的tin_ddm缓冲面快速构建方法
CN114881843B (zh) 一种基于深度学习的流体艺术控制方法
CN113643200B (zh) 基于递归图神经网络解决边缘过平滑的方法及装置
Jiang et al. Bisporus Mushroom 3D Reconstruction for Digital Twin of Smart Factory
US20230259741A1 (en) Method and apparatus for constructing domain adaptive network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination