CN113012063B - 一种动态点云修复方法、装置及计算机设备 - Google Patents
一种动态点云修复方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN113012063B CN113012063B CN202110243045.1A CN202110243045A CN113012063B CN 113012063 B CN113012063 B CN 113012063B CN 202110243045 A CN202110243045 A CN 202110243045A CN 113012063 B CN113012063 B CN 113012063B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- repaired
- hole
- voxels
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008859 change Effects 0.000 claims description 24
- 230000003287 optical effect Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000008439 repair process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种动态点云修复方法、装置及计算机设备。该动态点云修复方法包括：首先确定原始动态点云包含的待修复孔洞以及包含待修复孔洞的目标帧，然后根据目标帧的前后相邻帧的实际点云，获得对应待修复孔洞的稀疏点云，将实际点云划分为多个体素，再根据稀疏点云和待修复孔洞边界点，获得网格化孔洞。最后，在实际点云包含的全部体素中查找与每个网格关联的体素，将全部与网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞。本发明只需要对缺失区域的三维空间构建局部网格，不需要构建整体网格模型，可以节约点云预处理的计算成本。同时，通过匹配局部体素信息进行修复，可以避免空间中大量数据计算。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种动态点云修复方法、装置及计算机设备。
背景技术
点云由三维空间中的一组点组成，是同一个空间参考系中描述目标物体空间分布及其几何形状表面特性的海量点集合。在获取目标物体表面所有采样点的空间坐标后，得到的全部点的集合即为“点云”，点云在遗产重建、增强现实和自动驾驶等领域得到广泛的应用。
然而，在三维物体的扫描捕捉过程中，由于激光雷达的不完整的扫描视图、可见视野的局限性、目标物体表面材料对激光束的反射率和吸收率以及扫描采集单元固有的局限性等因素，会对目标物体点云数据的测量造成影响，使采集的点云呈现出数据缺失的空洞，这些空洞必然会对点云数据的应用产生影响。所以在点云采集过程中及后续的点云数据应用处理前必须对点云的空洞进行检测和修复，提高点云数据质量。
近年来，三维点云处理领域中的点云修复技术在各行业的应用优势日益突出，例如自动驾驶、安防场景模拟、智慧城市、医疗应用及电力线路检测维修等，这些应用大多涉及动态的三维点云数据处理技术。动态的三维点云数据相较于静态三维点云，其可以更好呈现目标物体的运动变化信息，包括全局的刚体运动和局部的非刚体变化。现有的针对三维点云修复方法的研究多数集中于静态点云的实例，针对动态点云的修复研究相对较少，所以探索并研究高效的三维点云修复方法，尤其是动态的点云修复技术，自动化地实现动态三维点云中缺失部分的重建，使修复后的目标点云在三维空间中保持高保真度、减少几何结构的损失已经成为了现阶段点云研究应用领域亟需解决的重大问题。
发明内容
为了解决上述技术问题，本发明提供了一种动态点云修复方法、装置及计算机设备，具体方案如下：
第一方面，本申请实施例提供了一种动态点云修复方法，所述方法包括：
确定原始动态点云包含的待修复孔洞以及包含待修复孔洞的目标帧，其中，所述目标帧为所述原始动态点云对应的连续帧中包含待修复孔洞的任一帧；
根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云，以及，将所述实际点云划分为多个体素；
根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞，其中，所述边界点为所述待修复孔洞边界上的点，所述网格化孔洞包含多个连续的网格，每个网格至少覆盖一个稀疏点；
在所述实际点云包含的全部体素中查找与每个网格关联的体素，将全部与网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞。
根据本申请公开的一种具体实施方式，所述确定原始动态点云包含的待修复孔洞的步骤，包括：
采用K邻域法检测所述原始动态点云中所有的闭环边界，所述闭环边界包括点云表面边界和待修复孔洞边界；
利用主成分分析法在所有所述闭环边界中识别出待修复孔洞边界。
根据本申请公开的一种具体实施方式，所述根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云的步骤，包括：
根据所述目标帧的前后相邻帧的实际点云构建光流-场景流的关系模型；
通过所述光流-场景流的关系模型预测待修复孔洞区域的场景流矢量；
基于所述场景流矢量和待修复孔洞在所述目标帧的前后相邻帧中对应位置的运动变化特性，在待修复孔洞所在的空间位置生成稀疏点云，所述运动变化特性包括实际点云中每个点的运动方向及变化率。
根据本申请公开的一种具体实施方式，所述将所述实际点云划分为多个体素的步骤，包括：
将所述实际点云进行体素块处理，得到包含多个规则体素块的体素块集合；
将包含至少一个点的体素块通过八叉树分解为八个亚体素块，所述亚体素包括空值亚体素块和非空亚体素块中的至少任意一种；
通过八叉树继续分解所述非空亚体素块，直到达到体素最小标准或预设停止条件，得到多个体素。
根据本申请公开的一种具体实施方式，所述根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞的步骤，包括：
将所述稀疏点云和待修复孔洞边界点构成的点集投影到二维平面；
利用网格剖分算法将投影后的点集进行二维平面内的网格化处理；
根据二维平面内的网格化处理结果将所述待修复孔洞进行三维网格化处理，得到三维空间中的网格化孔洞。
根据本申请公开的一种具体实施方式，所述在所述实际点云包含的全部体素中查找每个网格关联的体素，将全部网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞的步骤，包括：
针对每个网格在预设点云搜索区域中查找与所述网格关联的体素，并将与所述网格关联的体素包含的点云数据填充到所述待修复孔洞中，所述预设点云搜索区域包括所述实际点云中对应所述待修复孔洞的区域；
根据填充到所述待修复孔洞的点云数据，更新所述待修复孔洞的边界点数据和所述预设点云搜索区域；
针对每个所述网格进行迭代修复，直到待修复孔洞被完全修复，得到修复后的点云。
根据本申请公开的一种具体实施方式，所述针对每个网格在实际点云中查找与所述网格关联的体素，并将与所述网格关联的体素包含的点云数据填充到所述待修复孔洞中的步骤，包括：
从任意一个边界网格包含的稀疏点开始，在预设点云搜索区域内进行遍历搜索，找到包含目标特征点的目标体素,其中，所述边界网格为至少一条边为网格化孔洞边界边的网格，所述目标特征点为所述实际点云中与所述稀疏点坐标匹配的点；
通过调整矩阵将所述目标体素包含的点云数据进行坐标调整；
将调整后的点云数据填充到所述待修复孔洞中。
第二方面，本申请实施例提供了一种动态点云修复装置，所述装置包括：
检测模块，用于确定原始动态点云包含的待修复孔洞以及包含待修复孔洞的目标帧，其中，所述目标帧为所述原始动态点云对应的连续帧中包含待修复孔洞的任一帧；
体素化模块，用于根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云，以及，将所述实际点云划分为多个体素；
网格化模块，用于根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞，所述网格化孔洞包含多个连续的网格，每个网格至少覆盖一个稀疏点；
填充模块，用于在所述实际点云包含的全部体素中查找与每个网格关联的体素，将全部与网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞。
第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时实现第一方面中任一项实施例所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在处理器上执行时实现第一方面中任一项实施例所述的方法。
相对于现有技术而言，本申请具有以下有益效果：
本发明通过动态点云连续帧间光流-场景流模型预测待修复孔洞区域的局部三维运动矢量，并在点云的待修复孔洞区域生成稀疏点云。然后基于该稀疏点云和局部非刚体变化实现待修复孔洞网格化，得到待修复孔洞区域的网格曲面，最后通过查找与每个网格关联的体素逐步实现缺失区域的体素内容填充和修复。本发明对缺失区域的三维空间构建局部网格，不需要对原始动态点云构建整体网格模型，可以节约点云预处理的计算成本。通过匹配局部体素信息来进行修复，避免空间中大量数据计算，可以实现更高的运行效率。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1为本申请实施例提供的一种动态点云修复方法的流程示意图；
图2为本申请实施例提供的一种动态点云修复装置的模块框图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
参见图1，为本申请实施例提供的一种动态点云修复方法的流程示意图，如图1所示，所述方法主要包括：
步骤S101，确定原始动态点云包含的待修复孔洞以及包含待修复孔洞的目标帧。
其中，所述目标帧为所述原始动态点云对应的连续帧中包含待修复孔洞的任一帧。
在对三维物体的扫描过程中，由于扫描采集单元的局限性以及物体表面材料对激光束的反射率和吸收率的差异等因素，会使得整体点云出现数据缺失的空洞。所以，必须对原始动态点云存在的待修复孔洞进行检测和修复。
所述确定原始动态点云包含的待修复孔洞的步骤，包括：
采用K邻域法检测所述原始动态点云中所有的闭环边界，所述闭环边界包括点云表面边界和待修复孔洞边界；
利用主成分分析法在所有所述闭环边界中识别出待修复孔洞边界。
具体实施时，对原始动态点云进行动态空间索引，提取各点的K邻域，采用K邻域法检测原始动态点云中所有的边界点。即利用各点k邻域构成的最小二乘平面投影点的角度差来判断该点是否是边界点。若角度差在预设阈值范围，则该点为内部点，否则为边界点。然后，选择任意待修复孔洞的边界点作为初始边界点，按照预设搜索走向继续寻找相邻的边界点，直到找出能够在预设范围内可互相连接成闭环边界。
由于上述闭环边界可能不仅仅包含了待修复孔洞的边界，也可能包含了点云数据描述物体整体边缘的边界，例如一块指示牌的边界。所以，需要从这些闭环边界中识别初待修复孔洞的边界。
可以利用主成分分析法在所有闭环边界中识别出待修复孔洞边界。先对点云边界点的微切面进行最小二乘拟合，然后投影。具体计算过程如下：
其中，Ci(i＝1,...n)为闭环边界的点集，Λ为最小二乘面上的点，π(Λ,Nv)即为最小二乘面，Nv为平面法向，K为每个边界点Ci的协方差矩阵。
依据主成分分析法，平面法向Nv即为最小特征值对应的特征向量。根据采样点与相邻投影点之间直线的最大夹角，检测一个闭环边界中各个顶点的特征值。如果一个闭环边界点投影的多边形在最小二乘面上不相交，即该闭环边界即为待修复孔洞边界。
步骤S102，根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云，以及，将所述实际点云划分为多个体素。
动态点云所描述的物体的运动变化是连续的，因此，可以通过包含待修复孔洞的目标帧在动态点云中的前后帧运动变化特性来预测动态点云中待修复孔洞区域的点云数据。其中，目标帧并不限于一帧，可以是多帧。例如，编号依次为1,2,3的连续三帧中，2号帧为目标帧，那么1号和3号帧即为目标帧的前后相邻帧；编号依次为1,2,3,4，5的连续三帧中，如果2，3，4号帧中在对应位置均存在待修复孔洞，那么1号和5号帧即为目标帧的前后相邻帧。当然，考虑到孔洞的延伸影响，还可以考虑目标帧的前后相邻帧的其他选取方案，例如选取与目标帧间隔少数帧的正常帧作为用于参考的相邻帧等，这里不作限定。
所述根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云的步骤，包括：
根据所述目标帧的前后相邻帧的实际点云构建光流-场景流的关系模型；
通过所述光流-场景流的关系模型预测待修复孔洞区域的场景流矢量；
基于所述场景流矢量和待修复孔洞在所述目标帧的前后相邻帧中对应位置的运动变化特性，在待修复孔洞所在的空间位置生成稀疏点云，所述运动变化特性包括实际点云中每个点的运动方向及变化率。
具体实施时，动态点云的运动信息可以通过光流-场景流模型来进行预测分析。光流-场景流模型针对的是点的变化情况，可以生成待修复孔洞中孔洞中各点大概位置，但是这个不一定完全准确，不能适用复杂情况的点云，因为某些点云的局部运动变化不一定是简单的匀速变化，目标帧的前后帧的形变不一定是规律的。还需要考虑非刚体变形的情况，就是待修复孔洞在目标帧的前后帧中对应区域的点构成的曲面变化。所以，可以结合光流-场景流的关系模型以及局部的运动变化特性来获取待修复孔洞的稀疏点云。
可以采用全变分模型求解目标帧的前后相邻帧间的光流矢量，动态点云的光流能量函数可以表示为：
其中，k，λ是根据输入的点云序列大小而设定的微小常数，表示动态点云第i帧上一点/>在二维投影像面的灰度值，σ＝(u,v)T表示连续帧间的光流矢量，分别为二维投影像面坐标轴的速度矢量，/>为空间梯度,μ是光流矢量σ的近似值，是为了偏移量调整参考而引入的变量然后根据光流矢量构建光流-场景流的关系模型。构建光流-场景流的关系模型的计算公式为：
Ki＝(ui,vi)T，
其中，表示光流，/>表示场景流，Ki表示点/>在第i帧投影像面的坐标，/>为光流-场景流关系的雅可比矩阵，Mi为点云序列在第i帧像面的投影矩阵，[Mi]j为矩阵Mi的第j行。
所述将所述实际点云划分为多个体素的步骤，包括：
将所述实际点云进行体素块处理，得到包含多个规则体素块的体素块集合；
将包含至少一个点的体素块通过八叉树分解为八个亚体素块，所述亚体素包括空值亚体素块和非空亚体素块中的至少任意一种；
通过八叉树继续分解所述非空亚体素块，直到达到体素最小标准或预设停止条件，得到多个体素。
具体实施时，将实际点云划分为多个体素，即将无序、散乱的动态点云划分成规则的包含所有点的体素格，可以降低由于三维空间中散乱点云的不规则性造成的计算成本。
首先处理实际点云中的局部离群点，将处理后的实际点云分割成单位为1的体素块，并用相应的特征向量描述每一个体素。然后对全部体素块二值化并进行聚合高阶统计，可以将包含至少N个点的体素块设置为1，包含的点的个数少于N的体素块设置为0，其中N为正整数。以设置为1的体素块作为根节点，通过八叉树分解，递归地将根节点细分为八个亚体素。非空体素将继续被分割，直到达到残余的阈值或体素最小标准。
步骤S103，根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞。
其中，所述边界点为所述待修复孔洞的边界上的点，所述网格化孔洞包含多个连续的网格，每个网格至少覆盖一个稀疏点。
通过对待修复孔洞区域构建局部网格进行修复，不需要对整体点云进行网格模型的重建，从而节约点云预处理的计算成本，可以避免空间中大量数据计算，实现更高的运行效率。
所述根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞的步骤，包括：
将所述稀疏点云和待修复孔洞边界点构成的点集投影到二维平面；
利用网格剖分算法将投影后的点集进行二维平面内的网格化处理；
根据二维平面内的网格化处理结果将所述待修复孔洞进行三维网格化处理，得到三维空间中的网格化孔洞。
三角网格和其他多边形网格在图形学和建模中广泛使用，用来模拟复杂物体的表面。通过三角网格进行网格化可以使得由网格构成的整个曲面更加完整且连续，更贴合实际情况。具体实施时，可以将待修复孔洞进行三角网格化，使得修复更加准确。
首先，将待修复孔洞边界点和稀疏点云构成的点集通过对应的法线投影到二维平面，然后对投影得到的点集通过狄洛尼三角剖分(Delaunay Triangulation，简称Delaunay)算法做三角化处理。采用Delaunay三角剖分可以最大化三角形中的最小角，可以生成最接近于正三角形的三角化网格，得到二维平面内的三角网格化处理结果。
然后，在三维空间中在边界点中任选一点作为特征点，基于二维平面内的三角网格化处理结果在该特征点邻近点中依次查找符合构建平滑面三角形条件的三角特征点，依次递归遍历整个点集，直到找出覆盖孔洞表面的有效特征点集。其中，平滑面三角形条件为：选取一个样本三角网格作为初始曲面，三角网格边上穿过的稀疏点则为三角特征点，通过不断扩张样本曲面的边界直到所有符合几何正确性和拓扑正确性的点都被连上，构成一张完整且连续的由三角片构成的曲面，即可以得到三维空间中的三角网格化孔洞。
步骤S104，在所述实际点云包含的全部体素中查找与每个网格关联的体素，将全部与网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞。
为待修复孔洞的每一个网格查找最优匹配的目标体素或体素集合，将目标体素调整后填充入孔洞。重复上述步骤直到待修复孔洞的每个网格都得到修复，得到修复后的点云。
所述在所述实际点云包含的全部体素中查找每个网格关联的体素，将全部网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞的步骤，包括：
针对每个网格在预设点云搜索区域中查找与所述网格关联的体素，并将与所述网格关联的体素包含的点云数据填充到所述待修复孔洞中，所述预设点云搜索区域包括所述实际点云中对应所述待修复孔洞的区域；
根据填充到所述待修复孔洞的点云数据，更新所述待修复孔洞的边界点数据和所述预设点云搜索区域；
针对每个所述网格进行迭代修复，直到待修复孔洞被完全修复，得到修复后的点云。
具体实施时，在体素化的三维点云空间中，待修复孔洞周围的体素或者包含待修复孔洞的目标帧的前后相邻帧中对应运动变化位置的体素通常更有可能是最优匹配的体素。所以，将上述可能的最优匹配的体素所处的空间位置设置为预设的点云搜索区域，有助于减小搜索空间，准确定位最匹配的目标体素块。然后将目标体素快所包含的点云数据填充到待修复孔洞的对应区域。每一次填充后，根据填充到待修复孔洞的体素块所包含的点云数据，更新待修复孔洞的边界点数据和预设点云搜索区域，为下一个目标体素的查找提供更有效的局部查找范围。
所述针对每个网格在实际点云中查找与所述网格关联的体素，并将与所述网格关联的体素包含的点云数据填充到所述待修复孔洞中的步骤，包括：
从任意一个边界网格包含的稀疏点开始，在预设点云搜索区域内进行遍历搜索，找到包含目标特征点的目标体素,其中，所述边界网格为至少一条边为网格化孔洞边界边的网格，所述目标特征点为所述实际点云中与所述稀疏点坐标匹配的点；
通过调整矩阵将所述目标体素包含的点云数据进行坐标调整；
将调整后的点云数据填充到所述待修复孔洞中。
具体实施时，可以通过以下权重得到填充入孔洞的目标体素：
其中，为有效搜索空间的体素块，/>为当前网格包含的体素块，/>为权重，ωq为三维空间中目标体素块到网格位置的偏移量，/>是置信图，σ，t为预先设置的调节参数。
目标体素经过空间位置的调整后填充入网格所处的空间。具体地，可以通过调整矩阵进行目标体素位置的调整，调整矩阵Rt如下：
其中，H为查找到的目标体素集合，是/>到H的豪斯多夫距离，||·||2欧几里得范数。
本发明提供的动态点云修复方法，通过光流-场景流关系模型以及动态点云的局部非刚体变化来为待修复孔洞区域构建网格面片，然后从预设点云搜索区域查找目标体素集合，再将目标体素集合包含的点云数据调整后填充到待修复孔洞中，实现动态点云的孔洞修复，能在较小计算量的基础上得到高保真度的修复效果。
与上述方法实施例相对应，参见图2，本发明还提供一种动态点云修复装置200，所述动态点云修复装置200包括：
检测模块201，用于确定原始动态点云包含的待修复孔洞以及包含待修复孔洞的目标帧，其中，所述目标帧为所述原始动态点云对应的连续帧中包含待修复孔洞的任一帧；
体素化模块202，用于根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云，以及，将所述实际点云划分为多个体素；
网格化模块203，用于根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞，所述网格化孔洞包含多个连续的网格，每个网格至少覆盖一个稀疏点；
填充模块204，用于在所述实际点云包含的全部体素中查找与每个网格关联的体素，将全部与网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞。
此外，还提供一种计算机设备，计算机设备包括处理器和存储器，存储器存储有计算机程序，计算机程序在处理器上执行时实现上述动态点云修复方法。
此外，还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序在处理器上执行时实现上述动态点云修复方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种动态点云修复方法，其特征在于，所述方法包括：
确定原始动态点云包含的待修复孔洞以及包含待修复孔洞的目标帧，其中，所述目标帧为所述原始动态点云对应的连续帧中包含待修复孔洞的任一帧；
根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云，以及，将所述实际点云划分为多个体素；
根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞，所述网格化孔洞包含多个连续的网格，每个网格至少覆盖一个稀疏点；
在所述实际点云包含的全部体素中查找与每个网格关联的体素，将全部与网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞；
所述根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云的步骤，包括：
根据所述目标帧的前后相邻帧的实际点云构建光流-场景流的关系模型；
通过所述光流-场景流的关系模型预测待修复孔洞区域的场景流矢量；
基于所述场景流矢量和待修复孔洞在所述目标帧的前后相邻帧中对应位置的运动变化特性，在待修复孔洞所在的空间位置生成稀疏点云，所述运动变化特性包括实际点云中每个点的运动方向及变化率。
2.根据权利要求1所述的方法，其特征在于，所述确定原始动态点云包含的待修复孔洞的步骤，包括：
采用K邻域法检测所述原始动态点云中所有的闭环边界，所述闭环边界包括点云表面边界和待修复孔洞边界；
利用主成分分析法在所有所述闭环边界中识别出待修复孔洞边界。
3.根据权利要求1所述的方法，其特征在于，所述将所述实际点云划分为多个体素的步骤，包括：
将所述实际点云进行体素块处理，得到包含多个规则体素块的体素块集合；
将包含至少一个点的体素块通过八叉树分解为八个亚体素块，所述亚体素包括空值亚体素块和非空亚体素块中的至少任意一种；
通过八叉树继续分解所述非空亚体素块，直到达到体素最小标准或预设停止条件，得到多个体素。
4.根据权利要求2所述的方法，其特征在于，所述根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞的步骤，包括：
将所述稀疏点云和待修复孔洞边界点构成的点集投影到二维平面；
利用网格剖分算法将投影后的点集进行二维平面内的网格化处理；
根据二维平面内的网格化处理结果将所述待修复孔洞进行三维网格化处理，得到三维空间中的网格化孔洞。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述在所述实际点云包含的全部体素中查找每个网格关联的体素，将全部网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞的步骤，包括：
针对每个网格在预设点云搜索区域中查找与所述网格关联的体素，并将与所述网格关联的体素包含的点云数据填充到所述待修复孔洞中，所述预设点云搜索区域包括所述实际点云中对应所述待修复孔洞的区域；
根据填充到所述待修复孔洞的点云数据，更新所述待修复孔洞的边界点数据和所述预设点云搜索区域；
针对每个所述网格进行迭代修复，直到待修复孔洞被完全修复，得到修复后的点云。
6.根据权利要求5所述的方法，其特征在于，所述针对每个网格在实际点云中查找与所述网格关联的体素，并将与所述网格关联的体素包含的点云数据填充到所述待修复孔洞中的步骤，包括：
从任意一个边界网格包含的稀疏点开始，在预设点云搜索区域内进行遍历搜索，找到包含目标特征点的目标体素,其中，所述边界网格为至少一条边为网格化孔洞边界边的网格，所述目标特征点为所述实际点云中与所述稀疏点坐标匹配的点；
通过调整矩阵将所述目标体素包含的点云数据进行坐标调整；
将调整后的点云数据填充到所述待修复孔洞中。
7.一种动态点云修复装置，其特征在于，所述装置包括：
检测模块，用于确定原始动态点云包含的待修复孔洞以及包含待修复孔洞的目标帧，其中，所述目标帧为所述原始动态点云对应的连续帧中包含待修复孔洞的任一帧；
体素化模块，用于根据所述目标帧的前后相邻帧的实际点云，获得对应所述待修复孔洞的稀疏点云，以及，将所述实际点云划分为多个体素；
网格化模块，用于根据所述待修复孔洞的边界点和所述稀疏点云，获得网格化孔洞，所述网格化孔洞包含多个连续的网格，每个网格至少覆盖一个稀疏点；
填充模块，用于在所述实际点云包含的全部体素中查找与每个网格关联的体素，将全部与网格关联的体素包含的点云数据填充到原始动态点云的待修复孔洞；
所述体素化模块，还用根据所述目标帧的前后相邻帧的实际点云构建光流-场景流的关系模型；
通过所述光流-场景流的关系模型预测待修复孔洞区域的场景流矢量；
基于所述场景流矢量和待修复孔洞在所述目标帧的前后相邻帧中对应位置的运动变化特性，在待修复孔洞所在的空间位置生成稀疏点云，所述运动变化特性包括实际点云中每个点的运动方向及变化率。
8.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上执行时实现权利要求1至6中任一项所述的动态点云修复方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序在处理器上执行时实现权利要求1至6中任一项所述的动态点云修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110243045.1A CN113012063B (zh) | 2021-03-05 | 2021-03-05 | 一种动态点云修复方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110243045.1A CN113012063B (zh) | 2021-03-05 | 2021-03-05 | 一种动态点云修复方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113012063A CN113012063A (zh) | 2021-06-22 |
| CN113012063B true CN113012063B (zh) | 2024-02-27 |
Family
ID=76406148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110243045.1A Active CN113012063B (zh) | 2021-03-05 | 2021-03-05 | 一种动态点云修复方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113012063B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114025146B (zh) * | 2021-11-02 | 2023-11-17 | 浙江工商大学 | 基于场景流网络与时间熵模型的动态点云几何压缩方法 |
| CN115908163B (zh) * | 2022-11-01 | 2023-09-08 | 北京城市网邻信息技术有限公司 | 空洞修复方法、装置和存储介质 |
| CN115906590B (zh) * | 2023-01-05 | 2023-05-09 | 苏州数算软云科技有限公司 | 一种注塑充型的模拟填充方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102467753A (zh) * | 2010-11-04 | 2012-05-23 | 中国科学院深圳先进技术研究院 | 基于骨架配准的时变点云重建方法及*** |
| CN109859114A (zh) * | 2018-12-27 | 2019-06-07 | 北京大学 | 基于局域平滑性和非局域相似性的三维点云修复方法 |
| CN110047144A (zh) * | 2019-04-01 | 2019-07-23 | 西安电子科技大学 | 一种基于Kinectv2的完整物体实时三维重建方法 |
| WO2019243663A1 (en) * | 2018-06-21 | 2019-12-26 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| CN110852949A (zh) * | 2019-11-07 | 2020-02-28 | 上海眼控科技股份有限公司 | 点云数据补全方法、装置、计算机设备和存储介质 |
| CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9390110B2 (en) * | 2012-05-02 | 2016-07-12 | Level Set Systems Inc. | Method and apparatus for compressing three-dimensional point cloud data |
| US11164363B2 (en) * | 2019-07-08 | 2021-11-02 | Waymo Llc | Processing point clouds using dynamic voxelization |
-
2021
- 2021-03-05 CN CN202110243045.1A patent/CN113012063B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102467753A (zh) * | 2010-11-04 | 2012-05-23 | 中国科学院深圳先进技术研究院 | 基于骨架配准的时变点云重建方法及*** |
| WO2019243663A1 (en) * | 2018-06-21 | 2019-12-26 | Nokia Technologies Oy | An apparatus, a method and a computer program for volumetric video |
| CN109859114A (zh) * | 2018-12-27 | 2019-06-07 | 北京大学 | 基于局域平滑性和非局域相似性的三维点云修复方法 |
| CN110047144A (zh) * | 2019-04-01 | 2019-07-23 | 西安电子科技大学 | 一种基于Kinectv2的完整物体实时三维重建方法 |
| CN110852949A (zh) * | 2019-11-07 | 2020-02-28 | 上海眼控科技股份有限公司 | 点云数据补全方法、装置、计算机设备和存储介质 |
| CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113012063A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113012063B (zh) | 一种动态点云修复方法、装置及计算机设备 | |
| Wang et al. | Lidar point clouds to 3-D urban models $: $ A review | |
| US11544900B2 (en) | Primitive-based 3D building modeling, sensor simulation, and estimation | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| US7983474B2 (en) | Geospatial modeling system and related method using multiple sources of geographic information | |
| Sampath et al. | Building boundary tracing and regularization from airborne LiDAR point clouds | |
| CN113781667B (zh) | 三维结构简化重建方法、装置、计算机设备和存储介质 | |
| CN110866531A (zh) | 一种基于三维建模的建筑物特征提取方法、***及存储介质 | |
| US9959670B2 (en) | Method for rendering terrain | |
| Jin et al. | A point-based fully convolutional neural network for airborne LiDAR ground point filtering in forested environments | |
| US7778808B2 (en) | Geospatial modeling system providing data thinning of geospatial data points and related methods | |
| CN116563493A (zh) | 基于三维重建的模型训练方法、三维重建方法及装置 | |
| Park et al. | Segmentation of Lidar data using multilevel cube code | |
| Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
| Liu et al. | Accurate volume calculation driven by Delaunay triangulation for coal measurement | |
| Ding et al. | A fast volume measurement method for obtaining point cloud data from bulk stockpiles | |
| Damkjer et al. | Lattice-constrained stratified sampling for point cloud levels of detail | |
| Gkeli et al. | Automatic 3D reconstruction of buildings roof tops in densely urbanized areas | |
| Wu et al. | A novel Building Section Skeleton for compact 3D reconstruction from point clouds: A study of high-density urban scenes | |
| Ton et al. | 3D Least Squares Based Surface Reconstruction | |
| Favorskaya et al. | Digital modelling of terrain surface | |
| Guo et al. | A Local Enhancement Method for Large‐Scale Building Facade Depth Images using Densely Matched Point Clouds | |
| Afrose | Adaptive methods for point cloud and mesh processing | |
| Huang | An improved voxel filtering method based on octree structure and point density | |
| Mendela-Anzlik et al. | Verification and updating of the Database of Topographic Objects with geometric information about buildings by means of airborne laser scanning data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |