CN114972695B - 一种点云生成方法、装置、电子设备及存储介质 - Google Patents
一种点云生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114972695B CN114972695B CN202210555391.8A CN202210555391A CN114972695B CN 114972695 B CN114972695 B CN 114972695B CN 202210555391 A CN202210555391 A CN 202210555391A CN 114972695 B CN114972695 B CN 114972695B
- Authority
- CN
- China
- Prior art keywords
- matrix
- coupling block
- point cloud
- residual coupling
- reversible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 239000011159 matrix material Substances 0.000 claims abstract description 753
- 230000002441 reversible effect Effects 0.000 claims abstract description 383
- 238000012545 processing Methods 0.000 claims abstract description 66
- 239000013598 vector Substances 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000008878 coupling Effects 0.000 claims description 330
- 238000010168 coupling process Methods 0.000 claims description 330
- 238000005859 coupling reaction Methods 0.000 claims description 330
- 238000005070 sampling Methods 0.000 claims description 75
- 238000011176 pooling Methods 0.000 claims description 49
- 230000006870 function Effects 0.000 claims description 38
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000009792 diffusion process Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Complex Calculations (AREA)
Abstract
本申请提供了一种点云生成方法、装置、电子设备及存储介质,方法包括:S1、获取目标种类的点云数据;S2、对于每一点云数据,使用编码器对该点云数据进行处理,得到该点云数据对应的均值向量和方差向量;S3、基于均值向量、方差向量和高斯分布向量,得到该点云数据对应的隐码向量;S4、将第一隐码矩阵输入到点云归一化流的正向过程中,得到第一矩阵;S5、将每一点云数据和第一隐码矩阵输入到可逆解码器中,进行目标流程的正向过程,得到第二矩阵;S6、基于第一隐码矩阵和第一矩阵,计算第一损失值,并基于第一高斯分布矩阵和第二矩阵,计算第二损失值。本申请能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
Description
技术领域
本申请涉及点云生成领域,具体而言,涉及一种点云生成方法、装置、电子设备及存储介质。
背景技术
点云生成旨在从特定分布中生成点云。由于点云的无序性,这是一项具有挑战性的任务。
常见的点云生成方法包括生成对抗网络、自回归模型、变分自动编码器和归一化流。但是这些方法均有其固有缺陷,例如生成对抗网络训练不稳定,自回归模型必须按序生成,变分自动编码器生成点云模糊,而归一化流训练所需时间较长。因此,有部分研究将变分自动编码器与归一化流相结合,来提高生成点云的质量。然而,这部分方法很少考虑网络设计。具体来说,对于变分自动编码器的点云编码器部分,广泛采用的结构很难捕捉到局部信息,这个缺点会造成隐码缺失高频表示,不利于点云的生成。而直接替换为复杂的点云编码器会破坏生成的鲁棒性并带来不可接受的计算成本。
发明内容
有鉴于此,本申请的目的在于提供一种点云生成方法、装置、电子设备及存储介质,能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
第一方面,本申请实施例提供了一种点云生成方法,所述方法包括:
S101、获取目标种类的m个对象各自的点云数据,其中,m为大于1的整数;
S102、对于最新获取的每一点云数据,使用点云编码器对该点云数据进行目标处理过程,得到该点云数据对应的均值向量和该点云数据对应的方差向量,其中,所述目标处理过程包括:对该点云数据进行第一卷积处理,得到该点云数据的初始特征矩阵;基于所述初始特征矩阵,得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵,以及,得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵,其中,对于该点云数据中的每一点,该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点,该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点,k为大于1的整数;对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,以及,对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,其中,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的,或,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的;通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量,以及,通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量;
S103、基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量,得到该点云数据对应的隐码向量,其中,所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
S104、将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵;
S105、将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中,进行目标流程的正向过程,得到第二目标矩阵,其中,所述目标流程为第二点云归一化流或马尔可夫链的扩散;
S106、基于所述第一隐码矩阵和所述第一目标矩阵,计算得到第一损失值,以及,基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵,计算得到第二损失值,其中,所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的;
S107、若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值,则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化,并重复步骤S101~步骤S106,直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值,以将当前的第一点云归一化流作为训练完成后的第一点云归一化流,以及,将当前的可逆点云解码器作为训练完成后的可逆点云解码器;
S108、将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,其中,所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
S109、将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中,进行所述目标流程的逆向过程,生成所述目标种类的新点云,其中,所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
在一种可能的实施方式中,对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第一候选特征矩阵;
对所述第一候选特征矩阵进行第二卷积处理,得到第二候选特征矩阵;
对于所述第二候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率,并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率,得到第一权重矩阵;
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘,得到所述第一池化特征矩阵;
对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第三候选特征矩阵;
对所述第三候选特征矩阵进行第三卷积处理,得到第四候选特征矩阵;
对于所述第四候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率,并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率,得到第二权重矩阵;
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘,得到所述第二池化特征矩阵。
在一种可能的实施方式中,所述第一点云归一化流中包括n个可逆残差耦合块,其中,n为大于1的整数,对于每一所述可逆残差耦合块,该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层,所述第一目标层为卷积层或全连接层,所述第二目标层为卷积层或全连接层,所述第三目标层为卷积层或全连接层;将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵,包括:
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵,并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵,以及,将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵;
通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,其中,i的初始值为1;
其中,为第i个可逆残差耦合块的第一输出矩阵,/>为第i个可逆残差耦合块的第二输出矩阵,/>为/>经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵,/>为/>经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵,/>为/>经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵,为第i个可逆残差耦合块的第二输入矩阵,/>为第i个可逆残差耦合块的第一输入矩阵;
将i+1,并返回步骤通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,直至i等于n;
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并,得到所述第一目标矩阵。
在一种可能的实施方式中,将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,包括:
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵,并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵,以及,将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵;
通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,其中,j的初始值为n;
其中,为第j个可逆残差耦合块的第三输出矩阵,/>为/>经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵,/>为第j个可逆残差耦合块的第四输出矩阵,/>为第j个可逆残差耦合块的第四输入矩阵,/>为/>经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵,/>为/>经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵,/>为第j个可逆残差耦合块的第三输入矩阵;
将j-1,并返回步骤通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,直至j等于1;
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并,得到所述第二隐码矩阵。
第二方面,本申请实施例还提供了一种点云生成装置,所述装置包括:
获取模块,用于获取目标种类的m个对象各自的点云数据,其中,m为大于1的整数;
第一处理模块,用于对于最新获取的每一点云数据,使用点云编码器对该点云数据进行目标处理过程,得到该点云数据对应的均值向量和该点云数据对应的方差向量,其中,所述目标处理过程包括:对该点云数据进行第一卷积处理,得到该点云数据的初始特征矩阵;基于所述初始特征矩阵,得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵,以及,得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵,其中,对于该点云数据中的每一点,该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点,该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点,k为大于1的整数;对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,以及,对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,其中,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的,或,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的;通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量,以及,通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量;
第二处理模块,用于基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量,得到该点云数据对应的隐码向量,其中,所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
第三处理模块,用于将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵;
第四处理模块,用于将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中,进行目标流程的正向过程,得到第二目标矩阵,其中,所述目标流程为第二点云归一化流或马尔可夫链的扩散;
计算模块,用于基于所述第一隐码矩阵和所述第一目标矩阵,计算得到第一损失值,以及,基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵,计算得到第二损失值,其中,所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的;
优化模块,用于若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值,则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化,并重新交由所述获取模块进行处理,直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值,以将当前的第一点云归一化流作为训练完成后的第一点云归一化流,以及,将当前的可逆点云解码器作为训练完成后的可逆点云解码器;
第五处理模块,用于将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,其中,所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
点云生成模块,用于将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中,进行所述目标流程的逆向过程,生成所述目标种类的新点云,其中,所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
在一种可能的实施方式中,对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第一候选特征矩阵;
对所述第一候选特征矩阵进行第二卷积处理,得到第二候选特征矩阵;
对于所述第二候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率,并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率,得到第一权重矩阵;
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘,得到所述第一池化特征矩阵;
对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第三候选特征矩阵;
对所述第三候选特征矩阵进行第三卷积处理,得到第四候选特征矩阵;
对于所述第四候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率,并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率,得到第二权重矩阵;
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘,得到所述第二池化特征矩阵。
在一种可能的实施方式中,所述第一点云归一化流中包括n个可逆残差耦合块,其中,n为大于1的整数,对于每一所述可逆残差耦合块,该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层,所述第一目标层为卷积层或全连接层,所述第二目标层为卷积层或全连接层,所述第三目标层为卷积层或全连接层;所述第三处理模块,具体用于:
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵,并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵,以及,将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵;
通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,其中,i的初始值为1;
其中,为第i个可逆残差耦合块的第一输出矩阵,/>为第i个可逆残差耦合块的第二输出矩阵,/>为/>经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵,/>为/>经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵,/>为/>经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵,为第i个可逆残差耦合块的第二输入矩阵,/>为第i个可逆残差耦合块的第一输入矩阵;
将i+1,并返回步骤通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,直至i等于n;
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并,得到所述第一目标矩阵。
在一种可能的实施方式中,所述第五处理模块,具体用于:
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵,并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵,以及,将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵;
通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,其中,j的初始值为n;
其中,为第j个可逆残差耦合块的第三输出矩阵,/>为/>经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵,/>为第j个可逆残差耦合块的第四输出矩阵,/>为第j个可逆残差耦合块的第四输入矩阵,/>为/>经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵,/>为/>经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵,/>为第j个可逆残差耦合块的第三输入矩阵;
将j-1,并返回步骤通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,直至j等于1;
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并,得到所述第二隐码矩阵。
第三方面,本申请实施例还提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行第一方面任一项所述的点云生成方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面任一项所述的点云生成方法的步骤。
本申请实施例提供的一种点云生成方法、装置、电子设备及存储介质,能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种点云生成方法的流程图;
图2示出了本申请实施例提供的生成点云对比示意图;
图3示出了本申请实施例提供的一种点云生成装置的结构示意图;
图4示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
为便于对本实施例进行理解,对本申请实施例提供的一种点云生成方法、装置、电子设备及存储介质进行详细介绍。
参照图1所示,为本申请实施例提供的一种点云生成方法的流程图,所述方法包括:
S101、获取目标种类的m个对象各自的点云数据,其中,m为大于1的整数。
示例性的,目标种类为飞机类、桌子类或椅子类等,那么,在目标种类为飞机类时,目标种类的m个对象便可以为m个相同或不同的飞机。
示例性的,m可以为8,在m为8时即意味着后续训练过程是以8个点云数据为一组进行训练。
S102、对于最新获取的每一点云数据,使用点云编码器对该点云数据进行目标处理过程,得到该点云数据对应的均值向量和该点云数据对应的方差向量,其中,所述目标处理过程包括:对该点云数据进行第一卷积处理,得到该点云数据的初始特征矩阵;基于所述初始特征矩阵,得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵,以及,得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵,其中,对于该点云数据中的每一点,该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点,该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点,k为大于1的整数;对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,以及,对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,其中,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的,或,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的;通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量,以及,通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量。
此处为本申请相对于现有技术的第一个改动,在现有技术中,不包括根据初始特征矩阵生成第一空间特征矩阵和第二空间特征矩阵等步骤,而是直接对初始特征矩阵进行池化处理,通过本申请的方式,能够使得最终生成的点云具有更加丰富的细节。
优选的,k可以为10,在k为10的时候能够使得最终生成的点云在生成质量和计算资源方面具有较佳的平衡。
示例性的,池化处理可以为最大池化处理或平均池化处理等。
S103、基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量,得到该点云数据对应的隐码向量,其中,所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的。
本步骤即为重参数化的过程。
S104、将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵。
例如,存在3个隐码向量,分别为[1 2 3]、[4 5 6]和[7 8 9],那么,第一隐码矩阵即可以为
S105、将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中,进行目标流程的正向过程,得到第二目标矩阵,其中,所述目标流程为第二点云归一化流或马尔可夫链的扩散。
S106、基于所述第一隐码矩阵和所述第一目标矩阵,计算得到第一损失值,以及,基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵,计算得到第二损失值,其中,所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
示例性的,可以基于均方误差等方式计算第一损失值和第二损失值。
S107、若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值,则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化,并重复步骤S101~步骤S106,直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值,以将当前的第一点云归一化流作为训练完成后的第一点云归一化流,以及,将当前的可逆点云解码器作为训练完成后的可逆点云解码器。
结合步骤S101~步骤S107,每m个点云数据一组进行训练,并基于梯度下降法对点云编码器、第一点云归一化流和可逆点云解码器中的至少一者进行优化,直至最新的一组点云数据对应的损失值(即最新的损失值)小于或等于预设损失值,便得到了训练完成后的点云编码器,以及,训练完成后的可逆点云解码器。
S108、将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,其中,所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的。
S109、将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中,进行所述目标流程的逆向过程,生成所述目标种类的新点云,其中,所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
步骤S108~步骤S109即为训练完成后的测试(使用)过程,在训练过程中(即步骤S101~步骤S107),使用的是第一点云归一化流的正向过程以及目标流程的正向过程,而测试过程(即以上两个步骤)使用的是(训练完成后的)第一点云归一化流的逆向过程以及(训练完成后的可逆点云解码器所执行的)目标流程的逆向过程。
参照图2所示,为本申请实施例提供的生成点云对比示意图,示出了通过本申请的方式所生成的点云与通过现有技术(DiffusionPM)生成的点云,可以很明显的看出,通过本申请的方式所生成的点云不论是在整体还是细节方面均要远优于通过现有技术(DiffusionPM)生成的点云。
在一种可能的实施方式中,对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第一候选特征矩阵;
示例性的,若第一空间特征矩阵为那么,第一候选特征矩阵即为/>或,/>
对所述第一候选特征矩阵进行第二卷积处理,得到第二候选特征矩阵;
对于所述第二候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率,并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率,得到第一权重矩阵;
假设第二候选特征矩阵为[2 8],那么,相应的,第一权重矩阵即为
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘,得到所述第一池化特征矩阵;
此处为本申请相对于现有技术的第二个改动,相比于现有技术的最大池化以及平均池化等方式,本申请提出了一种全新的自适应加权池化的方式。
对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第三候选特征矩阵;
第二池化处理的方式与第一池化处理的原理相同,在此不再赘述。
对所述第三候选特征矩阵进行第三卷积处理,得到第四候选特征矩阵;
对于所述第四候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率,并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率,得到第二权重矩阵;
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘,得到所述第二池化特征矩阵。
在一种可能的实施方式中,所述第一点云归一化流中包括n个可逆残差耦合块,其中,n为大于1的整数,对于每一所述可逆残差耦合块,该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层,所述第一目标层为卷积层或全连接层,所述第二目标层为卷积层或全连接层,所述第三目标层为卷积层或全连接层;将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵,包括:
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵,并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵,以及,将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵;
通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,其中,i的初始值为1;
其中,为第i个可逆残差耦合块的第一输出矩阵,/>为第i个可逆残差耦合块的第二输出矩阵,/>为/>经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵,/>为/>经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵,/>为/>经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵,为第i个可逆残差耦合块的第二输入矩阵,/>为第i个可逆残差耦合块的第一输入矩阵;
将i+1,并返回步骤通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,直至i等于n;
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并,得到所述第一目标矩阵。
此处为本申请相对于现有技术的第三个改动,具体的,本申请改变了第一点云归一化流中耦合层(即可逆残差耦合块)的耦合方式(修改了具体的公式)。
示例性的,经过实验,当n为14时耦合层(即可逆残差耦合块)耦合的效果较为出色。
在一种可能的实施方式中,将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,包括:
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵,并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵,以及,将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵;
通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,其中,j的初始值为n;
其中,为第j个可逆残差耦合块的第三输出矩阵,/>为/>经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵,/>为第j个可逆残差耦合块的第四输出矩阵,/>为第j个可逆残差耦合块的第四输入矩阵,/>为/>经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵,/>为/>经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵,/>为第j个可逆残差耦合块的第三输入矩阵;
将j-1,并返回步骤通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,直至j等于1;
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并,得到所述第二隐码矩阵。
此处即为与前述步骤所涉及的与第一点云归一化流的正向过程相对应的第一点云归一化流的逆向过程,在测试过程中,使用的是训练完成后的第一点云归一化流的逆向过程。
本申请实施例提供的一种点云生成方法,能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
基于同一发明构思,本申请实施例中还提供了与实施例中点云生成方法对应的点云生成装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述点云生成方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图3所示,为本申请实施例提供的一种点云生成装置的结构示意图,所述装置包括:
获取模块301,用于获取目标种类的m个对象各自的点云数据,其中,m为大于1的整数;
第一处理模块302,用于对于最新获取的每一点云数据,使用点云编码器对该点云数据进行目标处理过程,得到该点云数据对应的均值向量和该点云数据对应的方差向量,其中,所述目标处理过程包括:对该点云数据进行第一卷积处理,得到该点云数据的初始特征矩阵;基于所述初始特征矩阵,得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵,以及,得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵,其中,对于该点云数据中的每一点,该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点,该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点,k为大于1的整数;对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,以及,对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,其中,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的,或,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的;通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量,以及,通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量;
第二处理模块303,用于基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量,得到该点云数据对应的隐码向量,其中,所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
第三处理模块304,用于将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵;
第四处理模块305,用于将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中,进行目标流程的正向过程,得到第二目标矩阵,其中,所述目标流程为第二点云归一化流或马尔可夫链的扩散;
计算模块306,用于基于所述第一隐码矩阵和所述第一目标矩阵,计算得到第一损失值,以及,基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵,计算得到第二损失值,其中,所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的;
优化模块307,用于若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值,则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化,并重新交由所述获取模块301进行处理,直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值,以将当前的第一点云归一化流作为训练完成后的第一点云归一化流,以及,将当前的可逆点云解码器作为训练完成后的可逆点云解码器;
第五处理模块308,用于将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,其中,所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
点云生成模块309,用于将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中,进行所述目标流程的逆向过程,生成所述目标种类的新点云,其中,所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
在一种可能的实施方式中,对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第一候选特征矩阵;
对所述第一候选特征矩阵进行第二卷积处理,得到第二候选特征矩阵;
对于所述第二候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率,并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率,得到第一权重矩阵;
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘,得到所述第一池化特征矩阵;
对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第三候选特征矩阵;
对所述第三候选特征矩阵进行第三卷积处理,得到第四候选特征矩阵;
对于所述第四候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率,并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率,得到第二权重矩阵;
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘,得到所述第二池化特征矩阵。
在一种可能的实施方式中,所述第一点云归一化流中包括n个可逆残差耦合块,其中,n为大于1的整数,对于每一所述可逆残差耦合块,该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层,所述第一目标层为卷积层或全连接层,所述第二目标层为卷积层或全连接层,所述第三目标层为卷积层或全连接层;所述第三处理模块304,具体用于:
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵,并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵,以及,将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵;
通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,其中,i的初始值为1;
/>
其中,为第i个可逆残差耦合块的第一输出矩阵,/>为第i个可逆残差耦合块的第二输出矩阵,/>为/>经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵,/>为/>经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵,为/>经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵,/>为第i个可逆残差耦合块的第二输入矩阵,/>为第i个可逆残差耦合块的第一输入矩阵;
将i+1,并返回步骤通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,直至i等于n;
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并,得到所述第一目标矩阵。
在一种可能的实施方式中,所述第五处理模块308,具体用于:
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵,并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵,以及,将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵;
通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,其中,j的初始值为n;
其中,为第j个可逆残差耦合块的第三输出矩阵,/>为/>经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵,/>为第j个可逆残差耦合块的第四输出矩阵,/>为第j个可逆残差耦合块的第四输入矩阵,/>为/>经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵,/>为/>经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵,/>为第j个可逆残差耦合块的第三输入矩阵;
将j-1,并返回步骤通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,直至j等于1;
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并,得到所述第二隐码矩阵。
本申请实施例提供的一种点云生成装置,能够使得训练完成后的可逆点云解码器生成的点云具有更丰富的细节。
参照图4所示,本申请实施例提供的一种电子设备400,包括:处理器401、存储器402和总线,所述存储器402存储有所述处理器401可执行的机器可读指令,当电子设备运行时,所述处理器401与所述存储器402之间通过总线通信,所述处理器401执行所述机器可读指令,以执行如上述点云生成的方法的步骤。
具体地,上述存储器402和处理器401能够为通用的存储器和处理器,这里不做具体限定,当处理器401运行存储器402存储的计算机程序时,能够执行上述点云生成的方法。
对应于上述点云生成的方法,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述点云生成的方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种点云生成方法,其特征在于,所述方法包括:
S101、获取目标种类的m个对象各自的点云数据,其中,m为大于1的整数;
S102、对于最新获取的每一点云数据,使用点云编码器对该点云数据进行目标处理过程,得到该点云数据对应的均值向量和该点云数据对应的方差向量,其中,所述目标处理过程包括:对该点云数据进行第一卷积处理,得到该点云数据的初始特征矩阵;基于所述初始特征矩阵,得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵,以及,得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵,其中,对于该点云数据中的每一点,该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点,该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点,k为大于1的整数;对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,以及,对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,其中,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的,或,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的;通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量,以及,通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量;
S103、基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量,得到该点云数据对应的隐码向量,其中,所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
S104、将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵;
S105、将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中,进行目标流程的正向过程,得到第二目标矩阵,其中,所述目标流程为第二点云归一化流或马尔可夫链的扩散;
S106、基于所述第一隐码矩阵和所述第一目标矩阵,计算得到第一损失值,以及,基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵,计算得到第二损失值,其中,所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的;
S107、若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值,则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化,并重复步骤S101~步骤S106,直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值,以将当前的第一点云归一化流作为训练完成后的第一点云归一化流,以及,将当前的可逆点云解码器作为训练完成后的可逆点云解码器;
S108、将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,其中,所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
S109、将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中,进行所述目标流程的逆向过程,生成所述目标种类的新点云,其中,所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
2.根据权利要求1所述的点云生成方法,其特征在于,对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第一候选特征矩阵;
对所述第一候选特征矩阵进行第二卷积处理,得到第二候选特征矩阵;
对于所述第二候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率,并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率,得到第一权重矩阵;
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘,得到所述第一池化特征矩阵;
对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第三候选特征矩阵;
对所述第三候选特征矩阵进行第三卷积处理,得到第四候选特征矩阵;
对于所述第四候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率,并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率,得到第二权重矩阵;
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘,得到所述第二池化特征矩阵。
3.根据权利要求1所述的点云生成方法,其特征在于,所述第一点云归一化流中包括n个可逆残差耦合块,其中,n为大于1的整数,对于每一所述可逆残差耦合块,该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层,所述第一目标层为卷积层或全连接层,所述第二目标层为卷积层或全连接层,所述第三目标层为卷积层或全连接层;将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵,包括:
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵,并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵,以及,将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵;
通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,其中,i的初始值为1;
其中,为第i个可逆残差耦合块的第一输出矩阵,/>为第i个可逆残差耦合块的第二输出矩阵,/>为/>经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵,/>为/>经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵,为/>经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵,/>为第i个可逆残差耦合块的第二输入矩阵,/>为第i个可逆残差耦合块的第一输入矩阵;
将i+1,并返回步骤通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,直至i等于n;
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并,得到所述第一目标矩阵。
4.根据权利要求3所述的点云生成方法,其特征在于,将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,包括:
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵,并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵,以及,将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵;
通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,其中,j的初始值为n;
其中,为第j个可逆残差耦合块的第三输出矩阵,/>为/>经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵,/>为第j个可逆残差耦合块的第四输出矩阵,/>为第j个可逆残差耦合块的第四输入矩阵,/>为/>经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵,/>为/>经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵,/>为第j个可逆残差耦合块的第三输入矩阵;
将j-1,并返回步骤通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,直至j等于1;
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并,得到所述第二隐码矩阵。
5.一种点云生成装置,其特征在于,所述装置包括:
获取模块,用于获取目标种类的m个对象各自的点云数据,其中,m为大于1的整数;
第一处理模块,用于对于最新获取的每一点云数据,使用点云编码器对该点云数据进行目标处理过程,得到该点云数据对应的均值向量和该点云数据对应的方差向量,其中,所述目标处理过程包括:对该点云数据进行第一卷积处理,得到该点云数据的初始特征矩阵;基于所述初始特征矩阵,得到用于表征该点云数据中每一点与其每一第一邻居点在特征空间中互相之间的位置信息的第一空间特征矩阵,以及,得到用于表征该点云数据中每一点与其每一第二邻居点在笛卡尔空间中互相之间的位置信息的第二空间特征矩阵,其中,对于该点云数据中的每一点,该点的第一邻居点为该点云数据中与该点在所述特征空间中的距离较近的k个点,该点的第二邻居节点为该点云数据中与该点在所述笛卡尔空间中的距离较近的k个点,k为大于1的整数;对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,以及,对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,其中,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行相加后得到的,或,所述综合空间特征矩阵是由所述第一空间特征矩阵和所述第二空间特征矩阵进行合并后得到的;通过第一全连接层将所述第一池化特征矩阵转换为所述均值向量,以及,通过第二全连接层将所述第二池化特征矩阵转换为所述方差向量;
第二处理模块,用于基于所述均值向量、所述方差向量和由第一目标采样点构成的高斯分布向量,得到该点云数据对应的隐码向量,其中,所述第一目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
第三处理模块,用于将由最新获取的每一点云数据各自对应的隐码向量进行合并后得到的第一隐码矩阵输入到第一点云归一化流的正向过程中,得到与所述第一隐码矩阵维数相同的第一目标矩阵;
第四处理模块,用于将最新获取的每一点云数据和所述第一隐码矩阵输入到可逆点云解码器中,进行目标流程的正向过程,得到第二目标矩阵,其中,所述目标流程为第二点云归一化流或马尔可夫链的扩散;
计算模块,用于基于所述第一隐码矩阵和所述第一目标矩阵,计算得到第一损失值,以及,基于与所述第二目标矩阵维数相同的由第一目标三维采样点构成的第一高斯分布矩阵和所述第二目标矩阵,计算得到第二损失值,其中,所述第一目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的;
优化模块,用于若最新的第一损失值大于第一预设损失值和/或最新的第二损失值大于第二预设损失值,则基于梯度下降法对所述第一点云归一化流、所述可逆点云解码器和所述点云编码器中的至少一者进行优化,并重新交由所述获取模块进行处理,直至最新的第一损失值小于或等于所述第一预设损失值且最新的第二损失值小于或等于第二预设损失值,以将当前的第一点云归一化流作为训练完成后的第一点云归一化流,以及,将当前的可逆点云解码器作为训练完成后的可逆点云解码器;
第五处理模块,用于将与所述第一目标矩阵维数相同的由第二目标采样点构成的第二高斯分布矩阵输入到所述训练完成后的第一点云归一化流的逆向过程中,得到与所述第一目标矩阵维数相同的第二隐码矩阵,其中,所述第二目标采样点是对概率密度函数符合标准高斯分布的噪声进行随机采样后得到的;
点云生成模块,用于将与所述第一高斯分布矩阵维数相同的由第二目标三维采样点构成的第三高斯分布矩阵和所述第二隐码矩阵输入到所述训练完成后的可逆点云解码器中,进行所述目标流程的逆向过程,生成所述目标种类的新点云,其中,所述第二目标三维采样点是对概率密度函数符合标准高斯分布的三维噪声进行随机采样后得到的。
6.根据权利要求5所述的点云生成装置,其特征在于,对综合空间特征矩阵进行第一池化处理,得到第一池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第一候选特征矩阵;
对所述第一候选特征矩阵进行第二卷积处理,得到第二候选特征矩阵;
对于所述第二候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第二候选特征矩阵中该位置的数值的第一选取概率,并将所述第二候选特征矩阵中该位置的数值替换为所述第一选取概率,得到第一权重矩阵;
将所述第一权重矩阵的转置矩阵与所述第一候选特征矩阵相乘,得到所述第一池化特征矩阵;
对所述综合空间特征矩阵进行第二池化处理,得到第二池化特征矩阵,包括:
将所述综合空间特征矩阵中每一行中的数值均按照从小到大的顺序重新进行排列,或,将所述综合空间特征矩阵中每一行中的数值均按照从大到小的顺序重新进行排列,得到第三候选特征矩阵;
对所述第三候选特征矩阵进行第三卷积处理,得到第四候选特征矩阵;
对于所述第四候选特征矩阵中每个位置的数值,基于softmax函数,计算得到所述第四候选特征矩阵中该位置的数值的第二选取概率,并将所述第四候选特征矩阵中该位置的数值替换为所述第二选取概率,得到第二权重矩阵;
将所述第二权重矩阵的转置矩阵与所述第三候选特征矩阵相乘,得到所述第二池化特征矩阵。
7.根据权利要求5所述的点云生成装置,其特征在于,所述第一点云归一化流中包括n个可逆残差耦合块,其中,n为大于1的整数,对于每一所述可逆残差耦合块,该可逆残差耦合块中包括第一目标层、第二目标层和第三目标层,所述第一目标层为卷积层或全连接层,所述第二目标层为卷积层或全连接层,所述第三目标层为卷积层或全连接层;所述第三处理模块,具体用于:
将所述第一隐码矩阵拆分为维数相同的第一子隐码矩阵和第二子隐码矩阵,并将所述第一子隐码矩阵作为第一个可逆残差耦合块的第一输入矩阵,以及,将所述第二子隐码矩阵作为第一个可逆残差耦合块的第二输入矩阵;
通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,其中,i的初始值为1;
其中,为第i个可逆残差耦合块的第一输出矩阵,/>为第i个可逆残差耦合块的第二输出矩阵,/>为/>经过第i个可逆残差耦合块中的第一目标层后得到的第一参考矩阵,/>为/>经过第i个可逆残差耦合块中的第二目标层后得到的第二参考矩阵,为/>经过第i个可逆残差耦合块中的第三目标层后得到的第三参考矩阵,/>为第i个可逆残差耦合块的第二输入矩阵,/>为第i个可逆残差耦合块的第一输入矩阵;
将i+1,并返回步骤通过以下公式,计算得到第i个可逆残差耦合块的第一输出矩阵以及第i个可逆残差耦合块的第二输出矩阵,并在i小于n时,将第i个可逆残差耦合块的第一输出矩阵作为第i+1个可逆残差耦合块的第一输入矩阵,以及,将第i个可逆残差耦合块的第二输出矩阵作为第i+1个可逆残差耦合块的第二输入矩阵,直至i等于n;
将第n个可逆残差耦合块的第一输出矩阵以及第n个可逆残差耦合块的第二输出矩阵进行合并,得到所述第一目标矩阵。
8.根据权利要求7所述的点云生成装置,其特征在于,所述第五处理模块,具体用于:
将所述第二高斯分布矩阵拆分为维数相同的第一子高斯分布矩阵和第二子高斯分布矩阵,并将所述第一子高斯分布矩阵作为第n个可逆残差耦合块的第三输出矩阵,以及,将所述第二子高斯分布矩阵作为第n个可逆残差耦合块的第四输出矩阵;
通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,其中,j的初始值为n;
其中,为第j个可逆残差耦合块的第三输出矩阵,/>为/>经过第j个可逆残差耦合块中的第三目标层后得到的第四参考矩阵,/>为第j个可逆残差耦合块的第四输出矩阵,/>为第j个可逆残差耦合块的第四输入矩阵,/>为/>经过第j个可逆残差耦合块中的第二目标层后得到的第五参考矩阵,/>为/>经过第j个可逆残差耦合块中的第一目标层后得到的第六参考矩阵,/>为第j个可逆残差耦合块的第三输入矩阵;
将j-1,并返回步骤通过以下公式,计算得到第j个可逆残差耦合块的第三输入矩阵以及第j个可逆残差耦合块的第四输入矩阵,并在j大于1时,将第j个可逆残差耦合块的第三输入矩阵作为第j-1个可逆残差耦合块的第三输出矩阵,以及,将第j个可逆残差耦合块的第四输入矩阵作为第j-1个可逆残差耦合块的第四输出矩阵,直至j等于1;
将第一个可逆残差耦合块的第三输入矩阵以及第一个可逆残差耦合块的第四输入矩阵进行合并,得到所述第二隐码矩阵。
9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至4任一项所述的点云生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至4任一项所述的点云生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210555391.8A CN114972695B (zh) | 2022-05-20 | 2022-05-20 | 一种点云生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210555391.8A CN114972695B (zh) | 2022-05-20 | 2022-05-20 | 一种点云生成方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972695A CN114972695A (zh) | 2022-08-30 |
CN114972695B true CN114972695B (zh) | 2024-03-15 |
Family
ID=82984286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210555391.8A Active CN114972695B (zh) | 2022-05-20 | 2022-05-20 | 一种点云生成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972695B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116563673B (zh) * | 2023-07-10 | 2023-12-12 | 浙江华诺康科技有限公司 | 烟雾训练数据生成方法、装置和计算机设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021029575A1 (ko) * | 2019-08-14 | 2021-02-18 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
CN112990010A (zh) * | 2021-03-15 | 2021-06-18 | 深圳大学 | 点云数据处理方法、装置、计算机设备和存储介质 |
CN113378112A (zh) * | 2021-06-18 | 2021-09-10 | 浙江工业大学 | 一种基于各向异性卷积的点云补全方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG10202103893TA (en) * | 2021-04-15 | 2021-09-29 | Sensetime Int Pte Ltd | Method and apparatus for generating point cloud encoder, method and apparatus for generating point cloud data, electronic device and computer storage medium |
-
2022
- 2022-05-20 CN CN202210555391.8A patent/CN114972695B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021029575A1 (ko) * | 2019-08-14 | 2021-02-18 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
CN112990010A (zh) * | 2021-03-15 | 2021-06-18 | 深圳大学 | 点云数据处理方法、装置、计算机设备和存储介质 |
CN113378112A (zh) * | 2021-06-18 | 2021-09-10 | 浙江工业大学 | 一种基于各向异性卷积的点云补全方法及装置 |
Non-Patent Citations (2)
Title |
---|
基于八叉树的卷积神经网络三维模型分割;杨晓文;李静;韩燮;韩慧妍;陶谦;;计算机工程与设计;20200916(第09期);全文 * |
点云分割匹配的三维重建算法;王开鑫;王世峰;孙琪;刘传义;陈森;;长春理工大学学报(自然科学版);20200815(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114972695A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112101530A (zh) | 神经网络训练方法、装置、设备及存储介质 | |
CN106096066A (zh) | 基于随机近邻嵌入的文本聚类方法 | |
CN111160229B (zh) | 基于ssd网络的视频目标检测方法及装置 | |
CN111723947A (zh) | 一种联邦学习模型的训练方法及装置 | |
CN104102836B (zh) | 一种电力***快速抗差状态估计方法 | |
CN114972695B (zh) | 一种点云生成方法、装置、电子设备及存储介质 | |
CN112561081B (zh) | 深度学习模型的转换方法、装置、电子设备和存储介质 | |
CN112597610B (zh) | 机械臂结构轻量化设计的优化方法、装置及设备 | |
CN114612290A (zh) | 图像编辑模型的训练方法和图像编辑方法 | |
CN113822284A (zh) | 一种基于边界注意力的rgbd图像语义分割方法 | |
CN114492742A (zh) | 神经网络结构搜索、模型发布方法、电子设备和存储介质 | |
CN112836804B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN107977980B (zh) | 一种目标跟踪方法、设备以及可读介质 | |
CN113094899A (zh) | 一种随机潮流计算方法、装置、电子设备及存储介质 | |
CN115860113B (zh) | 一种自对抗神经网络模型的训练方法及相关装置 | |
CN117408991A (zh) | 基于对抗重构的图像异常检测方法、装置及存储介质 | |
CN116188917B (zh) | 缺陷数据生成模型训练方法、缺陷数据生成方法及装置 | |
CN116723090A (zh) | 告警根因的定位方法、装置、电子设备及可读存储介质 | |
CN116502700A (zh) | 皮肤检测模型训练方法、皮肤检测方法、装置及电子设备 | |
CN110413750A (zh) | 根据用户问句召回标准问句的方法和装置 | |
CN113627655B (zh) | 一种配电网灾前故障场景模拟预测方法及装置 | |
CN114758078B (zh) | 一种点云数据处理方法、装置、电子设备及存储介质 | |
CN109388784A (zh) | 最小熵核密度估计器生成方法、装置和计算机可读存储介质 | |
CN110569892B (zh) | 一种泛在定位信号静态定位方法及*** | |
CN113792804A (zh) | 图像识别模型的训练方法、图像识别方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |