CN114494661B - 增量式稀疏三维卷积计算架构、***与装置 - Google Patents

Abstract

本发明提出一种增量式稀疏三维卷积的三维点云数据处理方法及设备，该方法通过获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；构建稀疏三维卷积网络模型，并所述将三维点云数据的训练集输入所述稀疏三维卷积网络模型中，进行模型训练；基于训练完成的所述稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；将实时的三维点云数据输入所述增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果。通过本发明，能够加速采用稀疏卷积的在线任务，实现增量计算，加速网络预测。

Description

增量式稀疏三维卷积计算架构、***与装置

技术领域

本发明涉及深度学习技术领域，尤其涉及一种增量式稀疏三维卷积的三维点云数据处理方法、计算机设备及非临时性计算机可读存储介质。

背景技术

增量式稀疏三维卷积计算在计算机视觉的时序问题中有重要的应用。一些时序问题，比如视频上的视觉任务，通常采用单帧计算的方法，将每帧都输入到卷积神经网络中得到单独的结果，而使用增量计算技术可以减少重复计算，因为视频帧之间存在大量重复信息，从而实现更快的处理速度。目前来说，现有的大部分增量卷积计算方法都是针对稠密卷积操作的，而难以应用在最近兴起的子流形稀疏卷积，其广泛应用于三维分割、检测任务。随着自动驾驶、机器人等的发展，时序上的三维任务获得了广泛的关注。这些任务依赖于三维重建，并且在实时重建出的三维模型上做检测、分割，对速度提出了严格要求。而现有的增量卷积计算都针对稠密卷积操作，不能适用于稀疏卷积。

发明内容

本发明提供一种增量式稀疏三维卷积的三维点云数据处理方法、计算机设备及非临时性计算机可读存储介质，旨在加速采用稀疏卷积的在线任务，实现增量计算，加速网络预测。

为此，本发明的目的在于提出一种增量式稀疏三维卷积的三维点云数据处理方法，包括：

获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；并输入增量式稀疏三维卷积网络模型中，进行模型训练；

构建稀疏三维卷积网络模型，并将三维点云数据的训练集输入稀疏三维卷积网络模型中，进行模型训练；

基于训练完成的稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；其中，增量式稀疏三维卷积网络模型是对稀疏三维卷积网络模型中的稀疏卷积层进行增量替换；

将实时的三维点云数据输入增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果；其中，对三维点云数据的处理包括三维语义分割、目标检测、三维分类及视频问题。

其中，增量式稀疏三维卷积网络模型是对稀疏三维卷积网络模型中的稀疏卷积层进行替换的过程是：

将稀疏三维卷积网络模型中的子流形层、卷积层及非线性层替换为增量子流形层、增量卷积层及增量非线性层。

其中，增量子流形层限制稀疏三维卷积网络模型中子流形层输出层的增量点和输入层的增量点位置一样，而其他点的增量设定为0，从而限制的增量点的扩散，使得计算复杂度恒定。

其中，增量卷积层允许稀疏三维卷积网络模型中的卷积层增量点的扩散。

其中，增量非线性层是在稀疏三维卷积网络模型中的非线性层中使用增量的定义进行传播：dy=g(x+dx)-y，其中g是非线性函数，x和y是上一时刻存下来的特征值。

其中，增量式稀疏三维卷积网络模型是将子流形稀疏卷积UNet网络中的稀疏卷积层替换为增量型稀疏卷积层。

其中，模型构建模块构建的增量式稀疏三维卷积网络模型通过ScanNet数据集进行训练和测试。

其中，子流形稀疏卷积UNet网络进行三维语义分割的步骤包括：

计算出当前重建出的场景体素的RGB值与上一时刻的RGB值的增量；

输入增量到子流形稀疏卷积UNet网络，得到当前输出结果f(dx)，加上上一时刻存储的输出结果f(x)，即可得到当前网络的输出f(x+dx)；由于增量点比起当前重建的点数量稀疏很多，网络的计算复杂度大幅减少。

本发明的目的还在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案任一的方法。

本发明的目的还在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述技术方案的方法。

区别于现有技术，本发明提供的增量式稀疏三维卷积的三维点云数据处理方法，获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；构建稀疏三维卷积网络模型，并将三维点云数据的训练集输入稀疏三维卷积网络模型中，进行模型训练；基于训练完成的稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；将实时的三维点云数据输入增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果。通过本发明，能够加速采用稀疏卷积的在线任务，实现增量计算，加速网络预测。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明提供的一种增量式稀疏三维卷积的三维点云数据处理方法的流程示意图。

图2是本发明提供的一种增量式稀疏三维卷积的三维点云数据处理方法中增量式稀疏三维卷积网络模型的网络结构示意图。

图3是本发明提供的一种增量式稀疏三维卷积的三维点云数据处理方法中实例和语义分割效果示意图。

图4本发明提供的一种非临时性计算机可读存储介质的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的一种增量式稀疏三维卷积的三维点云数据处理方法。

图1为本发明实施例所提供的一种增量式稀疏三维卷积的三维点云数据处理方法的流程示意图。包括：

获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；

构建稀疏三维卷积网络模型，并将三维点云数据的训练集输入稀疏三维卷积网络模型中，进行模型训练；

基于训练完成的稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；其中，增量式稀疏三维卷积网络模型是对稀疏三维卷积网络模型中的稀疏卷积层进行增量替换；

将实时的三维点云数据输入增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果；其中，对三维点云数据的处理包括三维语义分割、目标检测、三维分类及视频问题。

增量式稀疏三维卷积网络模型对稀疏三维卷积网络模型中的稀疏卷积层进行替换的过程是：

将稀疏三维卷积网络模型中的子流形层、卷积层及非线性层替换为增量子流形层、增量卷积层及增量非线性层。

卷积神经网络的增量计算是计算机视觉中的重要问题。很多时序问题，比如视频问题，常见的做法是对每帧做卷积网络计算，但导致了大量重复计算。一些增量计算方法找到视频中没有变动的块，对于这些块，使用以前计算过的特征图。还有方法找到变动的点重新计算其特征。这些方法都复用之前计算过的特征图，从而节省大量时间。

卷积神经网络已经被证明对于二维图像信号处理是非常有效的。然而，对于三维点云信号，额外的维数 z 显著增加了计算量。另一方面，与普通图像不同的是，大多数三维点云的体素是空的，这使得三维体素中的点云数据通常是稀疏信号。采用二维的稠密方式计算卷积会导致计算效率不高，因此有人提出稀疏卷积计算方法，只考虑网络中有值的位置。但随着网络传播，有值点会扩散，导致性能仍然受限。最近有人提出子流形稀疏卷积，采用一种新的卷积层SSC层，规定输出有值的点和输入有值的点位置一样，从而限制有值点的扩散。

在本发明中，增量子流形层限制输出层的增量点和输入层的增量点位置一样，而其他点的增量设定为0，从而限制的增量点的扩散，使得计算复杂度恒定；增量卷积层允许增量点的扩散；增量非线性层使用增量的定义进行传播：dy=g(x+dx)-y，其中g是非线性函数，x和y是上一时刻存下来的特征值。

本发明通过使用增量稀疏卷积层，替换原有子流形稀疏卷积的层为对应的增量层以后，可以实现增量计算，加速网络预测。

具体的，线性映射是一个函数f，满足f(x+y)=f(x)+f(y)，线性映射的组合也是一个线性映射，因为f(g(x+y)=f(g(x))+f(g(y))。神经网络中很多模块都是线性映射，例如卷积层，线性层，甚至一些高级的模块如批量归一化和残差块都满足上述方程，为简单起见，忽略了潜在的偏置项。因此，基于线性映射的结合律，由这些线性模块组成的神经网络也是线性映射。对神经网络f增量计算时，f(x+dx)=f(x)+f(dx)，其中x是以前的输入，dx当前时刻x的增量，而f(x)是以前计算过的，只需要存下来直接使用，因此为了计算f(x+dx)，只用计算f(dx)即可。事实上计算f(dx)表示网络传播的都是特征的增量，因为f(dx)=f(x+dx)-f(x)=dy，y是输出层特征。

传统的子流形稀疏卷积层在计算增量时会导致让增量点扩散的问题，从而导致性能降低。本发明提出增量子流形层，限制输出层的增量点和输入层的增量点位置一样，而其他点的增量设定为0，从而限制的增量点的扩散，使得计算复杂度恒定。但这样限制会导致计算不再准确，因为忽略了增量本该传播的地方，而假设这些地方的增量为0。经过实验分析表明，产生的误差较小，对精度几乎没有影响。对于增量卷积层则允许增量点的扩散。另外，由于非线性层不是线性映射，所以不能直接传播增量，为了让网络能够传播增量，我们定义了增量非线性层，该层使用增量的定义进行传播：dy=g(x+dx)-y，其中g是非线性函数，x和y是上一时刻存下来的特征值。

本发明利用增量稀疏卷积进一步实现了在线的三维语义分割***,目标检测，三维分类，视频问题。这个***依赖于SLAM，在重建的同时进行实时三维分割。采用子流形稀疏卷积UNet网络作为语义分割的网络架构，替换其中的层为对应的增量层，从而可以实现增量计算。网络输入体素的RGB特征值，输出每个体素的语义类别概率。具体实现步骤是：在当前时刻，计算出当前重建出的场景体素的RGB值与上一时刻的RGB值的增量，然后输入增量到增量稀疏卷积，得到当前的结果f(dx)，加上上一时刻存下的f(x)，即可得到当前网络的输出f(x+dx)，由于增量点比起当前重建的点数量稀疏很多，网络的计算复杂度大幅减少。

在本实施例中，使用ScanNet数据集对在线三维语义分割进行测试。在其中一个标准大场景中的速度测试表明，本***可以实时地更新分割标签，分割速率为 10-15Hz。分割和重建的结果如图3。每一行的左侧为重建得到的几何模型，右侧为对应生成的语义模型。

为了实现上述实施例，本发明还提出另一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如本发明实施例的三维点云数据处理。

如图4示，非临时性计算机可读存储介质包括指令的存储器810，接口830，上述指令可由三维点云数据处理的处理器820执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的三维点云数据处理。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备（如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***）使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种增量式稀疏三维卷积的三维点云数据处理方法，其特征在于，包括：

获取三维点云数据，进行数据预处理后，形成三维点云数据的训练集；

构建稀疏三维卷积网络模型，并将所述三维点云数据的训练集输入所述稀疏三维卷积网络模型中，进行模型训练；

基于训练完成的所述稀疏三维卷积网络模型，构建增量式稀疏三维卷积网络模型；其中，所述增量式稀疏三维卷积网络模型是对所述稀疏三维卷积网络模型中的稀疏卷积层进行增量替换；

将实时的三维点云数据输入所述增量式稀疏三维卷积网络模型，输出结果即为对实时三维点云数据的处理结果；其中，对三维点云数据的处理包括三维语义分割、目标检测、三维分类及视频问题；

其中，所述增量式稀疏三维卷积网络模型对所述稀疏三维卷积网络模型中的稀疏卷积层进行替换，包括：

将所述稀疏三维卷积网络模型中的子流形层、卷积层及非线性层替换为增量子流形层、增量卷积层及增量非线性层；

所述增量子流形层限制所述稀疏三维卷积网络模型中子流形层输出层的增量点和输入层的增量点位置一样，而其他点的增量设定为0，从而限制的增量点的扩散，使得计算复杂度恒定；

所述增量卷积层允许所述稀疏三维卷积网络模型中的卷积层增量点的扩散；

所述增量非线性层是在所述稀疏三维卷积网络模型中的非线性层中使用增量的定义进行传播：dy=g(x+dx)-y，其中g是非线性函数，x和y是上一时刻存下来的特征值；

所述增量式稀疏三维卷积网络模型是将子流形稀疏卷积UNet网络中的稀疏卷积层替换为增量型稀疏卷积层。

2.根据权利要求1所述的增量式稀疏三维卷积的三维点云数据处理方法，其特征在于，模型构建模块构建的所述增量式稀疏三维卷积网络模型通过ScanNet数据集进行训练和测试。

3.根据权利要求2所述的增量式稀疏三维卷积的三维点云数据处理方法，其特征在于，所述子流形稀疏卷积UNet网络进行三维语义分割的步骤包括：

计算出当前重建出的场景体素的RGB值与上一时刻的RGB值的增量；

输入增量到所述子流形稀疏卷积UNet网络，得到当前输出结果f(dx)，加上上一时刻存储的输出结果f(x)，即可得到当前网络的输出f(x+dx)；由于增量点比起当前重建的点数量稀疏很多，网络的计算复杂度大幅减少。

4.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-3中任一所述的方法。

5.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3中任一所述的方法。

Images