CN115115815A - 三维网格模型的特征提取网络的训练方法、装置和*** - Google Patents

三维网格模型的特征提取网络的训练方法、装置和*** Download PDF

Info

Publication number
CN115115815A
CN115115815A CN202210736829.2A CN202210736829A CN115115815A CN 115115815 A CN115115815 A CN 115115815A CN 202210736829 A CN202210736829 A CN 202210736829A CN 115115815 A CN115115815 A CN 115115815A
Authority
CN
China
Prior art keywords
block
information
class
feature extraction
representation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210736829.2A
Other languages
English (en)
Inventor
赵杉杉
梁亚倩
何发智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202210736829.2A priority Critical patent/CN115115815A/zh
Publication of CN115115815A publication Critical patent/CN115115815A/zh
Priority to PCT/CN2023/081840 priority patent/WO2024001311A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/012—Dimensioning, tolerancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及一种三维网格模型的特征提取网络的训练方法、装置和***，涉及计算机视觉领域。本公开的方法包括：将用于训练的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；将多个块划分为第一类块和第二类块，并将掩码信息作为各个第二类块的特征编码；将各个第一类块的几何表示信息和位置表示信息输入特征提取网络；根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定三维网格模型的各个面的预测几何表示信息；根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整特征提取网络的参数。

Description

三维网格模型的特征提取网络的训练方法、装置和***
技术领域
本公开涉及计算机视觉领域，特别涉及一种三维网格模型的特征提取网络的训练方法、装置和***。
背景技术
三维网格模型(3D Mesh Model)是一种高效的3D物体表示方法，在计算机视觉、动画、制造等多个领域中广泛应用。如何利用深度学习网络技术来处理三维网格模型一直是相关领域的研究热点。
利用深度学习网络作为特征提取网络来提取三维网格模型的特征，提取的特征可以用于各种下游任务，例如，根据提取的特征对三维网格模型分类或者分割等。相关技术中，特征提取网络的训练都是有监督的，利用交叉熵作为损失函数来进行训练。
发明内容
发明人发现：相比于数据量丰富的图片数据集，现有的三维网格模型的数据集中样本数量不足，在样本不足的情况下，训练的特征提取网络的准确性差。如果对大量三维网格模型进行人工标注后再用于训练，效率低，成本高。
本公开所要解决的一个技术问题是：如何在标注的三维网格模型样本不足的情况下，提高三维网格模型的特征提取网络的训练的准确率和效率。
根据本公开的一些实施例，提供的一种三维网格模型的特征提取网络的训练方法，包括：将用于训练的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；将多个块划分为第一类块和第二类块，并将掩码信息作为各个第二类块的特征编码；将各个第一类块的几何表示信息和位置表示信息输入特征提取网络；根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定三维网格模型的各个面的预测几何表示信息；根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整特征提取网络的参数。
在一些实施例中，将用于训练的三维网格模型划分为互不重叠的多个块包括：将三维网格模型简化为具有第一预设数量的基础面的基础网格模型；针对基础网格模型中的每个基础面，划分为第二预设数量的面，并将从同一基础面划分出的第二预设数量的面作为一个块。
在一些实施例中，该方法还包括：根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定各个顶点的预测坐标信息；其中，根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整特征提取网络的参数包括：根据各个面的预测几何表示信息和各个面的几何表示信息的差异，以及各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，调整特征提取网络的参数。
在一些实施例中，根据各个面的预测几何表示信息和各个面的几何表示信息的差异，以及各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，调整特征提取网络的参数包括：根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定第一子损失函数；根据各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，确定第二子损失函数；将第一子损失函数与第二子损失函数进行加权求和，得到损失函数；根据损失函数调整特征提取网络的参数。
在一些实施例中，根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定第一子损失函数包括：根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定均方误差损失函数，作为第一子损失函数。
在一些实施例中，根据各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，确定第二子损失函数：确定各个顶点的预测坐标信息和各个顶点的真实坐标信息之间的倒角距离；根据倒角距离，确定第二子损失函数。
在一些实施例中，将各个第一类块的几何表示信息和位置表示信息输入特征提取网络包括：针对每个第一类块，将该第一类块的几何表示信息和该第一类块的位置表示信息进行拼接，得到该第一类块的表示信息；将各个第一类块的表示信息输入特征提取网络；基于特征提取网络中的自注意力机制确定各个第一类块之间的关联程度；根据各个第一类块之间的关联程度对各个第一类块进行编码，得到各个第一类块的特征编码。
在一些实施例中，根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定三维网格模型的各个面的预测几何表示信息包括：针对每个第一类块，将该第一类块的特征编码和该第一类块的位置表示信息进行拼接，作为该第一类块的编码；针对每个第二类块，将掩码信息和该第二类块的位置表示信息进行拼接，作为该第二类块的编码；将各个块的编码输入解码器，得到输出的解码信息；将解码信息输入第一线性层，得到输出的各个面的预测几何表示信息。
在一些实施例中，根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定各个顶点的预测坐标信息包括：针对每个第一类块，将该第一类块的特征编码和该第一类块的位置表示信息进行拼接，作为该第一类块的编码；针对每个第二类块，将掩码信息和该第二类块的位置表示信息进行拼接，作为该第二类块的编码；将各个块的编码输入解码器，得到输出的解码信息；将解码信息输入第二线性层，得到输出的各个顶点的预测坐标信息。
在一些实施例中，将多个块划分为第一类块和第二类块包括：随机从多个块中按照预设比例选取部分块作为第二类块，将第二类块之外的块作为第一类块。
在一些实施例中，每个面的几何表示信息包括：该面的三个内角的角度、该面的面积、该面的法向量和三个顶点向量的内积中至少一项的表示信息
在一些实施例中，每个块的位置表示信息采用以下方法确定：确定每个块的中心点的坐标；根据每个块的中心点的坐标确定每个块的位置编码。
在一些实施例中，每个第一类块的几何表示信息为该第一类块中各个面的几何表示信息按照预设顺序串联得到的。
根据本公开的另一些实施例，提供的一种三维网格模型的处理方法，包括：将待处理的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；将各个块的几何表示信息和各个块的位置表示信息输入特征提取网络；获取特征提取网络输出的待处理的三维网络模型的特征编码。
在一些实施例中，该方法还包括以下至少一项：根据特征提取网络输出的待处理的三维网络模型的特征编码，对待处理的三维网格模型进行分割；根据特征提取网络输出的待处理的三维网络模型的特征编码，确定待处理的三维网格模型的类别。
在一些实施例中，将待处理的三维网格模型划分为互不重叠的多个块包括：将待处理的三维网格模型简化为具有第三预设数量的基础面的待处理的基础网格模型；针对待处理的基础网格模型中的每个基础面，划分为第四预设数量的面，并将从同一基础面划分出的第四预设数量的面作为一个块。
在一些实施例中，每个面的几何表示信息包括：该面的三个内角的角度、该面的面积、该面的法向量和三个顶点向量的内积中至少一项的表示信息
在一些实施例中，每个块的位置表示信息采用以下方法确定：确定每个块的中心点的坐标；根据每个块的中心点的坐标确定每个块的位置编码。
根据本公开的又一些实施例，提供的一种三维网格模型的特征提取网络的训练装置，包括：划分单元，用于将用于训练的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；遮挡单元，用于将多个块划分为第一类块和第二类块，并将掩码信息作为各个第二类块的特征编码；输入单元，用于将各个第一类块的几何表示信息和位置表示信息输入特征提取网络；预测单元，用于根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定三维网格模型的各个面的预测几何表示信息；调整单元，用于根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整特征提取网络的参数。
根据本公开的再一些实施例，提供的一种三维网格模型的处理装置，包括：划分单元，用于将待处理的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；输入单元，用于将各个块的几何表示信息和各个块的位置表示信息输入特征提取网络；获取单元，用于获取特征提取网络输出的待处理的三维网络模型的特征编码。
根据本公开的又一些实施例，提供的一种电子设备，包括：处理器；以及耦接至处理器的存储器，用于存储指令，指令被处理器执行时，使处理器执行如前述任意实施例的三维网格模型的特征提取网络的训练方法或者前述任意实施例的三维网格模型的处理方法。
根据本公开的再一些实施例，提供的一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意实施例的三维网格模型的特征提取网络的训练方法或者前述任意实施例的三维网格模型的处理方法。
根据本公开的又一些实施例，提供的一种三维网格模型的特征提取网络的训练***，包括：前述任意实施例的三维网格模型的特征提取网络的训练装置和前述任意实施例的三维网格模型的处理装置。
本公开将用于训练的三维网格模型划分为互不重叠的多个块，再将多个块划分为第一类块和第二类块，并将掩码信息作为各个第二类块的特征编码，将各个第一类块的几何表示信息和位置表示信息输入特征提取网络，得到各个面的预测几何表示信息，进而根据各个面的预测几何表示信息和几何表示信息的差异，调整特征提取网络的参数，直至完成训练。本公开的方法对三维网格模型利用掩码信息进行遮挡，再利用特征提取网络复原始几何表示信息，不需要对三维网格模型进行标注，使得特征提取网络能够在大量无标签数据上进行训练，学习到一个较好的特征表达，提高了三维网格模型的特征提取网络的训练的准确率和效率。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开的一些实施例的三维网格模型的特征提取网络的训练方法的流程示意图。
图2示出本公开的一些实施例的块的结构示意图。
图3示出本公开的一些实施例的整体网络的架构示意图。
图4示出本公开的一些实施例的三维网格模型的处理方法的流程示意图。
图5示出本公开的一些实施例的三维网格模型的特征提取网络的训练装置的结构示意图。
图6示出本公开的一些实施例的三维网格模型的处理装置的结构示意图。
图7示出本公开的一些实施例的电子设备的结构示意图。
图8示出本公开的另一些实施例的电子设备的结构示意图。
图9示出本公开的一些实施例的三维网格模型的特征提取网络的训练***的结构示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开提出一种三维网格模型的特征提取网络的训练方法，下面结合图1～4进行描述。
图1为本公开三维网格模型的特征提取网络的训练方法一些实施例的流程图。如图1所示，该实施例的方法包括：步骤S102～S110。
在步骤S102中，将用于训练的三维网格模型划分为互不重叠的多个块(Patch)。
三维网格模型由顶点和面组成，面的结构确定了顶点之间的连接关系。在流形三维网格模型中每个面与三个面相邻，每条边都属于两个面，并与四条边相邻接。为了提高特征提取网络的训练效率，将三维网格模型划分为互不重叠的多个块，每个块包括多个面。也可以不对三维网格模型进行划分，即将每个面作为一个块。
例如，每个块包含相同数量的面。由于不规则且无序的三维网格模型结构难以直接划分，因此，提出一种对三维网格模型进行重新划分的方法。在一些实施例中，将三维网格模型简化为具有第一预设数量的基础面的基础网格模型；针对基础网格模型中的每个基础面，划分为第二预设数量的面，并将从同一基础面划分出的第二预设数量的面作为一个块。
可以采用Remesh(网格重新划分)算法，将三维网格模型简化为具有第一预设数量的基础面的基础网格模型。第一预设数量可以设定取值范围，例如，取值范围为96～256。每个用于训练的三维网格模型对应的第一预设数量可以不同。进一步，对基础网格模型的每个基础面进行细分，将每个基础面细分为第二预设数量的面。每个用于训练的三维网格模型对应的第二预设数量可以相同。例如，可以采用Remesh算法将每个基础面进行3次细分，基础网格中的每个面都被细分为64个面。细分后的基础网格模型与原始的三维网格模型形状相近。经过上述方法原始的不规则三维网格模型转换为一个多层次的规则结构，根据这一结构，可以将来自于基础网格模型中同一个基础面的多个面划分为一个块(Patch)。这样得到的多个块更容易有效的进行表示，提高特征提取网络训练的效率和稳定性。
在步骤S104中，将多个块划分为第一类块和第二类块，并将掩码信息作为各个第二类块的特征编码。
在一些实施例中，随机从多个块中按照预设比例选取部分块作为第二类块，将第二类块之外的块作为第一类块。掩码信息例如为与后续特征提取网络输出的各个第一类块的特征编码具有相同维度的随机向量。
在步骤S106中，将各个第一类块的几何表示信息和位置表示信息输入特征提取网络。
在一些实施例中，每个块(每个第一类块或每个第二类块)的几何表示信息包括该块中各个面的几何表示信息。每个面的几何表示信息包括：该面的形状表示信息和位置表示信息至少一项。例如，该面的形状表示信息包括：该面的三个内角的角度、该面的面积、该面的法向量和三个顶点向量的内积中至少一项的表示信息。除了三个内角的角度、面积、法向量、三个顶点向量的内积的表示信息，每个面的形状表示信息和位置表示信息还可以包括其他表示信息，不限于所举示例。利用形状表示信息和位置表示信息来表示每个面的几何结构更加准确，提高训练后特征提取网络的准确性。
例如，针对每个面，该面的三个内角的角度、面积、法向量、三个顶点向量的内积等多种信息进行串联可以作为该面的信息，将该面的信息的嵌入式编码，作为该面的几何的表示信息。每种信息的嵌入式编码即作为每种信息的几何表示信息。例如，每个面的信息为10维，包括：三个内角的角度(3维信息)，面的法向量(3维信息)，三个顶点向量的内积(3维信息)，面积(1维信息)。
在一些实施例中，针对每个块，将该块中各个面的信息按照预设顺序排列串联后作为该块的信息，将该块的信息进行映射得到该块的嵌入式编码作为该块的几何表示信息。该块的几何表示信息中则包括各个面的几何表示信息。例如，可以利用第一多层感知机(Multilayer Perceptron，MLP)对各个块的信息进行映射，得到各个块的嵌入式编码
Figure BDA0003716204780000091
i为正整数，g为块的数量。
将三维网格模型简化为基础网格模型后，再将每个基础面进行细分时可以按照预设顺序，因此得到的各个面也是按照预设顺序的，将各个面的信息也按照该预设顺序串联得到对应的块的信息。进一步，每个块的几何表示信息则是该块中各个面的几何表示信息按照预设顺序串联得到的。如图2所示，每个块包括64个面，各个面的信息按照图中编号的顺序串联即可得到对应的块的信息。
在一些实施例中，每个块的位置表示信息采用以下方法确定：确定每个块的中心点的坐标；根据每个块的中心点的坐标确定每个块的位置编码。例如，将每个块的中心点的坐标输入第二多层感知机，得到输出的每个块的位置编码。利用每个块的中心点的坐标去确定位置编码，更适合于无顺序的几何数据，提高位置表示的准确率，进而提高特征提取网络的训练的准确性。
本公开为三维网格模型设计了重建遮挡部分的训练任务。对于三维网格模型，将随机遮挡一定比例，只有可见部分被送入特征提取网络学习一个隐式表达。随机遮挡部分为第二类块，可见部分为第一类块。因此，将各个第一类块的几何表示信息和位置表示信息输入特征提取网络。
在一些实施例中，针对每个第一类块，将该第一类块的几何表示信息和该第一类块的位置表示信息进行拼接，得到该第一类块的表示信息；将各个第一类块的表示信息输入特征提取网络；基于特征提取网络中的自注意力机制确定各个第一类块之间的关联程度；根据各个第一类块之间的关联程度对各个第一类块进行编码，得到各个第一类块的特征编码。
在一些实施例中，特征提取网络包括一个输入层，一个或多个编码层，每个编码层可以包括一个自注意力层，每个自注意力层可以包括一个或多个注意力头。每个编码层还可以包括：多层感知机、归一化层等。将各个第一类块的表示信息输入特征提取网络的输入层，经过输入层进入编码层。对于第一个编码层将输入层输出的表示矩阵作为输入，针对后续的每个编码层，将前一个编码层输出的特征矩阵(或编码矩阵)作为输入。在每个自注意力头中，根据输入该自注意力头的特征矩阵确定值矩阵、查询矩阵和键矩阵；将查询矩阵与键矩阵相乘后除以键矩阵列数的平方根，得到注意力分数矩阵；将注意力分数矩阵进行归一化，得到各个第一类块之间的关联程度值组成的关联矩阵。将关联矩阵与值矩阵相乘，得到该自注意力头对应的注意力编码矩阵。在每个编码层中，根据各个自注意力头对应的注意力编码矩阵，确定该编码层输出特征矩阵；将最后一个编码层输出的特征矩阵中各个向量作为各个第一类块的特征编码。
例如，在每个编码层，将各个自注意力头对应的注意力编码矩阵进行拼接，与该编码层对应的参数矩阵相乘，再输入前馈神经网络或MLP，得到该编码层输出的特征矩阵，进一步输入下一个编码层。
特征编码网络可以采用Transformer编码器(Encoder)。
在步骤S108中，根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定三维网格模型的各个面的预测几何表示信息。
在一些实施例中，针对每个第一类块，将该第一类块的特征编码和该第一类块的位置表示信息进行拼接，作为该第一类块的编码；针对每个第二类块，将掩码信息和该第二类块的位置表示信息进行拼接，作为该第二类块的编码；将各个块的编码输入解码器，得到输出的解码信息；将解码信息输入第一线性层，得到输出的各个面的预测几何表示信息。第一线性层可以是线性分类器。
重建遮挡部分的训练任务中，解码器(Decoder)从隐式表达中预测被遮挡的部分。通过重构被遮挡的部分，特征提取网络可以实现对三维网格模型的几何理解，从而学习到较好的特征表示。通过解码器和第一线性层来预测各个面的预测几何表示信息，即恢复各个面的特征，重构被遮挡的面。
在步骤S110中，根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整特征提取网络的参数。
各个面的几何表示信息即各个面的真实几何表示信息。在一些实施例中，根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定第一子损失函数，根据第一子损失函数调整特征提取网络的参数。例如可以采用随机梯度下降等现有方法调整特征提取网络的参数，在此不再赘述。
在一些实施例中，根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定均方误差(MSE)损失函数，作为第一子损失函数。
三维网格模型用面和顶点构成，为了进一步提高特征提取网络的训练的准确率，除了将各个面的预测几何表示信息和各个面的几何表示信息的差异作为优化目标之外，还可以将各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异作为优化目标。
步骤S108～S110可以替换为步骤S109～S111。
在步骤S109中，根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定三维网格模型的各个面的预测几何表示信息和各个顶点的预测坐标信息。
在一些实施例中，针对每个第一类块，将该第一类块的特征编码和该第一类块的位置表示信息进行拼接，作为该第一类块的编码；针对每个第二类块，将掩码信息和该第二类块的位置表示信息进行拼接，作为该第二类块的编码；将各个块的编码输入解码器，得到输出的解码信息；将解码信息输入第二线性层，得到输出的各个顶点的预测坐标信息。第二线性层可以是线性分类器。
通过解码器和第二线性层来预测各个顶点的预测坐标信息，即恢复各个顶点的特征，结合恢复的各个面的特征，重构三维网格模型。例如，图2所示，每个块包括64个面和45个顶点相互独立的顶点，预测每个块中的45个顶点坐标。当恢复块的形状时，这45个顶点的预测坐标信息需要与真实的坐标信息相对应。
在步骤S110中，根据各个面的预测几何表示信息和各个面的几何表示信息的差异，以及各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，调整特征提取网络的参数。
在一些实施例中，根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定第一子损失函数；根据各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，确定第二子损失函数；将第一子损失函数与第二子损失函数进行加权求和，得到损失函数；根据损失函数调整特征提取网络的参数。例如可以采用随机梯度下降等现有方法调整特征提取网络的参数，在此不再赘述。
在一些实施例中，确定各个顶点的预测坐标信息和各个顶点的真实坐标信息之间的倒角距离(Chamfer Distance)；根据倒角距离，确定第二子损失函数。各个顶点的预测坐标信息例如为各个顶点的预测相对坐标，预测相对坐标为预测的各个顶点相对于所在块的中心点的坐标。各个顶点的真实坐标信息例如为各个顶点的真实相对坐标，真实相对坐标为各个顶点相对于所在块的中心点的坐标。
例如，第二子损失函数可以采用以下公式确定。
Figure BDA0003716204780000121
其中，n为每个块中顶点的数量，
Figure BDA0003716204780000122
指n个顶点的预测相对坐标，
Figure BDA0003716204780000123
指n个顶点的真实相对坐标。
进一步，第一子损失函数可以表示为LMSE，损失函数可以采用以下公式表示。
L＝LMSE+λ·LCD (2)
其中，LMSE指MSE损失函数即第一子损失函数，LCD指倒角距离损失函数即第二子损失函数，λ为权重，例如，λ设置为0.5。
在上述实施例中，在输入的数据中并不包含每个面的三个顶点的坐标信息，但是可以通过重建任务恢复各个块的形状，证明本公开提出的训练任务确实可以使特征提取网络学习到三维网格模型的几何知识。
在训练过程中，可以将用于训练的多个三维网格模型划分为不同批(Batch)，每一个迭代周期(Epoch)获取一批三维网格模型，采用上述实施例的方法对特征提取网络的参数进行调整，重复多个迭代周期直至完成训练，具体过程不再赘述。
下面结合图3描述本公开的一些应用例中训练过程中整体网络的架构。如图3所示，训练过程中整体网络包括模型划分模块、嵌入式编码模块(例如，第一多层感知机)、位置编码模块(例如，第二多层感知机)、随机遮挡模块、特征提取网络(编码器)、解码器、第一线性层和第二线性层。模型划分模块用于将三维网格模型划分为互不重叠的多个块，嵌入式编码模块用于确定各个块的嵌入式编码、位置编码模块用于确定各个块的位置编码、随机遮挡模块用于选取第一类块和第二类块、第一类块的嵌入式编码和位置编码输入特征提取网络，特征提取网络输出的第一类块的特征编码、掩码信息(Mask Embedding)和各个块的位置编码输入解码器。解码器输出的解码信息仍然属于编码，进一步输入第一线性层和第二线性层，得到各个面的预测几何表示信息，各个顶点的预测坐标信息。
特征提取网络(编码器)和解码器可以都是由多个Transformer模块组成。编码器和解码器的设置可以是不对称的，例如，编码器被设置为12层，而解码器被设置为轻量级，仅有6层。根据预设比例，输入整体网络的一部分Patch(即第二类块)将被遮挡，只有可见的Patch(即第一类块)才会被送入编码器中。在进入解码器之前，所有被遮挡的特征编码将由一个共享的可学习的掩码信息来代替，它代表该位置的Patch需要被预测。因此，解码器的输入将由可见Patch的编码和掩码信息组成。同时，所有的特征编码都要再次被添加位置编码，它可以为被遮挡和可见的Patch提供位置信息。解码器、第一线性层和第二线性层在训练阶段用于重建任务，在下游任务中可以不用解码器、第一线性层和第二线性层。
下面结合图4描述本公开三维网格模型的处理方法的一些实施例。
图4为本公开三维网格模型的处理方法一些实施例的流程图。如图4所示，该实施例的方法包括：步骤S402～S406。
在步骤S402中，将待处理的三维网格模型划分为互不重叠的多个块。
每个块包括多个面。在一些实施例中，将待处理的三维网格模型简化为具有第三预设数量的基础面的待处理的基础网格模型；针对待处理的基础网格模型中的每个基础面，划分为第四预设数量的面，并将从同一基础面划分出的第四预设数量的面作为一个块。可以参考前述实施例的训练过程中，对三维网格模型进行重新划分的方法，在此不再赘述。第四预设数量与第二预设数量可以相同。
在步骤S404中，将各个块的几何表示信息和各个块的位置表示信息输入特征提取网络。
每个块的几何表示信息包括该块内各个面的几何表示信息。在一些实施例中，每个面的几何表示信息包括：该面的三个内角的角度、该面的面积、该面的法向量和三个顶点向量的内积中至少一项的表示信息。
例如，针对每个块，将该块中各个面的信息(三个内角的角度、面积、法向量和三个顶点向量的内积中至少一项)按照预设顺序排列串联后作为该块的信息，将该块的信息进行映射得到该块的嵌入式编码作为该块的几何表示信息。每个块的几何表示信息如何得到可以参考前述实施例，不再赘述。
在一些实施例中，确定每个块的中心点的坐标；根据每个块的中心点的坐标确定每个块的位置编码，可以参考前述实施例，不再赘述。
在步骤S406中，获取特征提取网络输出的待处理的三维网络模型的特征编码。
在测试或应用阶段，不需要再对待处理的三维网格模型进行遮挡，只需要输入特征提取网络即可获得对应的特征编码。
在一些实施例中，在步骤S406之后还可以在步骤S408和/或步骤S410。
在步骤S408中，根据特征提取网络输出的待处理的三维网络模型的特征编码，确定待处理的三维网格模型的类别。
例如，将待处理的三维网络模型的特征编码输入分类器，得到待处理的三维网格模型的类别。经过前述实施例的训练后的特征提取网络，可以作为预训练的特征提取网络，将预训练的特征提取网络和分类器进行串联，作为分类网络，可以利用训练样本对分类网络的参数进行调整，具体过程不再赘述。
在步骤S410中，根据特征提取网络输出的待处理的三维网络模型的特征编码，对待处理的三维网格模型进行分割。
例如，将待处理的三维网络模型的特征编码输入分割网络，得到待处理的三维网格模型进行分割后的各个部分。例如，将飞机的三维网格模型分割为机头、机翼、机身、机尾等部分。分割网络可以采用现有技术中的网络，在此不再赘述。经过前述实施例的训练后的特征提取网络，可以作为预训练的特征提取网络，将预训练的特征提取网络和分割网络进行串联，可以利用训练样本对特征提取网络和分割网络的参数进行调整，具体过程不再赘述。
本公开还提供一种三维网格模型的特征提取网络的训练装置，下面结合图5进行描述。
图5为本公开三维网格模型的特征提取网络的训练装置的一些实施例的结构图。如图5所示，该实施例的装置50包括：划分单元510，遮挡单元520，输入单元530，预测单元540，调整单元550。
划分单元510，用于将用于训练的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面。
在一些实施例中，划分单元510用于将三维网格模型简化为具有第一预设数量的基础面的基础网格模型；针对基础网格模型中的每个基础面，划分为第二预设数量的面，并将从同一基础面划分出的第二预设数量的面作为一个块。
遮挡单元520，用于将多个块划分为第一类块和第二类块，并将掩码信息作为各个第二类块的特征编码。
在一些实施例中，遮挡单元520用于随机从多个块中按照预设比例选取部分块作为第二类块，将第二类块之外的块作为第一类块。
输入单元530，用于将各个第一类块的几何表示信息和位置表示信息输入特征提取网络。
在一些实施例中，每个面的几何表示信息包括：该面的三个内角的角度、该面的面积、该面的法向量和三个顶点向量的内积中至少一项的表示信息。
在一些实施例中，输入单元530用于确定每个块的中心点的坐标；根据每个块的中心点的坐标确定每个块的位置编码。
在一些实施例中，输入单元530用于针对每个第一类块，将该第一类块的几何表示信息和该第一类块的位置表示信息进行拼接，得到该第一类块的表示信息；将各个第一类块的表示信息输入特征提取网络；基于特征提取网络中的自注意力机制确定各个第一类块之间的关联程度；根据各个第一类块之间的关联程度对各个第一类块进行编码，得到各个第一类块的特征编码。
预测单元540，用于根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定三维网格模型的各个面的预测几何表示信息。
调整单元550，用于根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整特征提取网络的参数。
在一些实施例中，预测单元540还用于根据特征提取网络输出的各个第一类块的特征编码、掩码信息和各个第二类块的位置表示信息，确定各个顶点的预测坐标信息；调整单元550还用于根据各个面的预测几何表示信息和各个面的几何表示信息的差异，以及各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，调整特征提取网络的参数。
在一些实施例中，调整单元550用于根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定第一子损失函数；根据各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，确定第二子损失函数；将第一子损失函数与第二子损失函数进行加权求和，得到损失函数；根据损失函数调整特征提取网络的参数。
在一些实施例中，调整单元550用于根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定均方误差损失函数，作为第一子损失函数。
在一些实施例中，调整单元550用于确定各个顶点的预测坐标信息和各个顶点的真实坐标信息之间的倒角距离；根据倒角距离，确定第二子损失函数。
在一些实施例中，预测单元540用于针对每个第一类块，将该第一类块的特征编码和该第一类块的位置表示信息进行拼接，作为该第一类块的编码；针对每个第二类块，将掩码信息和该第二类块的位置表示信息进行拼接，作为该第二类块的编码；将各个块的编码输入解码器，得到输出的解码信息；将解码信息输入第一线性层，得到输出的各个面的预测几何表示信息。
在一些实施例中，预测单元540用于针对每个第一类块，将该第一类块的特征编码和该第一类块的位置表示信息进行拼接，作为该第一类块的编码；针对每个第二类块，将掩码信息和该第二类块的位置表示信息进行拼接，作为该第二类块的编码；将各个块的编码输入解码器，得到输出的解码信息；将解码信息输入第二线性层，得到输出的各个顶点的预测坐标信息。
本公开还提供一种三维网格模型的处理装置，下面结合图6进行描述。
图6为本公开三维网格模型的处理装置的一些实施例的结构图。如图6所示，该实施例的装置60包括：划分单元610，输入单元620，获取单元630。
划分单元610用于将待处理的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面。
在一些实施例中，划分单元610用于将待处理的三维网格模型简化为具有第三预设数量的基础面的待处理的基础网格模型；针对待处理的基础网格模型中的每个基础面，划分为第四预设数量的面，并将从同一基础面划分出的第四预设数量的面作为一个块。
在一些实施例中，每个面的几何表示信息包括：该面的三个内角的角度、该面的面积、该面的法向量和三个顶点向量的内积中至少一项的表示信息。
输入单元620用于将各个块的几何表示信息和各个块的位置表示信息输入特征提取网络。
在一些实施例中，输入单元620用于确定每个块的中心点的坐标；根据每个块的中心点的坐标确定每个块的位置编码。
获取单元630，用于获取特征提取网络输出的待处理的三维网络模型的特征编码。
在一些实施例中，装置60还包括以下至少一项：分割单元640用于根据特征提取网络输出的待处理的三维网络模型的特征编码，对待处理的三维网格模型进行分割；分类单元650用于根据特征提取网络输出的待处理的三维网络模型的特征编码，确定待处理的三维网格模型的类别。
本公开的实施例中的电子设备(三维网格模型的特征提取网络的训练装置或三维网格模型的处理装置)可各由各种计算设备或计算机***来实现，下面结合图7以及图8进行描述。
图7为本公开电子设备的一些实施例的结构图。如图7所示，该实施例的电子设备70包括：存储器710以及耦接至该存储器710的处理器720，处理器720被配置为基于存储在存储器710中的指令，执行本公开中任意一些实施例中的三维网格模型的特征提取网络的训练或三维网格模型的处理方法。
其中，存储器710例如可以包括***存储器、固定非易失性存储介质等。***存储器例如存储有操作***、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图8为本公开电子设备的另一些实施例的结构图。如图8所示，该实施例的电子设备80包括：存储器810以及处理器820，分别与存储器710以及处理器720类似。还可以包括输入输出接口830、网络接口840、存储接口850等。这些接口830，840，850以及存储器810和处理器820之间例如可以通过总线860连接。其中，输入输出接口830为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口840为各种联网设备提供连接接口，例如可以连接到数据库服务器或者云端存储服务器等。存储接口850为SD卡、U盘等外置存储设备提供连接接口。
本公开还提供一种三维网格模型的特征提取网络的训练***，下面结合图9进行描述。
图9为本公开三维网格模型的特征提取网络的训练***的一些实施例的结构图。如图9所示，该实施例的***9包括：前述任意实施例的三维网格模型的特征提取网络的训练装置50以及三维网格模型的处理装置60。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的较佳实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (23)

1.一种三维网格模型的特征提取网络的训练方法，包括：
将用于训练的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；
将所述多个块划分为第一类块和第二类块，并将掩码信息作为各个第二类块的特征编码；
将各个第一类块的几何表示信息和位置表示信息输入特征提取网络；
根据所述特征提取网络输出的各个第一类块的特征编码、所述掩码信息和各个第二类块的位置表示信息，确定所述三维网格模型的各个面的预测几何表示信息；
根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整所述特征提取网络的参数。
2.根据权利要求1所述的训练方法，其中，所述将用于训练的三维网格模型划分为互不重叠的多个块包括：
将所述三维网格模型简化为具有第一预设数量的基础面的基础网格模型；
针对所述基础网格模型中的每个基础面，划分为第二预设数量的面，并将从同一基础面划分出的第二预设数量的面作为一个块。
3.根据权利要求1所述的训练方法，还包括：
根据所述特征提取网络输出的各个第一类块的特征编码、所述掩码信息和各个第二类块的位置表示信息，确定各个顶点的预测坐标信息；
其中，所述根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整所述特征提取网络的参数包括：
根据各个面的预测几何表示信息和各个面的几何表示信息的差异，以及各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，调整所述特征提取网络的参数。
4.根据权利要求3所述的训练方法，其中，所述根据各个面的预测几何表示信息和各个面的几何表示信息的差异，以及各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，调整所述特征提取网络的参数包括：
根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定第一子损失函数；
根据各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，确定第二子损失函数；
将所述第一子损失函数与第二子损失函数进行加权求和，得到损失函数；
根据所述损失函数调整所述特征提取网络的参数。
5.根据权利要求4所述的训练方法，其中，所述根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定第一子损失函数包括：
根据各个面的预测几何表示信息和各个面的几何表示信息的差异，确定均方误差损失函数，作为所述第一子损失函数。
6.根据权利要求4所述的训练方法，其中，所述根据各个顶点的预测坐标信息和各个顶点的真实坐标信息的差异，确定第二子损失函数：
确定各个顶点的预测坐标信息和各个顶点的真实坐标信息之间的倒角距离；
根据所述倒角距离，确定第二子损失函数。
7.根据权利要求1所述的训练方法，其中，所述将各个第一类块的几何表示信息和位置表示信息输入特征提取网络包括：
针对每个第一类块，将该第一类块的几何表示信息和该第一类块的位置表示信息进行拼接，得到该第一类块的表示信息；
将各个第一类块的表示信息输入所述特征提取网络；
基于所述特征提取网络中的自注意力机制确定各个第一类块之间的关联程度；
根据各个第一类块之间的关联程度对各个第一类块进行编码，得到各个第一类块的特征编码。
8.根据权利要求1所述的训练方法，其中，所述根据所述特征提取网络输出的各个第一类块的特征编码、所述掩码信息和各个第二类块的位置表示信息，确定所述三维网格模型的各个面的预测几何表示信息包括：
针对每个第一类块，将该第一类块的特征编码和该第一类块的位置表示信息进行拼接，作为该第一类块的编码；
针对每个第二类块，将所述掩码信息和该第二类块的位置表示信息进行拼接，作为该第二类块的编码；
将各个块的编码输入解码器，得到输出的解码信息；
将所述解码信息输入第一线性层，得到输出的各个面的预测几何表示信息。
9.根据权利要求3所述的训练方法，其中，所述根据所述特征提取网络输出的各个第一类块的特征编码、所述掩码信息和各个第二类块的位置表示信息，确定各个顶点的预测坐标信息包括：
针对每个第一类块，将该第一类块的特征编码和该第一类块的位置表示信息进行拼接，作为该第一类块的编码；
针对每个第二类块，将所述掩码信息和该第二类块的位置表示信息进行拼接，作为该第二类块的编码；
将各个块的编码输入解码器，得到输出的解码信息；
将所述解码信息输入第二线性层，得到输出的各个顶点的预测坐标信息。
10.根据权利要求1所述的训练方法，其中，所述将所述多个块划分为第一类块和第二类块包括：
随机从所述多个块中按照预设比例选取部分块作为第二类块，将所述第二类块之外的块作为第一类块。
11.根据权利要求1所述的训练方法，其中，每个面的几何表示信息包括：该面的三个内角的角度、该面的面积、该面的法向量和三个顶点向量的内积中至少一项的表示信息。
12.根据权利要求1所述的训练方法，其中，每个块的位置表示信息采用以下方法确定：
确定每个块的中心点的坐标；
根据每个块的中心点的坐标确定每个块的位置编码。
13.根据权利要求1所述的训练方法，其中，每个第一类块的几何表示信息为该第一类块中各个面的几何表示信息按照预设顺序串联得到的。
14.一种三维网格模型的处理方法，包括：
将待处理的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；
将各个块的几何表示信息和各个块的位置表示信息输入特征提取网络；
获取所述特征提取网络输出的所述待处理的三维网络模型的特征编码。
15.根据权利要求14所述的处理方法，还包括以下至少一项：
根据所述特征提取网络输出的所述待处理的三维网络模型的特征编码，对所述待处理的三维网格模型进行分割；
根据所述特征提取网络输出的所述待处理的三维网络模型的特征编码，确定所述待处理的三维网格模型的类别。
16.根据权利要求14所述的处理方法，其中，所述将待处理的三维网格模型划分为互不重叠的多个块包括：
将所述待处理的三维网格模型简化为具有第三预设数量的基础面的待处理的基础网格模型；
针对所述待处理的基础网格模型中的每个基础面，划分为第四预设数量的面，并将从同一基础面划分出的第四预设数量的面作为一个块。
17.根据权利要求14所述的处理方法，其中，每个面的几何表示信息包括：该面的三个内角的角度、该面的面积、该面的法向量和三个顶点向量的内积中至少一项的表示信息。
18.根据权利要求14所述的处理方法，其中，每个块的位置表示信息采用以下方法确定：
确定每个块的中心点的坐标；
根据每个块的中心点的坐标确定每个块的位置编码。
19.一种三维网格模型的特征提取网络的训练装置，包括：
划分单元，用于将用于训练的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；
遮挡单元，用于将所述多个块划分为第一类块和第二类块，并将掩码信息作为各个第二类块的特征编码；
输入单元，用于将各个第一类块的几何表示信息和位置表示信息输入特征提取网络；
预测单元，用于根据所述特征提取网络输出的各个第一类块的特征编码、所述掩码信息和各个第二类块的位置表示信息，确定所述三维网格模型的各个面的预测几何表示信息；
调整单元，用于根据各个面的预测几何表示信息和各个面的几何表示信息的差异，调整所述特征提取网络的参数。
20.一种三维网格模型的处理装置，包括：
划分单元，用于将待处理的三维网格模型划分为互不重叠的多个块，其中，每个块包括多个面；
输入单元，用于将各个块的几何表示信息和各个块的位置表示信息输入特征提取网络；
获取单元，用于获取所述特征提取网络输出的所述待处理的三维网络模型的特征编码。
21.一种电子设备，包括：
处理器；以及
耦接至所述处理器的存储器，用于存储指令，所述指令被所述处理器执行时，使所述处理器执行如权利要求1-13任一项所述的三维网格模型的特征提取网络的训练方法或者权利要求14-18任一项所述的三维网格模型的处理方法。
22.一种非瞬时性计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-18所述方法的步骤。
23.一种三维网格模型的特征提取网络的训练***，包括：权利要求19所述的三维网格模型的特征提取网络的训练装置和权利要求20所述的三维网格模型的处理装置。
CN202210736829.2A 2022-06-27 2022-06-27 三维网格模型的特征提取网络的训练方法、装置和*** Pending CN115115815A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210736829.2A CN115115815A (zh) 2022-06-27 2022-06-27 三维网格模型的特征提取网络的训练方法、装置和***
PCT/CN2023/081840 WO2024001311A1 (zh) 2022-06-27 2023-03-16 三维网格模型的特征提取网络的训练方法、装置和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210736829.2A CN115115815A (zh) 2022-06-27 2022-06-27 三维网格模型的特征提取网络的训练方法、装置和***

Publications (1)

Publication Number Publication Date
CN115115815A true CN115115815A (zh) 2022-09-27

Family

ID=83330538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210736829.2A Pending CN115115815A (zh) 2022-06-27 2022-06-27 三维网格模型的特征提取网络的训练方法、装置和***

Country Status (2)

Country Link
CN (1) CN115115815A (zh)
WO (1) WO2024001311A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246039A (zh) * 2023-05-12 2023-06-09 中国空气动力研究与发展中心计算空气动力研究所 一种基于深度学习的三维流场网格分类分割方法
WO2024001311A1 (zh) * 2022-06-27 2024-01-04 京东科技信息技术有限公司 三维网格模型的特征提取网络的训练方法、装置和***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140601A (zh) * 2021-12-13 2022-03-04 杭州师范大学 深度学习框架下基于单幅图像的三维网格重建方法及***
CN115115815A (zh) * 2022-06-27 2022-09-27 京东科技信息技术有限公司 三维网格模型的特征提取网络的训练方法、装置和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024001311A1 (zh) * 2022-06-27 2024-01-04 京东科技信息技术有限公司 三维网格模型的特征提取网络的训练方法、装置和***
CN116246039A (zh) * 2023-05-12 2023-06-09 中国空气动力研究与发展中心计算空气动力研究所 一种基于深度学习的三维流场网格分类分割方法

Also Published As

Publication number Publication date
WO2024001311A1 (zh) 2024-01-04

Similar Documents

Publication Publication Date Title
CN115115815A (zh) 三维网格模型的特征提取网络的训练方法、装置和***
CN108875813B (zh) 一种基于几何图像的三维网格模型检索方法
CN109753885A (zh) 一种目标检测方法、装置以及行人检测方法、***
CN111127631B (zh) 基于单图像的三维形状和纹理重建方法、***及存储介质
CN111241989A (zh) 图像识别方法及装置、电子设备
US11972354B2 (en) Representing a neural network utilizing paths within the network to improve a performance of the neural network
CN112328715B (zh) 视觉定位方法及相关模型的训练方法及相关装置、设备
Wang et al. SCNet: Subdivision coding network for object detection based on 3D point cloud
CN113095333B (zh) 无监督特征点检测方法及装置
CN117157678A (zh) 用于基于图的全景分割的方法和***
CN112037228A (zh) 一种基于双倍注意力的激光雷达点云目标分割方法
CN112891945A (zh) 数据处理方法、装置、电子设备及存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
Gadasin et al. Application of Convolutional Neural Networks for Three-Dimensional Reconstruction of the Geometry of Objects in the Image
CN114998583A (zh) 图像处理方法、图像处理装置、设备及存储介质
CN114547365A (zh) 一种图像检索方法和设备
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
CN114911778A (zh) 数据处理方法、装置、计算机设备及存储介质
CN117237643A (zh) 一种点云语义分割方法及***
Zhang et al. Learning from synthetic models for roof style classification in point clouds
CN114511745B (zh) 三维点云分类及旋转姿态预测方法及***
CN113554057B (zh) 图的分割方法、装置及电子设备
Lee et al. Not all neighbors matter: point distribution-aware pruning for 3d point cloud
CN115018910A (zh) 点云数据中目标的检测方法、装置和计算机可读存储介质
CN115065822A (zh) 点云几何信息压缩***、方法及计算机***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination