CN117422848A - 三维模型的分割方法及装置 - Google Patents

三维模型的分割方法及装置 Download PDF

Info

Publication number
CN117422848A
CN117422848A CN202311426368.XA CN202311426368A CN117422848A CN 117422848 A CN117422848 A CN 117422848A CN 202311426368 A CN202311426368 A CN 202311426368A CN 117422848 A CN117422848 A CN 117422848A
Authority
CN
China
Prior art keywords
feature vector
model
dimensional
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311426368.XA
Other languages
English (en)
Inventor
梁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenli Vision Shenzhen Cultural Technology Co ltd
Original Assignee
Shenli Vision Shenzhen Cultural Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenli Vision Shenzhen Cultural Technology Co ltd filed Critical Shenli Vision Shenzhen Cultural Technology Co ltd
Priority to CN202311426368.XA priority Critical patent/CN117422848A/zh
Publication of CN117422848A publication Critical patent/CN117422848A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种三维模型的分割方法及装置，该方法包括：针对三维模型的点云数据中的任一个模型点，在三维模型对应的至少一张采集图像中，获取包含模型点的目标图像，其中各采集图像对应于三维模型的拍摄视角各不相同。确定模型点的三维特征向量，以及根据目标图像确定模型点的二维特征向量。根据二维特征向量和三维特征向量进行融合处理，得到模型点所对应的融合特征向量。根据各模型点各自对应的融合特征向量，将三维模型分割得到至少一个分割区域。本申请有效的保证三维模型的分割准确性以及合理性。

Description

三维模型的分割方法及装置
技术领域
本申请实施例涉及计算机技术，尤其涉及一种三维模型的分割方法及装置。
背景技术
在三维模型的贴图处理过程中存在一种展UV的技术，其中展UV是指将三维模型拆开从而展开成一个二维的平面图片，以使得三维模型的贴图效果更加真实。
其中三维模型的展UV处理通常包括两个步骤：分割和参数化，其中分割处理的效果决定了UV拆分的质量。目前，相关技术中在针对三维模型进行分割处理的时候，通常是将曲率较为接近的多个模型点确定为一个分割区域。
然而，模型点的曲率接近并不代表模型点属于三维模型的同一个部分，因此目前的实现方案存在三维模型的分割效果不佳的问题。
发明内容
本申请实施例提供一种三维模型的分割方法及装置，以克服三维模型的分割效果不佳的问题。
第一方面，本申请实施例提供一种三维模型的分割方法，包括：
针对三维模型的点云数据中的任一个模型点，在所述三维模型对应的至少一张采集图像中，获取包含所述模型点的目标图像，其中各所述采集图像对应于所述三维模型的拍摄视角各不相同；
确定所述模型点的三维特征向量，以及根据所述目标图像确定所述模型点的二维特征向量；
根据所述二维特征向量和所述三维特征向量进行融合处理，得到所述模型点所对应的融合特征向量；
根据各所述模型点各自对应的融合特征向量，将所述三维模型分割得到至少一个分割区域。
在一种可能的设计中，所述根据各所述模型点各自对应的融合特征向量，将所述三维模型分割得到至少一个分割区域，包括：
根据各所述模型点各自对应的融合特征向量进行聚类处理，确定各所述模型点各自对应的聚类簇；
针对任一个所述聚类簇，将所述聚类簇所对应的模型点确定为一个目标点集合；
根据各所述聚类簇各自对应的目标点集合，将所述三维模型分割得到至少一个分割区域，其中所述分割区域为同一所述目标点集合中的模型点所组成的区域。
在一种可能的设计中，所述根据所述二维特征向量和所述三维特征向量进行融合处理，得到所述模型点所对应的融合特征向量，包括：
对所述三维特征向量进行空间映射处理，得到映射后的三维特征向量；
将所述二维特征向量和所述映射后的三维特征向量进行拼接处理，得到拼接特征向量；
将所述拼接特征向量输入第一全连接层，得到所述第一全连接层输出的第一中间特征向量；
根据注意力网络对所述第一中间特征向量进行处理，得到目标特征向量；
将所述目标特征向量输入融合解码器，以得到所述融合解码器输出的所述模型点所对应的融合特征向量。
在一种可能的设计中，所述注意力网络包括第二全连接层、概率处理单元以及元素乘处理单元；
所述根据注意力网络对所述第一中间特征向量进行处理，得到目标特征向量，包括：
将所述第一中间特征向量输入所述第二全连接层，得到所述第二全连接层输出的第二中间特征向量；
根据所述概率处理单元对所述第二中间特征向量进行处理，得到权重特征向量，所述权重特征向量用于指示所述第一中间特征向量中的各个元素各自对应的权重；
根据所述元素乘处理单元对所述第一中间特征向量和所述权重特征向量进行元素乘处理，得到所述目标特征向量。
在一种可能的设计中，所述在所述三维模型对应的至少一张采集图像中，获取包含所述模型点的目标图像，包括：
在所述三维模型对应的至少一张采集图像中，根据各所述采集图像各自对应的相机采集参数，确定各所述采集图像各自对应的拍摄区域，所述相机采集参数包括如下中的至少一种：相机位姿、缩放系数；
针对任一张所述采集图像，若根据所述模型点的坐标信息，确定所述模型点位于所述采集图像的拍摄区域中，则将所述采集图像确定为待选图像；
根据所述待选图像，确定包含所述模型点的目标图像。
在一种可能的设计中，所述根据所述目标图像确定所述模型点的二维特征向量，包括：
针对任一张所述目标图像，根据所述目标图像和所述点云数据的坐标映射关系以及所述模型点的坐标信息，在所述目标图像中确定与所述模型点相对应的目标像素点；
在所述目标图像中确定以所述目标像素点为中心的像素区域，并获取所述像素区域在所述目标图像中的坐标信息；
根据所述像素区域的坐标信息，在所述目标图像对应的图像特征向量中确定所述像素区域对应的部分特征向量；
根据各所述目标图像各自的像素区域所分别对应的部分特征向量进行池化处理，以得到所述模型点的二维特征向量。
在一种可能的设计中，所述方法还包括：
针对任一张所述采集图像，将所述采集图像输入至图像编码器，以得到所述图像编码器输出的所述采集图像的第一特征向量；
对所述第一特征向量进行反卷积操作，以得到所述采集图像的图像特征向量。
在一种可能的设计中，所述确定所述模型点的三维特征向量，包括：
将所述模型点输入至特征提取网络，以得到所述特征提取网络输出的所述模型点的三维特征向量。
第二方面，本申请实施例提供一种三维模型的分割装置，包括：
获取模块，用于针对三维模型的点云数据中的任一个模型点，在所述三维模型对应的至少一张采集图像中，获取包含所述模型点的目标图像，其中各所述采集图像对应于所述三维模型的拍摄视角各不相同；
确定模块，用于确定所述模型点的三维特征向量，以及根据所述目标图像确定所述模型点的二维特征向量；
融合模块，用于根据所述二维特征向量和所述三维特征向量进行融合处理，得到所述模型点所对应的融合特征向量；
处理模块，用于根据各所述模型点各自对应的融合特征向量，将所述三维模型分割得到至少一个分割区域。
在一种可能的设计中，所述处理模块具体用于：
根据各所述模型点各自对应的融合特征向量进行聚类处理，确定各所述模型点各自对应的聚类簇；
针对任一个所述聚类簇，将所述聚类簇所对应的模型点确定为一个目标点集合；
根据各所述聚类簇各自对应的目标点集合，将所述三维模型分割得到至少一个分割区域，其中所述分割区域为同一所述目标点集合中的模型点所组成的区域。
在一种可能的设计中，所述融合模块具体用于：
对所述三维特征向量进行空间映射处理，得到映射后的三维特征向量；
将所述二维特征向量和所述映射后的三维特征向量进行拼接处理，得到拼接特征向量；
将所述拼接特征向量输入第一全连接层，得到所述第一全连接层输出的第一中间特征向量；
根据注意力网络对所述第一中间特征向量进行处理，得到目标特征向量；
将所述目标特征向量输入融合解码器，以得到所述融合解码器输出的所述模型点所对应的融合特征向量。
在一种可能的设计中，所述注意力网络包括第二全连接层、概率处理单元以及元素乘处理单元；
所述融合模块具体用于：
将所述第一中间特征向量输入所述第二全连接层，得到所述第二全连接层输出的第二中间特征向量；
根据所述概率处理单元对所述第二中间特征向量进行处理，得到权重特征向量，所述权重特征向量用于指示所述第一中间特征向量中的各个元素各自对应的权重；
根据所述元素乘处理单元对所述第一中间特征向量和所述权重特征向量进行元素乘处理，得到所述目标特征向量。
在一种可能的设计中，所述获取模块具体用于：
在所述三维模型对应的至少一张采集图像中，根据各所述采集图像各自对应的相机采集参数，确定各所述采集图像各自对应的拍摄区域，所述相机采集参数包括如下中的至少一种：相机位姿、缩放系数；
针对任一张所述采集图像，若根据所述模型点的坐标信息，确定所述模型点位于所述采集图像的拍摄区域中，则将所述采集图像确定为待选图像；
根据所述待选图像，确定包含所述模型点的目标图像。
在一种可能的设计中，所述获取模块具体用于：
针对任一张所述目标图像，根据所述目标图像和所述点云数据的坐标映射关系以及所述模型点的坐标信息，在所述目标图像中确定与所述模型点相对应的目标像素点；
在所述目标图像中确定以所述目标像素点为中心的像素区域，并获取所述像素区域在所述目标图像中的坐标信息；
根据所述像素区域的坐标信息，在所述目标图像对应的图像特征向量中确定所述像素区域对应的部分特征向量；
根据各所述目标图像各自的像素区域所分别对应的部分特征向量进行池化处理，以得到所述模型点的二维特征向量。
在一种可能的设计中，所述处理模块还用于：
针对任一张所述采集图像，将所述采集图像输入至图像编码器，以得到所述图像编码器输出的所述采集图像的第一特征向量；
对所述第一特征向量进行反卷积操作，以得到所述采集图像的图像特征向量。
在一种可能的设计中，所述确定模块具体用于：
将所述模型点输入至特征提取网络，以得到所述特征提取网络输出的所述模型点的三维特征向量。
第三方面，本申请实施例提供一种电子设备，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计中任一所述的方法。
本申请实施例提供一种三维模型的分割方法及装置，该方法通过对三维模型获取多视角的采集图像，之后在多张采集图像中获取包含模型点的目标图像，然后根据目标图像确定模型点的二维特征向量，以及再根据模型点确定模型点本身的三维特征向量，最后再根据可以反映全局特征的二维特征向量和包含更加丰富的特征信息的三维特征向量进行融合处理，就可以得到能够准确并且全面的反映模型点特征的融合特征向量，因此根据各个模型点各自对应的融合特征向量确定三维模型的分割区域，就可以有效的保证三维模型的分割准确性以及合理性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的展UV的处理示意图；
图2为本申请实施例提供的三维模型的分割方法的流程图；
图3为本申请实施例提供的三维模型的分割方法的流程示意图；
图4为本申请实施例提供的确定二维特征向量的流程示意图；
图5为本申请实施例提供的特征融合处理的实现示意图；
图6为本申请实施例提供的三维模型的分割方法的流程图二；
图7为本申请实施例提供的模型点的聚类示意图；
图8为本申请实施例提供的三维模型的分割效果示意图；
图9为本申请实施例提供的三维模型的分割装置的结构示意图；
图10为本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了更好的理解本申请的技术方案，下面对本申请所涉及的相关技术进行进一步的详细介绍。
随着计算机技术的发展，三维渲染相关应用和产品等受到了越来越多的关注，而三维模型是三维渲染的基础。例如，在虚拟拍摄场景下，基于三维模型构建的虚拟画面可渲染至屏幕，作为虚拟拍摄的背景，与现实世界中的前景一起进行拍摄，得到所需要的拍摄画面。三维模型是物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。
其中在三维模型的表面进行贴图可以修改三维模型的外观，而针对较为复杂的三维模型，想要准确的实现对三维模型的贴图，就需要对三维模型展开UV纹理，然后再绘制出合适的UV贴图从而得到想要的效果，这种技术就叫做展UV。
此处首先对UV进行简单介绍。UV是指U、V纹理贴图坐标的简称。它定义了二维图像上每个点的位置的信息。这些点与三维模型是相互联系的，以决定表面纹理贴图的位置。即，UV是将图像上的每一个点精确对应到模型物体的表面。在点与点之间的间隙位置由软件进行图像光滑差值处理，这就是所谓的UV贴图。
可以理解的是，每个三维模型都是由无数个面组成的，而将三维模型的面平铺在二维画布上的过程就叫做展UV，展UV会将三维模型拆开从而展开成一个二维的平面图片。例如可以参照图1对展UV进行理解，图1为本申请实施例提供的展UV的处理示意图。
如图1所示，假设当前存在图1左侧所示的三维模型，针对三维模型进行展UV操作之后，例如可以得到图1右侧所示的UV纹理。参照图1还可以确定的是，三维模型是存在于XYZ坐标系下的，展开后得到的UV纹理是存在于UV坐标系下的。
针对三维模型上的点P，其在三维模型所对应的XYZ坐标系下，假设点P的坐标表示为图1所示的(X1，Y1，Z2)，那么在展UV后得到的UV纹理中，也可以找到对应的点P，在UV纹理中点P的坐标表示为图1所示的(U1，V1)。
针对三维模型的展UV的处理过程中通常包括两个步骤，分割和参数化。其中，分割处理用于将三维模型分割为多个不同的区域，分割的好坏决定了最佳UV拆分的质量，好的拆分会在尽量保持模型分片的完整性的同时，又能够合理的将三维模型分为不同的部分以便进行贴图的制作。
通常情况下，同一个面的模型点所对应曲率的差异应该是比较小的，因此目前相关技术中在针对三维模型进行分割处理的时候，通常是将曲率较为接近的多个模型点确定为一个分割区域。示例性的，可以从某个模型点出发向外延伸，获取与该模型点的曲率差值小于预设阈值的多个模型点，当获取到一定数量的模型点的时候，或者延伸范围大于一定范围的时候，将该模型点以及获取到的曲率相近的多个模型点确定为一个分割区域。其中，模型点指三维模型中的位置点或体素点。
然而，模型点的曲率接近并不一定代表模型点同属于三维模型中的同一个部分，反过来讲也是一样，三维模型中的同一个部分的模型点的曲率并不一定都是接近的，此处的同一个部分是指三维模型按照物理含义所划分的部分。例如针对一棵树木对应的三维模型而言，可以将树干看作一个部分，将树根看作一个部分，将树冠看作一个部分。在实际实现过程中，三维模型中的各个部分的划分可以根据实际需求进行确定。
因此目前的这种三维模型分割方案，会存在对应三维模型中的同一个部分的模型点，被分散划分到多个不同的分割区域中的情况，从而导致最终得到的分割区域较为碎片化同时也不合理，因此目前的三维模型的分割处理存在分割效果不佳的问题。
针对上述介绍的技术问题，本申请提出了如下技术构思：针对三维模型的模型点提取三维特征向量，然后根据三维特征向量进行聚类处理，从而将每个聚类簇对应的多个模型点确定为一个分割区域，这样可以基于更加全面的数据特征进行三维模型的分割处理。但是因为三维空间中特征信息较为丰富，受限于目前计算设备的算力，针对模型点所提取的三维特征向量不会是全局特征，而是模型点的局部特征，这样就导致基于三维特征向量直接进行聚类处理的准确性也不是很高，因此本申请还进一步的提出了针对三维模型拍摄多视角图像，然后基于图像的二维特征向量和模型点的三维特征向量进行融合处理，根据融合后的特征向量再进行聚类处理进而实现三维模型的分割，其中二维空间相对于三维空间是发生了降维的，因此针对图像提取二维特征向量的时候可以提取全局特征，因此根据多视角图像加上点云的方式可以更加准确且合理的实现对三维模型的分割。
在上述介绍内容的基础上，下面结合具体的实施例对本申请所提供的三维模型的分割方法进行详细说明。本申请中的各实施例的执行主体可以为服务器、处理器、芯片等具备数据处理功能的设备，本申请对具体的执行主体不做限制，凡是具备数据处理功能的设备均可以作为本申请中各实施例的执行主体。
下面首先结合图2对本申请提供的三维模型的分割方法进行介绍，图2为本申请实施例提供的三维模型的分割方法的流程图。
如图2所示，该方法包括：
S201、针对三维模型的点云数据中的任一个模型点，在三维模型对应的至少一张采集图像中，获取包含模型点的目标图像，其中各采集图像对应于三维模型的拍摄视角各不相同。
其中，点云数据是指在一个三维坐标***中的一组向量的集合，示例性的，可以在生成三维模型之后针对三维模型进行扫描，然后针对扫描资料以点的形式进行记录，其中每一个点对应有各自的点信息，其中点信息例如可以包括三维坐标、反射强度信息、颜色信息等等，点信息的具体实现方式还可以根据实际需求进行选择和设置，本实施例对此不做限制。
在一种可能的实现方式中，可以直接根据三维模型处理得到的点云数据进行本实施例的处理。或者，还可以在根据三维模型处理得到点云数据之后，对点云数据进行均匀的降采样处理，从而得到本申请中用于处理的点云数据，因为点云数据中点的数量是非常巨大的，因此在降采样处理之后，可以减少需要处理的模型点数量，提升模型分割的效率，同时又不会对模型分割的效果产生太大影响，仍然可以保证模型分割的准确性。
在本实施例中，将三维模型的点云数据中的点称为模型点，因此在三维模型的点云数据中包括多个模型点。针对三维模型的点云数据中的每一个模型点，本实施例中都会进行相似的操作，因此下面以三维模型的点云数据中的任一个模型点进行说明。
本实施例中针对三维模型还拍摄有至少一张采集图像，其中采集图像中包括三维模型，并且每张采集图像对应于三维模型的拍摄视角各不相同。
在一种可能的实现方式中，在生成虚拟的三维模型的时候，可以首先制作出一个实体的模型，然后采用实体相机针对该实体模型进行多个角度的图像采集，之后可以根据采集的多张图像建模得到虚拟的三维模型。那么在这种实现方式中，可以直接在根据实体相机所拍摄的多个角度的图像中选取多张图像，从而得到此处介绍的采集图像。
或者，还可以在电子设备中通过软件操作的方式直接生成虚拟的三维模型，那么在这种实现方式中，可以基于虚拟相机针对三维模型进行多个视角的图像拍摄，从而得到本实施例中介绍的至少一张采集图像。
在实际实现过程中，每一张采集图像相对于三维模型的拍摄视角是可以根据实际需求进行选择的，以及采集图像的具体数量也可以根据实际需求进行确定，本实施例对此不做限制，但是需要尽可能的保证多张采集图像各自对应的拍摄视角能够一起覆盖三维模型对应的360度范围，以实现对三维模型的各个角度都进行图像采集。
可以理解的是，三维模型是在三维空间中存在体积的模型，而针对三维模型拍摄得到的采集图像是二维平面上的图像，因此针对每一张采集图像而言，其都是只包含三维模型中的部分模型点。
在本实施例中，针对点云数据中的任意一个模型点，可以在三维模型对应的多张采集图像中，获取包括该模型点的目标图像。
在一种可能的实现方式中，在多张采集图像中确定包含模型点的目标图像时，任意一张采集图像都是对应各自的相机采集参数的，因此可以根据采集图像对应的相机采集参数来判断采集图像中是否包含模型点。
示例性的，可以在三维模型对应的至少一张采集图像中，根据各采集图像各自对应的相机采集参数，确定各采集图像各自对应的拍摄区域，相机采集参数包括如下中的至少一种：相机位姿、缩放系数；
之后，针对任一张采集图像，根据模型点的坐标信息，判断模型点是否位于采集图像的拍摄区域中，若位于，则将采集图像确定为待选图像；之后就可以根据待选图像，确定包含模型点的目标图像。例如将待选图像确定为包含模型点的目标图像，或者还可以将待选图像中包含模型点的部分区域确定为本实施例中的目标图像。
S202、确定模型点的三维特征向量，以及根据目标图像确定模型点的二维特征向量。
之后，可以针对模型点确定模型点的三维特征向量，本实施例中的三维特征向量是指该特征向量是针对三维空间中的模型点所确定的特征向量，并不是说该三维特征向量的维度是三维，可以理解三维特征向量的向量维度取决于实际实现。
以及，本实施例中获取了包括模型点的目标图像，因此本实施例中还可以根据目标图像确定模型点的二维特征向量。类似的，本实施例中的二维特征向量是指该特征向量是针对模型点对应在二维平面上二维数据所确定的特征向量，并不是说该二维特征向量的维度是二维，可以理解二维特征向量的向量维度取决于实际实现。
并且，本申请中会在多视角的多张采集图像中获取包含模型点的目标图像，因此针对模型点有可能会获取多张目标图像，其中每一张目标图像的视拍摄视角各不相同。示例性的，本申请中会基于多视角的多张目标图像共同确定模型点的二维特征向量，因此二维特征向量是结合了多个视角的目标图像生成的，可以有效的提升二维特征向量所包含特征的全面性。
S203、根据二维特征向量和三维特征向量进行融合处理，得到模型点所对应的融合特征向量。
在本实施例中，二维特征向量可以反映模型点对应在二维平面上的相关特征，因为二维平面相对于三维空间而言，其所包含的数据特征更少，因此二维特征向量可以反映该模型点对应在二维平面上的全局特征，例如模型点对应在二维平面上的位置、颜色、与邻近像素点的位置关系等等
以及，三维特征向量可以反映模型点对应在三维空间中的相关特征，尽管三维空间所包含的是模型点的局部特征，但是三维空间中所包含的数据特征是非常丰富的，因此三维特征向量可以反映出模型点对应在三维空间中的一些空间特征，例如是模型点对应在三维空间中的位置、模型点的曲率等等。
基于此，本申请中将模型点的二维特征向量与三维特征向量进行融合处理，以得到模型点所对应的融合特征向量，其中融合特征向量一方面可以反映模型点对应在多个视角的目标图像中各自的二维平面的二维特征，另一方面又可以反映模型点对应在三维空间中的三维特征，因此融合特征向量可以全面并且有效的反映模型点的数据特征。
示例性的，可以将模型点的二维特征向量和三维特征向量输入至特征融合网络，其中特征融合网络对二维特征向量和三维特征向量进行融合处理，以输出模型点对应的融合特征向量。其中特征融合网络的具体网络结构可以根据实际需求进行选择和设置，只要能够实现特征融合的目的即可，本实施例对此不做限制。
S204、根据各模型点各自对应的融合特征向量，将三维模型分割得到至少一个分割区域。
在针对点云数据中的每一个模型点都进行上述操作之后，就可以得到各个模型点各自对应的融合特征向量，之后可以根据各个模型点各自对应的融合特征向量对三维模型进行分割处理，从而将三维模型分割得到至少一个分割区域。
其中，在对三维模型进行分割处理的时候，实际上就是对点云数据中的模型点进行划分，然后将被划分到一个集合的模型点所组成的区域，确定为一个分割区域。
在一种可能的实现方式中，可以根据各个模型点各自对应的融合特征向量进行聚类处理，以实现对点云数据中模型点的划分，进而将三维模型分割为多个分割区域。或者，还可以根据各个模型点各自对应的融合特征向量计算向量距离，然后将向量距离小于或等于预设阈值的多个模型点划分为一个点集合，进而将三维模型分割为多个分割区域。
本申请实施例提供的三维模型的分割方法，包括：针对三维模型的点云数据中的任一个模型点，在三维模型对应的至少一张采集图像中，获取包含模型点的目标图像，其中各采集图像对应于三维模型的拍摄视角各不相同。确定模型点的三维特征向量，以及根据目标图像确定模型点的二维特征向量。根据二维特征向量和三维特征向量进行融合处理，得到模型点所对应的融合特征向量。根据各模型点各自对应的融合特征向量，将三维模型分割得到至少一个分割区域。通过对三维模型获取多视角的采集图像，之后在多张采集图像中获取包含模型点的目标图像，然后根据目标图像确定模型点的二维特征向量，以及再根据模型点确定模型点本身的三维特征向量，最后再根据可以反映全局特征的二维特征向量和包含更加丰富的特征信息的三维特征向量进行融合处理，就可以得到能够准确并且全面的反映模型点特征的融合特征向量，因此根据各个模型点各自对应的融合特征向量确定三维模型的分割区域，就可以有效的保证三维模型的分割准确性以及合理性。
在上述介绍内容的基础上，下面首先结合图3对本申请提供的三维模型的分割方法的流程进行整体说明，图3为本申请实施例提供的三维模型的分割方法的流程示意图。
如图3所示，本申请中可以根据2D网络对三维模型多视角的多张采集图像进行处理，从而得到三维模型的模型点的二维特征向量。以及，可以根据3D网络对三维模型的模型点进行处理，从而得到三维模型的模型点的三维特征向量。
之后，再基于融合网络对二维特征向量和三维特征向量进行融合处理，以得到各个模型点各自对应的融合特征向量。之后再基于各个模型点各自对应的融合特征向量实现对三维模型的分割处理，得到多个分割区域。
下面结合具体的实施例对此处的2D网络、3D网络、融合网络以及分割处理的具体实现进行详细介绍。
首先结合图4对2D网络的实现方式进行进一步的说明。图4为本申请实施例提供的确定二维特征向量的流程示意图。
如图4所示，本实施例中可以将采集图像输入至图像编码器，从而得到图像编码器输出的采集图像的第一特征向量。
其中，图像编码器的作用就是对图像进行处理从而得到图像的特征向量，示例性的，可以选取SAW图像编码器执行本申请的技术方案，或者图像编码器的具体实现还可以根据实际需求进行选择，本实施例对图像编码器的具体实现不做限制。
本实施例中针对三维模型存在多张采集图像，在一种可能的实现方式中，可以将多张采集图像一次性输入至图像编码器，之后图像编码器可以输出各张采集图像各自对应的第一特征向量。或者，还可以将多张采集图像依次输入值图像编码器，然后得到图像编码器依次输出的各张采集图像各自对应的第一特征向量。
以及参照图4，在针对采集图像确定第一特征向量之后，还可以针对第一特征向量进行进一步的反卷积操作，从而得到采集图像的图像特征向量。
其中，反卷积操作可以将第一特征向量映射到更大的特征空间中，以得到图像特征向量，可以理解的是，图像特征向量相对于第一特征向量而言，其特征表达更丰富，对应的特征空间也更大，因此可以有效的提升图像特征向量的特征表达能力，进而在一定程度上弥补模型点对应于二维平面的二维特征向量所表达的特征较少的弊端。
在实际实现过程中，在得到采集图像的第一特征向量之后，就可以根据第一特征向量执行后续操作了。但是再进一步的对第一特征向量进行反卷积操作，以得到采集图像的图像特征向量，之后根据采集图像的图像特征向量进行后续处理，可以进一步模型点的二维特征向量的丰富性，相应的也就能够实现更好的分割效果。
以及还需要说明的是，本实施例中预先针对各张采集图像确定各自对应的图像特征向量，之后无论是针对哪一个模型点，只要根据模型点对应的目标图像的图像特征向量进行后续的数据处理即可，就可以有效的避免针对每一个模型点的目标图像都要进行特征提取，从而导致对于相同的图像重复进行多次相同处理而使得计算资源浪费的问题。
在针对各张采集图像确定各自对应的图像特征向量之后，因为目标图像也是在采集图像中选择出来的，因此自然就可以确定目标图像各自对应的图像特征向量，之后就可以根据目标图像各自的图像特征向量确定模型点的二维特征向量。
在确定模型点的二维特征向量时，因为目标图像是包含模型点的，因此可以直接将目标图像的图像特征向量作为模型点的二维特征向量。但是，模型点在目标图像中所占的比例是很小的，因此在目标图像的图像特征向量中，还存在大量的处理模型点的时候无需关注的信息，因此本实施例中可以进一步的在目标图像的图像特征向量中仅仅截取当前需要关注的部分特征向量后续确定二维特征向量，以提升二维特征向量与模型点的关联程度与处理效率。
因此在一种可能的实现方式中，针对任意一张目标图像而言，点云数据对应的第一坐标系和当前目标图像对应的第二坐标系之间存在坐标映射关系，因此可以根据坐标映射关系以及模型点在第一坐标系中的坐标信息，在目标图像中确定与模型点相对应的目标像素点。
示例性的，可以根据模型点在第一坐标系中的第一坐标信息以及坐标映射关系，在第二坐标系中确定对应的第二坐标信息，然后将在第二坐标系中的第二坐标信息所指示的像素点确定为目标像素点。
例如可以参照图4进行理解，如图4所示，假设当前存在图4所示的三维模型的点云数据301，以及假设针对三维模型采集了图4所示的多视角的采集图像，同时，假设其中的采集图像302和采集图像303是包含了模型点a的目标图像。
在图4的示例中，目标图像302中的像素点a1即为模型点a对应的目标像素点，以及目标图像303中的像素点a2即为模型点a对应的目标像素点。
在确定目标像素点之后，可以在目标图像中确定以目标像素点为中心的像素区域，例如可以将以目标像素点为中心，预设长度为半径的区域确定为此处介绍的像素区域。之后，获取像素区域在目标图像中的坐标信息，例如可以获取像素区域的各个顶点的在目标图像中的坐标信息，或者还可以获取像素区域的中心点和至少一个顶点在目标图像中的坐标信息，只要坐标信息可以指示像素区域在目标图像中的位置即可，具体的实现方式可以根据实际需求进行选择。
在图像特征向量的处理过程中，可以根据图像中的位置信息在图像特征向量中获取到相应位置的部分特征向量，因此本实施例中可以根据像素区域的坐标信息，在目标图像所对应的图像特征向量中，确定与像素区域相对应的部分特征向量。参照图4，本实施例中可以根据坐标映射关系，从图像特征向量中抽取与像素区域相对应的部分特征向量。
本实施例中针对模型点的每一张目标图像都会进行相同的处理，因此可以确定各张目标图像各自的像素区域所分别对应的部分特征向量。之后，为了实现对多个部分特征向量的融合，也因为不同的模型点所对应的目标图像的数量存在差异，参照图4，本实施例中可以根据各个目标图像各自的像素区域所分别对应的部分特征向量进行池化处理，从而得到模型点的二维特征向量。
上述介绍了确定模型点的二维特征向量的实现方式，在确定模型点的三维特征向量时，即3D网络的处理过程中，例如可以将模型点输入至特征提取网络，从而得到特征提取网络输出的模型点的三维特征向量。其中，特征提取网络例如可以为unet网络，或者特征提取网络的具体实现还可以根据实际需求进行选择，只要特征提取网络可以实现对三维空间中数据的特征提取即可。
下面再结合图5对融合网络对二维特征向量和三维特征向量的融合处理进行进一步的详细介绍。图5为本申请实施例提供的特征融合处理的实现示意图。
如图5所示，本实施例中可以将三维特征向量进行空间映射处理，以将三维特征向量映射至更大的特征空间，同样是为了提升三维特征向量的特征表达能力。
为了便于进行后续的特征融合，参照图5，本实施例中可以将二维特征向量和映射后的三维特征向量进行拼接处理，其中拼接处理就是将二维特征向量和三维特征向量直接拼接在一起，因此拼接特征向量中就包含完整的二维特征向量和完整的三维特征向量。
之后参照图5，可以将拼接特征向量首先输入至第一全连接层，其中全连接层的作用就是对特征进行融合，因此本实施例中的第一全连接层可以输出对拼接特征向量进行融合处理后的第一中间特征向量。
为了进一步的提升最终的融合特征向量的特征表达准确性，本实施例中还可以设置有注意力网络，其中注意力网络是基于attention(注意力)机制所构建的网络结构，其作用是提升特征向量中较为重要的特征的表达能力，以及降低特征向量中不重要的特征的表达能力。
在一种可能的实现方式中，参照图5，在注意力网络中可以包括第二全连接层、概率处理单元以及元素乘处理单元。
如图5所示，在注意力网络的处理过程中，可以将第一中间特征向量首先输入至第二全连接层，以得到第二全连接层输出的第二中间特征向量，其中第二全连接层与上述介绍的第一全连接层类似，此处不再赘述。
以及，可以根据概率处理单元对第二中间特征向量进行处理，从而得到权重特征向量，其中权重特征向量就用于指示第一中间特征向量中的各个元素各自对应的权重。在一种可能的实现方式中，概率处理单元可以为Sigmoid函数，其中Sigmoid函数的作用就是将变量映射到0到1之间，从而表示为各个元素各自对应的权重。
之后如图5所示，进一步的根据元素处理单元对第一中间特征向量和权重特征向量进行元素乘处理，就可以得到注意力网络输出的目标特征向量。
其中，元素乘处理就用于将第一中间特征向量和权重特征向量中的各个元素相乘，其中权重特征向量中包括的是第一中间特征向量中各个元素各自对应的权重，因此在进行元素乘处理之后，就可以将实现提升特征向量中较为重要的特征的表达能力，以及降低特征向量中不重要的特征的表达能力的目的，进而实现了注意力网络的处理。
在实际实现过程中，注意力网络的网络结构不限于上述图5介绍的实现方式，其还可以根据实际需求在内部增加或者删除相应的网络单元，只要注意力网络的作用是用于实现上述介绍的attention机制即可。
之后继续参照图5，在根据注意力网络得到目标特征向量之后，就可以将目标特征向量输入融合解码器，融合解码器的作用是对目标特征向量进行进一步的特征融合，从而得到融合解码器输出的模型点对应的融合特征向量。在一种可能的实现方式中，融合解码器中的网络结构可以是多层全连接网络，从而实现对进一步的特征融合，以提升最终得到的融合特征向量的特征融合效果。
在上述介绍内容的基础上，下面结合图6以及图7对根据聚类处理实现三维模型分割的实现方式进行进一步的说明。图6为本申请实施例提供的三维模型的分割方法的流程图二，图7为本申请实施例提供的模型点的聚类示意图。
如图6所示，该方法包括：
S601、根据各模型点各自对应的融合特征向量进行聚类处理，确定各模型点各自对应的聚类簇。
在本实施例中，每一个模型点都有各自对应的融合特征向量，因此可以根据各个模型点各自对应的融合特征向量进行聚类处理，从而得到多个聚类簇。在每一个聚类簇中都包含至少一个模型点的融合特征向量，因此可以确定各个模型点各自对应的聚类簇。
S602、针对任一个聚类簇，将聚类簇所对应的模型点确定为一个目标点集合。
在本实施例中，可以针对每一个聚类簇，都将聚类簇所对应的模型点确定为一个目标点集合，从而得到各个聚类簇各自对应的目标点集合。
例如可以参照图7进行理解，如图7所示，假设当前存在10个模型点，分别是模型点1～模型点10。其中，模型点1的融合特征向量、模型点2的融合特征向量、模型点5的融合特征向量被划分在聚类簇A中，因此可以确定模型点1、模型点2和模型点5构成一个目标点集合。
类似的，在图7的示例中，可以确定模型点3、模型点6和模型点8构成一个目标点集合，以及模型点4、模型点7、模型点9和模型点10构成一个目标点集合。
上述结合图7示例性的说明了模型点所对应的聚类簇的实现，在实际实现过程中，模型点的数量，各个模型点各自对应的聚类簇的具体实现，都可以根据实际需求进行确定。
S603、根据各聚类簇各自对应的目标点集合，将三维模型分割得到至少一个分割区域，其中分割区域为同一目标点集合中的模型点所组成的区域。
在得到各个聚类簇各自对应的目标点集合之后，就可以将每一个目标点集合中的模型点所组成的区域确定为一个分割区域，从而将三维模型分割得到至少一个分割区域，相应的，分割区域就是同一目标点集合中的模型点所组成的区域。
在本申请实施例中，通过对模型点的融合特征向量进行聚类处理，然后将一个聚类簇中的模型点确定为一个目标点集合，最后再将同一目标点集合中的模型点所组成的区域确定为一个分割区域，因为聚类处理可以将融合特征向量较为相似的模型点聚类在一个聚类簇中，因此本申请的技术方案可以快速且准确的实现对三维模型的分割处理。
基于上述各实施例介绍的基础方案，下面再结合图8对三维模型最终的分割效果进行理解。图8为本申请实施例提供的三维模型的分割效果示意图。
在图8中给出了一组三维模型的分割效果，在图8的左侧示意的是三维模型，在图8的右侧示意的是三维模型对应的分割结果，在分割结果中，用不同颜色的灰度表示不同的分割区域。那么参照图8的示例可以理解的是，针对胳膊、头部这些不同的部分，本实施例中可以将其确定为不同的分割区域，从而提升分割区域的划分准确性。
综上所述，本申请的技术方案中，通过融合多视角的采集图像对应的二维特征向量以及点云数据对应的三维特征向量的实现方式，可以更加准确且合理的实现对三维模型的分割处理。并且本申请中执行的是特征层面的融合处理，而非是将点云数据映射在二维图像中之后再进行特征提取，因此本申请的技术方案可以更好的将模型点的二维特征和三维特征融合在一个特征空间中。
图9为本申请实施例提供的三维模型的分割装置的结构示意图。如图9所示，该装置90包括：获取模块901、确定模块902、融合模块903以及处理模块904。
获取模块901，用于针对三维模型的点云数据中的任一个模型点，在所述三维模型对应的至少一张采集图像中，获取包含所述模型点的目标图像，其中各所述采集图像对应于所述三维模型的拍摄视角各不相同；
确定模块902，用于确定所述模型点的三维特征向量，以及根据所述目标图像确定所述模型点的二维特征向量；
融合模块903，用于根据所述二维特征向量和所述三维特征向量进行融合处理，得到所述模型点所对应的融合特征向量；
处理模块904，用于根据各所述模型点各自对应的融合特征向量，将所述三维模型分割得到至少一个分割区域。
在一种可能的设计中，所述处理模块904具体用于：
根据各所述模型点各自对应的融合特征向量进行聚类处理，确定各所述模型点各自对应的聚类簇；
针对任一个所述聚类簇，将所述聚类簇所对应的模型点确定为一个目标点集合；
根据各所述聚类簇各自对应的目标点集合，将所述三维模型分割得到至少一个分割区域，其中所述分割区域为同一所述目标点集合中的模型点所组成的区域。
在一种可能的设计中，所述融合模块903具体用于：
对所述三维特征向量进行空间映射处理，得到映射后的三维特征向量；
将所述二维特征向量和所述映射后的三维特征向量进行拼接处理，得到拼接特征向量；
将所述拼接特征向量输入第一全连接层，得到所述第一全连接层输出的第一中间特征向量；
根据注意力网络对所述第一中间特征向量进行处理，得到目标特征向量；
将所述目标特征向量输入融合解码器，以得到所述融合解码器输出的所述模型点所对应的融合特征向量。
在一种可能的设计中，所述注意力网络包括第二全连接层、概率处理单元以及元素乘处理单元；
所述融合模块903具体用于：
将所述第一中间特征向量输入所述第二全连接层，得到所述第二全连接层输出的第二中间特征向量；
根据所述概率处理单元对所述第二中间特征向量进行处理，得到权重特征向量，所述权重特征向量用于指示所述第一中间特征向量中的各个元素各自对应的权重；
根据所述元素乘处理单元对所述第一中间特征向量和所述权重特征向量进行元素乘处理，得到所述目标特征向量。
在一种可能的设计中，所述获取模块901具体用于：
在所述三维模型对应的至少一张采集图像中，根据各所述采集图像各自对应的相机采集参数，确定各所述采集图像各自对应的拍摄区域，所述相机采集参数包括如下中的至少一种：相机位姿、缩放系数；
针对任一张所述采集图像，若根据所述模型点的坐标信息，确定所述模型点位于所述采集图像的拍摄区域中，则将所述采集图像确定为待选图像；
根据所述待选图像，确定包含所述模型点的目标图像。
在一种可能的设计中，所述获取模块901具体用于：
针对任一张所述目标图像，根据所述目标图像和所述点云数据的坐标映射关系以及所述模型点的坐标信息，在所述目标图像中确定与所述模型点相对应的目标像素点；
在所述目标图像中确定以所述目标像素点为中心的像素区域，并获取所述像素区域在所述目标图像中的坐标信息；
根据所述像素区域的坐标信息，在所述目标图像对应的图像特征向量中确定所述像素区域对应的部分特征向量；
根据各所述目标图像各自的像素区域所分别对应的部分特征向量进行池化处理，以得到所述模型点的二维特征向量。
在一种可能的设计中，所述处理模块904还用于：
针对任一张所述采集图像，将所述采集图像输入至图像编码器，以得到所述图像编码器输出的所述采集图像的第一特征向量；
对所述第一特征向量进行反卷积操作，以得到所述采集图像的图像特征向量。
在一种可能的设计中，所述确定模块902具体用于：
将所述模型点输入至特征提取网络，以得到所述特征提取网络输出的所述模型点的三维特征向量。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图10为本申请实施例提供的电子设备的硬件结构示意图，如图10所示，本实施例的电子设备100包括：处理器1001以及存储器1002；其中
存储器1002，用于存储计算机执行指令；
处理器1001，用于执行存储器存储的计算机执行指令，以实现上述实施例中三维模型的分割方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器1002既可以是独立的，也可以跟处理器1001集成在一起。
当存储器1002独立设置时，该电子设备还包括总线1003，用于连接所述存储器1002和处理器1001。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上电子设备所执行的三维模型的分割方法。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种三维模型的分割方法，其特征在于，包括：
针对三维模型的点云数据中的任一个模型点，在所述三维模型对应的至少一张采集图像中，获取包含所述模型点的目标图像，其中各所述采集图像对应于所述三维模型的拍摄视角各不相同；
确定所述模型点的三维特征向量，以及根据所述目标图像确定所述模型点的二维特征向量；
根据所述二维特征向量和所述三维特征向量进行融合处理，得到所述模型点所对应的融合特征向量；
根据各所述模型点各自对应的融合特征向量，将所述三维模型分割得到至少一个分割区域。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述模型点各自对应的融合特征向量，将所述三维模型分割得到至少一个分割区域，包括：
根据各所述模型点各自对应的融合特征向量进行聚类处理，确定各所述模型点各自对应的聚类簇；
针对任一个所述聚类簇，将所述聚类簇所对应的模型点确定为一个目标点集合；
根据各所述聚类簇各自对应的目标点集合，将所述三维模型分割得到至少一个分割区域，其中所述分割区域为同一所述目标点集合中的模型点所组成的区域。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述二维特征向量和所述三维特征向量进行融合处理，得到所述模型点所对应的融合特征向量，包括：
对所述三维特征向量进行空间映射处理，得到映射后的三维特征向量；
将所述二维特征向量和所述映射后的三维特征向量进行拼接处理，得到拼接特征向量；
将所述拼接特征向量输入第一全连接层，得到所述第一全连接层输出的第一中间特征向量；
根据注意力网络对所述第一中间特征向量进行处理，得到目标特征向量；
将所述目标特征向量输入融合解码器，以得到所述融合解码器输出的所述模型点所对应的融合特征向量。
4.根据权利要求3所述的方法，其特征在于，所述注意力网络包括第二全连接层、概率处理单元以及元素乘处理单元；
所述根据注意力网络对所述第一中间特征向量进行处理，得到目标特征向量，包括：
将所述第一中间特征向量输入所述第二全连接层，得到所述第二全连接层输出的第二中间特征向量；
根据所述概率处理单元对所述第二中间特征向量进行处理，得到权重特征向量，所述权重特征向量用于指示所述第一中间特征向量中的各个元素各自对应的权重；
根据所述元素乘处理单元对所述第一中间特征向量和所述权重特征向量进行元素乘处理，得到所述目标特征向量。
5.根据权利要求1或2所述的方法，其特征在于，所述在所述三维模型对应的至少一张采集图像中，获取包含所述模型点的目标图像，包括：
在所述三维模型对应的至少一张采集图像中，根据各所述采集图像各自对应的相机采集参数，确定各所述采集图像各自对应的拍摄区域，所述相机采集参数包括如下中的至少一种：相机位姿、缩放系数；
针对任一张所述采集图像，若根据所述模型点的坐标信息，确定所述模型点位于所述采集图像的拍摄区域中，则将所述采集图像确定为待选图像；
根据所述待选图像，确定包含所述模型点的目标图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标图像确定所述模型点的二维特征向量，包括：
针对任一张所述目标图像，根据所述目标图像和所述点云数据的坐标映射关系以及所述模型点的坐标信息，在所述目标图像中确定与所述模型点相对应的目标像素点；
在所述目标图像中确定以所述目标像素点为中心的像素区域，并获取所述像素区域在所述目标图像中的坐标信息；
根据所述像素区域的坐标信息，在所述目标图像对应的图像特征向量中确定所述像素区域对应的部分特征向量；
根据各所述目标图像各自的像素区域所分别对应的部分特征向量进行池化处理，以得到所述模型点的二维特征向量。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
针对任一张所述采集图像，将所述采集图像输入至图像编码器，以得到所述图像编码器输出的所述采集图像的第一特征向量；
对所述第一特征向量进行反卷积操作，以得到所述采集图像的图像特征向量。
8.一种三维模型的分割装置，其特征在于，包括：
获取模块，用于针对三维模型的点云数据中的任一个模型点，在所述三维模型对应的至少一张采集图像中，获取包含所述模型点的目标图像，其中各所述采集图像对应于所述三维模型的拍摄视角各不相同；
确定模块，用于确定所述模型点的三维特征向量，以及根据所述目标图像确定所述模型点的二维特征向量；
融合模块，用于根据所述二维特征向量和所述三维特征向量进行融合处理，得到所述模型点所对应的融合特征向量；
处理模块，用于根据各所述模型点各自对应的融合特征向量，将所述三维模型分割得到至少一个分割区域。
9.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1至7中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一所述的方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一所述的方法。
CN202311426368.XA 2023-10-27 2023-10-27 三维模型的分割方法及装置 Pending CN117422848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311426368.XA CN117422848A (zh) 2023-10-27 2023-10-27 三维模型的分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311426368.XA CN117422848A (zh) 2023-10-27 2023-10-27 三维模型的分割方法及装置

Publications (1)

Publication Number Publication Date
CN117422848A true CN117422848A (zh) 2024-01-19

Family

ID=89526153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311426368.XA Pending CN117422848A (zh) 2023-10-27 2023-10-27 三维模型的分割方法及装置

Country Status (1)

Country Link
CN (1) CN117422848A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192271A1 (en) * 2019-12-23 2021-06-24 Beijing Institute Of Technology Method and Apparatus for Pose Planar Constraining on the Basis of Planar Feature Extraction
CN113052066A (zh) * 2021-03-24 2021-06-29 中国科学技术大学 三维目标检测中基于多视图和图像分割的多模态融合方法
WO2022052620A1 (zh) * 2020-09-10 2022-03-17 北京达佳互联信息技术有限公司 图像生成方法及电子设备
CN114463736A (zh) * 2021-12-28 2022-05-10 天津大学 一种基于多模态信息融合的多目标检测方法及装置
CN114820809A (zh) * 2022-03-31 2022-07-29 联想(北京)有限公司 一种参数确定方法、设备以及计算机存储介质
CN114972763A (zh) * 2022-07-28 2022-08-30 香港中文大学(深圳)未来智联网络研究院 激光雷达点云分割方法、装置、设备及存储介质
CN115063554A (zh) * 2022-06-02 2022-09-16 浙大宁波理工学院 基于体素和网格表示方式融合的三维形状分割方法
CN115861601A (zh) * 2022-12-20 2023-03-28 清华大学 一种多传感器融合感知方法及装置
CN115861248A (zh) * 2022-12-12 2023-03-28 上海介航机器人有限公司 医学图像分割方法、医学模型训练方法、装置和存储介质
CN116758093A (zh) * 2023-05-30 2023-09-15 首都医科大学宣武医院 一种图像分割方法、模型训练方法、装置、设备及介质
CN116912331A (zh) * 2023-07-20 2023-10-20 神力视界(深圳)文化科技有限公司 标定数据生成方法、装置、电子设备及存储介质
CN116912486A (zh) * 2023-05-16 2023-10-20 东莞理工学院 基于边缘卷积和多维特征融合的目标分割方法、电子装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192271A1 (en) * 2019-12-23 2021-06-24 Beijing Institute Of Technology Method and Apparatus for Pose Planar Constraining on the Basis of Planar Feature Extraction
WO2022052620A1 (zh) * 2020-09-10 2022-03-17 北京达佳互联信息技术有限公司 图像生成方法及电子设备
CN113052066A (zh) * 2021-03-24 2021-06-29 中国科学技术大学 三维目标检测中基于多视图和图像分割的多模态融合方法
CN114463736A (zh) * 2021-12-28 2022-05-10 天津大学 一种基于多模态信息融合的多目标检测方法及装置
CN114820809A (zh) * 2022-03-31 2022-07-29 联想(北京)有限公司 一种参数确定方法、设备以及计算机存储介质
CN115063554A (zh) * 2022-06-02 2022-09-16 浙大宁波理工学院 基于体素和网格表示方式融合的三维形状分割方法
CN114972763A (zh) * 2022-07-28 2022-08-30 香港中文大学(深圳)未来智联网络研究院 激光雷达点云分割方法、装置、设备及存储介质
CN115861248A (zh) * 2022-12-12 2023-03-28 上海介航机器人有限公司 医学图像分割方法、医学模型训练方法、装置和存储介质
CN115861601A (zh) * 2022-12-20 2023-03-28 清华大学 一种多传感器融合感知方法及装置
CN116912486A (zh) * 2023-05-16 2023-10-20 东莞理工学院 基于边缘卷积和多维特征融合的目标分割方法、电子装置
CN116758093A (zh) * 2023-05-30 2023-09-15 首都医科大学宣武医院 一种图像分割方法、模型训练方法、装置、设备及介质
CN116912331A (zh) * 2023-07-20 2023-10-20 神力视界(深圳)文化科技有限公司 标定数据生成方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜廷伟;刘波;: "基于高斯混合模型聚类的Kinect深度数据分割", 计算机应用与软件, no. 12, 15 December 2014 (2014-12-15) *
杨晓文;李静;韩燮;韩慧妍;陶谦;: "基于八叉树的卷积神经网络三维模型分割", 计算机工程与设计, no. 09, 16 September 2020 (2020-09-16) *

Similar Documents

Publication Publication Date Title
Kopanas et al. Point‐Based Neural Rendering with Per‐View Optimization
Riegler et al. Free view synthesis
Mirzaei et al. SPIn-NeRF: Multiview segmentation and perceptual inpainting with neural radiance fields
CN108648269B (zh) 三维建筑物模型的单体化方法和***
CN115100339B (zh) 图像生成方法、装置、电子设备和存储介质
Han et al. Reconstructing 3D shapes from multiple sketches using direct shape optimization
WO2021228031A1 (zh) 渲染方法、设备以及***
Zhang et al. Personal photograph enhancement using internet photo collections
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
US20230230311A1 (en) Rendering Method and Apparatus, and Device
US20230394740A1 (en) Method and system providing temporary texture application to enhance 3d modeling
GB2406252A (en) Generation of texture maps for use in 3D computer graphics
Huang et al. Local implicit ray function for generalizable radiance field representation
Ji et al. Geometry-aware single-image full-body human relighting
CN114255314A (zh) 一种规避遮挡的三维模型自动纹理映射方法、***及终端
Wang et al. Neural opacity point cloud
CN111447428A (zh) 平面至立体图像的转换方法、装置、计算机可读存储介质及设备
Verykokou et al. A Comparative analysis of different software packages for 3D Modelling of complex geometries
JP2022518402A (ja) 三次元再構成の方法及び装置
Nguyen et al. High-definition texture reconstruction for 3D image-based modeling
Ehret et al. Regularization of NeRFs using differential geometry
CN117422848A (zh) 三维模型的分割方法及装置
Liu et al. Fog effect for photography using stereo vision
KR20120118462A (ko) 이미지 기반의 비주얼 헐에서의 오목 표면 모델링
CN116228850A (zh) 物体姿态估计方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination