CN114792354B - 模型处理方法、装置、存储介质及电子设备 - Google Patents

Abstract

本公开涉及一种模型处理方法、装置、存储介质及电子设备，该模型处理方法能够通过旋转所述预设三维模型，获取所述目标姿态的指定三维模型在多个预设视角上的二维图像，根据所述多个二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型，能够有效提升目标材质结构模型提取结果的准确性，并且由于无需人工逐一标注，因此也能够有效提升提取效率。

Description

模型处理方法、装置、存储介质及电子设备

技术领域

本公开涉及图像处理技术领域，具体地，涉及一种模型处理方法、装置、存储介质及电子设备。

背景技术

在三维渲染中，为了增强建筑的展示效果，经常需要对三维模型中的窗户玻璃以及幕墙等区域进行增强渲染，因此需要实现从三维模型的纹理贴图中提取出窗户玻璃或者幕墙的位置，传统的做法要么是通过人工操作，对纹理贴图中的窗户玻璃以及幕墙区域进行人工标注，然后告知三维渲染***相关的区域进行效果增强；要么是通过传统的图像分析方法提取纹理贴图中的窗户玻璃及幕墙区域，然而对于建筑中窗户玻璃区域较多，幕墙分布比较复杂的三维模型，无论是人工操作还是传统的图像识别，都不能既高效又准确地提取窗户玻璃或者幕墙的位置。

发明内容

本公开的目的是提供一种模型处理方法、装置、存储介质及电子设备。

为了实现上述目的，本公开第一方面提供一种模型处理方法，所述方法包括：

获取预设三维模型对应的方向包围盒，所述预设三维模型中包括用于表征目标材质结构的贴图纹理；

旋转所述预设三维模型，在所述方向包围盒中的任一个面与笛卡尔坐标系中的指定坐标轴平行的情况下，停止旋转所述预设三维模型，以得到目标姿态的指定三维模型；

在多个预设视角拍摄所述指定三维模型，以得到每个所述预设视角对应的二维图像；

根据所述多个预设视角对应的多个所述二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型。

可选地，所述根据所述多个预设视角对应的多个所述二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型，包括：

通过第一预设深度学习模型，获取每个所述二维图像中所述贴图纹理对应的第一目标区域；

对所述多个预设视角对应的多个所述二维图像中的所述第一目标区域进行图像融合，以得到所述贴图纹理在所述指定三维模型中的位置区域；

获取所述指定三维模型中所述位置区域上的纹理图像；

根据所述纹理图像确定所述贴图纹理对应的目标材质结构模型。

可选地，所述第一预设深度学习模型包括下采样模块和第一纹理识别模块，所述通过第一预设深度学习模型，获取每个所述二维图像中所述贴图纹理对应的第一目标区域，包括：

将所述二维图像输入所述下采样模块，以获取所述下采样模块输出的第一特征图，所述第一特征图用于描述所述二维图像的全局特征；

将所述第一特征图输入所述第一纹理识别模块，以使所述第一纹理识别模块输出所述二维图像中所述贴图纹理对应的第一目标区域。

可选地，所述根据所述纹理图像确定所述贴图纹理对应的目标材质结构模型，包括：

将所述纹理图像输入第二预设深度学习模型，以得到所述纹理图像中所述贴图纹理对应的第二目标区域；

获取所述第二目标区域的目标纹理图像；

根据所述目标纹理图像确定所述贴图纹理对应的目标材质结构模型。

可选地，所述第二预设深度学习模型包括上采样模块和第二纹理识别模块，所述将所述纹理图像输入第二预设深度学习模型，以得到所述纹理图像中所述贴图纹理对应的第二目标区域，包括：

将所述纹理图像输入所述上采样模块，以获取所述上采样模块输出的第二特征图，所述第二特征图用于描述所述纹理图像中所述贴图纹理的精细化特征；

将所述第二特征图输入所述第二纹理识别模块，以使所述第二纹理识别模块输出所述纹理图像中所述贴图纹理的第二目标区域。

可选地，所述根据所述目标纹理图像确定所述贴图纹理对应的目标材质结构模型，包括：

对所述目标纹理图像进行边缘检测，以得到所述贴图纹理对应的待定边界线集合；

利用漫水算法从所述待定边界线集合中确定所述贴图纹理的目标边界线；

根据所述目标边界线确定所述指定三维模型中所述贴图纹理对应的目标材质结构模型。

可选地，所述方法还包括：

对所述目标材质结构模型进行投影变换，以确定所述贴图纹理的目标纹理区域。

本公开第二方面提供一种模型处理装置，所述装置包括：

获取模块，被配置为获取预设三维模型对应的方向包围盒，所述预设三维模型中包括用于表征目标材质结构的贴图纹理；

第一确定模块，被配置为旋转所述预设三维模型，在所述方向包围盒中的任一个面与笛卡尔坐标系中的指定坐标轴平行的情况下，停止旋转所述预设三维模型，以得到目标姿态的指定三维模型；

第二确定模块，被配置为在多个预设视角拍摄所述指定三维模型，以得到每个所述预设视角对应的二维图像；

第三确定模块，被配置为根据所述多个预设视角对应的多个所述二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型。

可选地，所述第三确定模块，被配置为：

通过第一预设深度学习模型，获取每个所述二维图像中所述贴图纹理对应的第一目标区域；

对所述多个预设视角对应的多个所述二维图像中的所述第一目标区域进行图像融合，以得到所述贴图纹理在所述指定三维模型中的位置区域；

获取所述指定三维模型中所述位置区域上的纹理图像；

根据所述纹理图像确定所述贴图纹理对应的目标材质结构模型。

可选地，所述第一预设深度学习模型包括下采样模块和第一纹理识别模块，所述第三确定模块，被配置为：

将所述二维图像输入所述下采样模块，以获取所述下采样模块输出的第一特征图，所述第一特征图用于描述所述二维图像的全局特征；

将所述第一特征图输入所述第一纹理识别模块，以使所述第一纹理识别模块输出所述二维图像中所述贴图纹理对应的第一目标区域。

可选地，所述第三确定模块，被配置为：

将所述纹理图像输入第二预设深度学习模型，以得到所述纹理图像中所述贴图纹理对应的第二目标区域；

获取所述第二目标区域的目标纹理图像；

根据所述目标纹理图像确定所述贴图纹理对应的目标材质结构模型。

可选地，所述第二预设深度学习模型包括上采样模块和第二纹理识别模块，所述第三确定模块，被配置为：

将所述纹理图像输入所述上采样模块，以获取所述上采样模块输出的第二特征图，所述第二特征图用于描述所述纹理图像中所述贴图纹理的精细化特征；

将所述第二特征图输入所述第二纹理识别模块，以使所述第二纹理识别模块输出所述纹理图像中所述贴图纹理的第二目标区域。

可选地，所述第三确定模块，被配置为：

对所述目标纹理图像进行边缘检测，以得到所述贴图纹理对应的待定边界线集合；

利用漫水算法从所述待定边界线集合中确定所述贴图纹理的目标边界线；

根据所述目标边界线确定所述指定三维模型中所述贴图纹理对应的目标材质结构模型。

可选地，所述装置还包括：

第四确定模块，被配置为对所述目标材质结构模型进行投影变换，以确定所述贴图纹理的目标纹理区域。

本公开第三方面提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上第一方面所述方法的步骤。

本公开第四方面提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现以上第一方面所述方法的步骤。

上述技术方案，通过获取预设三维模型对应的方向包围盒，所述预设三维模型中包括用于表征目标材质结构的贴图纹理；旋转所述预设三维模型，在所述方向包围盒中的任一个面与笛卡尔坐标系中的指定坐标轴平行的情况下，停止旋转所述预设三维模型，以得到目标姿态的指定三维模型；在多个预设视角拍摄所述指定三维模型，以得到每个所述预设视角对应的二维图像；根据所述多个预设视角对应的多个所述二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型；这样，能够通过旋转所述预设三维模型，获取所述目标姿态的指定三维模型在多个预设视角上的二维图像，根据所述多个二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型，能够高效且准确地提取该预设三维模型中的目标材质结构模型，从而能够为该目标材质结构模型的渲染提供可靠的数据依据。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是本公开一示例性实施例中示出的一种模型处理方法的流程图；

图2是根据图1所示实施例示出的一种模型处理方法的流程图；

图3是根据图2所示实施例示出的一种模型处理方法的流程图；

图4是本公开一示例性实施例示出的一种模型处理装置的框图；

图5是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

在详细介绍本公开的具体实施方式之前，首先，对本公开的应用场景进行以下说明，本公开可以应用于对三维建筑模型上目标材质结构进行识别的过程，在识别到该目标材质结构之后可以对该目标材质结构进行增强渲染，需要说明的是，该目标材质结构可以门窗玻璃，幕墙等玻璃材质，也可以是其他指定材质，例如木质、钢质、土质等。以玻璃材质的目标材质结构为例，相关技术中，对于建筑中窗户玻璃区域较多，幕墙分布比较复杂的三维模型，通常存在对目标材质结构所在位置识别效率较低，识别结果准确性较差的问题。

为了解决以上技术问题，本公开提供一种模型处理方法、装置、存储介质及电子设备，该模型处理方法能够通过旋转所述预设三维模型，获取所述目标姿态的指定三维模型在多个预设视角上的二维图像，根据所述多个二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型，能够有效提升目标材质结构模型提取结果的准确性，并且由于无需人工逐一标注，因此也能够有效提升提取效率。

下面结合具体实施例对本公开的技术方案进行详细阐述。

图1是本公开一示例性实施例中示出的一种模型处理方法的流程图；如图1所示，所述方法可以包括：

步骤101，获取预设三维模型对应的方向包围盒，该预设三维模型中包括用于表征目标材质结构的贴图纹理。

其中，该预设三维模型可以是三维建筑模型，该目标材质结构可以是指定材质的物体结构，例如可以是玻璃材质的门、窗、幕墙等，也可以是木质（铁质）的门、窗、画框、广告牌等。该贴图纹理为该三维模型上目标材质结构的纹理。需要说明的是，获取一个三维模型的方向包围盒的技术方案在现有技术中较为成熟，本公开对此不作限定。

步骤102，旋转该预设三维模型，在该方向包围盒中的任一个面与笛卡尔坐标系中的指定坐标轴平行的情况下，停止旋转该预设三维模型，以得到目标姿态的指定三维模型。

其中，该指定坐标轴可以是x轴，y轴，z轴中的任一个坐标轴，该方向包围盒为长方体，通常包括上下左右前后六个面。

示例地，在该预设三维模型为三维建筑模型时，若该三维建筑模型的地面与坐标系中的XOY面重合（或者平行），则可以绕Z轴旋转该预设三维模型，以使该三维建筑模型对应的方向包围盒中的一个面与X轴或者Y轴平行。

步骤103，在多个预设视角拍摄该指定三维模型，以得到每个该预设视角对应的二维图像。

其中，该多个预设视角拍摄可以包括正对该指定三维模型对应方向包围盒的前后左右面的拍摄，还可以包括该指定三维模型周围任一的拍摄角度，例如可以在与该指定三维模型所在地面成45度的拍摄角度，每隔15度、20度或者30度绕该指定三维模型一圈拍摄，得到该二维图像，即在该指定三维模型斜上方45度绕三维模型拍摄一圈。

步骤104，根据该多个预设视角对应的多个该二维图像确定该预设三维模型中该贴图纹理对应的目标材质结构模型。

其中，该目标材质结构模型为在该指定三维模型中的目标材质结构部分，即该目标材质结构对应的三维模型。

本步骤中，可以通过训练目标图像识别模型，以识别每个二维图像中该目标材质结构的纹理区域位置，然后根据多个二维图像对应的多个纹理区域位置进行三维重建，以得到该目标识别到的该目标材质结构模型。其中，该目标图像识别模型可以是基于深度神经网络算法的图像识别模型，根据识别需求基于深度神经网络算法训练图像识别模型的技术在现有技术中较为成熟，本公开在此不再赘述。

以上技术方案，能够通过旋转该预设三维模型，获取该目标姿态的指定三维模型在多个预设视角上的二维图像，根据该多个二维图像确定该预设三维模型中该贴图纹理对应的目标材质结构模型，能够高效且准确地提取该预设三维模型中的目标材质结构模型，从而能够为该目标材质结构模型的渲染提供可靠的数据依据。

图2是根据图1所示实施例示出的一种模型处理方法的流程图；如图2所示，图1中步骤104所示的根据该多个预设视角对应的多个该二维图像确定该预设三维模型中该贴图纹理对应的目标材质结构模型，可以包括以下步骤：

步骤1041，通过第一预设深度学习模型，获取每个该二维图像中该贴图纹理对应的第一目标区域。

其中，该第一预设深度学习模型包括下采样模块和第一纹理识别模块，该下采样模块的输出端与该第一纹理识别模块的输入端耦合，本步骤中，可以将该二维图像输入该下采样模块，以获取该下采样模块输出的第一特征图，该第一特征图用于描述该二维图像的全局特征；将该第一特征图输入该第一纹理识别模块，以使该第一纹理识别模块输出该二维图像中该贴图纹理对应的第一目标区域。

需要说明的是，该第一纹理识别模块可以至少包括分类层，该分类层用于根据该第一特征图确定该二维图像中每个像素属于贴图纹理的概率，将属于贴图纹理的概率大于预设阈值的像素作为该第一目标区域的像素，从而得到该第一目标区域。该第一预设深度学习模型的训练过程可以是通过第一训练数据集对第一预设初始模型进行模型训练，以得到该第一预设深度学习模型，该第一预设初始模型中包括初始的下采样模块，该第一训练数据集包括对纹理结构类别的标注数据，例如对玻璃材质结构识别时，该标注数据可以是玻璃材质结构。

步骤1042，对该多个预设视角对应的多个该二维图像中的该第一目标区域进行图像融合，以得到该贴图纹理在该指定三维模型中的位置区域。

本步骤中，可以通过获取每个二维图像的相机参数和深度图，根据每个二维图像的该相机参数和深度图对所述的多个预设视角对应的多个二维图像中的第一目标区域进行投影变换，以得到该贴图纹理对应的目标材质结构在该指定三维模型中的位置区域。

需要说明的是，以上图像融合可以理解为三维重建，根据多个视角下二维的图像，通过该投影变换的方式进行三维重建属于本领域内成熟的技术，具体的投影变换细节可以参考现有技术中的三维重建过程，本公开在此不再赘述。

步骤1043，获取该指定三维模型中该位置区域上的纹理图像。

其中，该预设三维模型包括有纹理，本步骤中，可以获取该位置区域中每个位置坐标上的像素值，以得到该位置区域上的纹理图像。

步骤1044，根据该纹理图像确定该贴图纹理对应的目标材质结构模型。

本步骤中，可以包括图3所示的步骤，图3是根据图2所示实施例示出的一种模型处理方法的流程图，图2中步骤1044所示的根据该纹理图像确定该贴图纹理对应的目标材质结构模型，可以包括：

S1，将该纹理图像输入第二预设深度学习模型，以得到该纹理图像中该贴图纹理对应的第二目标区域。

其中，一种可能的实施方式中，该第二预设深度学习模型中不包括下采样模块，也不包括上采样模型，即不对该纹理图像进行下采样处理，也不对该纹理图像进行上采样处理，直接根据该纹理图像的原始图像大小的特征数据进行贴图纹理所在第二目标区域的检测。

另一种可能的实施方式中，该第二预设深度学习模型包括上采样模块和第二纹理识别模块，该上采样模块的输出端与该第二纹理识别模块输入端耦合。

本步骤中，可以将该纹理图像输入该上采样模块，以获取该上采样模块输出的第二特征图，该第二特征图用于描述该纹理图像中该贴图纹理的精细化特征；将该第二特征图输入该第二纹理识别模块，以使该第二纹理识别模块输出该纹理图像中该贴图纹理的第二目标区域。

需要说明的是，该第二纹理识别模块可以至少包括分类层，该分类层用于根据该第二特征图确定该纹理图像中每个像素属于贴图纹理的概率，将属于贴图纹理的概率大于预设阈值的像素作为该第二目标区域的像素，从而得到该第二目标区域。该第二预设深度学习模型的训练过程可以是通过第二训练数据集对第二预设初始模型进行模型训练，以得到该第二预设深度学习模型，该第二预设初始模型中包括初始的上采样模块，该第二训练数据集包括对图像中纹理对应结构类别的标注数据，例如对玻璃材质结构识别时，该标注数据可以是玻璃材质结构。由于该第一预设深度学习模型需要获取更多的全局特征，因此需要对多预设视角采集到的二维图像进行下采样，然而，由于下采样可能会流失更多的图像细节，本公开中为了避免细节流失造成的位置检测结果准确性较差的问题，在本步骤中通过该第二预设深度学习模型对纹理图像进行识别，该第二预设深度学习模型中不包括下采样模块，可以包括上采样模块，因此能够更多的保全纹理细节，有利于提升识别结果的准确性和可靠性。

另外，对于该预设三维模型的纹理由多个相同的图像拼接形成的情况（例如10面墙上的纹理完全相同，每面墙上的玻璃窗户一摸一样），可以获取每个图像中目标材质结构（例如玻璃窗户）的贴图纹理对应的位置区域，若多个相同的图像中在该位置区域存在玻璃窗户贴图纹理的图像数量大于或者等于预设阈值的情况下，确定每个图像的该位置区域均存在该玻璃窗户贴图纹理，这样能够对深度学习漏识别的玻璃窗户区域进行补充，从而得到更为准确的第二目标区域。

再有，针对目标材质结构的贴图纹理按照某种规律排列在该预设三维模型的表面时，可以根据已经识别为玻璃窗户的位置区域，按照该规律确定是否存在漏识别的部分，在确定存在有漏识别部分的情况下，对该漏识别部分进行补充。例如，一栋高层住宅楼中，按照一定的行列规律（例如从下至上每隔3米设置有一个矩形的玻璃窗户，且所有的矩形玻璃窗户形状、大小均相同）分布着多个玻璃窗户，在对该高层住宅楼中的玻璃窗户区域进行识别时，若发现某个矩形的玻璃窗户之后识别到的玻璃窗户中一行（或者一列）漏了几个像素，则可以对该漏识别的几个像素进行补充，即将该漏识别的几个像素也作为第二目标区域内的像素，从而得到补充之后的第二目标区域。

S2，获取该第二目标区域的目标纹理图像。

其中，该第二目标区域为通过该第二预设深度学习模型得到的精细化的、更为准确地目标材质结构对应贴图纹理所在的区域。

S3，根据该目标纹理图像确定该贴图纹理对应的目标材质结构模型。

本步骤中，一种可能的实施方式为，根据该目标纹理图像进行三维重建，以得到该目标材质结构模型。

另一种可能的实施方式为，对该目标纹理图像进行边缘检测，以得到该贴图纹理对应的待定边界线集合；利用漫水算法从该待定边界线集合中确定该贴图纹理的目标边界线；根据该目标边界线确定该指定三维模型中该贴图纹理对应的目标材质结构模型。

其中，可以通过DexiNet（Dense Extreme Inception Network for edgedetection，边缘检测的密集感知网络）提取边界线，然后利用漫水算法根据该目标材质结构的颜色差异较小的特征，从该待定边界线集合中确定该贴图纹理的目标边界线，得到该目标材质结构准确的三维模型（3DPolygon，三维多边形），这样能够在像素维度，更精细化地确定出该目标材质结构的目标边界线，能够有效保证边界线识别结果的准确性。

需要说明的是，在该目标材质结构为幕墙时，该待定边界线集合中还包括龙骨线的边界，生成的目标材质结构模型中包括龙骨线模型。另外，还需说明的是，以上DexiNet方法和漫水算法在图像处理领域较为常见，具体的计算过程可以参见现有技术中的相关描述，本公开对此不作限定。

以上技术方案，能够通过第二预设深度学习模型，得到该纹理图像中该贴图纹理的准确区域，然后，通过边缘检测方法和漫水算法在像素维度，更精细化地确定出该目标材质结构的目标边界线，从而能够有效保证边界线识别结果的准确性。

可选地，该方法还可以包括：

对该目标材质结构模型进行投影变换，以确定该贴图纹理的目标纹理区域。

需要说明的是，在得到该指定三维模型中的该目标材质结构部分后，可以在该纹理图像中确定出属于该目标材质结构的贴图纹理对应的目标纹理区域，以为后期该预设三维模型的渲染提供可靠的数据依据。

以上技术方案，能够通过旋转该预设三维模型，获取该目标姿态的指定三维模型在多个预设视角上的二维图像，根据该多个二维图像确定该预设三维模型中该贴图纹理对应的目标材质结构模型，能够高效且准确地提取该预设三维模型中的目标材质结构模型，从而能够为该目标材质结构模型的渲染提供可靠的数据依据。

图4是本公开一示例性实施例示出的一种模型处理装置的框图；如图4所示，该模型处理装置可以包括：

获取模块401，被配置为获取预设三维模型对应的方向包围盒，该预设三维模型中包括用于表征目标材质结构的贴图纹理；

第一确定模块402，被配置为旋转该预设三维模型，在该方向包围盒中的任一个面与笛卡尔坐标系中的指定坐标轴平行的情况下，停止旋转该预设三维模型，以得到目标姿态的指定三维模型；

第二确定模块403，被配置为在多个预设视角拍摄该指定三维模型，以得到每个该预设视角对应的二维图像；

第三确定模块404，被配置为根据该多个预设视角对应的多个该二维图像确定该预设三维模型中该贴图纹理对应的目标材质结构模型。

以上技术方案，能够通过旋转该预设三维模型，获取该目标姿态的指定三维模型在多个预设视角上的二维图像，根据该多个二维图像确定该预设三维模型中该贴图纹理对应的目标材质结构模型，能够高效且准确地提取该预设三维模型中的目标材质结构模型，从而能够为该目标材质结构模型的渲染提供可靠的数据依据。

可选地，该第三确定模块404，被配置为：

通过第一预设深度学习模型，获取每个该二维图像中该贴图纹理对应的第一目标区域；

对该多个预设视角对应的多个该二维图像中的该第一目标区域进行图像融合，以得到该贴图纹理在该指定三维模型中的位置区域；

获取该指定三维模型中该位置区域上的纹理图像；

根据该纹理图像确定该贴图纹理对应的目标材质结构模型。

可选地，该第一预设深度学习模型包括下采样模块和第一纹理识别模块，该第三确定模块404，被配置为：

将该二维图像输入该下采样模块，以获取该下采样模块输出的第一特征图，该第一特征图用于描述该二维图像的全局特征；

将该第一特征图输入该第一纹理识别模块，以使该第一纹理识别模块输出该二维图像中该贴图纹理对应的第一目标区域。

可选地，该第三确定模块404，被配置为：

将该纹理图像输入第二预设深度学习模型，以得到该纹理图像中该贴图纹理对应的第二目标区域；

获取该第二目标区域的目标纹理图像；

根据该目标纹理图像确定该贴图纹理对应的目标材质结构模型。

可选地，该第二预设深度学习模型包括上采样模块和第二纹理识别模块，该第三确定模块404，被配置为：

将该纹理图像输入该上采样模块，以获取该上采样模块输出的第二特征图，该第二特征图用于描述该纹理图像中该贴图纹理的精细化特征；

将该第二特征图输入该第二纹理识别模块，以使该第二纹理识别模块输出该纹理图像中该贴图纹理的第二目标区域。

可选地，该第三确定模块404，被配置为：

对该目标纹理图像进行边缘检测，以得到该贴图纹理对应的待定边界线集合；

利用漫水算法从该待定边界线集合中确定该贴图纹理的目标边界线；

根据该目标边界线确定该指定三维模型中该贴图纹理对应的目标材质结构模型。

以上技术方案，能够通过第二预设深度学习模型，得到该纹理图像中该贴图纹理的准确区域，然后，通过边缘检测方法和漫水算法在像素维度，更精细化地确定出该目标材质结构的目标边界线，从而能够有效保证边界线识别结果的准确性。

可选地，该装置还包括：

第四确定模块405，被配置为对该目标材质结构模型进行投影变换，以确定该贴图纹理的目标纹理区域。

以上技术方案，能够通过旋转该预设三维模型，获取该目标姿态的指定三维模型在多个预设视角上的二维图像，根据该多个二维图像确定该预设三维模型中该贴图纹理对应的目标材质结构模型，能够高效且准确地提取该预设三维模型中的目标材质结构模型，从而能够为该目标材质结构模型的渲染提供可靠的数据依据。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种电子设备的框图。如图5所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出接口704，以及通信组件705中的一者或多者。

其中，处理器701用于控制该电子设备700的整体操作，以完成上述的模型处理方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（Static Random Access Memory，简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），只读存储器（Read-Only Memory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。输入/输出接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信（NearField Communication，简称NFC），2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。

在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路（Application Specific Integrated Circuit，简称ASIC）、数字信号处理器（DigitalSignal Processor，简称DSP）、数字信号处理设备（Digital Signal Processing Device，简称DSPD）、可编程逻辑器件（Programmable Logic Device，简称PLD）、现场可编程门阵列（Field Programmable Gate Array，简称FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的模型处理方法。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的模型处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的模型处理方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (8)

1.一种模型处理方法，其特征在于，所述方法包括：

获取预设三维模型对应的方向包围盒，所述预设三维模型中包括用于表征目标材质结构的贴图纹理；

旋转所述预设三维模型，在所述方向包围盒中的任一个面与笛卡尔坐标系中的指定坐标轴平行的情况下，停止旋转所述预设三维模型，以得到目标姿态的指定三维模型；

在多个预设视角拍摄所述指定三维模型，以得到每个所述预设视角对应的二维图像，其中，所述多个预设视角拍摄所述指定三维模型包括，在所述指定三维模型斜上方45度绕指定三维模型拍摄一圈；

根据所述多个预设视角对应的多个所述二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型；

其中，所述根据所述多个预设视角对应的多个所述二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型，包括：

通过第一预设深度学习模型，获取每个所述二维图像中所述贴图纹理对应的第一目标区域；

对所述多个预设视角对应的多个所述二维图像中的所述第一目标区域进行图像融合，以得到所述贴图纹理在所述指定三维模型中的位置区域；

获取所述指定三维模型中所述位置区域上的纹理图像；

根据所述纹理图像确定所述贴图纹理对应的目标材质结构模型；

所述根据所述纹理图像确定所述贴图纹理对应的目标材质结构模型，包括：

将所述纹理图像输入第二预设深度学习模型，以得到所述纹理图像中所述贴图纹理对应的第二目标区域；

对于预设三维模型的纹理由多个相同的贴图纹理的图像拼接形成的情况，获取每个图像中目标材质结构的贴图纹理对应的位置区域，若在指定位置区域存在目标材质结构的贴图纹理的图像数量大于或者等于预设阈值的情况下，确定每个图像中的所述指定位置区域均存在所述目标材质结构的贴图纹理，以得到更为准确的第二目标区域；

针对目标材质结构的贴图纹理按照预设规律排列在所述预设三维模型表面情况，根据已经识别为目标材质结构的位置区域，按照所述预设规律确定是否存在漏识别的部分，在确定存在有漏识别的部分的情况下，对漏识别的部分进行补充，以得到补充之后的第二目标区域；

获取所述第二目标区域的目标纹理图像；

根据所述目标纹理图像确定所述贴图纹理对应的目标材质结构模型。

2.根据权利要求1所述的方法，其特征在于，所述第一预设深度学习模型包括下采样模块和第一纹理识别模块，所述通过第一预设深度学习模型，获取每个所述二维图像中所述贴图纹理对应的第一目标区域，包括：

将所述二维图像输入所述下采样模块，以获取所述下采样模块输出的第一特征图，所述第一特征图用于描述所述二维图像的全局特征；

将所述第一特征图输入所述第一纹理识别模块，以使所述第一纹理识别模块输出所述二维图像中所述贴图纹理对应的第一目标区域。

3.根据权利要求1所述的方法，其特征在于，所述第二预设深度学习模型包括上采样模块和第二纹理识别模块，所述将所述纹理图像输入第二预设深度学习模型，以得到所述纹理图像中所述贴图纹理对应的第二目标区域，包括：

将所述纹理图像输入所述上采样模块，以获取所述上采样模块输出的第二特征图，所述第二特征图用于描述所述纹理图像中所述贴图纹理的精细化特征；

将所述第二特征图输入所述第二纹理识别模块，以使所述第二纹理识别模块输出所述纹理图像中所述贴图纹理的第二目标区域。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标纹理图像确定所述贴图纹理对应的目标材质结构模型，包括：

对所述目标纹理图像进行边缘检测，以得到所述贴图纹理对应的待定边界线集合；

利用漫水算法从所述待定边界线集合中确定所述贴图纹理的目标边界线；

根据所述目标边界线确定所述指定三维模型中所述贴图纹理对应的目标材质结构模型。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

对所述目标材质结构模型进行投影变换，以确定所述贴图纹理的目标纹理区域。

6.一种模型处理装置，其特征在于，所述装置包括：

获取模块，被配置为获取预设三维模型对应的方向包围盒，所述预设三维模型中包括用于表征目标材质结构的贴图纹理；

第一确定模块，被配置为旋转所述预设三维模型，在所述方向包围盒中的任一个面与笛卡尔坐标系中的指定坐标轴平行的情况下，停止旋转所述预设三维模型，以得到目标姿态的指定三维模型；

第二确定模块，被配置为在多个预设视角拍摄所述指定三维模型，以得到每个所述预设视角对应的二维图像，其中，所述多个预设视角拍摄所述指定三维模型包括，在所述指定三维模型斜上方45度绕指定三维模型拍摄一圈；

第三确定模块，被配置为根据所述多个预设视角对应的多个所述二维图像确定所述预设三维模型中所述贴图纹理对应的目标材质结构模型；

其中，所述第三确定模块，被配置为：

通过第一预设深度学习模型，获取每个所述二维图像中所述贴图纹理对应的第一目标区域；

对所述多个预设视角对应的多个所述二维图像中的所述第一目标区域进行图像融合，以得到所述贴图纹理在所述指定三维模型中的位置区域；

获取所述指定三维模型中所述位置区域上的纹理图像；

根据所述纹理图像确定所述贴图纹理对应的目标材质结构模型；

所述第三确定模块，被配置为：

将所述纹理图像输入第二预设深度学习模型，以得到所述纹理图像中所述贴图纹理对应的第二目标区域；

对于预设三维模型的纹理由多个相同的贴图纹理的图像拼接形成的情况，获取每个图像中目标材质结构的贴图纹理对应的位置区域，若在指定位置区域存在目标材质结构的贴图纹理的图像数量大于或者等于预设阈值的情况下，确定每个图像中的所述指定位置区域均存在所述目标材质结构的贴图纹理，以得到更为准确的第二目标区域；

针对目标材质结构的贴图纹理按照预设规律排列在所述预设三维模型表面情况，根据已经识别为目标材质结构的位置区域，按照所述预设规律确定是否存在漏识别的部分，在确定存在有漏识别的部分的情况下，对漏识别的部分进行补充，以得到补充之后的第二目标区域；

获取所述第二目标区域的目标纹理图像；

根据所述目标纹理图像确定所述贴图纹理对应的目标材质结构模型。

7.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。

8.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。

Images