CN114663579A - 孪生三维模型生成方法、装置、电子设备及存储介质 - Google Patents
孪生三维模型生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114663579A CN114663579A CN202210135449.3A CN202210135449A CN114663579A CN 114663579 A CN114663579 A CN 114663579A CN 202210135449 A CN202210135449 A CN 202210135449A CN 114663579 A CN114663579 A CN 114663579A
- Authority
- CN
- China
- Prior art keywords
- module
- dimensional
- twin
- basic
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000009877 rendering Methods 0.000 claims abstract description 7
- 238000009826 distribution Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种孪生三维模型生成方法、装置、电子设备及存储介质，其中，所述方法包括：获取待处理图片和三维基本模型数据库；对待处理图片进行模块分割和特征检测，得到与待处理图片对应的多个模块，以及与模块对应的模块图片特征；基于模块图片特征在三维基本模型数据库中召回与模块对应的多个基本三维模型，并分别对基本三维模型进行处理和渲染，得到与多个基本三维模型对应的多个二维图片；基于模块与多个二维图片，确定与模块对应的孪生基本三维模型，其中，孪生基本三维模型为与模块最相似的基本三维模型；基于与各模块对应的各孪生基本三维模型，得到与待处理图片对应的孪生三维模型。通过本发明提高了孪生模型的建模准确度。
Description
技术领域
本发明涉及模型生成技术领域，尤其涉及一种孪生三维模型生成方法、装置、电子设备及存储介质。
背景技术
随着数字孪生技术的发展，用户往往需要对真实物体、场景等进行建模，以得到孪生模型。
相关技术可知，当前的孪生模型往往针对特定场景进行，且生成的孪生模型的准确度较低。
发明内容
本发明提供一种孪生三维模型生成方法、装置、电子设备及存储介质，用以解决现有技术中生成的孪生模型的准确度较低的缺陷，实现通过多层次召回生成与待处理图片相似度更高的数字孪生三维模型，极大地提高了孪生模型的建模准确度。
本发明提供一种孪生三维模型生成方法，所述方法包括：获取待处理图片以及三维基本模型数据库；分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，其中，所述模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征；基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，并分别对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片；基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，其中，所述孪生基本三维模型为与所述模块最相似的所述基本三维模型；基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
根据本发明提供的一种孪生三维模型生成方法，所述模块图片特征还包括模块间树级关系，所述分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，包括：分别对所述待处理图片进行层级化模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块间树级关系，其中，所述模块间树级关系表示不同所述模块间的位置关系。
根据本发明提供的一种孪生三维模型生成方法，所述基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，包括：基于所述文本标签和所述几何特征，在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型；所述对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片，包括：基于所述视角特征和所述图片纹理特征，分别对所述基本三维模型进行视角调整和纹理渲染，得到与多个所述基本三维模型对应的多个二维图片。
根据本发明提供的一种孪生三维模型生成方法，所述基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，包括：基于所述模块与多个所述二维图片，通过相似度计算分别确定所述模块与各所述二维图片的相似值，以及通过协同过滤计算分别确定所述模块与各所述二维图片的相似推荐值；基于所述相似值和所述相似推荐值，生成与所述模块对应的候选三维模型概率分布；基于所述候选三维模型概率分布，确定与所述模块对应的孪生基本三维模型。
根据本发明提供的一种孪生三维模型生成方法，在所述得到与多个所述基本三维模型对应的多个二维图片之后，所述方法还包括：基于条件随机场的模块间共现约束模型，确定相关联所述模块间的关联概率；所述基于所述相似值和所述相似推荐值，生成与所述模块对应的候选三维模型概率分布，包括：基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述模块对应的候选三维模型概率分布。
根据本发明提供的一种孪生三维模型生成方法，所述基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述模块对应的候选三维模型概率分布，包括：基于所述相似值、所述相似推荐值以及所述关联概率的加权平均值，确定与所述模块对应的候选三维模型概率分布，其中，在加权计算过程中的权重值为超参数。
根据本发明提供的一种孪生三维模型生成方法，所述基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，包括：响应于用户在多个所述二维图片中选择目标二维图片，确定目标基本三维模型为与所述模块对应的孪生基本三维模型，其中，所述目标基本三维模型为与所述目标二维图片对应的基本三维模型。
根据本发明提供的一种孪生三维模型生成方法，所述基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型，包括：基于模块间树级关系和与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
本发明还提供一种孪生三维模型生成装置，所述装置包括：获取模块，用于获取待处理图片以及三维基本模型数据库；检测模块，用于分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，其中，所述模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征；召回模块，用于基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，并分别对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片；处理模块，用于基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，其中，所述孪生基本三维模型为与所述模块最相似的所述基本三维模型；生成模块，用于基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述孪生三维模型生成方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述孪生三维模型生成方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述孪生三维模型生成方法。
本发明提供的孪生三维模型生成方法、装置、电子设备及存储介质，通过模块图片特征多层次召回与模块对应的多个基本三维模型，以及基于多个基本三维模型对应的多个二维图片确定与模块对应的孪生基本三维模型，并根据孪生基本三维模型得到与待处理图片对应的孪生三维模型。实现通过多层次召回可以生成与待处理图片相似度更高的数字孪生三维模型，极大地提高了孪生模型的建模准确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的孪生三维模型生成方法的流程示意图之一；
图2是本发明提供的孪生三维模型生成方法的流程示意图之二；
图3是本发明提供的基于模块与多个二维图片，确定与模块对应的孪生基本三维模型的流程示意图；
图4是本发明提供的孪生三维模型生成方法的流程示意图之三；
图5是本发明提供的孪生三维模型生成装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明提供的孪生三维模型生成方法。
图1是本发明提供的孪生三维模型生成方法的流程示意图之一。
在本发明一示例性实施例中，如图1所示，孪生三维模型生成方法可以包括步骤110至步骤150，下面将分别介绍各步骤。
在步骤110中，获取待处理图片以及三维基本模型数据库。
在一种实施例中，待处理图片可以是单张待处理图片，三维基本模型数据库可以是具有标签的三维基本模型构成的集合，其中，标签可以用于标识三维基本模型为何种三维基本模型。在应用过程中，可以获取单张待处理图片，以及具有标签的三维基本模型数据库。
在步骤120中，分别对待处理图片进行模块分割和特征检测，得到与待处理图片对应的多个模块(模块1，模块2……模块n)，以及与模块对应的模块图片特征，其中，模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征。
在一种实施例中，可以对单张处理图片进行模块分割和特征检测，同时得到与待处理图片对应的多个模块，以及与模块对应的模块图片特征。其中，模块图片特征包括但不限于文本标签、几何特征、视角特征以及图片纹理特征等通过计算机视觉检测、识别、分割算法识别出来的信息。
在步骤130中，基于模块图片特征在三维基本模型数据库中召回与模块对应的多个基本三维模型，并分别对基本三维模型进行图像处理，得到与多个基本三维模型对应的多个二维图片。
在一种实施例中，可以基于多路召回，例如基于模块的多种类型的模块图片特征在三维基本模型数据库中召回与模块对应的多个基本三维模型。其中，多种类型的模块图片特征可以包括文本标签和几何特征。在本实施例中，通过多路召回多个基本三维模型可以确保被召回的基本三维模型的全面性和准确性，为提高孪生模型的建模准确度打下基础。
进一步的，还可以分别对基本三维模型进行图像处理，得到与多个基本三维模型对应的多个二维图片。
在步骤140中，基于模块与多个二维图片，确定与模块对应的孪生基本三维模型，其中，孪生基本三维模型为与模块最相似的基本三维模型。
在本发明一示例性实施例中，可以基于各模块与该模块对应的多个二维图片，确定与该模块对应的孪生基本三维模型。其中，孪生基本三维模型表示与模块最相似的基本三维模型。通过本实施例，可以为待处理图片中每个模块确定出最相似的基本三维模型，进而为提高孪生模型的建模准确度打下基础。
在本发明一示例性实施例中，基于模块与多个二维图片，确定与模块对应的孪生基本三维模型还可以通过以下方式实现：
响应于用户在多个二维图片中选择目标二维图片，确定目标基本三维模型为与模块对应的孪生基本三维模型，其中，目标基本三维模型为与目标二维图片对应的基本三维模型。通过本实施例，可以实现用户交互，并通过用户交互可以快速确定与模块对应的孪生基本三维模型，进而可以极大地提高孪生模型建模效率。
在步骤150中，基于与各模块对应的各孪生基本三维模型，得到与待处理图片对应的孪生三维模型。
在一种实施例中，可以将各模块最为相似的基本三维模型(对应孪生基本三维模型)按照图片层次关系拼合并调整连接关系，得到与待处理图片的形状、姿态纹理最为相似的孪生三维模型。
本发明提供的孪生三维模型生成方法，通过模块图片特征多层次召回与模块对应的多个基本三维模型，以及基于多个基本三维模型对应的多个二维图片确定与模块对应的孪生基本三维模型，并根据孪生基本三维模型得到与待处理图片对应的孪生三维模型。实现通过多层次召回可以生成与待处理图片相似度更高的数字孪生三维模型，极大地提高了孪生模型的建模准确度。
本发明将结合下述实施例对得到与待处理图片对应的多个模块，以及与模块对应的模块图片特征的过程进行说明。
在本发明一示例性实施例中，模块图片特征还可以包括模块间树级关系，其中，模块间树级关系可以表示不同模块间的位置关系。在一实例中，分别对待处理图片进行模块分割和特征检测，得到与待处理图片对应的多个模块，以及与模块对应的模块图片特征可以采用以下方式实现：
分别对待处理图片进行层级化模块分割和特征检测，得到与待处理图片对应的多个模块，以及与模块对应的模块间树级关系。在本实施例中，通过获取与模块对应的模块间树级关系，可以为基于与模块对应的孪生基本三维模型，得到与待处理图片对应的孪生三维模型提供了层次关系指导，进而提高了孪生模型的建模准确度。
在本发明一示例性实施例中，基于与各模块对应的各孪生基本三维模型，得到与待处理图片对应的孪生三维模型可以采用以下方式实现：
基于模块间树级关系和与各模块对应的各孪生基本三维模型，得到与待处理图片对应的孪生三维模型。在应用过程中，可以将各模块的孪生基本三维模型按照图片层次关系拼合并调整连接关系，得到与待处理图片的形状、姿态纹理最为相似的孪生三维模型。在本实施例中，通过模块间树级关系，可以为基于与模块对应的孪生基本三维模型，得到与待处理图片对应的孪生三维模型提供了层次关系指导，进而提高了孪生模型的建模准确度。
为了进一步介绍本发明提供的孪生三维模型生成方法，下面将结合下述实施例进行说明。
图2是本发明提供的孪生三维模型生成方法的流程示意图之二。
在本发明一示例性实施例中，孪生三维模型生成方法可以包括步骤210至步骤260，其中，步骤210至步骤220与步骤110至步骤120相同或相似，步骤250至步骤260与步骤140至步骤150相同或相似，其具体实施方式和有益效果请参照前文描述，下面将介绍步骤230和步骤240。
在步骤230中，基于文本标签和几何特征，在三维基本模型数据库中召回与模块对应的多个基本三维模型。
在一种实施例中，可以根据待处理图片中各模块的文本标签和几何特征，在三维基本模型数据库中召回与各模块对应的多个基本三维模型。可以理解的是，一个模块可以对应有多个基本三维模型。在应用过程中，可以在多个基本三维模型选择与模块最相似的一个基本三维模型。其中，召回模型可以是基于深度神经网络(如YouTubeDNN、DSSM等)的深度召回模型。在本实施例中，通过多路召回多个基本三维模型可以确保被召回的基本三维模型的全面性和准确性，为提高孪生模型的建模准确度打下基础。
在步骤240中，基于视角特征和图片纹理特征，分别对基本三维模型进行视角调整和纹理渲染，得到与多个基本三维模型对应的多个二维图片。
在一种实施例中，为了能够更加简单、明了且准确得在多个基本三维模型选择与模块最相似的一个基本三维模型(对应孪生基本三维模型)，可以基于视角特征和图片纹理特征，分别对基本三维模型进行视角调整和纹理渲染，得到与待处理图片具有相同视角或纹理的基本三维模型，并基于调整后的基本三维模型得到与其对应的二维图片。可以理解的是，由于调整后的基本三维模型具有与待处理图片相同视角或纹理，因此，二维图片也具有与待处理图片相同视角或纹理。可以理解的是，基于二维图片可以更加准确得判断出哪个二维图片与待处理图片的模块最相似。
下面将结合下述实施例对基于模块与多个二维图片，确定与模块对应的孪生基本三维模型的过程进行说明。
图3是本发明提供的基于模块与多个二维图片，确定与模块对应的孪生基本三维模型的流程示意图。
在本发明一示例性实施例中，如图3所示，基于模块与多个二维图片，确定与模块对应的孪生基本三维模型可以包括步骤310至步骤330，下面将分别介绍各步骤。
在步骤310中，基于模块与多个二维图片，通过相似度计算分别确定模块与各二维图片的相似值，以及通过协同过滤计算分别确定模块与各二维图片的相似推荐值。
在步骤320中，基于相似值和相似推荐值，生成与模块对应的候选三维模型概率分布。
在一种实施例中，可以通过相似度计算分别计算模块与其对应的各个二维图片之间相似值，以及通过协同过滤计算分别计算模块与其对应的各个二维图片之间相似推荐值。在应用过程中，通过相似值和相似推荐值可以得到模块与各二维图片之间的相似程度，并对相似程度进行排序，可以得到与模块对应的候选三维模型概率分布。在一示例中，在进行排序的过程中，可以使用基于用户特征推荐算法，例如FM推荐算法、GBDT+LR推荐算法、Wide&Deep推荐算法和DeepFM推荐算法等。
在步骤330中，基于候选三维模型概率分布，确定与模块对应的孪生基本三维模型。
在一种实施例中，可以基于候选三维模型概率分布，确定与模块对应的孪生基本三维模型。进一步的，通过确定出的各模块的孪生基本三维模型，可以得到与待处理图片对应的孪生三维模型。
为了进一步介绍本发明提供的孪生三维模型生成方法，下面将结合下述实施例进行说明。
图4是本发明提供的孪生三维模型生成方法的流程示意图之三。
在本发明一示例性实施例中，如图4所示，孪生三维模型生成方法可以包括步骤410至步骤490，其中，步骤410至步骤440与步骤210至步骤240相同或相似，步骤460与步骤310相同或相似，步骤480与步骤330相同或相似，步骤490与步骤260相同或相似，其具体实施方式与有益效果请参照前文描述，下面将分别介绍步骤450与步骤470。
在步骤450中，基于条件随机场的模块间共现约束模型，确定相关联模块间的关联概率。
在步骤470中，基于相似值、相似推荐值以及关联概率，生成与模块对应的候选三维模型概率分布。
在一种实施例中，可以考虑模块间的关系对孪生基本三维模型的影响。在应用过程中，可以基于条件随机场的模块间共现约束模型，确定相关联模块间的关联概率。其中，相关联模块指连接关系存在关联、位置存在关联或逻辑关系存在关联的模块。在一示例中，还可以通过其他匹配概率图模型，例如马尔科夫随机场概率图模型和贝叶斯网络概率图模型确定相关联模块间的关联概率。
进一步的，可以基于模块与各二维图片的相似值、模块与各二维图片的相似推荐值，以及相关联模块间的关联概率，得到模块与各二维图片之间的相似程度。并对相似程度进行排序，得到与模块对应的候选三维模型概率分布。在一示例中，在进行排序的过程中，可以使用基于用户特征推荐算法，例如FM推荐算法、GBDT+LR推荐算法、Wide&Deep推荐算法和DeepFM推荐算法等。在本实施例中，基于相关联模块间的关联概率确定与模块对应的候选三维模型概率分布，可以剔除明显不合理的三维模型，从而减少运算量。
在本发明一示例性实施例中，基于相似值、相似推荐值以及关联概率，生成与模块对应的候选三维模型概率分布可以通过以下方式实现：
基于相似值、相似推荐值以及关联概率的加权平均值，确定与模块对应的候选三维模型概率分布，其中，在加权计算过程中的权重值为超参数。在本实施例中，将权重值确定为超参数，可以充分利用历史数据来增加与模块对应的候选三维模型概率分布的合理性。
为了进一步介绍本发明提供的孪生三维模型生成方法，下面将结合下述实施例进行说明。
在一种实施例中，可以通过图片解析模块对单张待处理图片进行解析，得到与待处理图片对应的多个模块(模块1，模块2……模块n)，以及与模块对应的模块图片特征，其中，模块图片特征可以包括但不限于文本标签、几何特征、视角特征以及图片纹理特征。进一步的，可以基于参数化基本三维模型数据库(对应三维基本模型数据库)，通过各模块(模块1，模块2……模块n)对应的文本标签、几何特征两路召回候选集，得到与各模块(模块1，模块2……模块n)对应的多个基本三维模型。
为了能够更加简单明了且准确的在多个基本三维模型选择与模块最相似的一个基本三维模型(对应孪生基本三维模型)，可以基于视角特征和图片纹理特征，分别对基本三维模型进行视角调整和纹理渲染，得到与待处理图片具有相同视角或纹理的基本三维模型，并基于调整后的基本三维模型得到与其对应的二维图片。
在应用过程中，可以基于各模块与其对应的各个二维图片之间相似度，以及各模块与其对应的各个二维图片之间的协同过滤的推荐排序，得到各模块(模块1，模块2……模块n)的候选积木概率分布(对应候选三维模型概率分布)。在应用过程中，可以基于候选三维模型概率分布，确定与模块对应的孪生基本三维模型。进一步的，通过确定出的各模块的孪生基本三维模型，得到与待处理图片对应的孪生三维模型。
在又一示例中，还可以考虑模块间的关系对孪生基本三维模型的影响。在应用过程中，可以基于条件随机场的模块间共现约束模型，确定相关联模块间的关联概率。并通过相关联模块间的关联概率和候选积木概率分布，确定关于由各模块构成的待处理图片的候选孪生三维模型(对应孪生三维模型)。
在又一实例中，还可以响应于用户在多个二维图片中选择目标二维图片，确定目标基本三维模型为与模块对应的孪生基本三维模型，其中，目标基本三维模型为与目标二维图片对应的基本三维模型。通过本实施例，可以实现用户交互，并通过用户交互可以快速确定与模块对应的孪生基本三维模型，进而可以极大地提高孪生模型建模效率。
根据上述描述可知，本发明提供的孪生三维模型生成方法，通过模块图片特征多层次召回与模块对应的多个基本三维模型，以及基于多个基本三维模型对应的多个二维图片确定与模块对应的孪生基本三维模型，并根据孪生基本三维模型得到与待处理图片对应的孪生三维模型。实现通过多层次召回可以生成与待处理图片相似度更高的数字孪生三维模型，极大地提高了孪生模型的建模准确度。
基于相同的构思，本发明还提供一种孪生三维模型生成装置。
下面对本发明提供的孪生三维模型生成装置进行描述，下文描述的孪生三维模型生成装置与上文描述的孪生三维模型生成方法可相互对应参照。
图5是本发明提供的孪生三维模型生成装置的结构示意图。
在本发明一示例性实施例中，如图5所示，孪生三维模型生成装置可以包括获取模块510、检测模块520、召回模块530、处理模块540和生成模块550，下面将分别介绍各模块。
获取模块510可以被配置为用于获取待处理图片以及三维基本模型数据库。
检测模块520可以被配置为用于分别对待处理图片进行模块分割和特征检测，得到与待处理图片对应的多个模块，以及与模块对应的模块图片特征，其中，模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征。
召回模块530可以被配置为用于基于模块图片特征在三维基本模型数据库中召回与模块对应的多个基本三维模型，并分别对基本三维模型进行图像处理，得到与多个基本三维模型对应的多个二维图片。
处理模块540可以被配置为用于基于模块与多个二维图片，确定与模块对应的孪生基本三维模型，其中，孪生基本三维模型为与模块最相似的基本三维模型。
生成模块550可以被配置为用于基于与各模块对应的各孪生基本三维模型，得到与待处理图片对应的孪生三维模型。
在本发明一示例性实施例中，模块图片特征还可以包括模块间树级关系，检测模块520可以采用以下方式分别对待处理图片进行模块分割和特征检测，得到与待处理图片对应的多个模块，以及与模块对应的模块图片特征：分别对待处理图片进行层级化模块分割和特征检测，得到与待处理图片对应的多个模块，以及与模块对应的模块间树级关系，其中，模块间树级关系表示不同模块间的位置关系。
在本发明一示例性实施例中，召回模块530可以采用以下方式基于模块图片特征在三维基本模型数据库中召回与模块对应的多个基本三维模型：基于文本标签和几何特征，在三维基本模型数据库中召回与模块对应的多个基本三维模型；召回模块530还可以采用以下方式对基本三维模型进行图像处理，得到与多个基本三维模型对应的多个二维图片：基于视角特征和图片纹理特征，分别对基本三维模型进行视角调整和纹理渲染，得到与多个基本三维模型对应的多个二维图片。
在本发明一示例性实施例中，处理模块540可以采用以下方式基于模块与多个二维图片，确定与模块对应的孪生基本三维模型：基于模块与多个二维图片，通过相似度计算分别确定模块与各二维图片的相似值，以及通过协同过滤计算分别确定模块与各二维图片的相似推荐值；基于相似值和相似推荐值，生成与模块对应的候选三维模型概率分布；基于候选三维模型概率分布，确定与模块对应的孪生基本三维模型。
在本发明一示例性实施例中，处理模块540还可以被配置为基于条件随机场的模块间共现约束模型，确定相关联模块间的关联概率；处理模块540还可以采用以下方式基于相似值和相似推荐值，生成与模块对应的候选三维模型概率分布：基于相似值、相似推荐值以及关联概率，生成与模块对应的候选三维模型概率分布。
在本发明一示例性实施例中，处理模块540还可以采用以下方式基于相似值、相似推荐值以及关联概率，生成与模块对应的候选三维模型概率分布：基于相似值、相似推荐值以及关联概率的加权平均值，确定与模块对应的候选三维模型概率分布，其中，在加权计算过程中的权重值为超参数。
在本发明一示例性实施例中，处理模块540可以采用以下方式基于模块与多个二维图片，确定与模块对应的孪生基本三维模型：响应于用户在多个二维图片中选择目标二维图片，确定目标基本三维模型为与模块对应的孪生基本三维模型，其中，目标基本三维模型为与目标二维图片对应的基本三维模型。
在本发明一示例性实施例中，生成模块550可以采用以下方式基于与各模块对应的各孪生基本三维模型，得到与待处理图片对应的孪生三维模型：基于模块间树级关系和与各模块对应的各孪生基本三维模型，得到与待处理图片对应的孪生三维模型。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行孪生三维模型生成方法，该方法包括：获取待处理图片以及三维基本模型数据库；分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，其中，所述模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征；基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，并分别对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片；基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，其中，所述孪生基本三维模型为与所述模块最相似的所述基本三维模型；基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的孪生三维模型生成方法，该方法包括：获取待处理图片以及三维基本模型数据库；分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，其中，所述模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征；基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，并分别对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片；基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，其中，所述孪生基本三维模型为与所述模块最相似的所述基本三维模型；基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的孪生三维模型生成方法，该方法包括：获取待处理图片以及三维基本模型数据库；分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，其中，所述模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征；基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，并分别对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片；基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，其中，所述孪生基本三维模型为与所述模块最相似的所述基本三维模型；基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种孪生三维模型生成方法，其特征在于，所述方法包括：
获取待处理图片以及三维基本模型数据库；
分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，其中，所述模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征；
基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，并分别对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片；
基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，其中，所述孪生基本三维模型为与所述模块最相似的所述基本三维模型；
基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
2.根据权利要求1所述的孪生三维模型生成方法，其特征在于，所述模块图片特征还包括模块间树级关系，所述分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，包括：
分别对所述待处理图片进行层级化模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块间树级关系，其中，所述模块间树级关系表示不同所述模块间的位置关系。
3.根据权利要求1或2所述的孪生三维模型生成方法，其特征在于，所述基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，包括：
基于所述文本标签和所述几何特征，在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型；
所述对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片，包括：
基于所述视角特征和所述图片纹理特征，分别对所述基本三维模型进行视角调整和纹理渲染，得到与多个所述基本三维模型对应的多个二维图片。
4.根据权利要求1所述的孪生三维模型生成方法，其特征在于，所述基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，包括：
基于所述模块与多个所述二维图片，通过相似度计算分别确定所述模块与各所述二维图片的相似值，以及通过协同过滤计算分别确定所述模块与各所述二维图片的相似推荐值；
基于所述相似值和所述相似推荐值，生成与所述模块对应的候选三维模型概率分布；
基于所述候选三维模型概率分布，确定与所述模块对应的孪生基本三维模型。
5.根据权利要求4所述的孪生三维模型生成方法，其特征在于，在所述得到与多个所述基本三维模型对应的多个二维图片之后，所述方法还包括：
基于条件随机场的模块间共现约束模型，确定相关联所述模块间的关联概率；
所述基于所述相似值和所述相似推荐值，生成与所述模块对应的候选三维模型概率分布，包括：
基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述模块对应的候选三维模型概率分布。
6.根据权利要求5所述的孪生三维模型生成方法，其特征在于，所述基于所述相似值、所述相似推荐值以及所述关联概率，生成与所述模块对应的候选三维模型概率分布，包括：
基于所述相似值、所述相似推荐值以及所述关联概率的加权平均值，确定与所述模块对应的候选三维模型概率分布，其中，在加权计算过程中的权重值为超参数。
7.根据权利要求1所述的孪生三维模型生成方法，其特征在于，所述基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，包括：
响应于用户在多个所述二维图片中选择目标二维图片，确定目标基本三维模型为与所述模块对应的孪生基本三维模型，其中，所述目标基本三维模型为与所述目标二维图片对应的基本三维模型。
8.根据权利要求2所述的孪生三维模型生成方法，其特征在于，所述基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型，包括：
基于模块间树级关系和与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
9.一种孪生三维模型生成装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图片以及三维基本模型数据库；
检测模块，用于分别对所述待处理图片进行模块分割和特征检测，得到与所述待处理图片对应的多个模块，以及与所述模块对应的模块图片特征，其中，所述模块图片特征至少包括文本标签、几何特征、视角特征以及图片纹理特征；
召回模块，用于基于所述模块图片特征在所述三维基本模型数据库中召回与所述模块对应的多个基本三维模型，并分别对所述基本三维模型进行图像处理，得到与多个所述基本三维模型对应的多个二维图片；
处理模块，用于基于所述模块与多个所述二维图片，确定与所述模块对应的孪生基本三维模型，其中，所述孪生基本三维模型为与所述模块最相似的所述基本三维模型；
生成模块，用于基于与各所述模块对应的各所述孪生基本三维模型，得到与所述待处理图片对应的孪生三维模型。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述孪生三维模型生成方法。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述孪生三维模型生成方法。
12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述孪生三维模型生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210135449.3A CN114663579A (zh) | 2022-02-14 | 2022-02-14 | 孪生三维模型生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210135449.3A CN114663579A (zh) | 2022-02-14 | 2022-02-14 | 孪生三维模型生成方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114663579A true CN114663579A (zh) | 2022-06-24 |
Family
ID=82028412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210135449.3A Pending CN114663579A (zh) | 2022-02-14 | 2022-02-14 | 孪生三维模型生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663579A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116628829A (zh) * | 2023-07-24 | 2023-08-22 | 山东融谷信息科技有限公司 | 一种基于数字孪生的智慧建筑三维可视化*** |
| CN116647644A (zh) * | 2023-06-06 | 2023-08-25 | 上海优景智能科技股份有限公司 | 基于数字孪生技术的校园交互式监控方法以及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509848A (zh) * | 2018-02-13 | 2018-09-07 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及*** |
| CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
| CN112419489A (zh) * | 2020-12-08 | 2021-02-26 | 浙江蓝天制衣有限公司 | 一种基于特征融合与rbf网络的三维-二维的样板生成方法 |
-
2022
- 2022-02-14 CN CN202210135449.3A patent/CN114663579A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108509848A (zh) * | 2018-02-13 | 2018-09-07 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及*** |
| WO2019157924A1 (zh) * | 2018-02-13 | 2019-08-22 | 视辰信息科技(上海)有限公司 | 三维物体的实时检测方法及*** |
| CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
| CN112419489A (zh) * | 2020-12-08 | 2021-02-26 | 浙江蓝天制衣有限公司 | 一种基于特征融合与rbf网络的三维-二维的样板生成方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116647644A (zh) * | 2023-06-06 | 2023-08-25 | 上海优景智能科技股份有限公司 | 基于数字孪生技术的校园交互式监控方法以及*** |
| CN116647644B (zh) * | 2023-06-06 | 2024-02-20 | 上海优景智能科技股份有限公司 | 基于数字孪生技术的校园交互式监控方法以及*** |
| CN116628829A (zh) * | 2023-07-24 | 2023-08-22 | 山东融谷信息科技有限公司 | 一种基于数字孪生的智慧建筑三维可视化*** |
| CN116628829B (zh) * | 2023-07-24 | 2023-11-07 | 山东融谷信息科技有限公司 | 一种基于数字孪生的智慧建筑三维可视化*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109614935B (zh) | 车辆定损方法及装置、存储介质及电子设备 | |
| US6606406B1 (en) | System and method for progressive stereo matching of digital images | |
| US20230043026A1 (en) | Learning-based active surface model for medical image segmentation | |
| CN111627065A (zh) | 一种视觉定位方法及装置、存储介质 | |
| US20230206603A1 (en) | High-precision point cloud completion method based on deep learning and device thereof | |
| Saito et al. | Application of genetic algorithms to stereo matching of images | |
| CN114663579A (zh) | 孪生三维模型生成方法、装置、电子设备及存储介质 | |
| Han et al. | Stereo matching using genetic algorithm with adaptive chromosomes | |
| CN112927353B (zh) | 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端 | |
| CN113095333B (zh) | 无监督特征点检测方法及装置 | |
| EP3012781A1 (en) | Method and apparatus for extracting feature correspondences from multiple images | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN115019135A (zh) | 模型训练、目标检测方法、装置、电子设备及存储介质 | |
| CN116843834A (zh) | 一种三维人脸重建及六自由度位姿估计方法、装置及设备 | |
| JP2001043368A5 (zh) | ||
| CN116229189A (zh) | 基于荧光内窥镜的图像处理方法、装置、设备及存储介质 | |
| CN116012387A (zh) | 一种面向室内场景三维语义分割的虚拟视图选择方法和装置 | |
| CN114973098A (zh) | 一种基于深度学习的短视频去重方法 | |
| CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
| CN111985616B (zh) | 一种图像特征提取方法、图像检索方法、装置及设备 | |
| CN111723688B (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
| CN112668710B (zh) | 模型训练、管状物提取、数据识别方法及设备 | |
| CN111275183A (zh) | 视觉任务的处理方法、装置和电子*** | |
| CN112597913B (zh) | 一种人脸标注方法及装置 | |
| CN112184797B (zh) | 一种千克组砝码关键部位空间定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |