CN110148084A - 由2d图像重建3d模型的方法、装置、设备及存储介质 - Google Patents

由2d图像重建3d模型的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110148084A
CN110148084A CN201910425084.6A CN201910425084A CN110148084A CN 110148084 A CN110148084 A CN 110148084A CN 201910425084 A CN201910425084 A CN 201910425084A CN 110148084 A CN110148084 A CN 110148084A
Authority
CN
China
Prior art keywords
model
dimensional image
information
network
accompanying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910425084.6A
Other languages
English (en)
Other versions
CN110148084B (zh
Inventor
杜嘉
川合滋典
高欣婷
兀提哈
傅学勇
黑马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wisdom Bud Information Technology (suzhou) Co Ltd
Original Assignee
Wisdom Bud Information Technology (suzhou) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wisdom Bud Information Technology (suzhou) Co Ltd filed Critical Wisdom Bud Information Technology (suzhou) Co Ltd
Priority to CN201910425084.6A priority Critical patent/CN110148084B/zh
Publication of CN110148084A publication Critical patent/CN110148084A/zh
Priority to PCT/CN2020/083988 priority patent/WO2020233269A1/zh
Priority to US17/532,016 priority patent/US20220157017A1/en
Application granted granted Critical
Publication of CN110148084B publication Critical patent/CN110148084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种由2D图像重建3D模型的方法、装置、设备及存储介质。包括：获取三维物体至少两个视角分别对应的二维图像；将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。本发明实施例提供的由2D图像重建3D模型的方法，将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，不仅可以提高重建3D模型的准确性，而且使得用户通过查看3D模型更容易理解三维物体。

Description

由2D图像重建3D模型的方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种由2D图像重建3D模型的方法、装置、设备及存储介质。
背景技术
在专业数字文献(如专利文本、期刊等)中包含大量的视图，目的是为了读者更好的理解文献的具体内容。其中，视图可以是平面图、立体图、剖视图或者透视图等。
现有的数字文献在描述三维物体时，通常采用三维物体各个角度对应的视图，如：正视图、俯视图、左视图、右视图及仰视图等。虽然这些视图有助于用户从不同角度了解三维物体，但是这些视图是分离且独立的，读者通常不容易在脑海中重建原始的三维物体，从而无法准确的理解文献的内容。
发明内容
本发明实施例提供一种由2D图像重建3D模型的方法、装置、设备及存储介质，根据数字文献中的2D图重建3D模型，有助于读者准确的理解文献的内容。
第一方面，本发明实施例提供了一种由2D图像重建3D模型的方法，该方法包括：
获取三维物体至少两个视角分别对应的二维图像；
将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。
进一步地，获取三维物体至少两个视角分别对应的二维图像，包括：
从数字文献中提取三维物体至少两个视角分别对应的初始二维图像；
分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像；
将所述目标二维图像与视角信息相关联；
相应的，将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，包括：
将与视角信息相关联的目标二维图像输入设定神经网络进行信息融合及 3D模型重建。
进一步地，从数字文献中提取三维物体至少两个视角分别对应的初始二维图像，包括：
从数字文献中提取图形标题部分，并对所述图像标题部分进行标准化处理，获得初始二维图像的图像类型。
进一步地，从数字文献中提取图形标题部分，并对所述图像标题部分进行标准化处理，获得初始二维图像的图形类型，包括：
对数字文献中的附图说明信息进行定位；
对定位后的附图说明信息进行附图说明抽取及附图编号的抽取；
从抽取的附图说明中获得二维图像的图像类型，并对图像类型进行归一化处理。
进一步地，对数字文献中的附图说明信息进行定位，包括：
采用内容解析器对数字文献中设定部分的内容切分为多个内容对，所述内容对包括小节标题及小节内容；
根据所述小节标题按照预设类别表对附图说明信息进行定位。
进一步地，对定位后的附图说明信息进行附图说明抽取及附图编号的抽取，包括：
采用预先构建的正则表达式对附图说明进行抽取。
进一步地，对定位后的附图说明信息进行附图说明抽取及附图编号的抽取，包括：
采用模式匹配方式获取附图编号的模式，根据所述附图编号的模式进行附图编号的抽取。
进一步地，所述附图编号的模式包括第一模式和第二模式，第一模式为附图编号由分离的一个或多个编号组成，第二模式为附图编号由编号范围组成；
若附图编号的模式为第一模式，根据所述附图编号的模式进行附图编号的抽取，包括：将分离的一个或多个编号进行抽取，确定为附图编号；
若附图编号的模式为第二模式，则对编号范围进行切分，获取编号范围包含的各个编号，确定为附图编号。
进一步地，分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像，包括：
分别对各初始二维图像进行图形剪切，获得至少两个视角分别对应的目标二维图像；
相应的，将所述目标二维图像与视角信息相关联，包括：
获取所述至少两个视角图像正交投影后的视图类型，确定为视角信息；
将所述目标二维图像与视角信息相关联。
进一步地，所述设定神经网络包括第一卷积子网络、第二卷积子网络和信息融合子网络；所述第一卷积子网络和第二卷积子网络均与所述信息融合子网络连接；
将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，包括：
将所述各视角分别对应的二维图像输入所述第一卷积子网络获得深度图及曲面法向图；
将所述各视角分别对应的二维图像输入所述第二卷积子网络进行特征提取，获得关键特征；
将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。
进一步地，所述3D模型包括如下至少一种：3D点云、网格3D表面和CAD 模型。
进一步地，若3D模型为CAD模型，则将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，包括：
将所述深度图和所述曲面法向图分别与所述关键特征进行对齐处理，获得所述关键特征的矢量形式；
根据所述关键特征的矢量形式生成CAD模型。
进一步地，在获取三维物体至少两个视角分别对应的图像之前，还包括：
获取训练样本集，所述训练样本集包括多个参考3D模型以及各参考3D模型分别对应的至少两个视角的二维图像；
根据所述训练样本集对设定神经网络进行训练。
进一步地，根据所述训练样本集对设定神经网络进行训练，包括：
将至少两个视角的二维图像输入所述第一卷积子网络获得深度图及曲面法向图；
将至少两个视角的二维图像输入所述第二卷积子网络进行特征提取，获得关键特征；
将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得预测3D模型；
根据所述预测3D模型和所述参考3D模型对所述设定神经网络中的参数进行调整，直至训练结束。
进一步地，在获得所述三维物体的3D模型之后，还包括：
将所述3D模型存储于数据库中，并建立所述3D模型的搜索索引信息。
第二方面，本发明实施例还提供了一种由2D图像重建3D模型的装置，该装置包括：
二维图像获取模块，用于获取三维物体至少两个视角分别对应的二维图像；
3D模型获取模块，用于将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例所述的由2D图像重建3D模型的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的由2D图像重建3D模型的方法。
本发明实施例，首先获取三维物体至少两个视角分别对应的二维图像，然后将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D 模型重建，获得三维物体的3D模型。本发明实施例提供的由2D图像重建3D 模型的方法，将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，不仅可以提高重建3D模型的准确性，而且使得用户通过查看3D模型更容易理解三维物体。
附图说明
图1是本发明实施例一中的一种由2D图像重建3D模型的方法的流程图；
图2是本发明实施例一中的一种设定神经网络的结构示意图；
图3是本发明实施例一中的生成椅子的3D模型的示例图；
图4是本发明实施例二中的一种由2D图像重建3D模型的方法的流程图；
图5是本发明实施例二中的一种对设定神经网络进行训练的示例图；
图6是本发明实施例三中的一种由2D图像重建3D模型的装置的结构示意图；
图7是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种由2D图像重建3D模型的方法的流程图，本实施例可适用于对三维物体构造3D模型的情况，该方法可以由由2D图像重建3D模型的装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有由2D图像重建3D模型功能的设备中，该设备可以是服务器、终端或服务器集群等电子设备。如图1所示，该方法具体包括如下步骤：
步骤110，获取三维物体至少两个视角分别对应的二维图像。
其中，至少两个视角对应的二维图像可以包括正视图、俯视图、左视图、右视图及仰视图等，以及平面图、立面图、斜视图、透视图、断面图及分解图、局部图、放大图等。三维物体可以是在数字文献中描述的物体。在数字文献中，为了详细的描述三维物体，在文献中示出三维物体在至少两个视角分别对应的二维图像。
本实施例中，获取三维物体至少两个视角分别对应的二维图像的方式可以是：从数字文献中提取三维物体至少两个视角分别对应的初始二维图像；分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像；将目标二维图像与视角信息相关联。
可选的，从数字文献中提取三维物体至少两个视角分别对应的初始二维图像的方式可以是：从数字文献中提取图形标题部分，并对图像标题部分进行标准化处理，获得初始二维图像的图像类型。具体的，首先对数字文献中的附图说明信息进行定位，然后对定位后的附图说明信息进行附图说明抽取及附图编号的抽取，最后从抽取的附图说明中获得二维图像的图像类型，并对图像类型进行归一化处理。本实施例中，从数字文献中提取图形标题部分，并对图像标题部分进行标准化处理，获得初始二维图像的图像类型可以依次采用定位附图说明信息的技术、附图说明抽取技术、附图编号抽取技术、附图视图类型识别技术。
对数字文献中的附图说明信息进行定位的方式可以是：采用内容解析器对数字文献中设定部分的内容切分为多个内容对，内容对包括小节标题及小节内容；根据小节标题按照预设类别表对附图说明信息进行定位。
其中，设定部分可以是专利文献中的说明书部分或者非专利文献中的正文部分。示例性的，定位附图说明信息的技术的原理如下：大部分专利的说明书通常都会包含一个附图说明(‘BRIEF DESCRIPTION OF DRAWINGS’)的小节，可以直接从这个小节里解析附图说明信息。采用说明书解析器(description parser)把整个专利说明书切分成“小节标题”和“小节内容”这样的内容对。然后会根据“小节标题”在预设类别表中查找每个小节对应的类别。表1为本实施例中的一种预设类别表。
表1
当专利说明书被解析器解析后，只需要处理“附图说明”这个小节。根据统计，有“附图说明”这个小节的专利，只占到所有专利数的55％。因此对于这55％我们可以高效的解析。对于剩下的45％。需要解析整个专利说明书。解析的时候，通常会遇到一篇专利里面，会有两句关于同一个附图的介绍，这时候通常会倾向于选择最短的句子，作为专利附图的介绍信息。
对定位后的附图说明信息进行附图说明抽取及附图编号的抽取的方式可以是：采用预先构建的正则表达式对附图说明进行抽取；采用模式匹配方式获取附图编号的模式，根据附图编号的模式进行附图编号的抽取。
其中，附图编号的模式包括第一模式和第二模式，第一模式为附图编号由分离的一个或多个编号组成，第二模式为附图编号由编号范围组成；若附图编号的模式为第一模式，根据附图编号的模式进行附图编号的抽取，包括：将分离的一个或多个编号进行抽取，确定为附图编号；若附图编号的模式为第二模式，则对编号范围进行切分，获取编号范围包含的各个编号，确定为附图编号。
示例性的，附图说明抽取技术的原理可以是：
在英文专利文献中附图说明通常都会按照如下的模式来书写：
·FIG.1is a front,bottom,and left side perspective view of aconfection.Figure. 2is a bottom plan view thereof；
·FIGS.11depict another embodiment of a supply-switched dual cellmemory bitcell in accordance with the present description.
·FIGS.3A，B，C are views illustrating a technique for determining aqueue for storing data according to an exemplary embodiment；
·FIG.1illustrates a system that can be used to block the opening ofa file.
·FIGS.6(a)to(c)are plan views that illustrate the structure ofprincipal parts of a second exemplary embodiment of the illumination opticalsystem according to the present invention,and FIGS.6(d)to(f)are plan viewsthat illustrate the structure of principal parts of a third exemplaryembodiment of the illumination optical system according to the presentinvention.
·FIG.9A is a perspective view,depicting another embodiment of thesecond anchoring member；
如上面示例所示，典型的附图说明都会以“FIG”或者“FIGS”开头，后面跟着编号，然后接着是动词：是、表示或展示。基于这样的模式，采用构建的正则表达式来抽取附图说明相关的句子。
示例性的，附图编号抽取技术的原理可以是：
为了链接附图的文本和图像，采用模式匹配方法从附图说明中抽取了附图对应的编号。如下的情况，模式匹配就能很容易抽取到附图编号：
·FIG.1is a front,bottom,and left side perspective view of aconfection.
·Figure.2is a bottom plan view thereof；
然后，对于附图编号是编号范围的情况，如下示例：
·FIGS.8A-8D are aspects of a user interface for administration of abuddy list.,
上面的例子中，可以先抽取“8A-8D”，然后采用编号切分器。例如用“逗号、和、或”用来列出独立的编号，同时采用“-、到、至”表示两个编号之间的范围。编号不仅只包含数据，还有数字+字母，数字+括号的组合。本实施例中，可以自动处理附图的编号，生成一个所有编号的列表，如下面例子所示：
·FIGS.4and 5are user interfaces for inviting a“buddy”to join inpracticing aspects of the present invention.＝>[‘4’,’5’]
·FIGS.8A-8D are aspects of a user interface for administration of abuddy list.＝>[’8A’,’8B’,’8C’,’8D]
·FIGS.9(A)-9(C)are views of the manufacturing steps shown bymagnifying a via conductor and a bump in a printed wiring board of the firstembodiment；＝> [’9(A)’,’9(B)’,’9(C)’]
示例性的，附图视图类型识别技术的原理可以是：
通常附图说明包含视图类型的描述，如下例：
·FIG.1is a front,bottom,and left side perspective view of aconfection；
·FIG.2is a bottom plan view thereof；
·FIG.1is a conceptual cross-sectional view of an example articleincluding CMC
首先获得得到附图类型，然后对视图类型进行归一化处理。
本实施例中可以把图像类型分为如下几种类型，例如表2所示。
表2归一化后的视角类型
数字文献可以是专利文献或期刊等非专利文献。目标二维图像可以是由对初始二维图像中感兴趣的区域组成的图像。将目标二维图像与视角信息相关联的方式可以是，对目标二维图像添加视角标签。例如目标二维图像A是三维物体的左视图，则将“左视图”的标签添加至目标二维图像A。
可选的，分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像，可通过下述方式实施：分别对各初始二维图像进行图形剪切，获得至少两个视角分别对应的目标二维图像；相应的，将目标二维图像与视角信息相关联，包括：获取至少两个视角图像正交投影后的视图类型，确定为视角信息；将目标二维图像与视角信息相关联。
其中，剪切的方式可以采用形态学分割算法或者物体检测算法。
步骤120，将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得三维物体的3D模型。
其中，设定神经网络具有将二维图像进行信息融合及3D模型重建的能力。
具体的，将至少两个视角对应的目标二维图像与视角信息关联之后，即将目标二维图像添加了视角标签后，输入设定神经网络进行信息融合及3D模型重建，从而获得三维物体的3D模型。
可选的，图2为本发明实施例一中的一种设定神经网络的结构示意图。如图2所示，设定神经网络包括第一卷积子网络、第二卷积子网络和信息融合子网络；第一卷积子网络和第二卷积子网络均与信息融合子网络连接。
将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及 3D模型重建，获得三维物体的3D模型的过程可以是：将各视角分别对应的二维图像输入第一卷积子网络获得深度图及曲面法向图；将各视角分别对应的二维图像输入第二卷积子网络进行特征提取，获得关键特征；将深度图、曲面法向图和关键特征输入信息融合子网络进行信息融合及3D模型重建，获得三维物体的3D模型。
其中，关键特征可以包括每个二维图像中的关键点、边缘及曲面等。第一卷积子网络可以根据各视角对应的二维图像预测深度图和曲面法线图。第二卷积神经网络可以根据各视角对应的二维图像进行关键特征的提取。信息融合子网络可以对输入的深度图、曲面法向图和关键特征进行信息融合后构建3D模型。
其中，3D模型可以是3D点云、网格3D表面或者CAD模型。具体的，信息融合子网络可以对输入的深度图、曲面法向图和关键特征进行信息融合后获得3D点云，然后对3D点云进行网格化获得网格3D表面。
若3D模型为CAD模型，则将深度图、曲面法向图和关键特征输入信息融合子网络进行信息融合及3D模型重建，获得CAD模型的过程可以是：将深度图和曲面法向图分别与关键特征进行对齐处理，获得关键特征的矢量形式；根据关键特征的矢量形式生成CAD模型。
示例性的，图3是本发明实施例中的生成椅子的3D模型的示例图。如图3 所示，将椅子至少两个视角对应的二维图输入设定神经网络进行信息融合及3D 模型重建，获得椅子的3D模型。
可选的，在获得三维物体的3D模型之后，还包括如下步骤：将3D模型与数字文献进行关联后存储于数据库中，并建立3D模型的搜索索引信息；根据用户输入的3D模型搜索信息对与3D模型关联的数字进行检索；或者，根据3D 模型进行CAD建模；或者，根据3D模型进行3D打印。
具体的，在生成3D模型后，将3D模型存储于数据库中，并建立3D模型的二进制索引信息，当用户将3D模型作为搜索信息时，搜索引擎可以根据输入的3D模型检索相关联的数字文献或者从数据库中调取3D模型，从而使得用户根据索引信息检索到对应的3D模型。
可选的，获得3D模型后，可以在用户交互的图像界面中使用3D模型进行高级可视化，并且可以基于3D模型进行数字文献的搜索。还可以将3D模型导出后进行原型制作，如进行3D打印等，或者基于3D模型进行CAD建模。
本实施例的技术方案，首先获取三维物体至少两个视角分别对应的二维图像，然后将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得三维物体的3D模型。本发明实施例提供的由2D图像重建3D模型的方法，将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，不仅可以提高重建 3D模型的准确性，而且使得用户通过查看3D模型更容易理解三维物体。
实施例二
图4为本发明实施例二提供的一种由2D图像重建3D模型的方法的流程图。作为对上述实施例的进一步解释，如图4所示，该方法包括如下步骤：
步骤410，获取训练样本集。
训练样本集包括多个参考3D模型以及各参考3D模型分别对应的至少两个视角的二维图像。其中，参考3D模型为对真实的三维物体进行3D提取获得的。
步骤420，根据训练样本集对设定神经网络进行训练。
具体的，根据训练样本集对设定神经网络进行训练的过程可以是：将至少两个视角的二维图像输入第一卷积子网络获得深度图及曲面法向图；将至少两个视角的二维图像输入第二卷积子网络进行特征提取，获得关键特征；将深度图、曲面法向图和关键特征输入信息融合子网络进行信息融合及3D模型重建，获得预测3D模型；根据预测3D模型和参考3D模型对设定神经网络中的参数进行调整，直至训练结束。
本实施例中，根据预测3D模型和参考3D模型对设定神经网络中的参数进行调整的方式可以是，根据预测3D模型和参考3D模型计算损失函数，然后根据损失函数对设定神经网络中的参数进行调整，直到损失函数的值满足设定条件，则对设定神经网络的训练结束。
图5是本发明实施例二提供的一种对设定神经网络进行训练的示例图，如图5所示，将参考3D模型分别对应的至少两个视角的二维图像输入设定神经网络进行信息融合及3D模型重建，获得预测3D模型。
步骤430，获取三维物体至少两个视角分别对应的二维图像。
步骤440，将至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得三维物体的3D模型。
本实施例的技术方案，根据训练样本集对设定神经网络进行训练，可以提高设定神经网络重建的3D模型的准确性。
实施例三
图6为本发明实施例三提供的一种由2D图像重建3D模型的装置的结构示意图。如图6所示，该装置包括：二维图像获取模块610和3D模型获取模块 620。
二维图像获取模块610，用于获取三维物体至少两个视角分别对应的二维图像；
3D模型获取模块620，用于将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。
可选的，二维图像获取模块610，还用于：
从数字文献中提取三维物体至少两个视角分别对应的初始二维图像；
根据形态学分割算法或者物体检测算法分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像；
将目标二维图像与视角信息相关联；
可选的，3D模型获取模块620，还用于：
将与视角信息相关联的目标二维图像输入设定神经网络进行信息融合及 3D模型重建。
可选的，二维图像获取模块610，还用于：
从数字文献中提取图形标题部分，并对图像标题部分进行标准化处理，获得初始二维图像的图像类型。
可选的，二维图像获取模块610，还用于：
对数字文献中的附图说明信息进行定位；
对定位后的附图说明信息进行附图说明抽取及附图编号的抽取；
从抽取的附图说明中获得二维图像的图像类型，并对图像类型进行归一化处理。
可选的，二维图像获取模块610，还用于：
采用内容解析器对数字文献中设定部分的内容切分为多个内容对，内容对包括小节标题及小节内容；
根据小节标题按照预设类别表对附图说明信息进行定位。
可选的，二维图像获取模块610，还用于：
采用预先构建的正则表达式对附图说明进行抽取；
采用模式匹配方式获取附图编号的模式，根据附图编号的模式进行附图编号的抽取。
可选的，附图编号的模式包括第一模式和第二模式，第一模式为附图编号由分离的一个或多个编号组成，第二模式为附图编号由编号范围组成；
若附图编号的模式为第一模式，根据附图编号的模式进行附图编号的抽取，包括：将分离的一个或多个编号进行抽取，确定为附图编号；
若附图编号的模式为第二模式，则对编号范围进行切分，获取编号范围包含的各个编号，确定为附图编号。
可选的，二维图像获取模块610，还用于：
分别对各初始二维图像进行图形剪切，获得至少两个视角分别对应的目标二维图像；
相应的，将目标二维图像与视角信息相关联，包括：
获取至少两个视角图像正交投影后的视图类型，确定为视角信息；
将目标二维图像与视角信息相关联。
可选的，设定神经网络包括第一卷积子网络、第二卷积子网络和信息融合子网络；第一卷积子网络和第二卷积子网络均与信息融合子网络连接；
3D模型获取模块620：还用于
将各视角分别对应的二维图像输入第一卷积子网络获得深度图及曲面法向图；
将各视角分别对应的二维图像输入第二卷积子网络进行特征提取，获得关键特征；
将深度图、曲面法向图和关键特征输入信息融合子网络进行信息融合及3D 模型重建，获得三维物体的3D模型。
可选的，3D模型包括如下至少一种：3D点云、网格3D表面和CAD模型。
可选的，若3D模型为CAD模型，3D模型获取模块620，还用于：
将深度图和曲面法向图分别与关键特征进行对齐处理，获得关键特征的矢量形式；
根据关键特征的矢量形式生成CAD模型。
可选的，还包括：设定神经网络训练模块，用于：
获取训练样本集，训练样本集包括多个参考3D模型以及各参考3D模型分别对应的至少两个视角的二维图像；
根据训练样本集对设定神经网络进行训练。
可选的，设定神经网络训练模块，还用于：
将至少两个视角的二维图像输入第一卷积子网络获得深度图及曲面法向图；
将至少两个视角的二维图像输入第二卷积子网络进行特征提取，获得关键特征；
将深度图、曲面法向图和关键特征输入信息融合子网络进行信息融合及3D 模型重建，获得预测3D模型；
根据预测3D模型和参考3D模型对设定神经网络中的参数进行调整，直至训练结束。
可选的，还包括：3D模型应用模块，用于：
将3D模型与数字文献进行关联后存储于数据库中，并建立3D模型的搜索索引信息；根据用户输入的3D模型搜索信息对与3D模型关联的数字进行检索；或者，根据3D模型进行CAD建模；或者，根据3D模型进行3D打印。
上述装置可执行本发明前述所有实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明前述所有实施例所提供的方法。
实施例四
图7为本发明实施例四提供的一种计算机设备的结构示意图。图7示出了适于用来实现本发明实施方式的计算机设备712的框图。图7显示的计算机设备712仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备712典型的是承担由2D图像重建3D模型功能的计算设备。
如图7所示，计算机设备712以通用计算设备的形式表现。计算机设备712 的组件可以包括但不限于：一个或者多个处理器716，存储装置728，连接不同***组件(包括存储装置728和处理器716)的总线718。
总线718表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构 (Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及***组件互连(Peripheral Component Interconnect，PCI)总线。
计算机设备712典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备712访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置728可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory，RAM)730和/或高速缓存存储器732。计算机设备712可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***734可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory， CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线718相连。存储装置728可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块726的程序736，可以存储在例如存储装置728中，这样的程序模块726包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块726通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备712也可以与一个或多个外部设备714(例如键盘、指向设备、摄像头、显示器724等)通信，还可与一个或者多个使得用户能与该计算机设备712交互的设备通信，和/或与使得该计算机设备712能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口722进行。并且，计算机设备712还可以通过网络适配器720与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器720通过总线718与计算机设备712的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备712使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)***、磁带驱动器以及数据备份存储***等。
处理器716通过运行存储在存储装置728中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的由2D图像重建3D模型的方法。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的由2D图像重建3D模型的方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的由 2D图像重建3D模型的方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (18)

1.一种由2D图像重建3D模型的方法，其特征在于，包括：
获取三维物体至少两个视角分别对应的二维图像；
将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。
2.根据权利要求1所述的方法，其特征在于，获取三维物体至少两个视角分别对应的二维图像，包括：
从数字文献中提取三维物体至少两个视角分别对应的初始二维图像；
分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像；
将所述目标二维图像与视角信息相关联；
相应的，将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，包括：
将与视角信息相关联的目标二维图像输入设定神经网络进行信息融合及3D模型重建。
3.根据权利要求2所述的方法，其特征在于，从数字文献中提取三维物体至少两个视角分别对应的初始二维图像，包括：
从数字文献中提取图形标题部分，并对所述图像标题部分进行标准化处理，获得初始二维图像的图像类型。
4.根据权利要求3所述的方法，其特征在于，从数字文献中提取图形标题部分，并对所述图像标题部分进行标准化处理，获得初始二维图像的图形类型，包括：
对数字文献中的附图说明信息进行定位；
对定位后的附图说明信息进行附图说明抽取及附图编号的抽取；
从抽取的附图说明中获得二维图像的图像类型，并对图像类型进行归一化处理。
5.根据权利要求4所述的方法，其特征在于，对数字文献中的附图说明信息进行定位，包括：
采用内容解析器对数字文献中设定部分的内容切分为多个内容对，所述内容对包括小节标题及小节内容；
根据所述小节标题按照预设类别表对附图说明信息进行定位。
6.根据权利要求4所述的方法，其特征在于，对数字文献中的附图说明信息进行定位，包括：
采用预先构建的正则表达式对附图说明进行抽取。
7.根据权利要求4所述的方法，其特征在于，对定位后的附图说明信息进行附图说明抽取及附图编号的抽取，包括：
采用模式匹配方式获取附图编号的模式，根据所述附图编号的模式进行附图编号的抽取。
8.根据权利要求7所述的方法，其特征在于，所述附图编号的模式包括第一模式和第二模式，第一模式为附图编号由分离的一个或多个编号组成，第二模式为附图编号由编号范围组成；
若附图编号的模式为第一模式，根据所述附图编号的模式进行附图编号的抽取，包括：将分离的一个或多个编号进行抽取，确定为附图编号；
若附图编号的模式为第二模式，则对编号范围进行切分，获取编号范围包含的各个编号，确定为附图编号。
9.根据权利要求2所述的方法，其特征在于，分别对各初始二维图像进行预处理，获得至少两个视角分别对应的目标二维图像，包括：
分别对各初始二维图像进行图形剪切，获得至少两个视角分别对应的目标二维图像；
相应的，将所述目标二维图像与视角信息相关联，包括：
获取所述至少两个视角图像正交投影后的视图类型，确定为视角信息；
将所述目标二维图像与视角信息相关联。
10.根据权利要求1所述的方法，其特征在于，所述设定神经网络包括第一卷积子网络、第二卷积子网络和信息融合子网络；所述第一卷积子网络和第二卷积子网络均与所述信息融合子网络连接；
将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，包括：
将所述各视角分别对应的二维图像输入所述第一卷积子网络获得深度图及曲面法向图；
将所述各视角分别对应的二维图像输入所述第二卷积子网络进行特征提取，获得关键特征；
将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。
11.根据权利要求1-10任一所述的方法，其特征在于，所述3D模型包括如下至少一种：3D点云、网格3D表面和CAD模型。
12.根据权利要求11所述的方法，其特征在于，若3D模型为CAD模型，则将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得所述三维物体的3D模型，包括：
将所述深度图和所述曲面法向图分别与所述关键特征进行对齐处理，获得所述关键特征的矢量形式；
根据所述关键特征的矢量形式生成CAD模型。
13.根据权利要求10所述的方法，其特征在于，在获取三维物体至少两个视角分别对应的图像之前，还包括：
获取训练样本集，所述训练样本集包括多个参考3D模型以及各参考3D模型分别对应的至少两个视角的二维图像；
根据所述训练样本集对设定神经网络进行训练。
14.根据权利要求13所述的方法，其特征在于，根据所述训练样本集对设定神经网络进行训练，包括：
将至少两个视角的二维图像输入所述第一卷积子网络获得深度图及曲面法向图；
将至少两个视角的二维图像输入所述第二卷积子网络进行特征提取，获得关键特征；
将所述深度图、所述曲面法向图和所述关键特征输入所述信息融合子网络进行信息融合及3D模型重建，获得预测3D模型；
根据所述预测3D模型和所述参考3D模型对所述设定神经网络中的参数进行调整，直至训练结束。
15.根据权利要求1所述的方法，其特征在于，在获得所述三维物体的3D模型之后，还包括：
将所述3D模型与数字文献进行关联后存储于数据库中，并建立所述3D模型的搜索索引信息；
根据用户输入的3D模型搜索信息对与所述3D模型关联的数字进行检索；
或者，根据所述3D模型进行CAD建模；
或者，根据所述3D模型进行3D打印。
16.一种由2D图像重建3D模型的装置，其特征在于，包括：
二维图像获取模块，用于获取三维物体至少两个视角分别对应的二维图像；
3D模型获取模块，用于将所述至少两个视角分别对应的二维图像输入设定神经网络进行信息融合及3D模型重建，获得所述三维物体的3D模型。
17.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-15中任一所述的由2D图像重建3D模型的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-15中任一所述的由2D图像重建3D模型的方法。
CN201910425084.6A 2019-05-21 2019-05-21 由2d图像重建3d模型的方法、装置、设备及存储介质 Active CN110148084B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910425084.6A CN110148084B (zh) 2019-05-21 2019-05-21 由2d图像重建3d模型的方法、装置、设备及存储介质
PCT/CN2020/083988 WO2020233269A1 (zh) 2019-05-21 2020-04-09 由2d图像重建3d模型的方法、装置、设备及存储介质
US17/532,016 US20220157017A1 (en) 2019-05-21 2021-11-22 Method and apparatus for reconstructing 3d model from 2d image, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910425084.6A CN110148084B (zh) 2019-05-21 2019-05-21 由2d图像重建3d模型的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110148084A true CN110148084A (zh) 2019-08-20
CN110148084B CN110148084B (zh) 2023-09-19

Family

ID=67592575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910425084.6A Active CN110148084B (zh) 2019-05-21 2019-05-21 由2d图像重建3d模型的方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US20220157017A1 (zh)
CN (1) CN110148084B (zh)
WO (1) WO2020233269A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853130A (zh) * 2019-09-25 2020-02-28 咪咕视讯科技有限公司 三维图像的生成方法、电子设备及存储介质
CN110992435A (zh) * 2019-11-06 2020-04-10 上海东软医疗科技有限公司 图像重建方法及设备、成像数据的处理方法及装置
CN110989022A (zh) * 2019-11-19 2020-04-10 中国电子科技集团公司第十三研究所 平面安检***的扫描方法、安检***及存储介质
CN110989023A (zh) * 2019-11-19 2020-04-10 中国电子科技集团公司第十三研究所 半旋转半平面安检***的扫描方法、安检***及存储介质
WO2020233269A1 (zh) * 2019-05-21 2020-11-26 智慧芽信息科技(苏州)有限公司 由2d图像重建3d模型的方法、装置、设备及存储介质
CN112116700A (zh) * 2020-08-28 2020-12-22 北京航空航天大学 基于单目视图的三维重建方法与装置
CN112668596A (zh) * 2019-10-15 2021-04-16 北京地平线机器人技术研发有限公司 三维物体识别方法及装置、识别模型训练方法及装置
WO2021097843A1 (zh) * 2019-11-22 2021-05-27 驭势科技(南京)有限公司 三维重建方法、装置、***和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574084B1 (en) * 2022-01-31 2023-02-07 Protolabs, Inc. Methods and systems for geometric analysis of a part for manufacture
DE102022123848A1 (de) 2022-09-16 2024-03-21 Bayerische Motoren Werke Aktiengesellschaft Bestimmung von Oberflächendaten eines Gegenstands

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271582A (zh) * 2008-04-10 2008-09-24 清华大学 基于多视角二维图像并结合sift算法的三维重建方法
CN101877143A (zh) * 2009-12-09 2010-11-03 中国科学院自动化研究所 一种二维图像组的三维场景重建方法
CN107918950A (zh) * 2017-12-11 2018-04-17 福州国化智能技术有限公司 一种利用二维三视图自动重建三维模型的方法
CN107945269A (zh) * 2017-12-26 2018-04-20 清华大学 基于多视点视频的复杂动态人体对象三维重建方法及***
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN108734773A (zh) * 2018-05-18 2018-11-02 中国科学院光电研究院 一种用于混合图片的三维重建方法及***
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230154123A1 (en) * 2016-01-07 2023-05-18 Northwest Instrument Inc. Intelligent interface based on augmented reality
US20200003678A1 (en) * 2017-02-09 2020-01-02 Ramot At Tel-Aviv University Ltd. Method and system for characterizing a nanostructure by machine learning
CN111373448B (zh) * 2017-09-22 2023-12-08 尼维医疗公司 使用机器学习正则化器的图像重建
US10380788B2 (en) * 2017-10-12 2019-08-13 Ohio State Innovation Foundation Fast and precise object alignment and 3D shape reconstruction from a single 2D image
CN108492364B (zh) * 2018-03-27 2022-09-20 百度在线网络技术（北京）有限公司 用于生成图像生成模型的方法和装置
CN109191369B (zh) * 2018-08-06 2023-05-05 三星电子（中国）研发中心 2d图片集转3d模型的方法、存储介质和装置
US10861225B2 (en) * 2018-08-10 2020-12-08 Intel Corporation Neural network processing for multi-object 3D modeling
CN109745062B (zh) * 2019-01-30 2020-01-10 腾讯科技（深圳）有限公司 Ct图像的生成方法、装置、设备及存储介质
CN110148084B (zh) * 2019-05-21 2023-09-19 智慧芽信息科技(苏州)有限公司 由2d图像重建3d模型的方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271582A (zh) * 2008-04-10 2008-09-24 清华大学 基于多视角二维图像并结合sift算法的三维重建方法
CN101877143A (zh) * 2009-12-09 2010-11-03 中国科学院自动化研究所 一种二维图像组的三维场景重建方法
CN107918950A (zh) * 2017-12-11 2018-04-17 福州国化智能技术有限公司 一种利用二维三视图自动重建三维模型的方法
CN107945269A (zh) * 2017-12-26 2018-04-20 清华大学 基于多视点视频的复杂动态人体对象三维重建方法及***
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN108734773A (zh) * 2018-05-18 2018-11-02 中国科学院光电研究院 一种用于混合图片的三维重建方法及***
CN109255843A (zh) * 2018-09-26 2019-01-22 联想(北京)有限公司 三维重建方法、装置及增强现实ar设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
周佳骏;: "数字文献中特殊实体的增强型WEB搜索引擎模型", 《图书馆论坛》, vol. 33, no. 02, pages 111 - 115 *
李静: "基于多视图的三维景物重建技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *
李静: "基于多视图的三维景物重建技术研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 5, 15 May 2014 (2014-05-15), pages 138 - 60 *
王翔: "三维重建技术研究及其在飞行器外形设计中的应用", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》, no. 1, pages 031 - 15 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233269A1 (zh) * 2019-05-21 2020-11-26 智慧芽信息科技(苏州)有限公司 由2d图像重建3d模型的方法、装置、设备及存储介质
CN110853130A (zh) * 2019-09-25 2020-02-28 咪咕视讯科技有限公司 三维图像的生成方法、电子设备及存储介质
CN110853130B (zh) * 2019-09-25 2024-03-22 咪咕视讯科技有限公司 三维图像的生成方法、电子设备及存储介质
CN112668596B (zh) * 2019-10-15 2024-04-16 北京地平线机器人技术研发有限公司 三维物体识别方法及装置、识别模型训练方法及装置
CN112668596A (zh) * 2019-10-15 2021-04-16 北京地平线机器人技术研发有限公司 三维物体识别方法及装置、识别模型训练方法及装置
CN110992435B (zh) * 2019-11-06 2023-10-20 上海东软医疗科技有限公司 图像重建方法及设备、成像数据的处理方法及装置
CN110992435A (zh) * 2019-11-06 2020-04-10 上海东软医疗科技有限公司 图像重建方法及设备、成像数据的处理方法及装置
CN110989023A (zh) * 2019-11-19 2020-04-10 中国电子科技集团公司第十三研究所 半旋转半平面安检***的扫描方法、安检***及存储介质
CN110989023B (zh) * 2019-11-19 2022-04-01 中国电子科技集团公司第十三研究所 半旋转半平面安检***的扫描方法、安检***及存储介质
CN110989022A (zh) * 2019-11-19 2020-04-10 中国电子科技集团公司第十三研究所 平面安检***的扫描方法、安检***及存储介质
WO2021097843A1 (zh) * 2019-11-22 2021-05-27 驭势科技(南京)有限公司 三维重建方法、装置、***和存储介质
CN112116700B (zh) * 2020-08-28 2022-09-16 北京航空航天大学 基于单目视图的三维重建方法与装置
CN112116700A (zh) * 2020-08-28 2020-12-22 北京航空航天大学 基于单目视图的三维重建方法与装置

Also Published As

Publication number Publication date
US20220157017A1 (en) 2022-05-19
CN110148084B (zh) 2023-09-19
WO2020233269A1 (zh) 2020-11-26

Similar Documents

Publication Publication Date Title
CN110148084A (zh) 由2d图像重建3d模型的方法、装置、设备及存储介质
US10885707B1 (en) Network, system and method for multi-view 3D mesh generation via deformation
JP5104743B2 (ja) 画像検索プログラム、画像検索方法及び記録媒体
CN108229293A (zh) 人脸图像处理方法、装置和电子设备
CN108197532A (zh) 人脸识别的方法、装置及计算机装置
US11151780B2 (en) Lighting estimation using an input image and depth map
CN108334627A (zh) 新媒体内容的搜索方法、装置和计算机设备
CN110163257A (zh) 抽取结构化信息的方法、装置、设备和计算机存储介质
CN110276023A (zh) Poi变迁事件发现方法、装置、计算设备和介质
CN105378797A (zh) 三维数据可视化
CN106445918B (zh) 一种中文地址处理方法及***
CN114066718A (zh) 一种图像风格迁移方法、装置、存储介质及终端
CN111680678A (zh) 目标区域识别方法、装置、设备及可读存储介质
CN110232340A (zh) 建立视频分类模型以及视频分类的方法、装置
CN115393872B (zh) 一种训练文本分类模型的方法、装置、设备及存储介质
US20140039875A1 (en) Visual analysis of phrase extraction from a content stream
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及***
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN113283432A (zh) 图像识别、文字排序方法及设备
CN109871890A (zh) 图像处理方法和装置
CN117422851A (zh) 虚拟换衣方法及其装置、电子设备
CN109800410A (zh) 一种基于在线聊天记录的表单生成方法和***
CN117475105A (zh) 一种基于单目图像的开放世界三维场景重建及感知方法
US20230298373A1 (en) Detecting graphical elements in charts using predicted heatmaps
CN114548323A (zh) 商品分类方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant