CN114373056A - 一种三维重建方法、装置、终端设备及存储介质 - Google Patents

一种三维重建方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN114373056A
CN114373056A CN202111553514.6A CN202111553514A CN114373056A CN 114373056 A CN114373056 A CN 114373056A CN 202111553514 A CN202111553514 A CN 202111553514A CN 114373056 A CN114373056 A CN 114373056A
Authority
CN
China
Prior art keywords
image
frequency
processed
dimensional
vertex coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111553514.6A
Other languages
English (en)
Inventor
陶大鹏
石宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan United Visual Technology Co ltd
Original Assignee
Yunnan United Visual Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan United Visual Technology Co ltd filed Critical Yunnan United Visual Technology Co ltd
Priority to CN202111553514.6A priority Critical patent/CN114373056A/zh
Publication of CN114373056A publication Critical patent/CN114373056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请适用于三维重建领域，提供了一种三维重建方法、装置、终端设备及存储介质，其中方法包括：获取目标物体的待处理图像；对所述待处理图像进行三维模型顶点预测，得到预测顶点坐标；对所述待处理图像获取其漫反射贴图，再分离漫反射贴图中包含的图像高低频信息，将高低频信息分别处理后叠加形成图像关键频率信息特征图；将上述图像关键频率信息特征图用于对所述预测顶点坐标校正，基于校正后的预测顶点坐标构建目标物体的三维重建模型；为了进一步提高真实性，使用损失函数对三维重建模型进行优化。本申请深度挖掘图像细节与轮廓信息，并对三维重建结果进行精调，在三维重建模型重建的效率和质量上达到了平衡，可提高三维重建的精度及鲁棒性。

Description

一种三维重建方法、装置、终端设备及存储介质
技术领域
本申请属于三维重建技术领域，尤其涉及一种三维重建方法、装置、终端设备及存储介质。
背景技术
随着深度学习技术的发展，图像推理物体三维模型已经成为一个研究热点，受到了研究者们广泛的关注。其中，基于图像重构目标三维重建模型能很好的获取物体表面轮廓的低频信息，通过使用法线贴图加上光影效果表现出较为可信的三维重构模型。但是，这种方法忽略了表面高频细节信息的存在，不能形成高精度的三维重建模型。目前，获取高精度模型的方法主要可以分为三大类：(1)由经验丰富的美工建模人员手工制作。(2)使用专业的设备进行扫描捕捉重建。(3)基于深度学习的方法，建立二维图像到三维重建模型的联系。总的来说，人工制作的方法虽然可以构建非常完善的模型，但是耗时很长，效率低下。使用专业设备进行重建存在开销昂贵、不利于普及的问题。针对上述两种方法，基于深度学习的方法显然拥有更强的语义表征能力，但现有的基于图像重构目标三维重建模型的方法有需要依赖于大量的训练样本，而限制其应用范围，并且由于算法中对纹理高频细节信息的忽略，使其无法有效高精度模型。
总的来说，传统由人工制作或者专业设备扫描捕捉三维模型的方法耗时费力，现有基于图像重构目标三维重建模型的方法算法应用范围及能力受限，导致现在图像重构目标三维模型方法难以实现高效准确的三维重建。
发明内容
本申请实施例提供了一种三维重建方法、装置、终端设备及存储介质，以解决现有技术中图像重构物体三维模型方法的效率和准确度不高的问题。
本申请实施例提供了一种三维重建方法，包括：
获取目标物体的待处理图像；
基于所述待处理图像进行三维模型顶点预测，得到预测顶点坐标；
基于所述待处理图像进行图像频率信息提取，得到与所述待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图；
基于所述图像关键频率信息特征图，对所述预测顶点坐标进行位移，获得校正后预测顶点坐标，基于所述校正后预测顶点坐标进行三维重建，得到与所述目标物体对应的目标三维模型。
本申请实施例的第二方面提供了一种三维重建方法的装置，包括：
获取模块，用于获取目标物体的待处理图像；
预测模块，用于基于所述待处理图像进行三维模型顶点预测，得到预测顶点坐标；
提取模块，用于基于所述待处理图像进行图像频率信息提取，得到与所述待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图；
三维重建模块，用于基于所述图像关键频率信息特征图，对所述预测顶点坐标进行位移，获得校正后预测顶点坐标，基于所述校正后预测顶点坐标进行三维重建，得到与所述目标物体对应的目标三维模型。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。
本申请的第五方面提供了一种计算机程序产品，当所述计算机程序产品在终端上运行时，使得所述终端执行上述第一方面所述方法的步骤。
以上可见，在本实施例中，首先获取目标物体的待处理图像，然后对其进行三维模型顶点预测，得到预测顶点坐标；同时对待处理图像进行图像频率信息提取，得到待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图；基于图像关键频率信息特征图，对所预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与所述目标物体对应的目标三维模型。该过程通过对待处理图像提取关键信息频率特征图中包含的频率信息对预测顶点进行调整，使用调整后的预测顶点坐标来增加目标三维模型的细节及轮廓信息，确保生成的目标三维模型的准确度和完整度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种三维重建方法的流程图一；
图2是本申请实施例提供的一种三维重建方法的流程图二；
图3是本申请实施例提供的一种三维重建方法的网络结构图；
图4是本申请实施例提供的一种三维重建方法的流程图三；
图5是本申请实施例提供的一种三维重建方法的流程图四；
图6本申请实施例提供的一种三维重建装置的结构图；
图7是本申请实施例提供的一种终端的结构图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中，本申请实施例中描述的终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
参见图1，图1是本申请实施例提供的一种三维重建方法的流程图一。如图1所示，一种三维重建方法，该方法包括以下步骤：
步骤101，获取目标物体的待处理图像。
在一些实施例中，待处理图像是对目标物体进行拍摄得到的图像，或者是从已有的包含目标物体的视频中截取出的图像帧。
具体地，在对目标物体进行拍摄得到待处理图像时，可以采用单目相机来实现，此时该待处理图像具体为一单目图像，或者采用多目相机实现拍摄，此时该待处理图像具体为一多目图像。
其中，该目标物体可以是动物、人物、风景等，该待处理图像对应的为脸部图像、全身图像、风景图像等。
步骤102，基于待处理图像进行三维模型顶点预测，得到预测顶点坐标。
在本实施例中，利用预先训练好的顶点预测网络(Vertex Prediction Net，VPNet)，将待处理图像输入顶点预测网络，获取待处理图像中目标物体的包含在x，y，z轴上的顶点预测坐标集合。
作为实例而非限定，采取的顶点预测网络可以是用于目标检测的卷积神经网络模型，如RCNN(Region-based Convolutional Neural Networks，区域卷积神经网络)，或是基于RCNN进行性能提升过的Fast RCNN(Fast Region-based Convolutional Network，快速的基于区域的卷积神经网络)、Faster RCNN(Faster Region-based ConvolutionalNetwork，更快速的基于区域的卷积神经网络)等。上述区域卷积神经网络模型一般包含两个模块，一是检测模块，用于将待处理图像中目标物体进行框定标注；二是处理模块，对模块一中框定后的目标物体图像进行卷积操作，预测出目标物体图像包含在x，y，z轴上的三维模型顶点预测坐标集合。计算公式如公式(1)所示：
Figure BDA0003417848050000061
其中，
Figure BDA0003417848050000062
表示经过顶点预测网络VPNet预测得到的三维模型预测顶点坐标集合，通过将待处理图像Ii输入顶点预测网络VPNet进行顶点坐标预测，获取目标物体的预测顶点坐标。
步骤103，基于待处理图像进行图像频率信息提取，得到与待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图。
应理解，图像频率是对图像中像素灰度值变化剧烈程度的一种度量，而灰度值是图像中各像素点的亮度，灰度值范围为[0，255]，其中白色为255，黑色为0。图像频率反映了图像像素灰度值与领域点间的差异程度，其中灰度值变化平滑的是图像低频信息，变化剧烈的是图像低频信息。例如，一张包含人脸的图像，整体的图像的频率代表人脸轮廓与细节信息，其中低频信息用来表示人脸整体轮廓，高频信息用来表示人脸细节褶皱。
进一步地，要将图像频率中高频细节图像信息与低频轮廓图像信息分离，假设已经通过图像绘制工具提取到了图像像素点的R、G、B三色的值，其中x为此像素点代表的灰度值，则x＝0.2989*R+0.5870*G+0.1140*B，通过这个公式，可以得到某一像素点代表的灰度值。然后设定一定的阈值，例如设定灰度值与领域点间变化幅度在(0，200)之间为低频，而变化幅度在(200，255)之间为高频，通过筛选得到与待处理图像对应的高频细节图像信息和低频轮廓图像信息。
在得到高频细节图像信息和低频轮廓图像信息之后，可以直接对两者进行叠加，形成图像关键信息特征图。图像高低频率信息叠加计算公式如(2)所示：
Figure BDA0003417848050000071
其中，
Figure BDA0003417848050000072
分别表示图像的低频轮廓图像信息和高频细节图像信息，
Figure BDA0003417848050000073
表示
Figure BDA0003417848050000074
叠加形成的图像关键频率信息特征图。
在具体实施过程中，还可以是将高频细节图像信息和低频轮廓图像信息分别进行处理，剔除频率特征中噪声的干扰，将高频细节图像信息及低频轮廓图像信息各自的特征增强。最后将处理后的高频细节图像信息及低频轮廓图像信息进行叠加，叠加后形图像整体关键信息特征图。
具体地，作为一可选的实施方式，该基于待处理图像进行图像频率信息提取，得到与待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图，包括：
基于待处理图像获取其漫反射贴图；将漫反射贴图进行高低频信息分离，得到待处理图像对应的高频细节图像信息和低频轮廓图像信息；将高频细节图像信息和低频轮廓图像信息分别进行正则化处理，获得正则化后的高频细节图像信息和低频轮廓图像信息；将正则化后的高频细节图像信息和低频轮廓图像信息进行叠加，形成图像关键频率信息特征图。
应理解，漫反射贴图包含了图像的固有色和纹理信息，由于漫反射贴图中包含的纹理信息不含光照及阴影遮挡，这在一定程度上减少图像中存在的光照及阴影遮挡等无效信息对三维重建效果的影响，提取漫反射贴图计算公式如(3)所示：
Figure BDA0003417848050000081
其中
Figure BDA0003417848050000082
表示待处理图像Ii的漫反射贴图，DiffNet表示生成漫反射贴图的漫反射贴图网络(Diffuse Net，DiffNet)，漫反射贴图网络可以采取端对端的监督学习神经网络模型，例如CNN(Convolutional Neural Networks，卷积神经网络)等。
还应理解，如果将图像的高低频信息同时进行处理会对高低频的各自特征信息造成破坏，从而导致图像模糊，因此需要对图像的高低频信息进行分离后分别进行正则化操作，以增强图像高低频信息各自的频率特征。图像高低频信息分离的计算公式如(4)所示：
Figure BDA0003417848050000083
其中，
Figure BDA0003417848050000084
分别表示待处理图像的漫反射贴图
Figure BDA0003417848050000085
中分解出的低频轮廓图像信息和高频细节图像信息。FDAE表示频率解耦算法(Frequency Decoupling Auto-Encoder)。
作为实例而非限定，频率解耦算法可以是傅里叶变换或小波变换等。
具体地，可以使用MATLAB中图像分解与重构有关的小波工具箱来分离图像纹理中的高低频信息。小波工具箱进行图像频率解耦具体操作如下：选择一张待处理图像的漫反射贴图，选取小波变换工具箱中sym4函数对漫反射贴图进行预处理，即经过载入图像、图像显示、格式转换等步骤，然后通过调用小波变换工具箱中wavedec函数把预处理后的图像进行高低频信息分解，分解时利用detcoef、appcoef函数分别提取出高低频系数，然后利用wrcoef函数分别根据高低频系数提取出的图像高频信息和低频信息，使用MATLAB中的L1范数分别对高低频信息进行正则化处理，最后将生成的高频细节图像信息与低频轮廓图像信息进行叠加，作为示例，图像信息叠加可以采用MATLAB中图像处理函数imadd处理，也可以通过Python编程语言OpenCV库中函数add处理。其中图像高低频率信息叠加计算公式与公式(2)一致，在此不再赘述。
步骤104，基于图像关键频率信息特征图，对预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与目标物体对应的目标三维模型。
需要说明的是，直接通过预测顶点坐标来构建目标三维模型表现不出目标物体更多的细节，尽管我们通过直接镶嵌来对目标三维模型增加顶点，但是它并不会增加其本身的细节，只会增加更多和原来顶点同属于一个平面的顶点。为了增加目标三维模型的细节，需要用某种方式来移动预测顶点坐标的位置，为此我们可以通过已有的关键信息频率特征图中包含的频率信息对预测顶点进行调整，而且图像关键频率信息特征图包含频率信息的像素点与预测顶点坐标是一一对应的关系，所以可以根据图像关键频率信息特征图来对预测顶点坐标进行调整，而调整应该确认对于预测顶点坐标调整的方向及位移量。
应理解，待处理图像中包含光的反射信息，对于图像中的一个像素点来说，光照可以产生一个垂直于该像素点切线平面的线，由于光的反射是不规则的，所以这个线是具有方向的。将这条线的方向值n使用压缩过的x、y和z轴坐标值保存到原本red、greed和blue的位置中，这个压缩过的x、y和z轴坐标值构成的方向值n与目标三维模型的顶点数目保持一致，并且存在一一对应关系，故可以使用方向值n来为预测顶点坐标确认调整方向。假设某一个预测顶点坐标的x轴坐标值是[-1，1]范围的值，通过公式(0.5*x+0.5)*255来求取方向值n在x轴压缩过的值，后续也可这个公式对预测顶点坐标的y和z坐标值进行压缩，这三个值组成的向量构成方向值n，通过将方向值n与对应的预测顶点x，y，z的坐标值进行相乘，可以获得该预测顶点经过调整方向后的值。
还应理解，图像关键频率信息特征图中保存的图像频率是图像中像素灰度值变化剧烈程度的一种度量，这种变化的剧烈程度可以用来描述物体表面的凸起和凹陷高度，将它定义为高度值h，而这种高度值可以是图像中像素采用一个颜色通道保存的值，其中高度值h的范围为[0，255]，用0表示白色，255表示黑色，在这里可以通过将像素点RGB值做一个加权平均，采取一个常用的基于人眼感知的灰度值提取公式：高度值h＝R*0.2126+G*0.7152+B*0.0722,这个公式是由人眼对不同颜色敏感度不同得来。
进一步地，通过已得到的预测顶点坐标的位移方向及沿位移方向的位移值，对预测顶点坐标进行位移，计算公式如(5)所示：
p′＝p+(h-1)n#(5)
其中p为当前的预测顶点坐标，p′为校正后预测顶点坐标，n是预测顶点坐标需要调整的位移方向值，h为上述调整预测顶点坐标位移的高度值。其中高度值h∈[0，1]，对高度值h减1来让其区间[0，1]变为[-1，0]，因为表面的法向量通常是面向网格的外部，这意味着可以以向内偏移的方式来替代向外偏移，因为一般将几何体弹入会比将几何体拉出更为方便一些。总的来说，通过计算当前预测顶点坐标p与位移方向值n和位移高度值h的乘积的和，得到校正后预测顶点坐标。
进一步地，对校正后的预测顶点坐标，通过连接相邻的预测顶点坐标形成网格，所有预测顶点坐标相连的网格构成目标物体对应的目标三维模型。
具体地，作为一可选的实施方式，基于图像关键频率信息特征图，对预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与目标物体对应的目标三维模型，包括：
对图像关键频率信息特征图提取位移贴图，位移贴图包含预测顶点坐标沿其法线方向位移对应的位移量；将预测顶点坐标沿法线方向根据得到的位移量进行位移，得到校正后的预测顶点坐标；基于校正后的预测顶点坐标，构建目标物体对应的目标三维模型。
应理解，位移贴图又称作高度图，可以用来描述物体表面的凸起和凹陷，位移贴图的像素点采取一个颜色通道来为每个像素产生高度值h；法线贴图的像素点采取三个颜色通道为每个像素产生光照对于一个垂直于该像素点切线平面的方向值n，因此可以通过获取位移贴图中包含的位移量及法向贴图中的方向值，对预测顶点坐标按照一定的位移方向和位移值进行位移优化。
作为实例而非限定，一方面可以通过PhotoShop等绘图软件通过输入目标物体待处理图像来制作位移贴图，另一方面可以通过神经网络模型，例如卷积神经网络(Convolutional Neural Network，CNN)、基于RCNN进行性能提升过的Fast RCNN(FastRegion-based Convolutional Network，快速的基于区域的卷积神经网络)等神经网络模型通过输入目标物体待处理图像生成待处理图像的位移贴图。生成的位移贴图中包含预测顶点坐标沿其法线方向位移的位移量，通过这个位移量，对预测顶点坐标进行校正，计算公式如(6)所示：
Figure BDA0003417848050000111
其中Displacement(*)表示将预测顶点进行位移的操作，
Figure BDA0003417848050000112
表示生成的目标三维模型，
Figure BDA0003417848050000113
表示
Figure BDA0003417848050000114
叠加形成的图像关键频率信息特征图，
Figure BDA0003417848050000115
表示预测顶点坐标。
作为实例而非限定，法线贴图的获取可以使用Photoshop中“滤镜”工具的“3D”子菜单直接输入待处理图像获取法线贴图，也可以通过生成式对抗网络(GAN,GenerativeAdversarial Networks)等神经网络训练获取图像的法线贴图，由于以上现有的工具都可以从待处理图像中获取法线贴图，具体功能原理在此不再赘述。
具体地，通过获取位移贴图中的高度值n和法线贴图位移方向值h，对预测顶点坐标按照方向值h位移一定的高度值n，获取校正后的预测顶点坐标，其中计算公式与公式(5)一致，在此不再赘述。
进一步地，作为实例而非限定，可以采取开放式图形库(Open Graphics Librar，OpenGL)或者计算机辅助软件(Computer Aided Design,，CAD)软件，将获得的预测顶点坐标输入，再通过设定其他一些辅助信息，直接获取目标物体对应的目标三维模型，不再此处赘述。
在本实施例中，首先获取目标物体的待处理图像，然后基于待处理图像进行三维模型顶点预测，得到预测顶点坐标；同时基于待处理图像提取图像频率信息，得到与待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像关键频率信息特征图；基于图像关键频率信息特征图，对预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与目标物体对应的目标三维模型。该过程通过对待处理图像提取的关键频率信息特征图中包含的频率信息对预测顶点坐标进行调整，增加了生成的目标三维模型的细节及轮廓信息，确保生成的目标三维模型的准确度及完整度。
本申请实施例中还提供了三维重建方法的不同实施方式。
参见图2，图2是提供的一种三维重建方法的流程图二。如图2所示，一种三维重建方法，该方法包括以下步骤：
步骤201，获取目标物体的待处理图像。
该步骤的实现过程与前述实施方式中的步骤101的实现过程相同，此处不再赘述。
步骤202，将待处理图像输入至顶点预测网络，得到待处理图像的初步预测顶点坐标。
该步骤的实现过程与前述实施方式中的步骤102的实现过程相同，此处不再赘述。
步骤203，对初步预测顶点坐标进行上采样，并对上采样后的初步预测顶点坐标进行下采样。
应理解，在三维重建领域，对于三维模型处理中的上采样基于以下理念：三维模型顶点坐标中二点可以确定一条线，三点可以确定一个面，三维模型的三个顶点可以形成一个三角网格，对于三维模型的基本处理单位便是这样一个网格，假设此时存在三个顶点构成的一个网格，然后通过上采样操作，对三个顶点所构成的网格区域进行顶点插值，增加更多的顶点数量，此时这样一个三角网格便会分为若干个以插值顶点数量而***形成的若干个网格。从效果上来看，增多的网格可以增加三维模型表面的细节，让模型更加平滑及精致。上采样操作可以采取双线性插值、转置卷积等方式，上采样操作计算公式如(7)所示：
Figure BDA0003417848050000131
其中
Figure BDA0003417848050000132
表示目标物体待的预测顶点坐标
Figure BDA0003417848050000133
Figure BDA0003417848050000134
表示经过上采样操作的预测顶点坐标集合。
进一步的，对上采样操作后的顶点坐标进行下采样处理，使其与目标物体保持同样维度。即通过下采样保证顶点数与通过顶点预测网络获取的预测顶点的顶点数量一致，下采样操作可以采取随机下采样等方式，对顶点坐标集合进行下采样，以便于后续第一预设损失函数对顶点预测网络进行优化。
步骤204，结合目标物体的真实顶点坐标，利用第一预设损失函数，对下采样后的初步预测顶点坐标进行顶点预测约束，得到预测顶点坐标，第一预设损失函数用于计算真实顶点坐标与下采样后的初步预测顶点坐标之间的差异值。
结合图3中指向“第一预设损失函数”箭头信息可知，进行第一预设损失函数的计算需要得到经过上采样后初步预测顶点坐标和顶点预测网络VPNet中训练使用的目标物体真实顶点坐标，通过第一预设损失函数来计算两者的差异，通过这种差异来不断调整顶点预测网络参数，使得预测顶点坐标系数尽可能接近真实顶点坐标系数，直至两者的差异达到最小化。
作为实例而非限定，第一预设损失函数可以是均方误差(mean-square error,MSE)函数，除此之外，第一预设损失函数还可以根据需要采用平均绝对误差、绝对值损失函数、对数损失函数等。第一损失函数使用均方误差的计算公式如(8)所示：
Figure BDA0003417848050000135
其中MSE为均方误差，Downsampling(*)表示对上采样后的初步预测顶点坐标进行下采样操作，Vi为真实顶点坐标，
Figure BDA0003417848050000136
为对真实顶点坐标Vi进行上采样操作后的初步预测顶点坐标。
应理解，均方误差MSE是参数预测值与参数真实值之间的差值的平方和再求平均，当所得值越小时也就说明当前顶点预测网络模型越准确，为此可以通过多次对顶点坐标进行预测，通过预测的值的变化程度来调整顶点预测网络模型中的参数，以获得更准确顶点预测效果。
步骤205，基于待处理图像进行图像频率信息提取，得到与待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图；
该步骤的实现过程与前述实施方式中的步骤103的实现过程相同，此处不再赘述。
步骤206，基于图像关键频率信息特征图，对预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与目标物体对应的目标三维模型。
该步骤的实现过程与前述实施方式中的步骤104的实现过程相同，此处不再赘述。
本申请实施例中，通过获取目标物体的待处理图像，将待处理图像输入至顶点预测网络获得初步预测顶点坐标，对初步预测顶点坐标进行上采样及下采样后，利用预设损失函数，对下采样后的初步预测顶点坐标进行顶点预测约束，得到预测顶点坐标；同时基于待处理图像进行图像频率信息提取，得到与待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像关键频率信息特征图；基于图像关键频率信息特征图，对预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与目标物体对应的目标三维模型。该过程通过对待处理图像提取的关键频率信息特征图中包含的频率信息对预测顶点坐标进行调整，增加了生成的目标三维模型的细节及轮廓信息，进一步地，对预测顶点坐标采取损失函数进行约束，确保了预测顶点坐标的准确性，基于此，确保生成目标三维模型的准确性及鲁棒性。
当图像整体关键信息特征图为基于待处理图像的漫反射贴图实现的获取时，结合图4所示，在基于图像关键频率信息特征图，对预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与目标物体对应的目标三维模型之后，还包括：
步骤401，将漫反射贴图映射到目标三维模型，获得具有固有色和纹理的目标三维模型，并将具有固有色和纹理的目标三维模型投影到二维像素空间，获得渲染后的二维图像。
应理解，漫反射贴图的像素点包含图像的固有色及纹理，且二维平面图上的像素点都可以使用u，v坐标来表示，其中水平方向是u，垂直方向是v；而目标三维模型的顶点坐标x，y，z，其中漫反射贴图的像素点与目标三维模型的顶点是一一对应的关系，基于此，我们可以将包含u，v坐标位置贴到对应目标三维模型的顶点坐标，这样目标三维模型就可以获得漫反射贴图中的固有色及纹理。
步骤402，基于二维图像，结合待预测图像的像素值，利用第二预设损失函数，对目标三维模型进行像素一致性约束，得到优化后的目标三维模型；第二预设损失函数用于计算二维图像与待处理图像间的像素差异值。
具体地，结合图3中指向“第二预设损失函数”的箭头信息可知，第二预设损失函数计算需要将目标三维模型投影到二维像素空间得到的对应二维图像与目标物体待处理图像Ii相同位置的像素进行像素值的对比，通过计算两者之间像素值的差异，对目标三维模型进行优化，第二预设损失函数使用均方误差的计算公式如(9)所示：
Figure BDA0003417848050000151
其中，Render(*)表示渲染操作，其作用是将三维物体渲染成为对应二维图像进行处理，
Figure BDA0003417848050000152
为目标三维模型，
Figure BDA0003417848050000153
为待处理图像的漫反射贴图，Ii为待处理图像。同理，第二预设损失函数还可以根据需要采用平均绝对误差、绝对值损失函数、对数损失函数等，同步骤204所述第一损失函数一致，在此不再赘述。
在本实施例中，将漫反射贴图映射到目标三维模型，获得具有固有色和纹理的目标三维模型，并将具有固有色和纹理的目标三维模型投影到二维像素空间，获得渲染后的二维图像，然后基于所述二维图像，结合所述待预测图像的像素值，利用第二预设损失函数，对目标三维模型进行像素一致性约束，得到优化后的目标三维模型；第二预设损失函数用于计算二维图像与所述待处理图像间的像素差异值。通过计算图像间的像素差异值，利用此差异值优化目标三维模型，提高目标三维模型的准确性和精度。
进一步的，结合图5所示，在基于图像关键频率信息特征图，对预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与目标物体对应的目标三维模型之后，还可以包括：
步骤501，将目标三维模型投影到二维像素空间，获得目标三维模型渲染后的二维图像。
应理解，通过将未应用漫反射贴图的目标三维模型投影到二维像素空间得到的对应二维图像包含的图像频率信息，此举是为了避免漫反射贴图包含的固有色及纹理等信息的影响。
步骤502，分别从待处理图像及二维图像中提取图像频率信息，基于提取得到的二维图像的图像频率信息，参照提取得到的待处理图像的图像频率信息，利用第三预设损失函数，对目标三维模型进行图像频率一致性约束，得到优化后的目标三维模型；第三预设损失函数用于计算二维图像与待处理图像间的图像频率差异值。
应理解，结合图3指向“第三预设损失函数”箭头信息可知，第三预设损失函数需要将目标三维模型投影到二维像素空间得到的对应二维图像包含的图像频率信息与目标物体的预处理包含的图像频率信息作对比，计算二维图像与待处理图像间的图像频率差异值来对目标三维模型进行优化，第三预设损失函数使用均方误差函数的计算公式如(10)所示：
Figure BDA0003417848050000161
其中，Extract(*)表示提取
Figure BDA0003417848050000162
获得的二维图像频率信息，Extract(Ii)为目标物体的预处理图像具有的图像频率信息，
Figure BDA0003417848050000171
为目标三维模型投影到二维空间获取的二维图像。同理，第三预设损失函数还可以根据需要采用平均绝对误差、绝对值损失函数、对数损失函数等，同步骤204所述第一损失函数一致，在此不再赘述。
在本实施例中，将目标三维模型投影到二维像素空间，获得目标三维模型渲染后的二维图像，基于提取得到的二维图像的图像频率信息，参照提取得到的待处理图像的图像频率信息，利用第三预设损失函数，对目标三维模型进行图像频率一致性约束，得到优化后的目标三维模型；第三预设损失函数用于计算二维图像与待处理图像间的图像频率差异值，利用此差异值优化目标三维模型，提高目标三维模型的准确性和精度。
进一步地，为了实现更好的三维重建，根据上述三个预设损失函数，设计三维重建方法的整体优化损失函数：
具体地，设置第一预设损失函数具有第一权重、第二预设损失函数具有第二权重、第三预设函数具有第三权重，其中第一权重、第二权重、第三权重均为可调权重。具体如公式(11)所示：
Figure BDA0003417848050000172
其中，Loss表示整体优化目标，
Figure BDA0003417848050000173
分别表示第一预设损失函数、第二预设损失函数和第三预设损失函数的权重，通过对权重的调整，可以使三维重建模型具有不同的重建效果。例如，通过调整第一预设损失函数中
Figure BDA0003417848050000174
权重后形成更加准确的预测顶点坐标，而调整第二预设损失函数中
Figure BDA0003417848050000175
权重后能对三维重建模型渲染图像进行优化，而调整第三预设损失函数中
Figure BDA0003417848050000176
权重后能让三维重建模型细节信息更加突出，通过调整三种损失函数的权重值，可以获得更好的三维重建效果。
参见图6，图6是本申请实施例提供的一种终端的结构图，为了便于说明，仅示出了与本申请实施例相关的部分。
其中，三维重建装置600，包括：
获取模块601，用于获取目标物体的待处理图像；
预测模块602，用于基于待处理图像进行三维模型顶点预测，得到预测顶点坐标；
提取模块603，用于基于待处理图像进行图像频率信息提取，得到与待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图；
三维重建模块604，基于图像关键频率信息特征图，对预测顶点坐标进行位移，获得校正后预测顶点坐标，基于校正后预测顶点坐标进行三维重建，得到与目标物体对应的目标三维模型。
其中，预测模块602，具体用于：
将待处理图像输入至顶点预测网络，得到待处理图像的初步预测顶点坐标；
对初步预测顶点坐标进行上采样，并对上采样后的初步预测顶点坐标进行下采样；
其中，提取模块603，具体用于：
基于待处理图像获取其漫反射贴图；
将漫反射贴图进行高低频信息分离，得到待处理图像对应的高频细节图像信息和低频轮廓图像信息；
将高频细节图像信息和低频轮廓图像信息分别进行正则化处理，获得正则化后的高频细节图像信息和低频轮廓图像信息；
将高频细节图像信息和低频轮廓图像信息进行叠加，形成整体关键频率信息特征图。
对应地，提取模块603，还用于：
将漫反射贴图映射到目标三维模型，获得具有固有色和纹理的目标三维模型，并将具有固有色和纹理的目标三维模型其投影到二维像素空间，获得渲染后的二维图像；
基于二维图像，结合待预测图像的像素值，利用第二预设损失函数，对目标三维模型进行像素一致性约束，得到优化后的目标三维模型；第二预设损失函数用于计算二维图像与所述待处理图像间的像素差异值。
其中，三维重建模块604，具体用于：
对图像关键频率信息特征图提取位移贴图，位移贴图包含预测顶点坐标沿其法线方向位移对应的位移量；
将三维顶点坐标沿法线方向根据得到的位移量进行位移，得到校正后的三维顶点坐标；
基于校正后的三维顶点坐标，构建目标物体对应的目标三维模型。
结合目标物体的真实顶点坐标，利用第一预设损失函数，对下采样后的初步预测顶点坐标进行顶点预测约束，得到预测顶点坐标，第一预设损失函数用于计算真实顶点坐标与下采样后的初步预测顶点坐标之间的差异值。
对应地，三维重建模块604，还用于：
将目标三维模型投影到二维像素空间，获得目标三维模型渲染后的二维图像；
分别从待处理图像及二维图像中提取图像频率信息，基于提取得到的二维图像的图像频率信息，参照提取得到的待处理图像的图像频率信息，利用第三预设损失函数，对目标三维模型进行图像频率一致性约束，得到优化后的目标三维模型；第三预设损失函数用于计算二维图像与待处理图像间的图像频率差异值。
本申请实施例提供的三维重建装置能够实现上述三维重建实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
图7是本申请实施例提供的一种终端的结构图。如该图所示，该实施例的终端7包括：至少一个处理器70(图7中仅示出一个)、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个方法实施例中的步骤。
所述终端7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端7的示例，并不构成对终端7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所述处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述终端7的内部存储单元，例如终端7的硬盘或内存。所述存储器71也可以是所述终端7的外部存储设备，例如所述终端7上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序产品来实现，当计算机程序产品在终端上运行时，使得所述终端执行时实现可实现上述各个方法实施例中的步骤。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维重建方法，其特征在于，包括：
获取目标物体的待处理图像；
基于所述待处理图像进行三维模型顶点预测，得到预测顶点坐标；
基于所述待处理图像进行图像频率信息提取，得到与所述待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图；
基于所述图像关键频率信息特征图，对所述预测顶点坐标进行位移，获得校正后预测顶点坐标，基于所述校正后预测顶点坐标进行三维重建，得到与所述目标物体对应的目标三维模型。
2.根据权利要求1所述的三维重建方法，其特征在于，基于所述待处理图像进行三维模型顶点预测，得到预测顶点坐标，包括：
将所述待处理图像输入至顶点预测网络，得到所述待处理图像的初步预测顶点坐标；
对所述初步预测顶点坐标进行上采样，并对上采样后的所述初步预测顶点坐标进行下采样；
结合所述目标物体的真实顶点坐标，利用第一预设损失函数，对下采样后的所述初步预测顶点坐标进行顶点预测约束，得到所述预测顶点坐标，所述第一预设损失函数用于计算所述真实顶点坐标与所述下采样后的所述初步预测顶点坐标之间的差异值。
3.根据权利要求1所述的三维重建方法，其特征在于，基于所述待处理图像进行图像频率信息提取，得到与所述待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图，包括：
基于所述待处理图像获取其漫反射贴图；
将所述漫反射贴图进行高低频信息分离，得到所述待处理图像对应的高频细节图像信息和低频轮廓图像信息；
将所述高频细节图像信息和所述低频轮廓图像信息分别进行正则化处理，获得正则化后的高频细节图像信息和低频轮廓图像信息；
将正则化后的所述高频细节图像信息和所述低频轮廓图像信息进行叠加，形成所述图像关键频率信息特征图。
4.根据权利要求3所述的三维重建方法，其特征在于，基于所述图像关键频率信息特征图，对所述预测顶点坐标进行位移，获得校正后预测顶点坐标，基于所述校正后预测顶点坐标进行三维重建，得到与所述目标物体对应的目标三维模型之后，还包括：
将所述漫反射贴图映射到所述目标三维模型，获得具有固有色和纹理的所述目标三维模型，并将具有固有色和纹理的所述目标三维模型其投影到二维像素空间，获得渲染后的二维图像；
基于所述二维图像，结合所述待预测图像的像素值，利用第二预设损失函数，对所述目标三维模型进行像素一致性约束，得到优化后的所述目标三维模型；所述第二预设损失函数用于计算所述二维图像与所述待处理图像间的像素差异值。
5.根据权利要求1所述的三维重建方法，其特征在于，基于所述图像关键频率信息特征图，对所述预测顶点坐标进行位移，获得校正后预测顶点坐标，基于所述校正后预测顶点坐标进行三维重建，得到与所述目标物体对应的目标三维模型，包括：
对所述图像关键频率信息特征图提取位移贴图，所述位移贴图包含所述预测顶点坐标沿其法线方向位移对应的位移量；
将所述预测顶点坐标沿法线方向根据得到的位移量进行位移，得到校正后的预测顶点坐标；
基于所述校正后的预测顶点坐标，构建所述目标物体对应的目标三维模型。
6.根据权利要求1所述的三维重建方法，其特征在于，基于所述图像关键频率信息特征图，对所述预测顶点坐标进行位移，获得校正后预测顶点坐标，基于所述校正后预测顶点坐标进行三维重建，得到与所述目标物体对应的目标三维模型之后，还包括：
将所述目标三维模型投影到二维像素空间，获得所述目标三维模型渲染后的二维图像；
分别从所述待处理图像及所述二维图像中提取图像频率信息，基于提取得到的所述二维图像的图像频率信息，参照提取得到的所述待处理图像的图像频率信息，利用第三预设损失函数，对所述目标三维模型进行图像频率一致性约束，得到优化后的目标三维模型；所述第三预设损失函数用于计算所述二维图像与所述待处理图像间的图像频率差异值。
7.一种三维重建装置，其特征在于，包括：
获取模块，用于获取目标物体的待处理图像；
预测模块，用于基于所述待处理图像进行三维模型顶点预测，得到预测顶点坐标；
提取模块，用于基于所述待处理图像进行图像频率信息提取，得到与所述待处理图像对应的高频细节图像信息和低频轮廓图像信息并进行叠加，得到图像整体关键信息特征图；
三维重建模块，用于基于所述图像关键频率信息特征图，对所述预测顶点坐标进行位移，获得校正后预测顶点坐标，基于所述校正后预测顶点坐标进行三维重建，得到与所述目标物体对应的目标三维模型。
8.根据权利要求7所述的三维重建装置，其特征在于，所述预测模块，具体用于：
将所述待处理图像输入至顶点预测网络，得到所述待处理图像的初步预测顶点坐标；
对所述初步预测顶点坐标进行上采样，并对上采样后的所述初步预测顶点坐标进行下采样；
结合所述目标物体的真实顶点坐标，利用第一预设损失函数，对下采样后的所述初步预测顶点坐标进行顶点预测约束，得到所述预测顶点坐标，所述第一预设损失函数用于计算所述真实顶点坐标与所述下采样后的所述初步预测顶点坐标之间的差异值。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行一种三维重建方法的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN202111553514.6A 2021-12-17 2021-12-17 一种三维重建方法、装置、终端设备及存储介质 Pending CN114373056A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111553514.6A CN114373056A (zh) 2021-12-17 2021-12-17 一种三维重建方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111553514.6A CN114373056A (zh) 2021-12-17 2021-12-17 一种三维重建方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN114373056A true CN114373056A (zh) 2022-04-19

Family

ID=81139739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111553514.6A Pending CN114373056A (zh) 2021-12-17 2021-12-17 一种三维重建方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN114373056A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818224A (zh) * 2022-05-27 2022-07-29 中国空气动力研究与发展中心计算空气动力研究所 一种结构网格生成方法、装置、设备及存储介质
CN114863020A (zh) * 2022-04-29 2022-08-05 北京工业大学 三维模型构建方法、装置、电子设备及存储介质
CN115330985A (zh) * 2022-07-25 2022-11-11 埃洛克航空科技（北京）有限公司 用于三维模型优化的数据处理方法和装置
CN115761137A (zh) * 2022-11-24 2023-03-07 之江实验室 一种基于法向量和点云数据相互融合的高精度曲面重建方法和装置
CN117437362A (zh) * 2023-11-17 2024-01-23 深圳市坤腾动漫有限公司 一种三维动漫模型生成方法及***
CN117456144A (zh) * 2023-11-10 2024-01-26 中国人民解放军海军航空大学 基于可见光遥感图像的目标建筑物三维模型优化方法
CN117726760A (zh) * 2024-02-07 2024-03-19 之江实验室 一种用于视频的三维人体重建模型的训练方法及装置
CN117437362B (zh) * 2023-11-17 2024-06-21 深圳市坤腾动漫有限公司 一种三维动漫模型生成方法及***

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181486A1 (en) * 2007-01-26 2008-07-31 Conversion Works, Inc. Methodology for 3d scene reconstruction from 2d image sequences
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
CN101958008A (zh) * 2010-10-12 2011-01-26 上海交通大学 序列图像三维重建中的自动纹理映射方法
CN107729806A (zh) * 2017-09-05 2018-02-23 西安理工大学 基于三维人脸重建的单视图多姿态人脸识别方法
CN107832681A (zh) * 2017-10-16 2018-03-23 福州大学 联合LiDAR点云和同步遥感影像的森林单木树高估算方法
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法
CN110021069A (zh) * 2019-04-15 2019-07-16 武汉大学 一种基于网格形变的三维模型重建方法
CN111428579A (zh) * 2020-03-03 2020-07-17 平安科技（深圳）有限公司 人脸图像的获取方法与***
CN112150612A (zh) * 2020-09-23 2020-12-29 上海眼控科技股份有限公司 三维模型构建方法、装置、计算机设备及存储介质
WO2021044122A1 (en) * 2019-09-06 2021-03-11 Imperial College Of Science, Technology And Medicine Scene representation using image processing
CN113012269A (zh) * 2019-12-19 2021-06-22 中国科学院深圳先进技术研究院 基于gpu的三维图像数据渲染方法及设备
CN113033305A (zh) * 2021-02-21 2021-06-25 云南联合视觉科技有限公司 活体检测方法、装置、终端设备和存储介质
US20210248812A1 (en) * 2021-03-05 2021-08-12 University Of Electronic Science And Technology Of China Method for reconstructing a 3d object based on dynamic graph network
CN113298931A (zh) * 2021-05-14 2021-08-24 中国科学院深圳先进技术研究院 一种物体模型的重建方法、装置、终端设备和存储介质
CN113362450A (zh) * 2021-06-02 2021-09-07 聚好看科技股份有限公司 一种三维重建方法、装置及***
CN113379815A (zh) * 2021-06-25 2021-09-10 中德（珠海）人工智能研究院有限公司 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN113409384A (zh) * 2021-08-17 2021-09-17 深圳市华汉伟业科技有限公司 一种目标物体的位姿估计方法和***、机器人
CN113570634A (zh) * 2020-04-28 2021-10-29 北京达佳互联信息技术有限公司 对象三维重建方法、装置、电子设备及存储介质
CN113610958A (zh) * 2021-07-09 2021-11-05 云南联合视觉科技有限公司 一种基于风格迁移的3d图像构建方法、装置及终端

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181486A1 (en) * 2007-01-26 2008-07-31 Conversion Works, Inc. Methodology for 3d scene reconstruction from 2d image sequences
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
CN101958008A (zh) * 2010-10-12 2011-01-26 上海交通大学 序列图像三维重建中的自动纹理映射方法
CN107729806A (zh) * 2017-09-05 2018-02-23 西安理工大学 基于三维人脸重建的单视图多姿态人脸识别方法
CN107832681A (zh) * 2017-10-16 2018-03-23 福州大学 联合LiDAR点云和同步遥感影像的森林单木树高估算方法
CN108805977A (zh) * 2018-06-06 2018-11-13 浙江大学 一种基于端到端卷积神经网络的人脸三维重建方法
CN110021069A (zh) * 2019-04-15 2019-07-16 武汉大学 一种基于网格形变的三维模型重建方法
WO2021044122A1 (en) * 2019-09-06 2021-03-11 Imperial College Of Science, Technology And Medicine Scene representation using image processing
CN113012269A (zh) * 2019-12-19 2021-06-22 中国科学院深圳先进技术研究院 基于gpu的三维图像数据渲染方法及设备
CN111428579A (zh) * 2020-03-03 2020-07-17 平安科技（深圳）有限公司 人脸图像的获取方法与***
WO2021174939A1 (zh) * 2020-03-03 2021-09-10 平安科技（深圳）有限公司 人脸图像的获取方法与***
CN113570634A (zh) * 2020-04-28 2021-10-29 北京达佳互联信息技术有限公司 对象三维重建方法、装置、电子设备及存储介质
CN112150612A (zh) * 2020-09-23 2020-12-29 上海眼控科技股份有限公司 三维模型构建方法、装置、计算机设备及存储介质
CN113033305A (zh) * 2021-02-21 2021-06-25 云南联合视觉科技有限公司 活体检测方法、装置、终端设备和存储介质
US20210248812A1 (en) * 2021-03-05 2021-08-12 University Of Electronic Science And Technology Of China Method for reconstructing a 3d object based on dynamic graph network
CN113298931A (zh) * 2021-05-14 2021-08-24 中国科学院深圳先进技术研究院 一种物体模型的重建方法、装置、终端设备和存储介质
CN113362450A (zh) * 2021-06-02 2021-09-07 聚好看科技股份有限公司 一种三维重建方法、装置及***
CN113379815A (zh) * 2021-06-25 2021-09-10 中德（珠海）人工智能研究院有限公司 基于rgb相机与激光传感器的三维重建方法、装置及服务器
CN113610958A (zh) * 2021-07-09 2021-11-05 云南联合视觉科技有限公司 一种基于风格迁移的3d图像构建方法、装置及终端
CN113409384A (zh) * 2021-08-17 2021-09-17 深圳市华汉伟业科技有限公司 一种目标物体的位姿估计方法和***、机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUJUN CAI ET AL.: "Exploiting Spatial-Temporal Relationships for 3D Pose Estimation via Graph Convolutional Networks", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, 27 February 2020 (2020-02-27) *
孙廓;胡平;张峰;张键;李华;陈增淦;李智;陈统一;陈中伟;林宗楷;: "人体正中神经内部显微结构的三维重建与可视化研究", 中国矫形外科杂志, no. 18, 20 September 2008 (2008-09-20) *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863020A (zh) * 2022-04-29 2022-08-05 北京工业大学 三维模型构建方法、装置、电子设备及存储介质
CN114818224A (zh) * 2022-05-27 2022-07-29 中国空气动力研究与发展中心计算空气动力研究所 一种结构网格生成方法、装置、设备及存储介质
CN115330985A (zh) * 2022-07-25 2022-11-11 埃洛克航空科技（北京）有限公司 用于三维模型优化的数据处理方法和装置
CN115330985B (zh) * 2022-07-25 2023-09-08 埃洛克航空科技（北京）有限公司 用于三维模型优化的数据处理方法和装置
CN115761137A (zh) * 2022-11-24 2023-03-07 之江实验室 一种基于法向量和点云数据相互融合的高精度曲面重建方法和装置
CN115761137B (zh) * 2022-11-24 2023-12-22 之江实验室 一种基于法向量和点云数据相互融合的高精度曲面重建方法和装置
CN117456144A (zh) * 2023-11-10 2024-01-26 中国人民解放军海军航空大学 基于可见光遥感图像的目标建筑物三维模型优化方法
CN117456144B (zh) * 2023-11-10 2024-05-07 中国人民解放军海军航空大学 基于可见光遥感图像的目标建筑物三维模型优化方法
CN117437362A (zh) * 2023-11-17 2024-01-23 深圳市坤腾动漫有限公司 一种三维动漫模型生成方法及***
CN117437362B (zh) * 2023-11-17 2024-06-21 深圳市坤腾动漫有限公司 一种三维动漫模型生成方法及***
CN117726760A (zh) * 2024-02-07 2024-03-19 之江实验室 一种用于视频的三维人体重建模型的训练方法及装置
CN117726760B (zh) * 2024-02-07 2024-05-07 之江实验室 一种用于视频的三维人体重建模型的训练方法及装置

Similar Documents

Publication Publication Date Title
CN114373056A (zh) 一种三维重建方法、装置、终端设备及存储介质
Shen et al. Depth-aware image seam carving
CN112288665B (zh) 图像融合的方法、装置、存储介质及电子设备
WO2021249091A1 (zh) 图像处理方法、装置、计算机存储介质及电子设备
CN104732479B (zh) 对图像进行调整大小
CN106919257B (zh) 基于图像亮度信息力触觉交互纹理力再现方法
US20090309877A1 (en) Soft shadow rendering
CN110335330A (zh) 图像模拟生成方法及其***、深度学习算法训练方法及电子设备
US11205301B2 (en) Systems and methods for optimizing a model file
CN117152330B (zh) 一种基于深度学习的点云3d模型贴图方法和装置
CN116385619B (zh) 对象模型渲染方法、装置、计算机设备和存储介质
CN115713585B (zh) 纹理图像重建方法、装置、计算机设备和存储介质
CN112927200B (zh) 本征图像分解方法、装置、可读存储介质及电子设备
CN115375847A (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
US9734579B1 (en) Three-dimensional models visual differential
CN116363329B (zh) 基于CGAN与LeNet-5的三维图像生成方法及***
CN115830091B (zh) 纹理图像的生成方法、装置、设备、存储介质及产品
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
CN109191556B (zh) 一种从lod分页表面纹理模型提取栅格化数字高程模型的方法
US20230177722A1 (en) Apparatus and method with object posture estimating
CN112215750A (zh) 基于rgb-d数据的三维重建方法
CN117237570A (zh) 一种虚拟头部化身构造方法、装置、电子设备和存储介质
CN117557714A (zh) 三维重建方法、电子设备及可读存储介质
CN117011491A (zh) 一种基于稀疏体素和球谐函数的工业装备三维重建方法
US9129447B2 (en) Method and device for generating graphic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination