CN109255831A - 基于多任务学习的单视图人脸三维重建及纹理生成的方法 - Google Patents
基于多任务学习的单视图人脸三维重建及纹理生成的方法 Download PDFInfo
- Publication number
- CN109255831A CN109255831A CN201811105233.2A CN201811105233A CN109255831A CN 109255831 A CN109255831 A CN 109255831A CN 201811105233 A CN201811105233 A CN 201811105233A CN 109255831 A CN109255831 A CN 109255831A
- Authority
- CN
- China
- Prior art keywords
- face
- texture
- network
- model
- depth map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000012546 transfer Methods 0.000 claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000012805 post-processing Methods 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 210000005036 nerve Anatomy 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract 2
- 230000001815 facial effect Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000004069 differentiation Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003475 lamination Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 210000001938 protoplast Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
本发明公开了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法,属于计算机视觉领域。该方法包括:人脸三维模型渲染的特殊视点的选取;特殊视点下生成深度图、纹理图作为真值数据;设计深度信息与纹理信息特征共享的集成学习编码网络;设计由共享特征恢复出深度图的分支解码网络,恢复出深度图;设计由共享特征作为潜变量的互信息最大化生成对抗网络,恢复出纹理展开图;调整各任务损失函数的比例,训练模型;将网络输出的深度图进行插值处理再结合纹理图恢复出带纹理细节的人脸三维网格模型。本发明利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移,具有速度快、成本低等优势。
Description
技术领域
本发明涉及计算机视觉领域,特别涉及一种基于多任务学习的单视图人脸三维重建及纹理生成的方法。
背景技术
三维人脸模型在安全认证、影视动漫、医学科学等领域的应用非常广泛。然而同时获取精准人脸三维结构与完整高分辨率的纹理图的成本非常昂贵,且得到的纹理图也不方便后期处理,或者是存在三维结构与高分辨率纹理图不能同时获取等等各种难题。
对于使用传统方法的单视图人脸三维重建及纹理生成,通常有两种技术:(1)采用阴影恢复形状(Shape-from-Shading,SFS)方法或光度立体(Photometric stereo)方法根据单个视图的彩色图像重建三维模型。由不同光照下的相同视角人脸图像信息计算出由表面法向量,再恢复出三维表面信息。该方法依赖于光照条件和光照模型的先验知识,而且它更适合重建人脸表面细节,对人头部整体的三维重建精度不高;(2)Feng Liu、Dan Zeng和Qijun Zhao(Liu F,Zeng D,Zhao Q,et al.Joint face alignment and 3d facereconstruction[C]//European Conference on Computer Vision.Springer,Cham,2016:545-560)提出了在回归框架下的人脸对齐和三维重建,该方法在给定输入二维人脸图像上的特征点的条件下,实时重建其三维模型的方法。利用两组级联的线性回归,一组用来更新2D特征点,另一组用来更新3D人脸形状。在每一次迭代中,先用SDM(SupervisedDescentMethod)方法得到特征点更新量,再用特征点的更新量去估计出3D人脸形状的更新量。新的3D人脸一旦更新就可以粗略地计算出3D-to-2D投影矩阵,同时再利用3D人脸对特征点进行修正,最终得到经过不断修正后的人脸三维模型。这些传统方法对于模型的纹理处理通常都是顶点着色,而不是用高分辨、表征纹理细节的纹理图进行纹理映射的得到的彩色模型。对于单张图像,需要是正脸图像,侧脸效果很差,纹理不全。
近年也涌现了大量基于深度学习的单视图人脸三维重建的方法,其中Feng Y,WuF等人(Feng Y,Wu F,Shao X,et al.Joint 3D Face Reconstruction and DenseAlignment with P osition Map Regression Network[J].2018.)提出将人脸三维模型的顶点坐标xyz存为UV图,图中像素RGB值分别表示xyz,以图片的形式表达三维信息,并基于深度学习由单视图人脸图像进行UV图的恢复进而再恢复出人脸三维模型。而他们的研究中关于人脸纹理的处理则是直接由输入的纹理图进行局部仿射变换,所以无法恢复出遮挡部分的纹理。如果输入的是侧面人脸图像,恢复出的带纹理人脸三维模型的纹理很差。此外,也有研究者(Booth J,Roussos A,Ververas E,et al.3D Reconstruction of"In-the-Wild"Faces in Images and Videos[J].IE EE Transactions on Pattern Analysis&Machine Intelligence,2018,PP(99):1-1.)提出了一种从无约束条件下,即真实场景中的面部图像中学习统计纹理模型的方法,该纹理模型与之前的统计三维形状模型类似,同时包含身份和表情的特征。由于不需要对光照参数进行优化,所以纹理模型具有拟合策略非常简单的优点。但是该研究也无法保证在输入人脸是侧面,即遮挡区域很大的情况下的纹理恢复。Jiankang Deng等人设计了一种生成对抗网络(Deng J,Cheng S,Xue N,et al.UV-GAN:Adversarial Facial UV Map Completion for Pose-invariant Face Recognition[J].2017.)包含一个生成器与两个判别器,生成器用于生产完整的人脸纹理展开图,两个判别器分别用于判别整张纹理图的整体真实性、局部纹理与人的身份的一致性。该方法恢复的纹理图效果比较好,但是人脸三维模型重建的效果不够好。
上述现有技术都具有以下缺点:基于单张人脸图像,没有同时恢复出精确的人脸三维几何结构与完整的纹理,并且对于深度学习的方法,完整纹理展开图数据集的收集成本很高且不方便。有的方法可以得到比较完整的人脸三维几何结构,但是纹理部分是直接根据输入原图像进行局部仿射变换得到的纹理图像,在遮挡区域的纹理都是明显错误的。有的方法可以恢复出高分辨率且完整的人脸纹理图,但是局限于人脸正面图或者是小角度的侧脸图,并且人脸的三维结构恢复的也不够理想。
发明内容
针对上述现有技术中存在的缺陷,为了基于单张人脸图像同时恢复出精确的人脸三维几何结构与完整的纹理,提高人脸三维重建的方便性、准确性,本发明提出了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法。
为了实现上述发明目的,本发明方法采用的技术方案如下:
基于多任务学习的单视图人脸三维重建及纹理生成的方法,包括如下步骤:
S1,基于OpenGL将虚拟相机放置于人脸头部三维模型内部,朝向人脸,在这样的渲染视点下不断调整相机内外参数,选择合适的视场角和焦距,使整个人脸展开在平面上尽可能完整地在窗口中渲染出来;
S2,利用S1中得到的相机内外参数,基于CGAL计算上述渲染视点下的人脸三维模型的深度数据,并存为深度图,基于OpenGL加载人脸三维模型文件,在所述渲染视点下进行渲染,得到纹理图像,作为深度学习训练的一组真值;
S3,构建深度信息与纹理信息特征共享的集成学习编码网络,将S2获得的真值数据与人脸原图数据作为一组训练数据;收集多个预训练的人脸识别模型作为元模型,第一级网络是将人脸原图数据分别输入各个元模型,将元模型的输出再次作为输入,传送给第二卷积神经级网络,利用集成学习中的集成叠加算法,最终得到人脸的特征图;
S4,由S3中的集成学习编码网络得到由原始人脸图片提取到的特征图,作为深度图分支解码网络的输入,由该分支解码网络恢复出单通道的深度图;
S5,由S3中的集成学习编码网络得到由原始人脸图片提取到的共享特征,作为互信息最大化对抗网络的输入的一部分,由该对抗网络恢复出高分辨率的彩色通道纹理图;
S6,根据深度图分支解码网络与互信息最大化对抗网络的收敛速度的相对关系,给这两个网络的损失函数按比例分配权重,进行网络训练;
S7,训练完模型后,输入测试的原始人脸图片,由所述深度图分支解码网络与互信息最大化对抗网络分别得到预测深度图和带真实感的人脸纹理展开图,根据需要的任意三维模型分辨率,对网络输出的深度图进行插值来生成需要的尺寸;根据是否有风格迁移的需要对纹理进行后期处理,最终恢复出人脸三维模型。
本发明首次提出选用特殊视点进行渲染得到人脸纹理展开图,提出了一种针对单视点人脸三维重建在几何和色彩上同时进行重建的网络结构:基于集成学习的方法使用多种人脸识别的预训练模型,分别得到各个模型输出的人脸特征图,再运用卷积神经网络进行集成学习,得到的最终的更为全面的人脸特征图。最后通过多任务学习网络,由其中的一个分支网络,即经典的反卷积网络得到人脸深度图;由另一个分支网络,即互信息最大化对抗网络的生成器网络得到人脸纹理图。对于脸部有遮挡情况下,比如头发、眼镜,或者只有侧脸情况下的人脸图像,使用深度学习中的生成对抗网络进行恢复,可以弥补使用单张存在遮挡、不全的人脸图像作为输入带来的影响,并得到自动去除遮挡、完整展开的人脸纹理图。
本发明提供了一种准确高效地重建人脸三维模型的几何结构以及完整纹理的方法,利用基于多任务学习进行单视图人脸三维重建以及纹理生成与风格迁移,具有速度快、成本低等优势,而且生成的纹理图与深度图相对应,可以很方便的进行后期处理,具有生成数据全面、速度快、输入数据形式简单并且容易获取等特点。
附图说明
图1为本发明方法的流程图。
图2为本发明实施例选取的特殊视角下人脸纹理(a)展开图及其(b)对应深度图。
图3为本发明方法的整体网络框架图。
图4中(a)为本发明整体网络框架图中的数据预处理与集成学习编码网络的结构,(b)为本发明的整体网络框架图中的深度图解码网络的结构,(c)为本发明的整体网络框架图中的互信息最大化生成对抗网络的生成网络的结构,(d)为本发明的整体网络框架图中的互信息最大化生成对抗网络的判别网络及Q网络的结构。
图5为本发明实施例中的测试图像的结果;(a)输入图像,(b)从左到右分别为输出深度图以及由深度图恢复得到的无纹理人脸三维模型正面图与侧面图,(c)从左到右分别为输出纹理图以及将纹理映射到三维模型上的到的人脸三维模型正面图与侧面图。
图6为本发明实施例中的由测试图像得到纹理图再进行风格迁移的结果;(a)表达风格的参考图片,(b)输出进行风格迁移后的人脸纹理图片,(c)(d)分别为将风格迁移后的纹理图映射到三维模型上的到的人脸三维模型正面图与侧面图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的一种基于多任务学习的单视图人脸三维重建及纹理生成的方法,如附图中图1所示流程图,包括如下步骤:
(1)为了更方便的生成人脸纹理展开图,取代传统进行纹理UV参数化展开的方法,本发明通过选择特殊视点下的视场角和焦距,使整个人脸三维模型展开在平面上,并且尽可能地完整地在窗口中渲染出来。
(2)利用(1)中得到的相机内外参数,基于CGAL计算特殊视角下的人脸三维模型的深度数据,并存为深度图,基于OpenGL加载人脸三维模型文件,在特殊视角下进行渲染,得到特殊视角下的纹理图像,深度图与纹理图作为深度学习训练的一组真值。
(3)构建深度信息与纹理信息特征共享的集成学习编码网络,人脸原图数据与步骤(2)获得的数据组成一组训练数据。收集多个预训练的人脸识别模型作为元模型,第一级网络是将人脸原图数据分别输入各个元模型,将元模型的输出再次作为输入,传送给第二级卷积神经网络,利用集成学习中的集成叠加算法,最终得到人脸的特征图。
(4)将原始人脸图片输入(3)中的集成学习编码网络得到提取的共享特征图,作为深度图分支解码网络的输入,由该分支解码网络恢复出单通道的深度图;
(5)将(4)中的提到的共享特征图数据与噪声信号进行组合,作为互信息最大化对抗网络的输入,由该分支网络恢复出高分辨率的彩色通道纹理图;
(6)根据恢复深度与恢复纹理两个分支网络的收敛速度的相对关系,给两个任务的损失函数按比例分配权重,进行网络训练;
(7)训练完模型后,输入测试的原始人脸图片,由生成深度图、纹理图的分支网络分别得到的深度图、纹理图,根据需要的任意三维模型分辨率,对网络输出的深度图插值为指定尺寸;根据是否有风格迁移的需要对纹理进行后期处理,最终恢复出人脸三维模型。
所述步骤(1)中,所选取的人脸三维模型来自300W_LP人脸数据库,该数据库包含数千组自然场景下的人脸图像以及对应的人脸三维模型3DMM模型参数、图像中人脸所处的光源参数等等。本发明首次提出了通过选取特殊视角下进行模型渲染、捕获窗口图像来获取纹理展开图的方法。其中选取特殊视角的具体方法为:将虚拟相机放置于人脸头部三维模型内部,朝向人脸,在这样的特殊视点下,基于OpenGL将人脸三维模型在窗口中渲染出来,根据渲染效果对相机内外参数进行修正调整,根据对人脸纹理展开图完整性的需求选取合适的视角和焦距,并保存相机内外参数。仅用一张图即可保留人脸三维模型的纹理,并且可以得到对应的深度图。
所述步骤(2)中,
1)得到特殊视角下人脸深度数据的具体方法为:首先利用步骤(1)中得到的相机内外参数,计算出三维人脸模型在该视角下的成像平面A;再设定一个与A平行的平面B,并且使三维模型和相机的虚拟位置在该平面的同一侧;然后从相机位置分别与成像平面的每个像素位置连成射线,射线与平面B有相交点,再以这些交点为原点出发,与虚拟相机的位置连成射线,与三维模型有相交点(由于视角的特殊性,应该取距离相机中心最远的交点到相机中心位置的距离,作为模型交点处在该视角下的深度值);最后将得到的深度值进行归一化处理后存为深度图。
2)得到特殊视角下的纹理图像的具体方法为:对于渲染特定视角下的虚拟人脸图像,在已知模型和相机内外参数的条件下,可以基于OpenGL渲染得到。其中设定的内参矩阵的形式一般为:
其中,u0,v0是图像平面中心,dx和dy表示一个像素的大小,即每一个像素在u轴和v轴方向上的物理尺寸。f为摄像机镜头的焦距。
相机的外参数矩阵的一般形式为:
其中,R为旋转矩阵,T为平移矩阵。最终视角j下的相机的投影矩阵为Pj:
通过投影矩阵即可得到三维模型在特定虚拟视点下的二维图片。在OpenGL中还可以根据需要的纹理分辨率设定渲染窗口的大小,然后在通过步骤(1)中得到的相机内外参数的基础上,根据渲染窗口大小调整相机内参,可以使渲染的纹理图分辨率相对于深度图分辨率更高。此外,在渲染的过程中需要开启深度测试,由于视点的特殊性,需要设置渲染出深度值最大的点,即观察者在正面视角下可以看到的部分。将窗口中渲染得到的数据存为图片最终得到特殊视角下的高分辨率纹理图像。由于在使用3DMM模型参数恢复人脸三维模型纹理时使用到了光源参数,所以生成的纹理图是带有原图光照效果的。
所述步骤(3)中,利用集成学习的思想,先搜集多种人脸识别的深度学习预训练模型作为元模型,将原始人脸图像输入给各个元模型都可以得到不同的人脸特征图,将来自不同元模型的人脸特征图再次使用卷积神经网络训练,得到最终的人脸特征图,这个特征图将包含人脸的更为全面的特征信息。由这些特征可以恢复出深度图与纹理展开图。
所述步骤(4)中,该分支解码网络采用多个反卷积层组成,由S3中的集成学习编码网络得到由原始人脸图片提取到的共享特征作为输入,最终通过反卷积生成预测的单通道深度图。由该分支解码网络的损失函数除了预测深度值与深度真值之间的L1正则化约束外,还加入了深度梯度约束、图像结构相似性约束,最终该分支结构的损失函数为:
Lossdepth=||dp-dg||+Lssim+Ldepth_grad
其中dp为深度图分支解码网络的预测输出的人脸深度值,dg为对应的人脸深度真值,Lssim为预测深度图与真值深度图两者的图像结构相似性约束函数,Ldepth_grad为预测深度图相对于真值深度图上像素值变化的梯度约束。
所述步骤(5)中,互信息最大化生成对抗网络即为纹理图分支解码网络,它由生成网络G、判别网络D1、判别类别网络Q三个网络组成,并且D1、Q除最后一层外共享网络参数。生成对抗网络的原理是:生成器G的目标是尽量生成真实的样本去欺骗判别器D1,而判别器D1的目标是尽可能把生成器G生成的假样本和真实的样本区分开来,这样生成器和判别器就构成了一个动态博弈过程。下面式子即为原始生成对抗网络的目标函数:
其中,x为真实样本,Pdata(x)为真实样本分布,z为随机噪声,Pz(z)为随机噪声的分布,一般采用高斯分布,D(x)为x样本是真实样本的概率,G(z)为根据随机噪声z生成的假样本。
在理想的情况下,博弈的结果是:生成器生成以假乱真的样本,而判别器无法再区分出样本的真假,最终由输入的原始人脸图像可以得到真实的特殊视角下的纹理展开图像。但是原始GAN的输入只有噪声信号,没有任何约束,网络难以将噪声信号的具体维度和样本数据的特征语义信息对应起来,会使网络输出很不可控。所以本发明选取了改进版本的互信息最大化生成对抗网络,即在生成网络的输入中加入隐含变量,该变量表征输入人脸图像中隐含的特征信息。比如人脸水平旋转角、俯仰角大小、图片亮度、人脸胖瘦宽窄、是否带了眼镜、发型、情绪等等特征。这样使得生成网络的训练更为可控,可以更好的生成对应于原人脸图像的纹理展开图。在本发明中生成网络的输入中所加入的隐含变量就是由步骤(3)中的集成学习编码网络得到的,由原始人脸图片提取到的共享特征。对于加入的具有特征表达的隐含变量,需要引入互信息的正则化约束:
由于在实践中直接求互信息I(c;G(z,c))比较困难,所以转换为求下界:
≤I(c;G(z,c))
其中,G(z,c)为根据随机噪声z和隐含变量c生成的假样本,I(c;G(z,c))为隐含变量与生成的假样本之间的互信息,H(c)为常量。
最终互信息最大化生成对抗网络的目标函数表达为:
在互信息最大化生成对抗网络的训练过程中,需要同时训练生成网络与判别网络、Q网络。在训练生成网络时所进行的求导计算表达式为:
正常情况下,对于生成网络,是根据上式来进行网络更新的,其中θg为生成网络的各层网络权重,计算其梯度根据梯度下降算法更新θg。但是由于信息最大化生成对抗网络的生成网络嵌入在多任务学习网络中,所以生成网络的损失函数将成为整体多任务学习网络损失函数的一部分。由该生成网络可以恢复出高分辨率的彩色通道纹理图。然后将得到的纹理图与对应真值图一同作为纹理图分支解码网络的判别网络的输入。此外,Q网络在训练的过程中学习隐含变量的信息。
在训练判别网络时所进行的求导计算表达式为:
θd为判别网络的各层网络权重,m为样本个数,softmax(ci,c′i)为Q网络目标函数为输入隐含变量与输出预测的特征类别的交叉熵,计算其梯度根据梯度上升算法更新θd。
由于优化生成器的前提是判别器要有最优的状态,所以为了防止判别器性能太弱,训练过程中,训练判别器k次再训练生成器一次。
所述步骤(6)中,同时预测人脸深度图以及纹理展开图的整体网络结构是多任务学习网络,整个网络的损失函数LossA定义为:
LossA=αLossdepth+βLossgenerator_texture
=α(||dp-dg||+Lssim+Ldepth_grad)+β(log(1-D(G(zi,ci))))
其中Lossdepth、Lossgenerator_texture分别是深度图分支解码网络与互信息最大化生成对抗网络的生成网络的损失函数项,α、β分别是对应的权重系数,在整个多任务学习网络的训练过程中,需要不断调节α、β以使得网络效果最优。
所述步骤(7)中,对于由深度图分支解码网络得到的预测深度图,可以根据需要的三维模型顶点规模对深度图进行插值放缩,在由深度图恢复三维结构时对相机内参做出相应调整即可。由深度数据恢复出网格模型的具体过程可以是:通过把深度图中邻近像素点组成两个直角三角形对应三维模型的三角形网格,再由逆投影矩阵进行逆投影,转换为三维空间中的相邻两个三角形面片。对于由纹理图分支解码网络得到的预测纹理图,直接得到的是带真实感的人脸纹理展开图,可以根据是否有风格迁移的需要选择是否对纹理进行后期处理。如果需要进行纹理风格迁移,可以使用预训练的风格迁移模型,输入纹理图分支解码网络中得到的真实人脸纹理展开图和代表迁移风格的图片,就可以得到迁移风格后的纹理图。将纹理图映射到无纹理三维模型上,最终可以恢复出有不同纹理需求的人脸三维模型。
实施例
本实施例提供了一种基于多任务学习的单视图人脸三维重建及纹理生成的方法,具体包括:
(1)为了利用300W_LP人脸数据库制作数据集,先由自然场景下的人脸图像对应的三维模型3DMM模型参数中的几何形状参数恢复出人脸三维模型的网格结构,再由3DMM模型参数中的纹理参数以及附加的光源参数恢复出人脸三维模型的纹理信息。300W_LP人脸数据库包括AFW、HELEN、IBUG、LFPW四个子数据集,包含3837个不同身份的人脸,同时每个身份的人脸都有不同角度的图像,包含从左侧面到右侧面中间***9~17不等数量个视点的图像。它们都会对应于同一身份人脸的三维模型。
将虚拟相机放置于人脸头部三维模型内部,朝向人脸,在这样的特殊视点下,基于OpenGL将人脸三维模型在窗口中渲染出来,设定需求的纹理分辨率为512×512,根据渲染效果对相机内外参数进行修正调整,根据对人脸纹理展开图完整性的需求选取了合适的视角和焦距,仅用一张图即可保留人脸三维模型的纹理,效果图分别见图2中(a)、(b),并保存好相机内外参数。
(2)设定需求的深度图分辨率为224×224,首先利用步骤(1)中得到的相机内外参数进行比例转换,再计算出三维人脸模型在该视角下的成像平面A;再设定一个与A平行的平面B,并且使三维模型和相机的虚拟位置在该平面的同一侧;然后从相机位置分别与成像平面的每个像素位置连成射线,射线与平面B有相交点,再以这些交点为原点出发,与虚拟相机的位置连成射线,与三维模型有相交点(由于视角的特殊性,应该取距离相机中心最远的交点到相机中心位置的距离,作为模型交点处在该视角下的深度值);最后将得到的深度值进行归一化处理后存为深度图。
再利用步骤(1)中得到的相机内外参数,通过计算投影矩阵,批量地获取人脸三维模型在特殊视点下的二维图片。并且要注意在渲染的过程中需要开启深度测试,由于视点的特殊性,需要设置渲染出深度值最大的点,即观察者在正面视角下可以看到的部分。将窗口中渲染得到的数据存为图片最终得到特殊视角下的纹理图像。由于在使用3DMM模型参数恢复人脸三维模型纹理时使用到了光源参数,所以生成的纹理图是带有原图光照效果的。对于纹理展开图,在输入网络前可以进行数据增强处理,包括在一定范围内随机调整对比度等等,使训练的的样本更加丰富,使结果更具有鲁棒性。
(3)如图4(a)所示,构建深度信息与纹理信息特征共享的集成学习编码网络,搜集了多种人脸识别的深度学习预训练模型作为元模型,人脸原图数据与步骤(2)获得的数据组成一组训练数据。将原始人脸图像输入给各个元模型都可以得到不同的人脸特征图,将来自不同元模型的人脸特征图再次使用2层卷积神经网络训练,得到最终的人脸特征图,这个特征图将包含人脸的更为全面的特征信息。由这些特征可以恢复出深度图与纹理展开图。
(4)如图4(b)所示,设计深度图分支解码网络,它采用4个反卷积层组成。由(3)中的集成学习编码网络得到由原始人脸图片提取到的共享特征作为输入,最终可以通过反卷积生成预测的单通道深度图。在深度图分支解码网络的损失函数中除了预测深度值与深度真值之间的L1正则化约束外,还加入了深度梯度约束、图像结构相似性约束。
(5)设计纹理图分支解码网络,它由生成网络G、判别网络D1、判别类别网络Q三个网络组成。生成网络G共有5层反卷积层,见图4(c)所示。网络D1、Q分别有4层卷积层,除最后一层外其余层共享网络参数,见图4(d)所示。将步骤(3)中集成学习编码网络得到的从原始人脸图片提取到的共享特征,与噪声信号进行组合,作为纹理分支解码网络的生成网络G的输入,输出高分辨率的彩色通道纹理图。然后将得到的纹理图与对应真值图一同作为纹理图分支解码网络的判别网络D1的输入。此外,Q网络在训练判别网络D1的过程中一同学习隐含变量的信息。
(6)该深度神经网络采用Adam的优化算法进行训练,设置每对判别网络训练10次,对生成网络训练1次,设置训练周期数(number of epoch)为50,学习率设置为0.00001。
前向传播阶段的步骤如下:
将原始人脸图像输入到集成学习编码网络,经过各个预训练模型得到不同人脸特征向量,再由第二级卷积网络进行集成学习整合卷积,输出最终的人脸特征向量。首先,该特征向量作为深度图分支解码网络的输入,输出单通道人脸深度图。其次,该特征向量还作为纹理图分支解码网络的输入的一部分,和噪声信号进行组合作为最终输入信息,输出人脸纹理展开图,再输入给判别网络进行判别,同时Q网络学习隐含变量。
后向传播阶段的步骤如下:
误差反传,调整各层权值参数;检查训练集的所有样本是否都参与了训练;检查互信息最大化生成对抗网络是否已经达到博弈均衡;网络总误差是否到达精度Ei,误差小于精度结束训练,误差大于精度继续训练工作,按极小化误差的方法反向传播调整权矩阵。
(7)如图5所示,(a)为输入的测试人脸图像。对于由深度图分支解码网络得到的预测深度图(图5(b)左),通过把深度图中邻近像素点组成两个直角三角形对应三维模型的三角形网格,再由逆投影矩阵进行逆投影,转换为三维空间中的相邻两个三角形面片,从而得到人脸三维模型,图5(b)中间和右边视图为恢复出的人脸三维模型的正面、侧面。
对于由纹理图分支解码网络得到的预测纹理图,直接得到的是带真实感的人脸纹理展开图(图5(c)左),直接将该纹理映射到人脸三维模型的效果见图5(c)中间和右边视图。然后又进行了纹理风格迁移的测试。使用预训练的风格迁移模型,输入真实人脸纹理展开图和代表迁移风格的图片(图6(a)),得到迁移风格后的纹理图(图6(b))。将纹理图映射到无纹理三维模型上,最终可以恢复出有不同纹理需求的人脸三维模型(图6(c))。
测试实验的结果表明本发明可以对于较大的侧脸角度下的人脸图像依然恢复出精确的深度图和完整的纹理图,并且可以灵活地对深度图、纹理图进行后期处理。因此,本发明提出的基于多任务学习的单视图人脸三维重建及纹理生成的方法将有助于提升针对人脸三维重建的鲁棒性。此外,本发明首次对人脸三维模型的纹理进行风格迁移,实现人脸的3D风格渲染,生成的人脸三维模型可以应用于艺术创作、影视动漫、面具制作等领域。
Claims (4)
1.基于多任务学习的单视图人脸三维重建及纹理生成的方法,其特征在于,包括如下步骤:
S1,基于OpenGL将虚拟相机放置于人脸头部三维模型内部,朝向人脸,在这样的渲染视点下不断调整相机内外参数,选择合适的视场角和焦距,使整个人脸展开在平面上尽可能完整地在窗口中渲染出来;
S2,利用S1中得到的相机内外参数,基于CGAL计算上述渲染视点下的人脸三维模型的深度数据,并存为深度图,基于OpenGL加载人脸三维模型文件,在所述渲染视点下进行渲染,得到纹理图像,作为深度学习训练的一组真值;
S3,构建深度信息与纹理信息特征共享的集成学习编码网络,将S2获得的真值数据与人脸原图数据作为一组训练数据;收集多个预训练的人脸识别模型作为元模型,第一级网络是将人脸原图数据分别输入各个元模型,将元模型的输出再次作为输入,传送给第二卷积神经级网络,利用集成学习中的集成叠加算法,最终得到人脸的特征图;
S4,由S3中的集成学习编码网络得到由原始人脸图片提取到的特征图,作为深度图分支解码网络的输入,由该分支解码网络恢复出单通道的深度图;
S5,由S3中的集成学习编码网络得到由原始人脸图片提取到的共享特征,作为互信息最大化对抗网络的输入的一部分,由该对抗网络恢复出高分辨率的彩色通道纹理图;
S6,根据深度图分支解码网络与互信息最大化对抗网络的收敛速度的相对关系,给这两个网络的损失函数按比例分配权重,进行网络训练;
S7,训练完模型后,输入测试的原始人脸图片,由所述深度图分支解码网络与互信息最大化对抗网络分别得到预测深度图和带真实感的人脸纹理展开图,根据需要的任意三维模型分辨率,对网络输出的深度图进行插值来生成需要的尺寸;根据是否有风格迁移的需要对纹理进行后期处理,最终恢复出人脸三维模型。
2.根据权利要求1所述的基于多任务学习的单视图人脸三维重建及纹理生成的方法,其特征在于,所述步骤S2中,人脸三维模型的深度数据的具体计算方法为:
首先利用S1中得到的相机内外参数,计算出三维人脸模型在所述渲染视点下的成像平面A,再设定一个与平面A平行的平面B,并且使三维模型和相机的虚拟位置在平面A的同一侧;然后从相机位置分别与成像平面A的每个像素位置连成射线,射线与平面B有相交点,再以这些交点为原点出发,与虚拟相机的位置连成射线,与三维模型有交点,并取距离相机中心最远的交点到相机中心位置的距离,作为模型交点处在渲染视点下的深度值;最后将得到的深度值存为深度图。
3.根据权利要求1所述的基于多任务学习的单视图人脸三维重建及纹理生成的方法,其特征在于,所述步骤S2中,得到纹理图像的具体方法为:
首先根据需要的纹理分辨率设定渲染窗口的大小,然后在S1中得到的相机内外参数的基础上根据渲染窗口大小调整相机内参,使得到的纹理图分辨率相对于深度图分辨率更高;基于OpenGL加载人脸三维模型文件,在所述渲染视点下进行渲染,渲染的时候开启深度测试,由于视点的特殊性,需要设置渲染出深度值最大的点,即观察者在正面视角下可以看到的部分;将窗口中渲染得到的数据存为图片最终得到特殊视角下的高分辨率纹理图像。
4.根据权利要求1所述的基于多任务学习的单视图人脸三维重建及纹理生成的方法,其特征在于,所述步骤S7中如果需要进行纹理风格迁移,则使用预训练的风格迁移模型,并输入得到的人脸纹理展开图和代表迁移风格的图片,就可以得到迁移风格后的纹理图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811105233.2A CN109255831B (zh) | 2018-09-21 | 2018-09-21 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811105233.2A CN109255831B (zh) | 2018-09-21 | 2018-09-21 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109255831A true CN109255831A (zh) | 2019-01-22 |
CN109255831B CN109255831B (zh) | 2020-06-12 |
Family
ID=65047396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811105233.2A Active CN109255831B (zh) | 2018-09-21 | 2018-09-21 | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109255831B (zh) |
Cited By (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
CN109829537A (zh) * | 2019-01-30 | 2019-05-31 | 华侨大学 | 基于深度学习gan网络童装服装的风格转移方法及设备 |
CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
CN109993825A (zh) * | 2019-03-11 | 2019-07-09 | 北京工业大学 | 一种基于深度学习的三维重建方法 |
CN110033034A (zh) * | 2019-04-01 | 2019-07-19 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
CN110060326A (zh) * | 2019-03-12 | 2019-07-26 | 杭州电子科技大学 | 一种基于生成对抗网络的模型纹理生成方法 |
CN110111244A (zh) * | 2019-05-08 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 图像转换、深度图预测和模型训练方法、装置及电子设备 |
CN110210204A (zh) * | 2019-05-30 | 2019-09-06 | 网易(杭州)网络有限公司 | 验证码生成方法及装置、存储介质和电子设备 |
CN110223370A (zh) * | 2019-05-29 | 2019-09-10 | 南京大学 | 一种从单视点图片生成完整人体纹理贴图的方法 |
CN110263756A (zh) * | 2019-06-28 | 2019-09-20 | 东北大学 | 一种基于联合多任务学习的人脸超分辨率重建*** |
CN110378947A (zh) * | 2019-07-02 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
CN110428493A (zh) * | 2019-07-12 | 2019-11-08 | 清华大学 | 基于网格形变的单图像人体三维重建方法及*** |
CN110428491A (zh) * | 2019-06-24 | 2019-11-08 | 北京大学 | 基于单帧图像的三维人脸重建方法、装置、设备及介质 |
CN110472570A (zh) * | 2019-08-14 | 2019-11-19 | 旭辉卓越健康信息科技有限公司 | 一种基于自适应权重的人脸识别多路径深度神经网络方法 |
CN110889868A (zh) * | 2019-10-28 | 2020-03-17 | 杭州电子科技大学 | 一种结合梯度和纹理特征的单目图像深度估计方法 |
CN111027433A (zh) * | 2019-12-02 | 2020-04-17 | 哈尔滨工程大学 | 一种基于卷积神经网络的多重风格人脸特征点检测方法 |
CN111091624A (zh) * | 2019-12-19 | 2020-05-01 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
CN111523413A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成人脸图像的方法和装置 |
CN111861894A (zh) * | 2019-04-25 | 2020-10-30 | 上海理工大学 | 基于生成式对抗网络的图像去运动模糊方法 |
CN111951372A (zh) * | 2020-06-30 | 2020-11-17 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
CN112002009A (zh) * | 2020-08-04 | 2020-11-27 | 中国科学技术大学 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
CN112215050A (zh) * | 2019-06-24 | 2021-01-12 | 北京眼神智能科技有限公司 | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 |
GB2585708A (en) * | 2019-07-15 | 2021-01-20 | Huawei Tech Co Ltd | Generating three-dimensional facial data |
CN112307848A (zh) * | 2019-08-01 | 2021-02-02 | 普兰特龙尼斯公司 | 检测视频会议中的欺骗说话者 |
CN112489197A (zh) * | 2020-11-30 | 2021-03-12 | 江苏科技大学 | 一种基于对抗训练先验学习的单视图三维重建***及其方法 |
CN112489205A (zh) * | 2020-12-16 | 2021-03-12 | 北京航星机器制造有限公司 | 一种仿真人脸制造方法 |
CN112562059A (zh) * | 2020-11-24 | 2021-03-26 | 革点科技(深圳)有限公司 | 一种自动化结构光图案设计方法 |
CN112634438A (zh) * | 2020-12-24 | 2021-04-09 | 北京工业大学 | 基于对抗网络的单帧深度图像三维模型重建方法及装置 |
CN112669447A (zh) * | 2020-12-30 | 2021-04-16 | 网易(杭州)网络有限公司 | 一种模型头像创建方法、装置、电子设备和存储介质 |
CN112818860A (zh) * | 2021-02-02 | 2021-05-18 | 北京航空航天大学 | 基于端到端多任务多尺度神经网络的实时三维人脸重建方法 |
CN112884889A (zh) * | 2021-04-06 | 2021-06-01 | 北京百度网讯科技有限公司 | 模型训练、人头重建方法,装置,设备以及存储介质 |
CN112950739A (zh) * | 2021-03-31 | 2021-06-11 | 深圳市慧鲤科技有限公司 | 纹理生成方法、装置、设备及存储介质 |
CN112991358A (zh) * | 2020-09-30 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
CN113111861A (zh) * | 2021-05-12 | 2021-07-13 | 北京深尚科技有限公司 | 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 |
CN113160105A (zh) * | 2020-01-23 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 相机视点确定、相机视点推荐、数据处理方法及设备 |
CN113379606A (zh) * | 2021-08-16 | 2021-09-10 | 之江实验室 | 一种基于预训练生成模型的人脸超分辨方法 |
CN113395476A (zh) * | 2021-06-07 | 2021-09-14 | 广东工业大学 | 一种基于三维人脸重构的虚拟人物视频通话方法及*** |
CN113610958A (zh) * | 2021-07-09 | 2021-11-05 | 云南联合视觉科技有限公司 | 一种基于风格迁移的3d图像构建方法、装置及终端 |
CN113658324A (zh) * | 2021-08-03 | 2021-11-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关设备、迁移网络训练方法及相关设备 |
CN113822985A (zh) * | 2021-08-31 | 2021-12-21 | 苏州鑫康成医疗科技有限公司 | 一种多切面三维重建及特征识别方法 |
CN114049442A (zh) * | 2021-11-19 | 2022-02-15 | 北京航空航天大学 | 三维人脸视线计算方法 |
CN114119607A (zh) * | 2022-01-20 | 2022-03-01 | 广州易道智慧信息科技有限公司 | 基于深度神经网络的酒瓶缺陷样本生成方法及*** |
CN114494392A (zh) * | 2022-02-14 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备以及可读存储介质 |
TWI788630B (zh) * | 2019-02-26 | 2023-01-01 | 大陸商騰訊科技(深圳)有限公司 | 三維人臉模型生成方法、裝置、電腦設備及儲存介質 |
CN115661322A (zh) * | 2022-09-26 | 2023-01-31 | 北京百度网讯科技有限公司 | 人脸纹理图像的生成方法、装置 |
CN116721104A (zh) * | 2023-08-10 | 2023-09-08 | 武汉大学 | 实景三维模型缺陷检测方法、装置、电子设备及存储介质 |
US11776210B2 (en) | 2021-01-22 | 2023-10-03 | Sony Group Corporation | 3D face modeling based on neural networks |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103621093A (zh) * | 2011-06-15 | 2014-03-05 | 联发科技股份有限公司 | 在三维视频编码***中的纹理图像压缩方法及装置 |
US20160314619A1 (en) * | 2015-04-24 | 2016-10-27 | Adobe Systems Incorporated | 3-Dimensional Portrait Reconstruction From a Single Photo |
CN106600667A (zh) * | 2016-12-12 | 2017-04-26 | 南京大学 | 一种基于卷积神经网络的视频驱动人脸动画方法 |
CN106951867A (zh) * | 2017-03-22 | 2017-07-14 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、***及设备 |
CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑***及方法 |
CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
CN108305229A (zh) * | 2018-01-29 | 2018-07-20 | 深圳市唯特视科技有限公司 | 一种基于深度学习轮廓网络的多视图重建方法 |
CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
-
2018
- 2018-09-21 CN CN201811105233.2A patent/CN109255831B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103621093A (zh) * | 2011-06-15 | 2014-03-05 | 联发科技股份有限公司 | 在三维视频编码***中的纹理图像压缩方法及装置 |
US20160314619A1 (en) * | 2015-04-24 | 2016-10-27 | Adobe Systems Incorporated | 3-Dimensional Portrait Reconstruction From a Single Photo |
CN106600667A (zh) * | 2016-12-12 | 2017-04-26 | 南京大学 | 一种基于卷积神经网络的视频驱动人脸动画方法 |
CN107067429A (zh) * | 2017-03-17 | 2017-08-18 | 徐迪 | 基于深度学习的人脸三维重建和人脸替换的视频编辑***及方法 |
CN106951867A (zh) * | 2017-03-22 | 2017-07-14 | 成都擎天树科技有限公司 | 基于卷积神经网络的人脸识别方法、装置、***及设备 |
CN107239766A (zh) * | 2017-06-08 | 2017-10-10 | 深圳市唯特视科技有限公司 | 一种利用对抗网络和三维形态模型的大幅度人脸摆正方法 |
CN108334816A (zh) * | 2018-01-15 | 2018-07-27 | 桂林电子科技大学 | 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法 |
CN108305229A (zh) * | 2018-01-29 | 2018-07-20 | 深圳市唯特视科技有限公司 | 一种基于深度学习轮廓网络的多视图重建方法 |
Non-Patent Citations (2)
Title |
---|
PENGFEI DOU: "End-to-end 3D face reconstruction with deep neural networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
鱼涛: "一种三维人脸点云数据的二维映射表示", 《软件工程与应用》 * |
Cited By (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109829537A (zh) * | 2019-01-30 | 2019-05-31 | 华侨大学 | 基于深度学习gan网络童装服装的风格转移方法及设备 |
CN109829537B (zh) * | 2019-01-30 | 2023-10-24 | 华侨大学 | 基于深度学习gan网络童装服装的风格转移方法及设备 |
CN109815928A (zh) * | 2019-01-31 | 2019-05-28 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
CN109815928B (zh) * | 2019-01-31 | 2021-05-11 | 中国电子进出口有限公司 | 一种基于对抗学习的人脸图像合成方法和装置 |
TWI788630B (zh) * | 2019-02-26 | 2023-01-01 | 大陸商騰訊科技(深圳)有限公司 | 三維人臉模型生成方法、裝置、電腦設備及儲存介質 |
CN109993825A (zh) * | 2019-03-11 | 2019-07-09 | 北京工业大学 | 一种基于深度学习的三维重建方法 |
CN109993825B (zh) * | 2019-03-11 | 2023-06-20 | 北京工业大学 | 一种基于深度学习的三维重建方法 |
CN110060326A (zh) * | 2019-03-12 | 2019-07-26 | 杭州电子科技大学 | 一种基于生成对抗网络的模型纹理生成方法 |
CN109978930A (zh) * | 2019-03-27 | 2019-07-05 | 杭州相芯科技有限公司 | 一种基于单幅图像的风格化人脸三维模型自动生成方法 |
CN110033034B (zh) * | 2019-04-01 | 2023-09-12 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
CN110033034A (zh) * | 2019-04-01 | 2019-07-19 | 深圳大学 | 一种非均匀纹理的图片处理方法、装置和计算机设备 |
CN111861894B (zh) * | 2019-04-25 | 2023-06-20 | 上海理工大学 | 基于生成式对抗网络的图像去运动模糊方法 |
CN111861894A (zh) * | 2019-04-25 | 2020-10-30 | 上海理工大学 | 基于生成式对抗网络的图像去运动模糊方法 |
CN110111244A (zh) * | 2019-05-08 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 图像转换、深度图预测和模型训练方法、装置及电子设备 |
CN110111244B (zh) * | 2019-05-08 | 2024-01-26 | 北京奇艺世纪科技有限公司 | 图像转换、深度图预测和模型训练方法、装置及电子设备 |
CN110223370A (zh) * | 2019-05-29 | 2019-09-10 | 南京大学 | 一种从单视点图片生成完整人体纹理贴图的方法 |
CN110210204A (zh) * | 2019-05-30 | 2019-09-06 | 网易(杭州)网络有限公司 | 验证码生成方法及装置、存储介质和电子设备 |
CN110428491B (zh) * | 2019-06-24 | 2021-05-04 | 北京大学 | 基于单帧图像的三维人脸重建方法、装置、设备及介质 |
CN110428491A (zh) * | 2019-06-24 | 2019-11-08 | 北京大学 | 基于单帧图像的三维人脸重建方法、装置、设备及介质 |
CN112215050A (zh) * | 2019-06-24 | 2021-01-12 | 北京眼神智能科技有限公司 | 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备 |
CN110263756A (zh) * | 2019-06-28 | 2019-09-20 | 东北大学 | 一种基于联合多任务学习的人脸超分辨率重建*** |
CN110378947B (zh) * | 2019-07-02 | 2023-04-07 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
CN110378947A (zh) * | 2019-07-02 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 3d模型重建方法、装置及电子设备 |
CN110428493A (zh) * | 2019-07-12 | 2019-11-08 | 清华大学 | 基于网格形变的单图像人体三维重建方法及*** |
GB2585708B (en) * | 2019-07-15 | 2022-07-06 | Huawei Tech Co Ltd | Generating three-dimensional facial data |
GB2585708A (en) * | 2019-07-15 | 2021-01-20 | Huawei Tech Co Ltd | Generating three-dimensional facial data |
CN112307848A (zh) * | 2019-08-01 | 2021-02-02 | 普兰特龙尼斯公司 | 检测视频会议中的欺骗说话者 |
CN112307848B (zh) * | 2019-08-01 | 2024-04-30 | 惠普发展公司,有限责任合伙企业 | 检测视频会议中的欺骗说话者 |
CN110472570A (zh) * | 2019-08-14 | 2019-11-19 | 旭辉卓越健康信息科技有限公司 | 一种基于自适应权重的人脸识别多路径深度神经网络方法 |
CN110889868A (zh) * | 2019-10-28 | 2020-03-17 | 杭州电子科技大学 | 一种结合梯度和纹理特征的单目图像深度估计方法 |
CN110889868B (zh) * | 2019-10-28 | 2023-04-18 | 杭州电子科技大学 | 一种结合梯度和纹理特征的单目图像深度估计方法 |
CN111027433A (zh) * | 2019-12-02 | 2020-04-17 | 哈尔滨工程大学 | 一种基于卷积神经网络的多重风格人脸特征点检测方法 |
CN111091624A (zh) * | 2019-12-19 | 2020-05-01 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
CN111091624B (zh) * | 2019-12-19 | 2021-09-28 | 南京大学 | 一种从单张图片生成高精度可驱动人脸三维模型的方法 |
CN113160105A (zh) * | 2020-01-23 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 相机视点确定、相机视点推荐、数据处理方法及设备 |
CN113160105B (zh) * | 2020-01-23 | 2024-05-28 | 阿里巴巴集团控股有限公司 | 相机视点确定、相机视点推荐、数据处理方法及设备 |
CN111524216A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
CN111523413A (zh) * | 2020-04-10 | 2020-08-11 | 北京百度网讯科技有限公司 | 生成人脸图像的方法和装置 |
CN111523413B (zh) * | 2020-04-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 生成人脸图像的方法和装置 |
CN111951372B (zh) * | 2020-06-30 | 2024-01-05 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
CN111951372A (zh) * | 2020-06-30 | 2020-11-17 | 重庆灵翎互娱科技有限公司 | 一种三维人脸模型的生成方法和设备 |
CN112002009B (zh) * | 2020-08-04 | 2022-10-28 | 中国科学技术大学 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
CN112002009A (zh) * | 2020-08-04 | 2020-11-27 | 中国科学技术大学 | 一种基于生成对抗网络的无监督重建三维人脸方法 |
CN112991358A (zh) * | 2020-09-30 | 2021-06-18 | 北京字节跳动网络技术有限公司 | 风格图像生成方法、模型训练方法、装置、设备和介质 |
CN112562059B (zh) * | 2020-11-24 | 2023-12-08 | 革点科技(深圳)有限公司 | 一种自动化结构光图案设计方法 |
CN112562059A (zh) * | 2020-11-24 | 2021-03-26 | 革点科技(深圳)有限公司 | 一种自动化结构光图案设计方法 |
CN112489197A (zh) * | 2020-11-30 | 2021-03-12 | 江苏科技大学 | 一种基于对抗训练先验学习的单视图三维重建***及其方法 |
CN112489197B (zh) * | 2020-11-30 | 2024-06-21 | 江苏科技大学 | 一种基于对抗训练先验学习的单视图三维重建***及其方法 |
CN112489205A (zh) * | 2020-12-16 | 2021-03-12 | 北京航星机器制造有限公司 | 一种仿真人脸制造方法 |
CN112634438A (zh) * | 2020-12-24 | 2021-04-09 | 北京工业大学 | 基于对抗网络的单帧深度图像三维模型重建方法及装置 |
CN112669447B (zh) * | 2020-12-30 | 2023-06-30 | 网易(杭州)网络有限公司 | 一种模型头像创建方法、装置、电子设备和存储介质 |
CN112669447A (zh) * | 2020-12-30 | 2021-04-16 | 网易(杭州)网络有限公司 | 一种模型头像创建方法、装置、电子设备和存储介质 |
US11776210B2 (en) | 2021-01-22 | 2023-10-03 | Sony Group Corporation | 3D face modeling based on neural networks |
CN112818860B (zh) * | 2021-02-02 | 2022-06-07 | 北京航空航天大学 | 基于端到端多任务多尺度神经网络的实时三维人脸重建方法 |
CN112818860A (zh) * | 2021-02-02 | 2021-05-18 | 北京航空航天大学 | 基于端到端多任务多尺度神经网络的实时三维人脸重建方法 |
CN112950739A (zh) * | 2021-03-31 | 2021-06-11 | 深圳市慧鲤科技有限公司 | 纹理生成方法、装置、设备及存储介质 |
WO2022205755A1 (zh) * | 2021-03-31 | 2022-10-06 | 深圳市慧鲤科技有限公司 | 纹理生成方法、装置、设备及存储介质 |
CN112884889A (zh) * | 2021-04-06 | 2021-06-01 | 北京百度网讯科技有限公司 | 模型训练、人头重建方法,装置,设备以及存储介质 |
CN113111861A (zh) * | 2021-05-12 | 2021-07-13 | 北京深尚科技有限公司 | 人脸纹理特征提取、3d人脸重建方法及设备及存储介质 |
CN113395476A (zh) * | 2021-06-07 | 2021-09-14 | 广东工业大学 | 一种基于三维人脸重构的虚拟人物视频通话方法及*** |
CN113610958A (zh) * | 2021-07-09 | 2021-11-05 | 云南联合视觉科技有限公司 | 一种基于风格迁移的3d图像构建方法、装置及终端 |
CN113658324A (zh) * | 2021-08-03 | 2021-11-16 | Oppo广东移动通信有限公司 | 图像处理方法及相关设备、迁移网络训练方法及相关设备 |
CN113379606A (zh) * | 2021-08-16 | 2021-09-10 | 之江实验室 | 一种基于预训练生成模型的人脸超分辨方法 |
CN113379606B (zh) * | 2021-08-16 | 2021-12-07 | 之江实验室 | 一种基于预训练生成模型的人脸超分辨方法 |
CN113822985A (zh) * | 2021-08-31 | 2021-12-21 | 苏州鑫康成医疗科技有限公司 | 一种多切面三维重建及特征识别方法 |
CN114049442A (zh) * | 2021-11-19 | 2022-02-15 | 北京航空航天大学 | 三维人脸视线计算方法 |
CN114119607A (zh) * | 2022-01-20 | 2022-03-01 | 广州易道智慧信息科技有限公司 | 基于深度神经网络的酒瓶缺陷样本生成方法及*** |
CN114494392A (zh) * | 2022-02-14 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备以及可读存储介质 |
CN115661322B (zh) * | 2022-09-26 | 2023-09-22 | 北京百度网讯科技有限公司 | 人脸纹理图像的生成方法、装置 |
CN115661322A (zh) * | 2022-09-26 | 2023-01-31 | 北京百度网讯科技有限公司 | 人脸纹理图像的生成方法、装置 |
CN116721104B (zh) * | 2023-08-10 | 2023-11-07 | 武汉大学 | 实景三维模型缺陷检测方法、装置、电子设备及存储介质 |
CN116721104A (zh) * | 2023-08-10 | 2023-09-08 | 武汉大学 | 实景三维模型缺陷检测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109255831B (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109255831A (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
CN113706714B (zh) | 基于深度图像和神经辐射场的新视角合成方法 | |
CN107945282B (zh) | 基于对抗网络的快速多视角三维合成和展示方法及装置 | |
CN110047144A (zh) | 一种基于Kinectv2的完整物体实时三维重建方法 | |
CN108510573A (zh) | 一种基于深度学习的多视点人脸三维模型重建的方法 | |
Kelly et al. | FrankenGAN: guided detail synthesis for building mass-models using style-synchonized GANs | |
CN110223370B (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
CN105205861B (zh) | 基于Sphere‑Board的树木三维可视化模型实现方法 | |
US12002150B2 (en) | Systems and methods for physically-based neural face shader via volumetric lightmaps | |
Weng et al. | Vid2actor: Free-viewpoint animatable person synthesis from video in the wild | |
CN115298708A (zh) | 多视角神经人体渲染 | |
CN116664782B (zh) | 一种基于融合体素的神经辐射场三维重建方法 | |
WO2021096190A1 (en) | Method for synthesizing 2d image of scene as viewed from desired viewpoint and electronic computing device implementing the same | |
CN112819951A (zh) | 一种基于深度图修复的带遮挡三维人体重建方法 | |
CN110490807A (zh) | 图像重建方法、装置及存储介质 | |
CN115428027A (zh) | 神经不透明点云 | |
Li et al. | Detailed 3D human body reconstruction from multi-view images combining voxel super-resolution and learned implicit representation | |
Kolos et al. | TRANSPR: Transparency ray-accumulating neural 3D scene point renderer | |
Cong et al. | Enhancing nerf akin to enhancing llms: Generalizable nerf transformer with mixture-of-view-experts | |
CN110379003A (zh) | 基于单张图像的三维头部重建方法 | |
CN116934972A (zh) | 一种基于双流网络的三维人体重建方法 | |
CN113129347B (zh) | 一种自监督单视图三维发丝模型重建方法及*** | |
CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
CN115018729A (zh) | 一种面向内容的白盒图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |