CN109035388B - 三维人脸模型重建方法及装置 - Google Patents
三维人脸模型重建方法及装置 Download PDFInfo
- Publication number
- CN109035388B CN109035388B CN201810690747.2A CN201810690747A CN109035388B CN 109035388 B CN109035388 B CN 109035388B CN 201810690747 A CN201810690747 A CN 201810690747A CN 109035388 B CN109035388 B CN 109035388B
- Authority
- CN
- China
- Prior art keywords
- model
- dimensional
- coefficients
- dimensional face
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000002310 reflectometry Methods 0.000 claims description 38
- 238000005286 illumination Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 13
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开一种三维人脸模型重建方法及装置，能提高三维人脸模型重建的精度和速度。方法包括：S1、获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；S2、将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；S3、根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
Description
技术领域
本发明实施例涉及图像处理技术领域，具体涉及一种三维人脸模型重建方法及装置。
背景技术
三维人脸重建主要有三种方法：手动建模，仪器采集和基于图像的少量交互或完全自动建模。手工建模作为最早的三维建模手段，现在仍然被广泛地使用。手工建模一般需要有经验的专业人士借助Autodesk Maya、3DMax等软件来完成。由于手动建模需要耗费大量的人力与时间，三维人脸建模仪器作为更为方便的方法得到了长期的研究和发展。其中的典型代表有基于结构光和激光扫描技术的精密三维采集仪器和深度相机等。基于精密仪器采集的三维模型，精度可达毫米级，是物体的真实三维数据，可以用来为基于图像的建模方法提供评价数据库，但这些设备一般价格高昂，且使用需经过专业培训，不适合于消费级的市场。最近，市场上出现了Microsoft Kinect、Intel RealSense、PrimeSense等深度相机，研究者可以利用深度相机采集到的深度信息来重建三维模型。和精密采集仪器相比，深度相机价格较低廉且更易于使用，但相比于RGB相机而言，这些设备仍较为少见。基于图像的建模技术是指通过多张或单张人脸图像来重建三维人脸模型。和人脸建模仪器相比，基于图像的建模方法只需要传统RGB相机采集的人脸图片，因此应用场景更为广泛。
由于人脸具有较多共性，如具有特定数目的眼睛，嘴巴，鼻子，耳朵且相对位置不变，因此可以建立一个人脸的参数化模型，将复杂的三维人脸参数化到一个低维的空间。传统的基于图像的三维人脸建模技术一般把参数化模型作为先验，利用人脸关键点信息和颜色信息来优化参数化模型的相关系数。但这些方法存在一些问题：基于关键点信息的优化仅利用了稀疏的关键点信息，三维重建精度较低；基于颜色的优化要经过比较耗时的计算，且对光照比较敏感。
发明内容
针对现有技术存在的不足和缺陷，本发明实施例提供一种三维人脸模型重建方法及装置。
一方面，本发明实施例提出一种三维人脸模型重建方法，包括：
S1、获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；
S2、将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；
S3、根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
另一方面，本发明实施例提出一种三维人脸模型重建装置，包括：
第一输入单元，用于获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；
第二输入单元，用于将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；
重建单元，用于根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。
本发明实施例提供的三维人脸模型重建方法及装置，通过获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型，既利用了完整的人脸图像信息，又避免了复杂耗时的优化过程，而且不用预先检测输入人脸图片的关键点信息，因而能提高三维人脸模型重建的精度和速度。
附图说明
图1为本发明三维人脸模型重建方法一实施例的流程示意图；
图2为本发明三维人脸模型重建装置一实施例的结构示意图；
图3为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。
参看图1，本实施例公开一种三维人脸模型重建方法，包括：
S1、获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；
S2、将所述参数化三维人脸模型得到的模型xyz坐标和对应彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；
S3、根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
本发明实施例提供的三维人脸模型重建方法，通过获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型，既利用了完整的人脸图像信息，又避免了复杂耗时的优化过程，而且不用预先检测输入人脸图片的关键点信息，因而能提高三维人脸模型重建的精度和速度。
在前述方法实施例的基础上，在所述S1之前，还可以包括：
训练所述粗学习网络，其中，所述粗学习网络的loss函数为：
上式中第一项Egeo使得重建模型和深度图的几何信息一致,第二项Ecol使得合成纹理和实际纹理一致，第三项Elan使得重建模型上的关键点投影到彩色图上和实际检测到的关键点接近，第四项Ereg使得回归出的人脸系数不会出现奇怪的形状和反射率，第五项Eflo使得相邻两帧之间模型的移动和彩色图之间的光流一致，最后一项Esam使得同一个人任意两帧之间的身份系数和反射率系数相同。训练中，会同时采样一个人相邻帧和非相邻帧的图片对。wcol,wlan，wreg，wflo，wsam用来调节各项的权重。
下面对上式中各项进行详细说明。
Egeo(χ)＝wpp×Epp(χ)+wps×Eps(χ)，
这里，χ＝{αid,αexp,αalb,z,pitch,yaw,roll,t,γ}表示参数化三维人脸模型系数。其中，αid指身份基系数，αexp指表情基系数,αalb指反射率基系数，pitch代表围绕X轴旋转的欧拉角,yaw代表围绕Y轴旋转的欧拉角,roll代表围绕Z轴旋转的欧拉角，t＝(tx,ty,tz)指平移向量，tx、ty和tz分别表示X轴、Y轴和Z轴上的平移量，γ＝(γr,γg,γb)，γr、γg和γb分别表示图片在r、g和b通道上的光照系数。
记深度图上坐标(m,n)处的深度值为z，该像素点从图片坐标(m,n)转换成点云坐标(wx,wy,wz)的计算公式为：wx＝(n-cx)/fx·z,wy＝-(m-cy)/fy·z,wz＝-z，
其中，fx,fy分别是深度相机在x、y方向上的焦距，cx,cy分别是深度相机在x、y方向上的光心。
由参数化模型系数计算三维模型V的过程为：
其中，V是平均几何形状，bid、bexp、bez分别是身份基、表情基、局部基，R是由欧拉角pitch,yaw,roll得到的旋转矩阵，t是平移向量。
图片上人脸区域的像素点和三维模型上的点通过以下方式确定对应关系：
1)根据透视投影将三维模型上的点(wx,wy,wz)投影到图片上后，对应的图片坐标(m,n)为：m＝cx-wx·fx/wz,n＝cy+wy·fy/wz，其中fx,fy分别是深度相机在x、y方向上的焦距，cx,cy分别是深度相机在x、y方向上的光心；
2)对三维模型上的一个三角面片f，记其三个顶点分别为V1、V2、V3，首先根据1)计算出三个顶点V1、V2、V3在图片上的投影点P1、P2、P3；对图片上处在P1、P2、P3所组成三角形区域里的像素点P，根据P＝c1·P1+c2·P2+c3·P3计算出相对于三角面片f的重心坐标(c1,c2,c3)后,其对应的三维点取为c1·V1+c2·V2+c3·V3，若已经有三维点和该像素点对应过，则取z坐标更近的三维点。
Epp(χ)计算重建模型和点云之间点到点的距离，Eps(χ)计算重建模型和点云之间点到面的距离，wpp和wps用于调节权重。
具体的：
这里，F表示由三维模型投影到图片上后确定的人脸区域，psyn(m)是像素点m对应的三维网格点坐标(将三维模型通过面片投影、根据重心坐标插值得到)，preal(m′)是点云上距离psyn(m)最近一个点的三维坐标(m′表示该点在深度图上的位置)，是深度图上m′处的单位法向量。
这里，Isyn(m)表示像素点m处的合成纹理，Ireal(m)表示彩色图上像素点m处的实际纹理。
由参数化模型系数计算合成纹理的过程为：
1)皮肤反射率其中，/>是平均反射率，balb是反射率基；
2)光照条件L＝bsh·γ，其中，bsh是光照基(由法向根据球面调和函数构造得到)，γ是光照系数；
3)每个像素点的合成纹理表示：
对图片上的像素点P，在已知对应网格上三角面片f(面片的三个顶点分别为V1,V2,V3，三个顶点的反射率分别为T1,T2,T3)的重心坐标为(c1,c2,c3)后，该像素点处的反射率表示为T＝(c1·T1+c2·T2+c3·T3),再根据面片法向计算出该点的光照基bsh后,该点的合成纹理Isyn＝bsh·γ·T。
这里，L表示所有当前可见关键点编号的集合，qi表示彩色图上检测到的第i个关键点的图像坐标，pi表示重建模型上对应qi的三维关键点的三维坐标，R为旋转矩阵，t为平移向量，П表示透视投影。
αid,j和σid,j分别为第j个身份基的系数、第j个身份基的特征值，J为身份基的个数，αalb,k和σalb,k分别为第k个反射率基的系数、第k个反射率基的特征值，K为反射率基的个数，αexp,m和σexp,m分别为第j个表情基的系数、第j个表情基的特征值，M为表情基的个数。
这里，p表示了像素点m对应三维点在三维模型上的相对位置信息(包括像素m对应三维模型上面片编号以及相应的重心坐标)，Projn(p)是根据第n帧参数化模型系数χn里的(αid,αexp,z)计算出三维模型形状后，再根据第n帧参数化模型系数χn里的姿态信息(pitch,yaw,roll,t)投影后计算出来的在图像平面里的位置，f(m)是像素点m从第n-1帧图片上的位置移动到第n帧图片上的位置的光流。该loss是为了增加前后帧的稳定性，从而减小模型的抖动。
这里χn1,χn2分别表示同一个人第n1帧照片、第n2帧照片对应的参数化模型系数，αid,n1,αid,n2分别表示同一个人第n1帧照片、第n2帧照片对应的身份基系数，αalb,n1,αalb,n2分别表示同一个人第n1帧照片、第n2帧照片对应的反射率基系数。该loss是为了使得同一人在不同帧下得到的身份基系数、反射率基系数能够保持一致。
本实施例中，训练好的粗学***移系数和光照系数。
三维人脸模型，采用三维形变模型的表示方法。其中，任意三维人脸模型的形状通过平均形状、身份基、表情基、局部基线性表达。通过对中性表情的三维人脸模型做主成分分析可以得到身份基；通过对所有带表情三维人脸模型减去对应身份的中性表情三维人脸模型后的结果做主成分分析可以得到表情基。在确定出身份基系数、表情基系数、局部基系数后，即可确定出待重建的三维人脸模型的形状。
任意三维人脸模型的皮肤反射率通过平均反射率、反射率基线性表达。在确定出反射率基系数后，即可确定出待重建的三维人脸模型的皮肤反射率。
对于投影模型，具体可以采用标准的针孔相机模型渲染三维人脸模型，该过程可以表示为：这里/>和/>是网格点i分别在世界坐标系和图像平面里的位置，其中R是旋转矩阵，t是平移向量，П表示透视投影。在确定出欧拉角和平移系数后，即可确定出旋转矩阵和平移向量，则可以确定出待重建的三维人脸模型的各个网格点坐标，继而可以确定出各个网格点法向。
而对于待重建的三维人脸模型的各个网格点的颜色，假设人脸是一个朗博表面，每个网格点的颜色由该网格点法向和皮肤反射率以及光照系数共同决定。在确定出光照系数、各个网格点法向和皮肤反射率后，即可确定出待重建的三维人脸模型的各个网格点颜色。
本实施例中，采集训练数据时考虑了表情、光照条件，并在训练阶段做了数据增强，所以训练出的粗学习网络对复杂表情、复杂光照的情况都能有很好的适应性，而且训练阶段考虑了前后相关约束、固定身份约束，对各种测试集都有比较稳定的表现。
在前述方法实施例的基础上，在所述S2之前，还可以包括：
训练所述细学习网络，其中，所述细学习网络的loss函数为：
Eloss＝Esh(d)+Esm(d)+Ecl(dn,dn-1)，
上式中第一项使得合成纹理的亮度值和实际纹理的亮度值接近且合成纹理的阴影信息和实际纹理的阴影项一致，第二项使得加了偏移之后的重建模型比较光滑且和粗网络输出的模型总体接近，第三项使得相邻帧的面片法向接近。
下面对上式中各项进行详细说明。
其中，T代表三维模型上的三角面片集合，E代表三维模型上的网格边集合，I(nl|bl,γ)是像素点l处合成纹理的亮度值，nl是像素点l处的法向，bl是像素点l处的反射率，γ是光照系数，cl是像素点l处的亮度值，wface和wedge用于调节权重。这里，反射率、光照系数固定，通过更新法向进而更新光照基后，计算得到的新的合成纹理。
其中，V表示重建模型上所有的网格点，d表示重建模型每个网格顶点的坐标偏移，pv表示加了偏移d之后重建模型的第v个网格点坐标，Δpv是重建模型上第v个网格点的拉普拉斯向量，wsm和wmi用于调节权重。
其中，dn表示第n帧重建模型上所有网格顶点坐标的偏移，Q表示重建模型上面片的集合，nn,q表第n帧重建模型上第q个面片的法向，wcl用于调节权重。
本实施例中，采用了自学习的方法来训练粗学习网络和细学习网络，不需要构建训练集中每一帧深度图和彩色图所对应的真实三维模型。
在训练粗学习网络和细学习网络时，计算了不同帧之间的损失项，可以保证相邻帧通过网络学习得到的三维模型不会有很大的变化。
参看图2，本实施例公开一种三维人脸模型重建装置，包括：
第一输入单元1，用于获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；
第二输入单元2，用于将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；
重建单元3，用于根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
具体地，所述第一输入单元1获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；所述第二输入单元2将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；所述重建单元3根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
本发明实施例提供的三维人脸模型重建装置，通过获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型，既利用了完整的人脸图像信息，又避免了复杂耗时的优化过程，而且不用预先检测输入人脸图片的关键点信息，因而能提高三维人脸模型重建的精度和速度。
在前述装置实施例的基础上，所述装置还可以包括：
第一训练单元，用于在所述第一输入单元工作之前，训练所述粗学习网络，其中，所述粗学习网络的loss函数为：
上式中wcol,wlan，wreg，wflo，wsam用来调节各项的权重，
Egeo(χ)＝wpp×Epp(χ)+wps×Eps(χ)，
χ＝{αid,αexp,αalb,z,pitch,yaw,roll,t,γ}表示参数化三维人脸模型系数，其中，αid指身份基系数，αexp指表情基系数,αalb指反射率基系数，pitch代表围绕X轴旋转的欧拉角,yaw代表围绕Y轴旋转的欧拉角,roll代表围绕Z轴旋转的欧拉角，t＝(tx,ty,tz)指平移向量，tx、ty和tz分别表示X轴、Y轴和Z轴上的平移量，γ＝(γr,γg,γb)，γr、γg和γb分别表示图片在r、g和b通道上的光照系数，
wpp和wps用于调节权重，
F表示由三维模型投影到图片上后确定的人脸区域，psyn(m)是像素点m对应的三维网格点坐标，preal(m′)是点云上距离psyn(m)最近一个点的三维坐标，m′表示该点在深度图上的位置，是深度图上m′处的单位法向量，
Isyn(m)表示像素点m处的合成纹理，Ireal(m)表示彩色图上像素点m处的实际纹理，
L表示所有当前可见关键点编号的集合，qi表示彩色图上检测到的第i个关键点的图像坐标，pi表示重建模型上对应qi的三维关键点的三维坐标，R为旋转矩阵，П表示透视投影，
αid,j和σid,j分别为第j个身份基的系数、第j个身份基的特征值，J为身份基的个数，αalb,k和σalb,k分别为第k个反射率基的系数、第k个反射率基的特征值，K为反射率基的个数，αexp,m和σexp,m分别为第j个表情基的系数、第j个表情基的特征值，M为表情基的个数，
p表示了像素点m对应三维点在三维模型上的相对位置信息，Projn(p)是根据第n帧参数化模型系数χn里的(αid，αexp，z)计算出三维模型形状后，再根据第n帧参数化模型系数χn里的姿态信息(pitch，yaw，roll，t)投影后计算出来的在图像平面里的位置，f(m)是像素点m从第n-1帧图片上的位置移动到第n帧图片上的位置的光流。
这里χn1，χn2分别表示同一个人第n1帧照片、第n2帧照片对应的参数化模型系数，
αid，n1，αid，n2分别表示同一个人第n1帧照片、第n2帧照片对应的身份基系数，αa1b，n1，αa1b，n2分别表示同一个人第n1帧照片、第n2帧照片对应的反射率基系数。
在前述装置实施例的基础上，所述装置还可以包括：
第二训练单元，用于在所述第二输入单元工作之前，训练所述细学习网络，其中，所述细学习网络的loss函数为：
Eloss＝Esh(d)+Esm(d)+Ecl(dn，dn-1)，
其中，T代表三维模型上的三角面片集合，E代表三维模型上的网格边集合，I(n1|b1，γ)是像素点1处合成纹理的亮度值，n1是像素点1处的法向，b1是像素点1处的反射率，γ是光照系数，c1是像素点1处的亮度值，Wface和Wedge用于调节权重，
其中，V表示重建模型上所有的网格点，d表示重建模型每个网格顶点的坐标偏移，pv表示加了偏移d之后重建模型的第V个网格点坐标，Δpv是重建模型上第V个网格点的拉普拉斯向量，Wsm和Wmi用于调节权重，
其中，dn表示第n帧重建模型上所有网格顶点坐标的偏移，Q表示重建模型上面片的集合，nn，q表第n帧重建模型上第q个面片的法向，Wcl用于调节权重。
在前述装置实施例的基础上，所述参数化三维人脸模型系数可以包括：身份基系数、表情基系数、局部基系数、反射率基系数、欧拉角、平移系数和光照系数。
本实施例的三维人脸模型重建装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图3示出了本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器11、存储器12、总线13及存储在存储器12上并可在处理器11上运行的计算机程序；
其中，所述处理器11，存储器12通过所述总线13完成相互间的通信；
所述处理器11执行所述计算机程序时实现上述各方法实施例所提供的方法，例如包括：获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例所提供的方法，例如包括：获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (6)
1.一种三维人脸模型重建方法，其特征在于，包括：
S1、训练粗学习网络，获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；其中，所述粗学习网络的loss函数为：
Eloss＝Egeo+wcol×Ecol+wlan×Elan+wreg×Ereg+wflo×Eflo+wsam×Esam
上式中wcol，wlan，wreg，wflo，wsam用来调节各项的权重，Egeo(χ)＝Wpp×Epp(χ)+Wps×Eps(χ)，χ＝{αid，αexp，αalb，z，pitch，yaw，roll，t，γ}表示参数化三维人脸模型系数，其中，αid指身份基系数，αexp指表情基系数，αalb指反射率基系数，pitch代表围绕X轴旋转的欧拉角，yaw代表围绕Y轴旋转的欧拉角，roll代表围绕Z轴旋转的欧拉角，t＝(tx，ty，tz)指平移向量，tx、ty和tz分别表示X轴、Y轴和Z轴上的平移量，γ＝(γr，γg，γb)，γr、γg和γb分别表示图片在r、g和b通道上的光照系数，wpp和Wps用于调节权重，
F表示由三维模型投影到图片上后确定的人脸区域，psyn (m)是像素点m对应的三维网格点坐标，preal (m′)是点云上距离psyn (m)最近一个点的三维坐标，m′表示该点在深度图上的位置，是深度图上m′处的单位法向量，
Isyn (m)表示像素点m处的合成纹理，Ireal (m)表示彩色图上像素点m处的实际纹理，
L表示所有当前可见关键点编号的集合，qi表示彩色图上检测到的第i个关键点的图像坐标，pi表示重建模型上对应qi的三维关键点的三维坐标，R为旋转矩阵，Π表示透视投影，
αid，j和σid，j分别为第j个身份基的系数、第j个身份基的特征值，J为身份基的个数，αalb，k和σalb，k分别为第k个反射率基的系数、第k个反射率基的特征值，K为反射率基的个数，αexp，m和σexp，m分别为第j个表情基的系数、第j个表情基的特征值，M为表情基的个数，
p表示了像素点m对应三维点在三维模型上的相对位置信息，Projn(p)是根据第n帧参数化模型系数χn里的(αid，αexp，z)计算出三维模型形状后，再根据第n帧参数化模型系数χn里的姿态信息(pitch，yaw，roll，t)投影后计算出来的在图像平面里的位置，f(m)是像素点m从第n-1帧图片上的位置移动到第n帧图片上的位置的光流，
这里χn1，χn2分别表示同一个人第n1帧照片、第n2帧照片对应的参数化模型系数，αid，n1，αid，n2分别表示同一个人第n1帧照片、第n2帧照片对应的身份基系数，αa1b，n1，αa1b，n2分别表示同一个人第n1帧照片、第n2帧照片对应的反射率基系数；
S2、训练细学习网络，将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；其中，所述细学习网络的loss函数为：
Eloss＝Esh(d)+Esm(d)+Ec1(dn，dn-1)，
其中，T代表三维模型上的三角面片集合，E代表三维模型上的网格边集合，I(n1|b1，γ)是像素点l处合成纹理的亮度值，n1是像素点l处的法向，bl是像素点l处的反射率，γ是光照系数，c1是像素点l处的亮度值，Wface和Wedge用于调节权重，
其中，V表示重建模型上所有的网格点，d表示重建模型每个网格顶点的坐标偏移，pv表示加了偏移d之后重建模型的第v个网格点坐标，Δpv是重建模型上第v个网格点的拉普拉斯向量，Wsm和Wmi用于调节权重，
其中，dn表示第n帧重建模型上所有网格顶点坐标的偏移，Q表示重建模型上面片的集合，nn，q表第n帧重建模型上第q个面片的法向，Wcl用于调节权重；
S3、根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
2.根据权利要求1所述的方法，其特征在于，所述参数化三维人脸模型系数包括：身份基系数、表情基系数、局部基系数、反射率基系数、欧拉角、平移系数和光照系数。
3.一种三维人脸模型重建装置，其特征在于，包括：
第一训练单元，用于在第一输入单元工作之前，训练所述粗学习网络，其中，所述粗学习网络的loss函数为：
Eloss＝Egeo+wcol×Ecol+wlan×Elan+wreg×Ereg+wflo×Eflo+wsam×Esam。
上式中wcol，wlan，wreg，wflo，wsam用来调节各项的权重，Egeo(χ)＝Wpp×Epp(χ)+Wps×Eps(χ)，χ＝{αid，αexp，αalb，z，pitch，yaw，roll，t，γ}表示参数化三维人脸模型系数，其中，αid指身份基系数，αexp指表情基系数，αalb指反射率基系数，pitch代表围绕X轴旋转的欧拉角，yaw代表围绕Y轴旋转的欧拉角，roll代表围绕Z轴旋转的欧拉角，t＝(tx，ty，tz)指平移向量，tx、ty和tz分别表示X轴、Y轴和Z轴上的平移量，γ＝(γr，γg，γb)，γr、γg和γb分别表示图片在r、g和b通道上的光照系数，
Wpp和Wps用于调节权重，
F表示由三维模型投影到图片上后确定的人脸区域，psyn(m)是像素点m对应的三维网格点坐标，preal(m′)是点云上距离psyn(m)最近一个点的三维坐标，m′表示该点在深度图上的位置，是深度图上m′处的单位法向量，
Isyn(m)表示像素点m处的合成纹理，Ireal(m)表示彩色图上像素点m处的实际纹理，
L表示所有当前可见关键点编号的集合，qi表示彩色图上检测到的第i个关键点的图像坐标，pi表示重建模型上对应qi的三维关键点的三维坐标，R为旋转矩阵，П表示透视投影，
αid，j和σid，j分别为第j个身份基的系数、第j个身份基的特征值，J为身份基的个数，αalb，k和σalb，k分别为第k个反射率基的系数、第k个反射率基的特征值，K为反射率基的个数，αexp，m和σexp，m分别为第j个表情基的系数、第j个表情基的特征值，M为表情基的个数，
p表示了像素点m对应三维点在三维模型上的相对位置信息，Projn(p)是根据第n帧参数化模型系数χn里的(αid，αexp，z)计算出三维模型形状后，再根据第n帧参数化模型系数χn里的姿态信息(pitch，yaw，roll，t)投影后计算出来的在图像平面里的位置，f(m)是像素点m从第n-1帧图片上的位置移动到第n帧图片上的位置的光流，
这里χn1，χn2分别表示同一个人第n1帧照片、第n2帧照片对应的参数化模型系数，
αid，n1，αid，n2分别表示同一个人第n1帧照片、第n2帧照片对应的身份基系数，αalb，n1，αalb，n2分别表示同一个人第n1帧照片、第n2帧照片对应的反射率基系数；
第一输入单元，用于获取待处理的人脸深度图和人脸彩色图，将所述待处理的人脸深度图和人脸彩色图输入预先训练好的粗学习网络，得到参数化三维人脸模型系数，根据所述参数化三维人脸模型系数确定初始的三维人脸模型；
第二训练单元，用于在第二输入单元工作之前，训练所述细学习网络，其中，所述细学习网络的loss函数为：
Eloss＝Esh(d)+Esm(d)+Ecl(dn，dn-1)，
其中，T代表三维模型上的三角面片集合，E代表三维模型上的网格边集合，I(n1|b1，γ)是像素点l处合成纹理的亮度值，n1是像素点l处的法向，bl是像素点l处的反射率，γ是光照系数，c1是像素点l处的亮度值，Wface和Wedge用于调节权重，
其中，V表示重建模型上所有的网格点，d表示重建模型每个网格顶点的坐标偏移，pv表示加了偏移d之后重建模型的第v个网格点坐标，Δpv是重建模型上第v个网格点的拉普拉斯向量，Wsm和Wmi用于调节权重，
其中，dn表示第n帧重建模型上所有网格顶点坐标的偏移，Q表示重建模型上面片的集合，nn，q表第n帧重建模型上第q个面片的法向，Wcl用于调节权重；
第二输入单元，用于训练细学习网络，将所述初始的三维人脸模型和人脸彩色图上的亮度值转化成4通道的UV图片，将所述UV图片输入预先训练好的细学习网络，得到待重建的三维人脸模型的各个网格点在各自法线方向上的偏移；
重建单元，用于根据所述参数化三维人脸模型系数和所述各个网格点在各自法线方向上的偏移重建三维人脸模型。
4.根据权利要求3所述的装置，其特征在于，所述参数化三维人脸模型系数包括：身份基系数、表情基系数、局部基系数、反射率基系数、欧拉角、平移系数和光照系数。
5.一种电子设备，其特征在于，包括：处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序；
其中，所述处理器，存储器通过所述总线完成相互间的通信；
所述处理器执行所述计算机程序时实现如权利要求1-2中任一项所述的方法。
6.一种非暂态计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-2中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810690747.2A CN109035388B (zh) | 2018-06-28 | 2018-06-28 | 三维人脸模型重建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810690747.2A CN109035388B (zh) | 2018-06-28 | 2018-06-28 | 三维人脸模型重建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109035388A CN109035388A (zh) | 2018-12-18 |
| CN109035388B true CN109035388B (zh) | 2023-12-05 |
Family
ID=65520731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810690747.2A Active CN109035388B (zh) | 2018-06-28 | 2018-06-28 | 三维人脸模型重建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035388B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111382618B (zh) * | 2018-12-28 | 2021-02-05 | 广州市百果园信息技术有限公司 | 一种人脸图像的光照检测方法、装置、设备和存储介质 |
| CN109978989B (zh) * | 2019-02-26 | 2023-08-01 | 腾讯科技（深圳）有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
| CN109920049B (zh) * | 2019-02-26 | 2021-05-04 | 清华大学 | 边缘信息辅助精细三维人脸重建方法及*** |
| CN110008873B (zh) * | 2019-04-25 | 2021-06-22 | 北京华捷艾米科技有限公司 | 面部表情捕捉方法、***及设备 |
| CN110059660A (zh) * | 2019-04-26 | 2019-07-26 | 北京迈格威科技有限公司 | 移动端平台3d人脸注册方法及装置 |
| CN110288705B (zh) * | 2019-07-02 | 2023-08-04 | 北京字节跳动网络技术有限公司 | 生成三维模型的方法和装置 |
| CN110458924B (zh) * | 2019-07-23 | 2021-03-12 | 腾讯科技（深圳）有限公司 | 一种三维脸部模型建立方法、装置和电子设备 |
| CN112767300B (zh) * | 2019-10-18 | 2024-07-09 | 宏达国际电子股份有限公司 | 自动生成手部的标注数据的方法和计算骨骼长度的方法 |
| CN111028330B (zh) * | 2019-11-15 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 三维表情基的生成方法、装置、设备及存储介质 |
| CN111275799B (zh) * | 2020-01-20 | 2021-03-23 | 北京字节跳动网络技术有限公司 | 动画的生成方法、装置和电子设备 |
| CN111325851B (zh) * | 2020-02-28 | 2023-05-05 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
| CN111402403B (zh) * | 2020-03-16 | 2023-06-20 | 中国科学技术大学 | 高精度三维人脸重建方法 |
| CN111460937B (zh) * | 2020-03-19 | 2023-12-19 | 深圳市新镜介网络有限公司 | 脸部特征点的定位方法、装置、终端设备及存储介质 |
| CN111489435B (zh) * | 2020-03-31 | 2022-12-27 | 天津大学 | 基于单图像的自适应三维人脸重建方法 |
| CN111524216B (zh) * | 2020-04-10 | 2023-06-27 | 北京百度网讯科技有限公司 | 生成三维人脸数据的方法和装置 |
| CN112241933A (zh) * | 2020-07-15 | 2021-01-19 | 北京沃东天骏信息技术有限公司 | 人脸图像处理方法、装置、存储介质及电子设备 |
| CN111968169B (zh) * | 2020-08-19 | 2024-01-19 | 北京拙河科技有限公司 | 动态人体三维重建方法、装置、设备和介质 |
| CN112002014B (zh) * | 2020-08-31 | 2023-12-15 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、***、装置 |
| CN112734895B (zh) * | 2020-12-30 | 2024-07-05 | 科大讯飞股份有限公司 | 一种三维人脸处理方法及电子设备 |
| CN113052953B (zh) * | 2021-04-16 | 2023-11-24 | 南京大学 | 基于变化光源人脸图像的人脸本质参数确定方法及*** |
| CN113610971B (zh) * | 2021-09-13 | 2024-07-02 | 杭州海康威视数字技术股份有限公司 | 一种细粒度三维模型构建方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
| CN107358648A (zh) * | 2017-07-17 | 2017-11-17 | 中国科学技术大学 | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 |
| CN107680158A (zh) * | 2017-11-01 | 2018-02-09 | 长沙学院 | 一种基于卷积神经网络模型的三维人脸重建方法 |
| CN107958444A (zh) * | 2017-12-28 | 2018-04-24 | 江西高创保安服务技术有限公司 | 一种基于深度学习的人脸超分辨率重建方法 |
-
2018
- 2018-06-28 CN CN201810690747.2A patent/CN109035388B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016110005A1 (zh) * | 2015-01-07 | 2016-07-14 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
| CN107358648A (zh) * | 2017-07-17 | 2017-11-17 | 中国科学技术大学 | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 |
| CN107680158A (zh) * | 2017-11-01 | 2018-02-09 | 长沙学院 | 一种基于卷积神经网络模型的三维人脸重建方法 |
| CN107958444A (zh) * | 2017-12-28 | 2018-04-24 | 江西高创保安服务技术有限公司 | 一种基于深度学习的人脸超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| Learning Detailed Face Reconstruction from a Single Image;Elad Richardson 等;《2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109035388A (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035388B (zh) | 三维人脸模型重建方法及装置 | |
| CN112258390B (zh) | 一种高精度微观虚拟学习资源生成方法 | |
| CN113012293B (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
| CN106067190B (zh) | 一种基于单幅图像的快速人脸三维模型生成和变换方法 | |
| US7522163B2 (en) | Method and apparatus for determining offsets of a part from a digital image | |
| CN110349251A (zh) | 一种基于双目相机的三维重建方法及装置 | |
| JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
| Brostow et al. | Video normals from colored lights | |
| CN107240129A (zh) | 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法 | |
| CN107506714A (zh) | 一种人脸图像重光照的方法 | |
| CN107358648A (zh) | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 | |
| CN110310285B (zh) | 一种精确的基于三维人体重建的烧伤面积计算方法 | |
| CN105869160A (zh) | 利用Kinect实现三维建模和全息显示的方法及*** | |
| JP2002133446A (ja) | 顔画像処理方法およびシステム | |
| CN109816784B (zh) | 三维重构人体的方法和***及介质 | |
| JP2003115042A (ja) | ３次元形状モデルの評価方法および生成方法並びに装置 | |
| Kersten et al. | Automatic texture mapping of architectural and archaeological 3d models | |
| CN110717978A (zh) | 基于单张图像的三维头部重建方法 | |
| JP7476511B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| Santoši et al. | Reconstruction of 3D models of cast sculptures using close-range photogrammetry | |
| Nguyen et al. | High-definition texture reconstruction for 3D image-based modeling | |
| JP2004252603A5 (zh) | ||
| CN116797733A (zh) | 实时三维物体动态重建方法 | |
| Ikeuchi et al. | Modeling from reality: creating virtual reality models through observation | |
| CN108986157A (zh) | 一种基于双目相机的虚拟发型交互装置及使用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220706 Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei City, Anhui Province Applicant after: Hefei lushenshi Technology Co.,Ltd. Address before: 100000 room 3032, gate 6, building B, 768 Creative Industry Park, No. 5, Xueyuan Road, Haidian District, Beijing Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |