CN108062791A - 一种重建人脸三维模型的方法和装置 - Google Patents
一种重建人脸三维模型的方法和装置 Download PDFInfo
- Publication number
- CN108062791A CN108062791A CN201810032056.3A CN201810032056A CN108062791A CN 108062791 A CN108062791 A CN 108062791A CN 201810032056 A CN201810032056 A CN 201810032056A CN 108062791 A CN108062791 A CN 108062791A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- model
- specified
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 61
- 230000000694 effects Effects 0.000 claims abstract description 43
- 238000013519 translation Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000000513 principal component analysis Methods 0.000 claims description 18
- 238000012935 Averaging Methods 0.000 claims description 16
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000001815 facial effect Effects 0.000 description 10
- 241000208340 Araliaceae Species 0.000 description 6
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 6
- 235000003140 Panax quinquefolius Nutrition 0.000 description 6
- 235000008434 ginseng Nutrition 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种重建人脸三维模型的方法、装置、电子设备和计算机可读存储介质，该方法包括：根据包含指定人脸的二维图像/视频，检测出指定人脸的二维特征点集合S；构建初始的人脸三维模型，通过将初始的人脸三维模型中的三维特征点投影到二维空间后与S中的二维特征点进行拟合，估计出指定人脸的三维模型参数；根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。可见，通过本发明的技术方案，指定人脸三维模型参数根据图像或视频中的指定人脸的二维特征点获取的，与指定人脸的特征相符合，然后利用三维模型参数对人脸进行特效处理，使得特效处理后的人脸更加真实生动，增强用户的体验。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种重建人脸三维模型的方法、装置、电子设备和计算机可读存储介质。
背景技术
目前，许多的智能终端的应用中都出现了对图像或视频中的人脸进行特效处理的功能模块，特别是相机应用中。用户在使用过程中，该功能模块可将用户选择的特效模型添加到图像或视频中的人脸中。但是，现有技术中基本上都是将选择的特效模型机械的添加当图像或视频中的人脸上，不免给人一种不真实的视觉体验，降低用户的体验。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的重建人脸三维模型的方法、装置、电子设备和计算机可读存储介质。
根据本发明的一个方面，提供了一种重建人脸三维模型的方法，其中，该方法包括：
根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；
构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；
根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。
可选地，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数包括：
根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。
可选地，所述构建初始的人脸三维模型包括：
确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析PCA方法的基，α是三维重建系数；
为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；
获得初始的人脸三维模型RV。
可选地，
根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。
可选地，所述根据公式||Proj(RV)-S||2进行拟合计算包括：
采用梯度下降法对R和α分别进行优化，直到||Proj(RV)-S||2收敛。
可选地，根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理包括：
将作为人脸三维模型参数之一的旋转平移矩阵R应用到三维萌颜模型G上，得到旋转平移后的三维萌颜模型RG；
将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上。
可选地，将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上，该方法进一步包括：
通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断较旋转平移后的三维萌颜模型与图像/视频中的指定人脸的遮挡关系。
可选地，根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理包括：
将作为人脸三维模型参数之一的三维重建系数α应用到换脸模型上，得到三维重建后的换脸模型；
将三维重建后的换脸模型投影到图像/视频中的指定人脸上。
根据本发明的另一方面，提供了一种重建人脸三维模型的装置，其中，该装置包括：
检测单元，适于根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；
参数估计单元，适于构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；
处理单元，适于根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。
可选地，
所述参数估计单元，适于根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。
可选地，
所述参数估计单元，适于确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析PCA方法的基，α是三维重建系数；为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；获得初始的人脸三维模型RV。
可选地，所述参数估计单元，适于根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。
可选地，
所述参数估计单元，适于采用梯度下降法对R和α分别进行优化，直到||Proj(RV)-S||2收敛。
可选地，
所述处理单元，适于将作为人脸三维模型参数之一的旋转平移矩阵R应用到三维萌颜模型G上，得到旋转平移后的三维萌颜模型RG；将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上。
可选地，所述处理单元，适于将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上，通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断较旋转平移后的三维萌颜模型与图像/视频中的指定人脸的遮挡关系。
可选地，
所述处理单元，适于将作为人脸三维模型参数之一的三维重建系数α应用到换脸模型上，得到三维重建后的换脸模型；将三维重建后的换脸模型投影到图像/视频中的指定人脸上。
根据本发明的又一方面，提供了一种电子设备，其中，该电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据前述的方法。
根据本发明的再一方面，提供了一种计算机可读存储介质，其中，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的方法。
根据本发明的技术方案，根据包含指定人脸的二维图像/视频，检测出指定人脸的二维特征点集合S；构建初始的人脸三维模型，通过将初始的人脸三维模型中的三维特征点投影到二维空间后与S中的二维特征点进行拟合，估计出指定人脸的三维模型参数；根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。可见，通过本发明的技术方案，指定人脸三维模型参数根据图像或视频中的指定人脸的二维特征点获取的，与指定人脸的特征相符合，然后利用三维模型参数对人脸进行特效处理，使得特效处理后的人脸更加真实生动，增强用户的体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的重建人脸三维模型的方法的流程示意图；
图2示出了根据本发明一个实施例的指定人脸的三维模型参数的估计方法的流程示意图；
图3示出了根据本发明一个实施例的重建人脸三维模型的装置的结构示意图；
图4示出了根据本发明一个实施例的电子设备的结构示意图；
图5示出了根据本发明一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的重建人脸三维模型的方法的流程示意图。如图1所示，该方法包括：
步骤S110，根据包含指定人脸的二维图像/视频，检测出指定人脸的二维特征点集合S。
这里的检测出的人脸特征点可以采用是二维坐标的形式进行表示，例如，特征点1可表示为(x_1，y_1),且本实施例中的二维特征点集合S中包含了多个二维特征点，例如，S＝{x_1,y_1,x_2,y_2,...x_N,y_N}，以此表示检测出的图像或视频中的人脸的多个二维特征点。在本实施例中，二维特征点可以是二维图像或视频中的指定人脸中体现其姿态或表情的关键点，例如，眉毛、眼角、鼻尖、唇线脸部轮廓线等上的点，在二维特征点集合S中记录这些点的二维坐标。
步骤S120，构建初始的人脸三维模型，通过将初始的人脸三维模型中的三维特征点投影到二维空间后与S中的二维特征点进行拟合，估计出指定人脸的三维模型参数。
在二维图像或视频中的指定人脸是二维的，为了使得特效处理后的人脸更加生动，本实施例中，首先构建初始的人脸三维模型，并与指定人脸的二维特征点集合S进行拟合，重建对应的人脸三维模型，获得相应的三维模型参数，就可以标识出指定人脸的表情姿态等人脸的状态，与指定人脸的特征相符合。
步骤S130，根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。
通过本实施例，人脸三维模型参数根据图像或视频中的人脸获取的，人脸三维模型参数可以准确地标识出图像或视频中人脸的三维表情姿态，然后利用三维模型参数对人脸进行特效处理，使得特效处理后的人脸更加真实生动，增强用户的体验。
在本发明的一个实施例中，步骤S120中的通过将初始的人脸三维模型中的三维特征点投影到二维空间后与S中的二维特征点进行拟合，估计出指定人脸的三维模型参数包括：根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。
在本实施例中，Proj表示三维空间点在二维空间上的投影，则Proj(RV)是指初始的人脸三维模型中的三维空间点在二维空间上的位置。利用公式||Proj(RV)-S||2进行拟合，是使重建后的三维关键点跟检测到的二维特征点在二维空间里能够对应。初始的人脸三维模型中包括有人脸三维模型参数，不断的调整人脸三维模型参数，当初始人脸三维模型中的三维特征点在二维空间上的投影与S中的二维特征点越接近，即公式||Proj(RV)-S||2越收敛，这时的人脸三维模型参数就确定是与指定人脸对应的人脸三维模型参数。
这里的V是三维重建点集合，这里的V中的三维重建点与S中的二维特征点一一对应，例如，S中包括嘴角的特征点，则V中也需要对应的嘴角的三维重建点。
进一步地，上述的构建初始的人脸三维模型包括：确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析(PrincipalComponent Analysis，PCA)方法的基，α是三维重建系数；为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；获得初始的人脸三维模型RV。
本实施例中，因为这里的和A是已知的，当||Proj(RV)-S||2收敛时，就可以得到未知数R和α，即当初始的人脸三维模型中的三维关键点跟检测到的二维特征点集合S中的二维特征点在二维空间对应时的R和α。这样，因为人脸三维模型参数R和α是根据图像或视频中的人脸获得的，再利用得到的人脸三维模型参数R和α对人脸进行特效处理，就可以使得图像或视频中的经过特效处理后的人脸更加真实生动。
在本实施例中，R是旋转平移矩阵，包括三个方向上的旋转角度三个水平移动变量，如，pitch是围绕X轴旋转，也叫做俯仰角；yaw是围绕Y轴旋转，也叫偏航角；roll是围绕Z轴旋转，也叫翻滚角；tx是在X轴方向的平移量；ty是在Y轴方向的平移量；tz是在Z轴方向的平移量。通过R就可以将视频或图像中的人脸的姿态，例如，转头、抬头或者摇头等姿态表示出来。因为，初始的人脸三维模型RV中包括了需要获得的指定人脸的三维模型参数，在进行初始的人脸三维模型RV构建时，为了获取一个初始RV，则先为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值，然后再初始值的基础上利用上述的公式进行拟合。
在本实施例中，主成分分析PCA是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法。该方法不仅仅是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式。PCA把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。在人脸识别中，输入200*200像素大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面的数据处理将带来极大的难度，采用PCA算法，就可以用一个低维子空间描述人脸图像，同时用保存了识别所需要的信息。在本实施例中，通过主成分分析PCA，可以获得人脸的三维平均模型中的关键点信息，而排除了次要信息，有利于提高三维模型的重建的准确性和效率。
在本发明的一个实施例中，上述的和A均是利用人脸三维模型库中的数据进行获得的，即根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。
在本实施例中，人脸三维模型库中包含有具有各种各样的姿态的人脸模型以及带有各种各样表情的人脸模型，因此通过该人脸三维模型库中获得的和A可以涵盖各种各样的人脸姿态和表情。使用和A进行拟合，可以拟合得到与图像或视频中的人脸更加贴合的三维模型参数。
在本发明的一个实施例中，上述的根据公式||Proj(RV)-S||2进行拟合计算包括：采用梯度下降法对R和α分别进行优化，直到||Proj(RV)-S||2收敛。
R和α可以用梯度下降法来分别优化直到||Proj(RV)-S||2收敛为止。实际使用过程中，迭代2次就可以稳定准确地估计出各个3D参数。
图2示出了根据本发明一个实施例的指定人脸的三维模型参数的估计方法的流程示意图。如图2所示，该方法具体如下：
步骤S210，获取人脸图像；
步骤S220，对人脸图像进行人脸检测，若检测到人脸则执行步骤S230，若否，即没有检测到人脸，则执行步骤S210；
步骤S230，进行特征点定位，获取人脸二维特征点集合S＝{x_1,y_1,x_2,y_2,...x_N,y_N}，即检测到N个二维特征点。
步骤S240，利用公式||Proj(RV)-S||2进行3D拟合，找到min||Proj(RV)-S||2；
步骤S250，获得3D人脸模型V＝{x1,y1,z1,x2,y2,z2...xN,yN,zN}和旋转角度位移参数R，即旋转平移矩阵R＝{pitch,yaw,roll,tx,ty,tz}，这里的V是N个重建后的人脸三维模型的坐标，这里每一个三维点对应一个指定的二维特征点。
步骤S250中的3D人脸模型这里的和A是已知，则可以得到三维人脸PCA重建系数α，即三维重建系数。
在图2所示的方法中，步骤S240中进行拟合的过程具体包括：
步骤S241，估计3D人脸角度位移参数R；
步骤S242，估计3D人脸PCA模型重构参数α；
步骤S243，判断||Proj(RV)-S||2是否收敛，判断为是，则执行步骤S244输出三维模型重建参数R和α。若判断为否，则执行步骤S241。
在本发明的一个实施例中，步骤S130中的根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理包括：将作为人脸三维模型参数之一的旋转平移矩阵R应用到三维萌颜模型G上，得到旋转平移后的三维萌颜模型RG；将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上。
在本实施例中，将该重建后的人脸三维模型应用在三维萌颜特效处理的过程中，例如，3D三维萌颜模型可以由L个3D点坐标表示：G＝{x_1,y_1,z_1,...x_L,y_L,z_L}。首先将三维萌颜模型根据获得的旋转平移矩阵R中的pitch、yaw、roll进行旋转，利用tx、ty、tz进行平移，得到旋转平移后的三维萌颜模型RG。然后将RG投影到图像/视频中的指定人脸上，当三维萌颜模型在尺寸和角度上匹配后就可以使用，使得三维萌颜模型与图像或视频中的指定人脸进行良好的贴合，保证三维萌颜模型与指定人脸的姿态一致，使得特效处理后的指定人脸更加真实生动。
进一步地，将上述的旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上，图1所示的方法进一步包括：通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断较旋转平移后的三维萌颜模型与图像/视频中的指定人脸的遮挡关系。
在本实施例中，在对指定人脸进行处理时，为了更加体现特效处理后的人脸的真实性，需要保证三维萌颜模型与指定人脸的遮挡关系的准确。例如，三维萌颜模型是一个墨镜，将该墨镜投影到左侧脸朝前的人脸上时，因为左脸是朝前的，需要保证墨镜的左镜腿是显示在脸的前方，即左镜腿将左脸相应的部分遮挡，而因为右脸是朝后的，则需要确保墨镜的右镜腿是在右脸的后方，即右脸将墨镜的右镜腿遮挡。这样当右脸转到朝前的位置时，墨镜的右镜腿是在右脸的前方的，即将右脸对应的部分遮挡。
在本实施例中，是通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断。
在本发明的一个实施例中，步骤S130中的根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理包括：将作为人脸三维模型参数之一的三维重建系数α应用到换脸模型上，得到三维重建后的换脸模型；将三维重建后的换脸模型投影到图像/视频中的指定人脸上。
在本实施例中，将该重建后的人脸三维模型应用在换脸效处理的过程中，将指定人脸进行换脸处理时，为了确保换脸模型与指定人脸贴合，特别是表情姿态。利用三维重建系数应用到换脸模型上，得到三维重建后的换脸模型。然后将三维重建后的换脸模型投影到指定人脸上。这样，使得换脸模型与图像或视频中的指定人脸进行良好的贴合，保证换脸模型与指定人脸的表情一致，使得特效处理后的指定人脸更加真实生动。
图3示出了根据本发明一个实施例的重建人脸三维模型的装置的结构示意图。如图3所示，该重建人脸三维模型300包括：
检测单元310，适于根据包含指定人脸的二维图像/视频，检测出指定人脸的二维特征点集合S。
这里的检测出的人脸特征点可以采用是二维坐标的形式进行表示，例如，特征点1可表示为(x_1，y_1),且本实施例中的二维特征点集合S中包含了多个二维特征点，例如，S＝{x_1,y_1,x_2,y_2,...x_N,y_N}，以此表示检测出的图像或视频中的人脸的多个二维特征点。在本实施例中，二维特征点可以是二维图像或视频中的指定人脸中体现其姿态或表情的关键点，例如，眉毛、眼角、鼻尖、唇线脸部轮廓线等上的点，在二维特征点集合S中记录这些点的二维坐标。
参数估计单元320，适于构建初始的人脸三维模型，通过将初始的人脸三维模型中的三维特征点投影到二维空间后与S中的二维特征点进行拟合，估计出指定人脸的三维模型参数。
在二维图像或视频中的指定人脸是二维的，为了使得特效处理后的人脸更加生动，本实施例中，首先构建初始的人脸三维模型，并与指定人脸的二维特征点集合S进行拟合，重建对应的人脸三维模型，获得相应的三维模型参数，就可以标识出指定人脸的表情姿态等人脸的状态，与指定人脸的特征相符合。
处理单元330，适于根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。
通过本实施例，人脸三维模型参数根据图像或视频中的人脸获取的，人脸三维模型参数可以准确地标识出图像或视频中人脸的三维表情姿态，然后利用三维模型参数对人脸进行特效处理，使得特效处理后的人脸更加真实生动，增强用户的体验。
在本发明的一个实施例中，参数估计单元320，适于根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。
在本实施例中，Proj表示三维空间点在二维空间上的投影，则Proj(RV)是指初始的人脸三维模型中的三维空间点在二维空间上的位置。利用公式||Proj(RV)-S||2进行拟合，是使重建后的三维关键点跟检测到的二维特征点在二维空间里能够对应。初始的人脸三维模型中包括有人脸三维模型参数，不断的调整人脸三维模型参数，当初始人脸三维模型中的三维特征点在二维空间上的投影与S中的二维特征点越接近，即公式||Proj(RV)-S||2越收敛，这时的人脸三维模型参数就确定是与指定人脸对应的人脸三维模型参数。
这里的V是三维重建点集合，这里的V中的三维重建点与S中的二维特征点一一对应，例如，S中包括嘴角的特征点，则V中也需要对应的嘴角的三维重建点。
进一步地，参数估计单元320，适于确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析PCA方法的基，α是三维重建系数；为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；获得初始的人脸三维模型RV。
本实施例中，因为这里的和A是已知的，当||Proj(RV)-S||2收敛时，就可以得到未知数R和α，即当初始的人脸三维模型中的三维关键点跟检测到的二维特征点集合S中的二维特征点在二维空间对应时的R和α。这样，因为人脸三维模型参数R和α是根据图像或视频中的人脸获得的，再利用得到的人脸三维模型参数R和α对人脸进行特效处理，就可以使得图像或视频中的经过特效处理后的人脸更加真实生动。
在本实施例中，R是旋转平移矩阵，包括三个方向上的旋转角度三个水平移动变量，如，pitch是围绕X轴旋转，也叫做俯仰角；yaw是围绕Y轴旋转，也叫偏航角；roll是围绕Z轴旋转，也叫翻滚角；tx是在X轴方向的平移量；ty是在Y轴方向的平移量；tz是在Z轴方向的平移量。通过R就可以将视频或图像中的人脸的姿态，例如，转头、抬头或者摇头等姿态表示出来。因为，初始的人脸三维模型RV中包括了需要获得的指定人脸的三维模型参数，在进行初始的人脸三维模型RV构建时，为了获取一个初始RV，则先为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值，然后再初始值的基础上利用上述的公式进行拟合。
在本实施例中，主成分分析PCA是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法。该方法不仅仅是对高维数据进行降维，更重要的是经过降维去除了噪声，发现了数据中的模式。PCA把原先的n个特征用数目更少的m个特征取代，新特征是旧特征的线性组合，这些线性组合最大化样本方差，尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。在人脸识别中，输入200*200像素大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面的数据处理将带来极大的难度，采用PCA算法，就可以用一个低维子空间描述人脸图像，同时用保存了识别所需要的信息。在本实施例中，通过主成分分析PCA，可以获得人脸的三维平均模型中的关键点信息，而排除了次要信息，有利于提高三维模型的重建的准确性和效率。
在本发明的一个实施例中，参数估计单元320，适于根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。
在本实施例中，人脸三维模型库中包含有具有各种各样的姿态的人脸模型以及带有各种各样表情的人脸模型，因此通过该人脸三维模型库中获得的和A可以涵盖各种各样的人脸姿态和表情。使用和A进行拟合，可以拟合得到与图像或视频中的人脸更加贴合的三维模型参数。
在本发明的一个实施例中，参数估计单元320，适于采用梯度下降法对R和α分别进行优化，直到||Proj(RV)-S||2收敛。
R和α可以用梯度下降法来分别优化直到||Proj(RV)-S||2收敛为止。实际使用过程中，迭代2次就可以稳定准确地估计出各个3D参数。
图2示出了根据本发明一个实施例的指定人脸的三维模型参数的估计方法的流程示意图。如图2所示，该方法具体如下：
步骤S210，获取人脸图像；
步骤S220，对人脸图像进行人脸检测，若检测到人脸则执行步骤S230，若否，即没有检测到人脸，则执行步骤S210；
步骤S230，进行特征点定位，获取人脸二维特征点集合S＝{x_1,y_1,x_2,y_2,...x_N,y_N}，即检测到N个二维特征点。
步骤S240，利用公式||Proj(RV)-S||2进行3D拟合，找到min||Proj(RV)-S||2；
步骤S250，获得3D人脸模型V＝{x1,y1,z1,x2,y2,z2...xN,yN,zN}和旋转角度位移参数R，即旋转平移矩阵R＝{pitch,yaw,roll,tx,ty,tz}，这里的V是N个重建后的人脸三维模型的坐标，这里每一个三维点对应一个指定的二维特征点。
步骤S250中的3D人脸模型这里的和A是已知，则可以得到三维人脸PCA重建系数α，即三维重建系数。
在图2所示的方法中，步骤S240中进行拟合的过程具体包括：
步骤S241，估计3D人脸角度位移参数R；
步骤S242，估计3D人脸PCA模型重构参数α；
步骤S243，判断||Proj(RV)-S||2是否收敛，判断为是，则执行步骤S244输出三维模型重建参数R和α。若判断为否，则执行步骤S241。
在本发明的一个实施例中，处理单元330，适于将作为人脸三维模型参数之一的旋转平移矩阵R应用到三维萌颜模型G上，得到旋转平移后的三维萌颜模型RG；将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上。
在本实施例中，将该重建后的人脸三维模型应用在三维萌颜特效处理的过程中，例如，3D三维萌颜模型可以由L个3D点坐标表示：G＝{x_1,y_1,z_1,...x_L,y_L,z_L}。首先将三维萌颜模型根据获得的旋转平移矩阵R中的pitch、yaw、roll进行旋转，利用tx、ty、tz进行平移，得到旋转平移后的三维萌颜模型RG。然后将RG投影到图像/视频中的指定人脸上，当三维萌颜模型在尺寸和角度上匹配后就可以使用，使得三维萌颜模型与图像或视频中的指定人脸进行良好的贴合，保证三维萌颜模型与指定人脸的姿态一致，使得特效处理后的指定人脸更加真实生动。
进一步地，处理单元330，适于将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上，通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断较旋转平移后的三维萌颜模型与图像/视频中的指定人脸的遮挡关系。
在本实施例中，在对指定人脸进行处理时，为了更加体现特效处理后的人脸的真实性，需要保证三维萌颜模型与指定人脸的遮挡关系的准确。例如，三维萌颜模型是一个墨镜，将该墨镜投影到左侧脸朝前的人脸上时，因为左脸是朝前的，需要保证墨镜的左镜腿是显示在脸的前方，即左镜腿将左脸相应的部分遮挡，而因为右脸是朝后的，则需要确保墨镜的右镜腿是在右脸的后方，即右脸将墨镜的右镜腿遮挡。这样当右脸转到朝前的位置时，墨镜的右镜腿是在右脸的前方的，即将右脸对应的部分遮挡。
在本实施例中，是通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断。
在本发明的一个实施例中，处理单元330，适于将作为人脸三维模型参数之一的三维重建系数α应用到换脸模型上，得到三维重建后的换脸模型；将三维重建后的换脸模型投影到图像/视频中的指定人脸上。
在本实施例中，将该重建后的人脸三维模型应用在换脸效处理的过程中，将指定人脸进行换脸处理时，为了确保换脸模型与指定人脸贴合，特别是表情姿态。利用三维重建系数应用到换脸模型上，得到三维重建后的换脸模型。然后将三维重建后的换脸模型投影到指定人脸上。这样，使得换脸模型与图像或视频中的指定人脸进行良好的贴合，保证换脸模型与指定人脸的表情一致，使得特效处理后的指定人脸更加真实生动。
图1所示的方法以及各实施例还可以应用在出萌颜或换脸以外的其他应用中，如贴图等。
本发明还提供了一种电子设备，其中，该电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行根据图1所示的及其各实施例中的定位智能终端的方法。
图4示出了根据本发明一个实施例的电子设备的结构示意图。如图4所示，该电子设备400包括：
处理器410；以及被安排成存储计算机可执行指令(程序代码)的存储器420，在存储器420中，有存储程序代码的存储空间430，用于执行根据本发明的方法步骤的程序代码440存储在存储空间430中，该程序代码在被执行时使处理器410执行根据图1所示的及其各实施例中的定位智能终端的方法。
图5示出了根据本发明一个实施例的一种计算机可读存储介质的结构示意图。如图5所示，该计算机可读存储介质500存储一个或多个程序(程序代码)510，一个或多个程序(程序代码)510当被处理器执行时，实现图1所示的及其各实施例中的定位智能终端的方法。
需要说明的是，图4所示的电子设备和图5所示的计算机可读存储介质的各实施例与图1所示的方法的各实施例对应相同，上文已有详细说明，在此不再赘述。
综上所述，根据本发明的技术方案，根据包含指定人脸的二维图像/视频，检测出指定人脸的二维特征点集合S；构建初始的人脸三维模型，通过将初始的人脸三维模型中的三维特征点投影到二维空间后与S中的二维特征点进行拟合，估计出指定人脸的三维模型参数；根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。可见，通过本发明的技术方案，指定人脸三维模型参数根据图像或视频中的指定人脸的二维特征点获取的，与指定人脸的特征相符合，然后利用三维模型参数对人脸进行特效处理，使得特效处理后的人脸更加真实生动，增强用户的体验。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的重建人脸三维模型的装置、电子设备和计算机可读存储介质中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图4示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备400传统上包括处理器410和被安排成存储计算机可执行指令(程序代码)的存储器420。存储器420可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器420具有存储用于执行图1所示的以及各实施例中的任何方法步骤的程序代码440的存储空间430。例如，用于程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个程序代码440。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图5所述的计算机可读存储介质500。该计算机可读存储介质500可以具有与图4的电子设备中的存储器420类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的程序代码510，即可以由诸如410之类的处理器读取的程序代码，当这些程序代码由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明公开了A1、一种重建人脸三维模型的方法，其中，该方法包括：
根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；
构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；
根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。
A2、如A1所述的方法，其中，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数包括：
根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。
A3、如A2所述的方法，其中，所述构建初始的人脸三维模型包括：
确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析PCA方法的基，α是三维重建系数；
为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；
获得初始的人脸三维模型RV。
A4、如A3所述的方法，其中，
根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。
A5、如A3所述的方法，其中，所述根据公式||Proj(RV)-S||2进行拟合计算包括：
采用梯度下降法对R和α分别进行优化，直到||Proj(RV)-S||2收敛。
A6、如A2-A5中任一项所述的方法，其中，根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理包括：
将作为人脸三维模型参数之一的旋转平移矩阵R应用到三维萌颜模型G上，得到旋转平移后的三维萌颜模型RG；
将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上。
A7、如A6所述的方法，其中，将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上，该方法进一步包括：
通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断较旋转平移后的三维萌颜模型与图像/视频中的指定人脸的遮挡关系。
A8、如A3-A5任一项所述的方法，其中，根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理包括：
将作为人脸三维模型参数之一的三维重建系数α应用到换脸模型上，得到三维重建后的换脸模型；
将三维重建后的换脸模型投影到图像/视频中的指定人脸上。
本发明还公开了B9、一种重建人脸三维模型的装置，其中，该装置包括：
检测单元，适于根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；
参数估计单元，适于构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；
处理单元，适于根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。
B10、如B9所述的装置，其中，
所述参数估计单元，适于根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。
B11、如B10所述的装置，其中，
所述参数估计单元，适于确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析PCA方法的基，α是三维重建系数；为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；获得初始的人脸三维模型RV。
B12、如B11所述的装置，其中，
所述参数估计单元，适于根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。
B13、如B 11所述的装置，其中，
所述参数估计单元，适于采用梯度下降法对R和α分别进行优化，直到||Proj(RV)-S||2收敛。
B 14、如B10-B13中任一项所述的装置，其中，
所述处理单元，适于将作为人脸三维模型参数之一的旋转平移矩阵R应用到三维萌颜模型G上，得到旋转平移后的三维萌颜模型RG；将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上。
B15、如B14所述的装置，其中，所述处理单元，适于将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上，通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断较旋转平移后的三维萌颜模型与图像/视频中的指定人脸的遮挡关系。
B16、如B10-B 13任一项所述的装置，其中，
所述处理单元，适于将作为人脸三维模型参数之一的三维重建系数α应用到换脸模型上，得到三维重建后的换脸模型；将三维重建后的换脸模型投影到图像/视频中的指定人脸上。
本发明还公开了C17、一种电子设备，其中，该电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据A1～A8中任一项所述的方法。
本发明还公开了18、一种计算机可读存储介质，其中，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现A1～A8中任一项所述的方法。
Claims (10)
1.一种重建人脸三维模型的方法，其中，该方法包括：
根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；
构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；
根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。
2.如权利要求1所述的方法，其中，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数包括：
根据公式||Proj(RV)-S||2进行拟合计算，获得该公式收敛时的人脸三维模型参数；其中：RV是初始的人脸三维模型，V是人脸三维重建点集合，R为旋转平移矩阵；Proj表示三维空间点在二维空间上的投影。
3.如权利要求2所述的方法，其中，所述构建初始的人脸三维模型包括：
确定人脸三维重建点集合其中，是人脸的三维平均模型，A是人脸三维重建时主成分分析PCA方法的基，α是三维重建系数；
为旋转平移矩阵R所包括的三个旋转角度和三个水平移动变量设定初始值；
获得初始的人脸三维模型RV。
4.如权利要求3所述的方法，其中，
根据人脸三维模型库中的各人脸三维模型，计算人脸的三维平均模型以及计算人脸三维重建时主成分分析PCA方法的基A。
5.如权利要求3所述的方法，其中，所述根据公式||Proj(RV)-S||2进行拟合计算包括：
采用梯度下降法对R和α分别进行优化，直到||Proj(RV)-S||2收敛。
6.如权利要求2-5中任一项所述的方法，其中，根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理包括：
将作为人脸三维模型参数之一的旋转平移矩阵R应用到三维萌颜模型G上，得到旋转平移后的三维萌颜模型RG；
将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上。
7.如权利要求6所述的方法，其中，将旋转平移后的三维萌颜模型投影到图像/视频中的指定人脸上，该方法进一步包括：
通过比较旋转平移后的三维萌颜模型的深度信息和人脸全模型RV的深度信息来判断较旋转平移后的三维萌颜模型与图像/视频中的指定人脸的遮挡关系。
8.一种重建人脸三维模型的装置，其中，该装置包括：
检测单元，适于根据包含指定人脸的二维图像/视频，检测出所述指定人脸的二维特征点集合S；
参数估计单元，适于构建初始的人脸三维模型，通过将所述初始的人脸三维模型中的三维特征点投影到二维空间后与所述S中的二维特征点进行拟合，估计出所述指定人脸的三维模型参数；
处理单元，适于根据估计出的指定人脸的三维模型参数，对图像/视频中的人脸进行特效处理。
9.一种电子设备，其中，该电子设备包括：
处理器；以及，
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其中，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现权利要求1～7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810032056.3A CN108062791A (zh) | 2018-01-12 | 2018-01-12 | 一种重建人脸三维模型的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810032056.3A CN108062791A (zh) | 2018-01-12 | 2018-01-12 | 一种重建人脸三维模型的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108062791A true CN108062791A (zh) | 2018-05-22 |
Family
ID=62141622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810032056.3A Pending CN108062791A (zh) | 2018-01-12 | 2018-01-12 | 一种重建人脸三维模型的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108062791A (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN108833791A (zh) * | 2018-08-17 | 2018-11-16 | 维沃移动通信有限公司 | 一种拍摄方法和装置 |
| CN108965715A (zh) * | 2018-08-01 | 2018-12-07 | Oppo（重庆）智能科技有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
| CN109035394A (zh) * | 2018-08-22 | 2018-12-18 | 广东工业大学 | 人脸三维模型重建方法、装置、设备、***及移动终端 |
| CN109034013A (zh) * | 2018-07-10 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 一种人脸图像识别方法、装置及存储介质 |
| CN109064393A (zh) * | 2018-08-17 | 2018-12-21 | 广州酷狗计算机科技有限公司 | 人脸特效处理方法及装置 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109190533A (zh) * | 2018-08-22 | 2019-01-11 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109255830A (zh) * | 2018-08-31 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 三维人脸重建方法和装置 |
| CN109285215A (zh) * | 2018-08-28 | 2019-01-29 | 腾讯科技（深圳）有限公司 | 一种人体三维模型重建方法、装置和存储介质 |
| CN109299323A (zh) * | 2018-09-30 | 2019-02-01 | Oppo广东移动通信有限公司 | 一种数据处理方法、终端、服务器和计算机存储介质 |
| CN109299658A (zh) * | 2018-08-21 | 2019-02-01 | 腾讯科技（深圳）有限公司 | 脸部检测方法、脸部图像渲染方法、装置及存储介质 |
| CN109615688A (zh) * | 2018-10-23 | 2019-04-12 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建***及方法 |
| CN109920049A (zh) * | 2019-02-26 | 2019-06-21 | 清华大学 | 边缘信息辅助精细三维人脸重建方法及*** |
| CN110310318A (zh) * | 2019-07-03 | 2019-10-08 | 北京字节跳动网络技术有限公司 | 一种特效处理方法及装置、存储介质与终端 |
| CN110415341A (zh) * | 2019-08-01 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 一种三维人脸模型的生成方法、装置、电子设备及介质 |
| CN110458752A (zh) * | 2019-07-18 | 2019-11-15 | 西北工业大学 | 一种基于局部遮挡条件下的图像换脸方法 |
| CN110503714A (zh) * | 2019-07-23 | 2019-11-26 | 杭州美戴科技有限公司 | 一种个性化镜腿的自动设计方法 |
| CN110555815A (zh) * | 2019-08-30 | 2019-12-10 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| US20190392634A1 (en) * | 2018-10-23 | 2019-12-26 | Hangzhou Qu Wei Technology Co., Ltd. | Real-Time Face 3D Reconstruction System and Method on Mobile Device |
| WO2020019665A1 (zh) * | 2018-07-27 | 2020-01-30 | 北京微播视界科技有限公司 | 基于人脸的三维特效生成方法、装置和电子设备 |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
| CN112307817A (zh) * | 2019-07-29 | 2021-02-02 | ***通信集团浙江有限公司 | 人脸活体检测方法、装置、计算设备及计算机存储介质 |
| CN113632098A (zh) * | 2021-07-02 | 2021-11-09 | 华为技术有限公司 | 人脸图像处理方法、装置和车辆 |
| CN113628322A (zh) * | 2021-07-26 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN113689538A (zh) * | 2020-05-18 | 2021-11-23 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN114529685A (zh) * | 2022-02-21 | 2022-05-24 | 佛山虎牙虎信科技有限公司 | 三维风格人脸的生成方法、装置、设备及存储介质 |
| CN116993948A (zh) * | 2023-09-26 | 2023-11-03 | 粤港澳大湾区数字经济研究院(福田) | 一种人脸三维重建方法、***及智能终端 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN104036546A (zh) * | 2014-06-30 | 2014-09-10 | 清华大学 | 一种基于自适应形变模型的任意视角人脸三维重构方法 |
| CN107358648A (zh) * | 2017-07-17 | 2017-11-17 | 中国科学技术大学 | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 |
-
2018
- 2018-01-12 CN CN201810032056.3A patent/CN108062791A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN102999942A (zh) * | 2012-12-13 | 2013-03-27 | 清华大学 | 三维人脸重建方法 |
| CN104036546A (zh) * | 2014-06-30 | 2014-09-10 | 清华大学 | 一种基于自适应形变模型的任意视角人脸三维重构方法 |
| CN107358648A (zh) * | 2017-07-17 | 2017-11-17 | 中国科学技术大学 | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN109034013A (zh) * | 2018-07-10 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 一种人脸图像识别方法、装置及存储介质 |
| CN109034013B (zh) * | 2018-07-10 | 2023-06-13 | 腾讯科技（深圳）有限公司 | 一种人脸图像识别方法、装置及存储介质 |
| GB2589505A (en) * | 2018-07-27 | 2021-06-02 | Beijing Microlive Vision Tech Co Ltd | Three-dimensional special effect generation method and apparatus based on human face, and electronic device |
| WO2020019665A1 (zh) * | 2018-07-27 | 2020-01-30 | 北京微播视界科技有限公司 | 基于人脸的三维特效生成方法、装置和电子设备 |
| US11276238B2 (en) | 2018-07-27 | 2022-03-15 | Beijing Microlive Vision Technology Co., Ltd | Method, apparatus and electronic device for generating a three-dimensional effect based on a face |
| GB2589505B (en) * | 2018-07-27 | 2023-01-18 | Beijing Microlive Vision Tech Co Ltd | Method, apparatus and electronic device for generating a three-dimensional effect based on a face |
| CN108965715A (zh) * | 2018-08-01 | 2018-12-07 | Oppo（重庆）智能科技有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
| CN109147037A (zh) * | 2018-08-16 | 2019-01-04 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| WO2020034698A1 (zh) * | 2018-08-16 | 2020-02-20 | Oppo广东移动通信有限公司 | 基于三维模型的特效处理方法、装置和电子设备 |
| CN109064393A (zh) * | 2018-08-17 | 2018-12-21 | 广州酷狗计算机科技有限公司 | 人脸特效处理方法及装置 |
| CN108833791A (zh) * | 2018-08-17 | 2018-11-16 | 维沃移动通信有限公司 | 一种拍摄方法和装置 |
| CN108833791B (zh) * | 2018-08-17 | 2021-08-06 | 维沃移动通信有限公司 | 一种拍摄方法和装置 |
| CN109299658B (zh) * | 2018-08-21 | 2022-07-08 | 腾讯科技（深圳）有限公司 | 脸部检测方法、脸部图像渲染方法、装置及存储介质 |
| CN109299658A (zh) * | 2018-08-21 | 2019-02-01 | 腾讯科技（深圳）有限公司 | 脸部检测方法、脸部图像渲染方法、装置及存储介质 |
| CN109190533A (zh) * | 2018-08-22 | 2019-01-11 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN109035394B (zh) * | 2018-08-22 | 2023-04-07 | 广东工业大学 | 人脸三维模型重建方法、装置、设备、***及移动终端 |
| CN109035394A (zh) * | 2018-08-22 | 2018-12-18 | 广东工业大学 | 人脸三维模型重建方法、装置、设备、***及移动终端 |
| US11941753B2 (en) | 2018-08-27 | 2024-03-26 | Alibaba Group Holding Limited | Face pose estimation/three-dimensional face reconstruction method, apparatus, and electronic device |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
| CN109285215B (zh) * | 2018-08-28 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 一种人体三维模型重建方法、装置和存储介质 |
| CN109285215A (zh) * | 2018-08-28 | 2019-01-29 | 腾讯科技（深圳）有限公司 | 一种人体三维模型重建方法、装置和存储介质 |
| US11302064B2 (en) | 2018-08-28 | 2022-04-12 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for reconstructing three-dimensional model of human body, and storage medium |
| CN109255830A (zh) * | 2018-08-31 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 三维人脸重建方法和装置 |
| CN109255830B (zh) * | 2018-08-31 | 2020-06-05 | 百度在线网络技术（北京）有限公司 | 三维人脸重建方法和装置 |
| CN109299323A (zh) * | 2018-09-30 | 2019-02-01 | Oppo广东移动通信有限公司 | 一种数据处理方法、终端、服务器和计算机存储介质 |
| CN109615688A (zh) * | 2018-10-23 | 2019-04-12 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建***及方法 |
| US10755477B2 (en) | 2018-10-23 | 2020-08-25 | Hangzhou Qu Wei Technology Co., Ltd. | Real-time face 3D reconstruction system and method on mobile device |
| WO2020082626A1 (zh) * | 2018-10-23 | 2020-04-30 | 杭州趣维科技有限公司 | 一种移动设备上的实时人脸三维重建***及方法 |
| US20190392634A1 (en) * | 2018-10-23 | 2019-12-26 | Hangzhou Qu Wei Technology Co., Ltd. | Real-Time Face 3D Reconstruction System and Method on Mobile Device |
| CN109920049A (zh) * | 2019-02-26 | 2019-06-21 | 清华大学 | 边缘信息辅助精细三维人脸重建方法及*** |
| CN110310318B (zh) * | 2019-07-03 | 2022-10-04 | 北京字节跳动网络技术有限公司 | 一种特效处理方法及装置、存储介质与终端 |
| CN110310318A (zh) * | 2019-07-03 | 2019-10-08 | 北京字节跳动网络技术有限公司 | 一种特效处理方法及装置、存储介质与终端 |
| CN110458752A (zh) * | 2019-07-18 | 2019-11-15 | 西北工业大学 | 一种基于局部遮挡条件下的图像换脸方法 |
| CN110458752B (zh) * | 2019-07-18 | 2022-11-11 | 西北工业大学 | 一种基于局部遮挡条件下的图像换脸方法 |
| CN110503714A (zh) * | 2019-07-23 | 2019-11-26 | 杭州美戴科技有限公司 | 一种个性化镜腿的自动设计方法 |
| CN112307817A (zh) * | 2019-07-29 | 2021-02-02 | ***通信集团浙江有限公司 | 人脸活体检测方法、装置、计算设备及计算机存储介质 |
| CN112307817B (zh) * | 2019-07-29 | 2024-03-19 | ***通信集团浙江有限公司 | 人脸活体检测方法、装置、计算设备及计算机存储介质 |
| CN110415341A (zh) * | 2019-08-01 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 一种三维人脸模型的生成方法、装置、电子设备及介质 |
| CN110555815A (zh) * | 2019-08-30 | 2019-12-10 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN110555815B (zh) * | 2019-08-30 | 2022-05-20 | 维沃移动通信有限公司 | 一种图像处理方法和电子设备 |
| CN113689538A (zh) * | 2020-05-18 | 2021-11-23 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN113689538B (zh) * | 2020-05-18 | 2024-05-21 | 北京达佳互联信息技术有限公司 | 一种视频生成方法、装置、电子设备及存储介质 |
| CN113632098A (zh) * | 2021-07-02 | 2021-11-09 | 华为技术有限公司 | 人脸图像处理方法、装置和车辆 |
| CN113628322A (zh) * | 2021-07-26 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN113628322B (zh) * | 2021-07-26 | 2023-12-05 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN114529685A (zh) * | 2022-02-21 | 2022-05-24 | 佛山虎牙虎信科技有限公司 | 三维风格人脸的生成方法、装置、设备及存储介质 |
| CN116993948A (zh) * | 2023-09-26 | 2023-11-03 | 粤港澳大湾区数字经济研究院(福田) | 一种人脸三维重建方法、***及智能终端 |
| CN116993948B (zh) * | 2023-09-26 | 2024-03-26 | 粤港澳大湾区数字经济研究院(福田) | 一种人脸三维重建方法、***及智能终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062791A (zh) | 一种重建人脸三维模型的方法和装置 | |
| Tagliasacchi et al. | 3d skeletons: A state‐of‐the‐art report | |
| Igarashi et al. | As-rigid-as-possible shape manipulation | |
| CN106030661B (zh) | 视野独立的3d场景纹理化背景 | |
| US10565792B2 (en) | Approximating mesh deformations for character rigs | |
| JP2020522076A (ja) | 眼鏡フレームを仮想的に調整するための方法、装置、及びコンピュータプログラム | |
| CN108898630A (zh) | 一种三维重建方法、装置、设备和存储介质 | |
| Li et al. | Detail-preserving and content-aware variational multi-view stereo reconstruction | |
| US10242134B2 (en) | Algebraic multigrid method for cloth simulation | |
| US20170365089A1 (en) | Adaptive rendering with linear predictions | |
| CN115943436A (zh) | 快速和深度脸部变形 | |
| CN101512554B (zh) | 运动捕捉中的facs清洁 | |
| CN109559371A (zh) | 一种用于三维重建的方法和装置 | |
| US11734892B2 (en) | Methods for three-dimensional reconstruction of transparent object, computer devices and storage mediums | |
| Ye et al. | Free-viewpoint video of human actors using multiple handheld kinects | |
| CA2357962C (en) | System and method for the coordinated simplification of surface and wire-frame descriptions of a geometric model | |
| EP3756163A1 (en) | Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics | |
| CN115100383B (zh) | 基于普通光源的镜面物体三维重建方法、装置和设备 | |
| Neophytou et al. | Shape and pose space deformation for subject specific animation | |
| Schröder et al. | Design and evaluation of reduced marker layouts for hand motion capture | |
| Dinev et al. | User‐guided lip correction for facial performance capture | |
| Chen et al. | Manipulating, deforming and animating sampled object representations | |
| Wuhrer et al. | Finite element based tracking of deforming surfaces | |
| Stoll et al. | A volumetric approach to interactive shape editing | |
| US10922872B2 (en) | Noise reduction on G-buffers for Monte Carlo filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180522 |
|
| RJ01 | Rejection of invention patent application after publication |