CN104376594B - 三维人脸建模方法和装置 - Google Patents
三维人脸建模方法和装置 Download PDFInfo
- Publication number
- CN104376594B CN104376594B CN201410687577.4A CN201410687577A CN104376594B CN 104376594 B CN104376594 B CN 104376594B CN 201410687577 A CN201410687577 A CN 201410687577A CN 104376594 B CN104376594 B CN 104376594B
- Authority
- CN
- China
- Prior art keywords
- conversion
- master pattern
- primitive man
- colour
- textures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
为实现高效地三维人脸建模，发明人提供了一种三维人脸建模方法，包括步骤：获取原始人像和标准模型；根据标准模型获取骨骼点信息；在所述原始人像上标记特征点并记录其坐标信息；对所述原始人像做第一变换；对所述标准模型做第二变换；将经第二变换的标准模型以预设方法表面展开为纹理图像；将经第一变换的原始人像映射至所述纹理图像。同时发明人还提供了一种实现上述方法的相应的三维人脸建模装置。上述技术方案操作方式简单，拟合效果好，还原程度高；同时简化了实现和计算的过程，实现速度更快，效率更高，还简化了数据采集的过程，提高了***的实用性和适应性，在一些对人脸深度信息要求不高的场景具有巨大的优势。
Description
技术领域
本发明涉及计算机图像学与数字图像处理领域，更具体地涉及一种三维人脸建模方法和装置。
背景技术
随着计算机图形学与图像处理技术的长足发展，作为二学科交叉领域的三维人脸建模技术在游戏动漫、医学和整容、影视广告、视频会议和可视电话等相关行业得到了广泛的应用，并逐渐成为研究的热点问题。
当前关于三维人脸建模的主要技术包括如下几种：
基于三维扫描仪等的三维人脸建模：主要指利用三维数字扫描仪对人脸进行扫描来获取人脸的三维信息，根据获取的三维数据在计算机中进行人脸模型的三维重建，该方法能够获得精确的人脸模型。然而，采用三维扫描仪等硬件设备进行三维人脸建模的方法通用性和灵活性较差，操作较为复杂，且其硬件设备的成本也较高，一般只适用于某些特殊的场合。
基于图像的人脸建模方法：主要指通过单视点或多视点人脸图像或视频序列，获得人脸特征点的三维信息，利用该信息来重构人脸的三维几何模型。基于图像的人脸建模方法主要分为基于单幅人脸图像的建模和基于多幅人脸图像的建模。
基于单幅人脸图像的建模：一般是指通过采集单张人脸的图像进行数据的分析以及人脸的拟合与三维重建，其基本方法都是通过微侧的人脸图像或图像上的明暗信息来进行人脸模型上深度信息的判断，从而完成三维人脸的建模工作。然而，采用单幅人脸图像进行建模的方法需要在人脸的形状和相貌之间做出取舍，难以精确地拟合出与真实人脸相符的模型。由于人脸的左右两边并不完全对称，因此当利用微侧的人脸进行深度信息的采集时，必然导致重建后人脸相貌的失真；而利用人脸正面图像的阴影与高光进行深度信息计算时，由于计算复杂、运算时间长、计算结果的可靠性差等不足，往往难以获得较好的效果。
基于多幅人脸图像的建模：指通过多幅多角度的人脸图像，如正面、左侧面、右侧面等图像来获取更多人脸的三维数据来进行人脸的三维建模。基于多幅人脸图像的建模能够更直观、完整地获得人脸的正面纹理信息、深度信息等，从而有利于建立起更加精确的三维人脸模型。然而，采用多幅人脸图像进行建模的方法固然能够较为完整地获得人脸的正面纹理、人脸深度等信息，但其在一定程度上增加了人工操作的步骤，降低了操作的灵活性。且在一些手持设备上，使用者难以较为方便地提供满足要求的侧面图像，这对人脸建模的精确度也造成了很大的影响。
发明内容
为此，需要提供一种能够规避人脸深度信息计算、操作过程简便、快速、自动化、建模结果真实可靠的三维人脸建模方法和装置。
为实现上述目的，发明人提供了一种三维人脸建模方法，包括步骤：
获取原始人像和标准模型；
根据标准模型获取骨骼点信息，所述骨骼点为在标准模型网格形变时形变量位于一预设区间的特征点；
在所述原始人像上标记特征点并记录其坐标信息；
对所述原始人像做第一变换，所述第一变换使所述原始人像上的预设标准位置与所述标准模型上的预设标准位置对齐，并对人像的骨骼点做同样的坐标变换；
对所述标准模型做第二变换，所述第二变换包括将标准模型上的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
将经第二变换的标准模型以预设方法表面展开为纹理图像；
将经第一变换的原始人像映射至所述纹理图像。
进一步地，所述的三维人脸建模方法中，所述“将经第二变换的标准模型以预设方法表面展开为纹理图像；将经第一变换的原始人像映射至所述纹理图像”具体包括：
将经第二变换的标准模型以预设方法表面展开为UV贴图；
将经第一变换的原始人像映射至所述UV贴图。
进一步地，所述的三维人脸建模方法中，在步骤“将经第一变换的原始人像映射至所述UV贴图”之前还包括一对所述UV贴图进行的肤色匹配处理，所述肤色匹配处理具体包括：
选取原始人像上一个或多个预设区域，根据预设算法获取肤色采样值；
利用所述肤色采样值对所述UV贴图做变色处理。
进一步地，所述的三维人脸建模方法中，步骤“利用所述肤色采样值对所述UV贴图做变色处理”具体包括：
利用所述肤色采样值建立与UV贴图相同大小的肤色采样图，并以所述UV贴图为源图片、所述肤色采样图为目标图片进行泊松融合。
进一步地，所述的三维人脸建模方法中，所述“将经第一变换的原始人像映射至所述UV贴图”具体包括：
以预设尺寸的羽化蒙版为遮罩，将经第一变换的原始人像通过羽化缝合方式映射至经肤色匹配处理的UV贴图上。
进一步地，所述的三维人脸建模方法中，所述预设标准位置为特征点中的左右瞳孔；
对原始人像的所述第一变换包括旋转、缩放或平移；
所述旋转具体包括：旋转所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔水平位置一致；
所述缩放具体包括：缩放所述原始人像，使其左右瞳孔距离与标准模型对应的标准人像中的左右瞳孔距离一致；
所述平移具体包括：平移所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔对齐。
进一步地，所述的三维人脸建模方法中，所述第二变换具体包括如下步骤：
通过正射投影变换将标准模型的骨骼点投影至屏幕平面；
将标准模型的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
对平移后的标准模型骨骼点平面投影点正射投影变换的逆变换。
进一步地，所述的三维人脸建模方法中，所述正射投影变换具体包括：
利用模型矩阵Model将标准模型的骨骼点从自定义坐标系转换为世界坐标系；
利用观察矩阵View将标准模型的骨骼点从世界坐标系转换为视觉坐标系；
利用投影矩阵Projection的正交投影将视觉坐标系去除Z轴坐标，使其落于屏幕平面。
进一步地，所述的三维人脸建模方法中，所述标准模型为与所述原始人像人种匹配的标准模型。
进一步地，所述的三维人脸建模方法中，所述原始人像满足一预设的分辨率条件或一预设的明暗差值条件。
发明人还提供了一种三维人脸建模装置，包括输入单元、骨骼点确定单元、特征点标记单元、变换单元、纹理贴图单元和映射单元；
所述输入单元用于获取原始人像和标准模型；
骨骼点确定单元用于根据标准模型获取骨骼点信息，所述骨骼点为在标准模型网格形变时形变量位于一预设区间的特征点；
特征点标记单元用于在所述原始人像上标记特征点并记录其坐标信息；
变换单元用于对所述原始人像做第一变换，所述第一变换使所述原始人像上的预设标准位置与所述标准模型上的预设标准位置对齐，并对人像的骨骼点做同样的坐标变换；
变换单元还用于对所述标准模型做第二变换，所述第二变换包括将标准模型上的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
纹理贴图单元用于将经第二变换的标准模型以预设方法表面展开为纹理图像；
映射单元用于将经第一变换的原始人像映射至所述纹理图像。
进一步地，所述的三维人脸建模装置中，纹理贴图单元用于将经第二变换的标准模型以预设方法表面展开为UV贴图；
映射单元用于将经第一变换的原始人像映射至所述UV贴图。
进一步地，所述的三维人脸建模装置中，还包括肤色匹配单元，所述肤色匹配单元用于选取原始人像上一个或多个预设区域，根据预设算法获取肤色采样值；并利用所述肤色采样值对所述UV贴图做变色处理。
进一步地，所述的三维人脸建模装置中，肤色匹配单元利用所述肤色采样值对所述UV贴图做变色处理具体包括：
利用所述肤色采样值建立与UV贴图相同大小的肤色采样图，并以所述UV贴图为源图片、所述肤色采样图为目标图片进行泊松融合。
进一步地，所述的三维人脸建模装置中，映射单元将经第一变换的原始人像映射至所述UV贴图具体包括：
以预设尺寸的羽化蒙版为遮罩，将经第一变换的原始人像通过羽化缝合方式映射至经肤色匹配处理的UV贴图上。
进一步地，所述的三维人脸建模装置中，所述预设标准位置为特征点中的左右瞳孔；
变换单元对原始人像的所述第一变换包括旋转、缩放或平移；
所述旋转具体包括：旋转所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔水平位置一致；
所述缩放具体包括：缩放所述原始人像，使其左右瞳孔距离与标准模型对应的标准人像中的左右瞳孔距离一致；
所述平移具体包括：平移所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔对齐。
进一步地，所述的三维人脸建模装置中，变换单元所做第二变换具体包括如下步骤：
通过正射投影变换将标准模型的骨骼点投影至屏幕平面；
将标准模型的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
对平移后的标准模型骨骼点平面投影点正射投影变换的逆变换。
进一步地，所述的三维人脸建模装置中，变换单元所做正射投影变换具体包括：
利用模型矩阵Model将标准模型的骨骼点从自定义坐标系转换为世界坐标系；
利用观察矩阵View将标准模型的骨骼点从世界坐标系转换为视觉坐标系；
利用投影矩阵Projection的正交投影将视觉坐标系去除Z轴坐标，使其落于屏幕平面。
进一步地，所述的三维人脸建模装置中，所述标准模型为与所述原始人像人种匹配的标准模型。
进一步地，所述的三维人脸建模装置中，所述原始人像满足一预设的分辨率条件或一预设的明暗差值条件。
区别于现有技术，上述技术方案采用骨骼对齐的方式实现自动化的三维人脸的建模，其操作方式简单，拟合的效果好，还原程度更高；相比较于传统基于单幅图像进行三维建模的方法，简化了实现和计算的过程，实现速度更快，效率更高，能够满足对实时性有一定要求的***设计。而相比较于基于多幅图像进行三维建模的方法，本发明技术方案又简化了数据采集的过程，提高了***的实用性和适应性，在一些对人脸深度信息要求不高的场景具有巨大的优势。
附图说明
图1为本发明一实施方式所述三维人脸建模方法的流程图；
图2为本发明一实施方式所述三维人脸建模装置的结构示意图。
附图标记说明：
1-输入单元
2-骨骼点确定单元
3-特征点标记单元
4-变换单元
5-肤色拼配单元
6-映射单元
7-纹理贴图单元
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，为本发明一实施方式所述三维人脸建模方法的流程图。所述方法包括如下步骤：
S1、获取原始人像和标准模型；
进一步地，所述标准模型为与所述原始人像人种匹配的标准模型；所述原始人像为满足一预设的分辨率条件和一预设的明暗差值条件的二维正面照片。
由于本发明技术方案的核心在于通过可形变网格模型拟合来进行三维人脸的建模，而不同的形变模型在人脸拟合的相似度上存在很大的差异，因此本实施方式中，根据不同人种的特征信息进行分析，建立起不同的标准模型，例如，对于亚洲人(黄种人)而言，通过收集大量亚洲人的人脸，对其头型、轮廓形状、五官等信息进行综合分析并提取特征建立亚洲人头部标准模型。其他人种的标准模型同理。然后，根据原始人像的人种确定标准模型的种类，用于后续的拟合。
此外，为了保证建模的精确可靠，对原始人像的输入也需要满足一定条件。首先，为了尽可能完整地保留人脸的相貌信息，所述原始人像应为满足一预设分辨率条件的正面人脸图像。其次，在人脸图像的采集过程中应注意光线的控制，暗光下采集的人脸图像无法准确获得肤色信息，且可能导致人脸标定出现误差，降低建模后人脸模型的相似度。因而，所述原始人像应满足一预设的分辨率条件以及一预设的左右脸明暗差值条件。
S2、根据标准模型获取骨骼点信息，所述骨骼点为在标准模型网格形变时形变量位于一预设区间的特征点；
S3、在所述原始人像上标记特征点并记录其坐标信息；
步骤S2与步骤S3中出现的特征点这一概念，主要指的是人脸定位和识别技术中，用于标定出人脸脸型、眉毛、眼睛、鼻子、嘴巴等对相貌有突出特征意义的点，称为特征点。基于不同的人脸标定技术研究结果，有不同的特征点模型可供选用，本实施方式采用的是按照人脸常识划分出7个有意义的特征(人脸外部轮廓、左右眉、左右眼、鼻子、嘴)的83个特征点***。在其他实施方式中，还可以采用现有技术中的其他的特征点标定方法。
而骨骼关键点这一概念，则是指特征点中那些在网格形变中将会对人脸轮廓和五官产生较大影响的点，获取骨骼关键点的方法通常是对人脸网格模型进行形变实验，分析各特征点对网格形变的影响，符合预设形变量条件的被确定为骨骼关键点。
S4、对所述原始人像做第一变换；
所述第一变换使所述原始人像上的预设标准位置与所述标准模型上的预设标准位置对齐，并对人像的骨骼点做同样的坐标变换；
本实施方式中，所述预设标准位置为特征点中的左右瞳孔；
对原始人像的所述第一变换包括旋转、缩放或平移；
所述旋转具体包括：旋转所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔水平位置一致；具体地，根据原始人像的特征点标定信息，取左右瞳孔特征点位置，计算其与水平方向的夹角，然后以瞳孔位置连线中点为旋转中心，将人像旋转相应的角度，使其水平方向一致。
所述缩放具体包括：根据标准人像的瞳孔距离，缩放所述原始人像，使其左右瞳孔距离与标准模型对应的标准人像中的左右瞳孔距离一致；
所述平移具体包括：平移所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔对齐。
此外在必要时还包括裁剪步骤，即根据人像特征点位置裁剪出特定大小的人脸区域，将其放入与标准人像相同大小的图像中。
实际上，本步所做的变换是一种对输入的原始人像的预处理工作，主要通过对所述原始人像进行旋转、缩放、平移或裁剪处理，使其一预设位置(本实施方式中为瞳孔位置)与标准模型展开所得的标准人像的预设位置(瞳孔)对齐。上述旋转、缩放、平移的步骤均可以矩阵处理的形式表示，因此对人像中标定的特征点也可以与之相同的矩阵进行相应的坐标变换，以获取在新图像中的坐标位置。
S5、对所述标准模型做第二变换；
所述第二变换包括将标准模型上的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
进一步地，所述第二变换又具体包括如下分步骤：
S51、通过正射投影变换将标准模型的骨骼点投影至屏幕平面；
S52、将标准模型的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
由于此前经过预处理的原始人像已根据标准人像进行了瞳孔对齐处理，因此只需将标准模型上的骨骼点在屏幕上的投影点分别平移到标准化的人像的骨骼点位置即可。
S53、对平移后的标准模型骨骼点平面投影点正射投影变换的逆变换。实际上本步即为S51中矩阵计算(Model*View*Projection)的逆变换计算(Model*View*Projection)-1，以此进行逆变换以获得对齐后的骨骼点在模型空间中的三维坐标位置，得到的结果即为骨骼对齐后的模型。
进一步地，步骤S52中所述的正射投影变换具体包括：
利用模型矩阵Model将标准模型的骨骼点从自定义坐标系转换为世界坐标系；
利用观察矩阵View将标准模型的骨骼点从世界坐标系转换为视觉坐标系；
利用投影矩阵Projection的正交投影将视觉坐标系去除Z轴坐标，使其落于屏幕平面。
S6、将经第二变换的标准模型以预设方法表面展开为UV贴图；
S7、对所述UV贴图做肤色匹配处理；
所述肤色匹配处理具体包括如下分步骤：
S71、选取原始人像上一个或多个预设区域，根据预设算法获取肤色采样值；由于通常的人像受采集环境因素影响存在不同程度的阴影和高光，这在一定程度上会影响真实肤色的表现，而为了使建模后模型的颜色更接近人脸的真实肤色，需要对皮肤颜色进行采样。例如，利用人脸标定的结果，选取鼻部两侧与面部特征点之间的区域进行采样，计算两个区域颜色的均值作为肤色的采样值。
S72、利用所述肤色采样值对所述UV贴图做变色处理。
更具体地，所述变色处理又包括：利用所述肤色采样值建立与UV贴图相同大小的肤色采样图，并以所述UV贴图为源图片、所述肤色采样图为目标图片进行泊松融合。
S8、将经第一变换的原始人像映射至所述UV贴图。
本步骤又具体包括：以预设尺寸的羽化蒙版为遮罩，将经第一变换的原始人像通过羽化缝合方式映射至经肤色匹配处理的UV贴图上。
实际上，UV贴图是被定义的一个二维纹理坐标***，用于确定如何将一个纹理图像放置于三维模型的表面。在其他实施方式中，亦可采用其他可实现相同目的的坐标***来实现标准模型向表面纹理图像的变换。
本实施方式所述方法采用骨骼对齐的方式，利用人脸特征点的坐标来驱动标准模型上的骨骼关键点进行对齐操作，可以有效地拟合出真实的人脸形状。根据不同人种头部、脸部特征的不同建立差异化的人体头部标准模型，能够尽可能地减少拟合产生的误差，提高人脸轮廓和面部特征的还原程度。在进行骨骼对齐时，本实施方式提出了以瞳孔为对齐基准将标准化后的人脸图像与标准贴图进行瞳孔的预对齐处理，后续工作只需将骨骼点进行平移即可完成对齐工作，有效地简化了模型拟合的计算。此外，利用用户输入的人脸图像进行肤色采样处理和计算，将贴图的颜色根据肤色的采样值进行泊松融合，在保留源图像细节的基础上使人脸模型上的肤色能够与采样的颜色值相匹配，使模型在整体上能够较好地还原人脸的颜色。同时，本实施方式基于对人脸网格模型进行的分析，提取其中对人脸轮廓和五官特征影响较大的特征点作为骨骼关键点，根据这些关键点来拟合人脸的轮廓和五官特征。综上所述，本实施方式提供的三维人脸建模方法能够实现具有高通用性与灵活性、操作简便、成本低廉、拟合效果精确真实、快速、自动化的三维人脸建模功能。
请参阅图2，为本发明一实施方式所述三维人脸建模装置的结构示意图；所述装置包括输入单元1、骨骼点确定单元2、特征点标记单元3、变换单元4、纹理贴图单元5和映射单元6；
所述输入单元1用于获取原始人像和标准模型；所述标准模型为与所述原始人像人种匹配的标准模型；所述原始人像满足一预设的分辨率条件或一预设的明暗差值条件。
由于本发明技术方案的核心在于通过可形变网格模型拟合来进行三维人脸的建模，而不同的形变模型在人脸拟合的相似度上存在很大的差异，因此本实施方式中，输入单元1所获取的原始人像和标准模型需要满足一定的条件。首先，标准模型是根据不同人种的特征信息进行分析而建立得到的，例如，对于亚洲人(黄种人)而言，通过收集大量亚洲人的人脸，对其头型、轮廓形状、五官等信息进行综合分析并提取特征建立亚洲人头部标准模型。其他人种的标准模型同理。然后，根据原始人像的人种确定标准模型的种类，用于后续的拟合。
此外，为了保证建模的精确可靠，原始人像也需要满足一定条件。首先，为了尽可能完整地保留人脸的相貌信息，所述原始人像应为满足一预设分辨率条件的正面人脸图像。其次，在人脸图像的采集过程中应注意光线的控制，暗光下采集的人脸图像无法准确获得肤色信息，且可能导致人脸标定出现误差，降低建模后人脸模型的相似度。因而，所述原始人像应满足一预设的分辨率条件以及一预设的左右脸明暗差值条件。
骨骼点确定单元2用于根据标准模型获取骨骼点信息，所述骨骼点为在标准模型网格形变时形变量位于一预设区间的特征点。
特征点标记单元3用于在所述原始人像上标记特征点并记录其坐标信息。
骨骼点确定单元2与特征点标记单元3所实现的信息处理中包括特征点这一概念，主要指的是人脸定位和识别技术中，用于标定出人脸脸型、眉毛、眼睛、鼻子、嘴巴等对相貌有突出特征意义的点，称为特征点。基于不同的人脸标定技术研究结果，有不同的特征点模型可供选用，本实施方式采用的是按照人脸常识划分出7个有意义的特征(人脸外部轮廓、左右眉、左右眼、鼻子、嘴)的83个特征点***。在其他实施方式中，还可以采用现有技术中的其他的特征点标定方法。而骨骼关键点这一概念，则是指特征点中那些在网格形变中将会对人脸轮廓和五官产生较大影响的点，获取骨骼关键点的方法通常是对人脸网格模型进行形变实验，分析各特征点对网格形变的影响，符合预设形变量条件的被确定为骨骼关键点。
变换单元4用于对所述原始人像做第一变换，所述第一变换使所述原始人像上的预设标准位置与所述标准模型上的预设标准位置对齐，并对人像的骨骼点做同样的坐标变换；
本实施方式中，所述预设标准位置为特征点中的左右瞳孔；
变换单元4对原始人像的所述第一变换包括旋转、缩放或平移；
所述旋转具体包括：旋转所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔水平位置一致；
所述缩放具体包括：缩放所述原始人像，使其左右瞳孔距离与标准模型对应的标准人像中的左右瞳孔距离一致；
所述平移具体包括：平移所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔对齐。
实际上，变换单元4所做的第一变换是一种对输入的原始人像的预处理工作，主要通过对所述原始人像进行旋转、缩放、平移或裁剪处理，使其一预设位置(本实施方式中为瞳孔位置)与标准模型展开所得的标准人像的预设位置(瞳孔)对齐。上述旋转、缩放、平移的步骤均可以矩阵处理的形式表示，因此对人像中标定的特征点也可以与之相同的矩阵进行相应的坐标变换，以获取在新图像中的坐标位置。
变换单元4还用于对所述标准模型做第二变换，所述第二变换包括将标准模型上的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
进一步地，变换单元4所做第二变换具体包括如下步骤：
通过正射投影变换将标准模型的骨骼点投影至屏幕平面；
将标准模型的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
对平移后的标准模型骨骼点平面投影点正射投影变换的逆变换。
进一步地，变换单元4所做正射投影变换具体包括：
利用模型矩阵Model将标准模型的骨骼点从自定义坐标系转换为世界坐标系；利用观察矩阵View将标准模型的骨骼点从世界坐标系转换为视觉坐标系；利用投影矩阵Projection的正交投影将视觉坐标系去除Z轴坐标，使其落于屏幕平面。
纹理贴图单元5用于将经第二变换的标准模型以预设方法表面展开为纹理图像；
映射单元6用于将经第一变换的原始人像映射至所述纹理图像。
进一步地，纹理贴图单元5用于将经第二变换的标准模型以预设方法表面展开为UV贴图；
映射单元6用于将经第一变换的原始人像映射至所述UV贴图。
进一步地，映射单元6将经第一变换的原始人像映射至所述UV贴图具体包括：
以预设尺寸的羽化蒙版为遮罩，将经第一变换的原始人像通过羽化缝合方式映射至经肤色匹配处理的UV贴图上。
此外，优选地，所述的三维人脸建模装置中，还包括肤色匹配单元7，所述肤色匹配单元7用于选取原始人像上一个或多个预设区域，根据预设算法获取肤色采样值；并利用所述肤色采样值对所述UV贴图做变色处理。
进一步地，肤色匹配单元7利用所述肤色采样值对所述UV贴图做变色处理具体包括：
利用所述肤色采样值建立与UV贴图相同大小的肤色采样图，并以所述UV贴图为源图片、所述肤色采样图为目标图片进行泊松融合。
由于通常的人像受采集环境因素影响存在不同程度的阴影和高光，这在一定程度上会影响真实肤色的表现，而为了使建模后模型的颜色更接近人脸的真实肤色，需要对皮肤颜色进行采样。例如，利用人脸标定的结果，选取鼻部两侧与面部特征点之间的区域进行采样，计算两个区域颜色的均值作为肤色的采样值，再利用肤色采样值进一步进行变色处理。
另外，实际上UV贴图是被定义的一个二维纹理坐标***，用于确定如何将一个纹理图像放置于三维模型的表面。在其他实施方式中，亦可采用其他可实现相同目的的坐标***或方法来实现标准模型向表面纹理图像的变换。
本实施方式采用骨骼对齐的方式，利用人脸特征点的坐标来驱动标准模型上的骨骼关键点进行对齐操作，可以有效地拟合出真实的人脸形状。根据不同人种头部、脸部特征的不同建立差异化的人体头部标准模型，能够尽可能地减少拟合产生的误差，提高人脸轮廓和面部特征的还原程度。在进行骨骼对齐时，本实施方式提出了以瞳孔为对齐基准将标准化后的人脸图像与标准贴图进行瞳孔的预对齐处理，后续工作只需将骨骼点进行平移即可完成对齐工作，有效地简化了模型拟合的计算。此外，利用用户输入的人脸图像进行肤色采样处理和计算，将贴图的颜色根据肤色的采样值进行泊松融合，在保留源图像细节的基础上使人脸模型上的肤色能够与采样的颜色值相匹配，使模型在整体上能够较好地还原人脸的颜色。同时，本实施方式基于对人脸网格模型进行的分析，提取其中对人脸轮廓和五官特征影响较大的特征点作为骨骼关键点，根据这些关键点来拟合人脸的轮廓和五官特征。综上所述，本实施方式提供的三维人脸建模装置能够实现具有高通用性与灵活性、操作简便、成本低廉、拟合效果精确真实、快速、自动化的三维人脸建模功能。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。
Claims (18)
1.一种三维人脸建模方法，包括步骤：
获取原始人像和标准模型；
根据标准模型获取骨骼点信息，所述骨骼点为在标准模型网格形变时形变量位于一预设区间的特征点；
在所述原始人像上标记特征点并记录其坐标信息；
对所述原始人像做第一变换，所述第一变换使所述原始人像上的预设标准位置与所述标准模型上的预设标准位置对齐，并对人像的骨骼点做同样的坐标变换；
对所述标准模型做第二变换，所述第二变换包括将标准模型上的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
将经第二变换的标准模型以预设方法表面展开为纹理图像；将经第一变换的原始人像映射至所述纹理图像；具体包括：将经第二变换的标准模型以预设方法表面展开为UV贴图；将经第一变换的原始人像映射至所述UV贴图 。
2.如权利要求1所述的三维人脸建模方法中，在步骤“将经第一变换的原始人像映射至所述UV贴图”之前还包括一对所述UV贴图进行的肤色匹配处理，所述肤色匹配处理具体包括：
选取原始人像上一个或多个预设区域，根据预设算法获取肤色采样值；
利用所述肤色采样值对所述UV贴图做变色处理。
3.如权利要求2所述的三维人脸建模方法中，步骤“利用所述肤色采样值对所述UV贴图做变色处理”具体包括：
利用所述肤色采样值建立与UV贴图相同大小的肤色采样图，并以所述UV贴图为源图片、所述肤色采样图为目标图片进行泊松融合。
4.如权利要求2所述的三维人脸建模方法中，所述“将经第一变换的原始人像映射至所述UV贴图”具体包括：
以预设尺寸的羽化蒙版为遮罩，将经第一变换的原始人像通过羽化缝合方式映射至经肤色匹配处理的UV贴图上。
5.如权利要求1所述的三维人脸建模方法中，所述预设标准位置为特征点中的左右瞳孔；
对原始人像的所述第一变换包括旋转、缩放或平移；
所述旋转具体包括：旋转所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔水平位置一致；
所述缩放具体包括：缩放所述原始人像，使其左右瞳孔距离与标准模型对应的标准人像中的左右瞳孔距离一致；
所述平移具体包括：平移所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔对齐。
6.如权利要求1所述的三维人脸建模方法中，所述第二变换具体包括如下步骤：
通过正射投影变换将标准模型的骨骼点投影至屏幕平面；
将标准模型的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
对平移后的标准模型骨骼点平面投影点正射投影变换的逆变换。
7.如权利要求6所述的三维人脸建模方法中，所述正射投影变换具体包括：
利用模型矩阵Model将标准模型的骨骼点从自定义坐标系转换为世界坐标系；
利用观察矩阵View将标准模型的骨骼点从世界坐标系转换为视觉坐标系；
利用投影矩阵Projection的正交投影将视觉坐标系去除Z轴坐标，使其落于屏幕平面。
8.如权利要求1所述的三维人脸建模方法中，所述标准模型为与所述原始人像人种匹配的标准模型。
9.如权利要求1所述的三维人脸建模方法中，所述原始人像满足一预设 的分辨率条件或一预设的明暗差值条件。
10.一种三维人脸建模装置，包括输入单元、骨骼点确定单元、特征点标记单元、变换单元、纹理贴图单元和映射单元；
所述输入单元用于获取原始人像和标准模型；
骨骼点确定单元用于根据标准模型获取骨骼点信息，所述骨骼点为在标准模型网格形变时形变量位于一预设区间的特征点；
特征点标记单元用于在所述原始人像上标记特征点并记录其坐标信息；
变换单元用于对所述原始人像做第一变换，所述第一变换使所述原始人像上的预设标准位置与所述标准模型上的预设标准位置对齐，并对人像的骨骼点做同样的坐标变换；
变换单元还用于对所述标准模型做第二变换，所述第二变换包括将标准模型上的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
纹理贴图单元用于将经第二变换的标准模型以预设方法表面展开为纹理图像；映射单元用于将经第一变换的原始人像映射至所述纹理图像纹理贴图单元还用于将经第二变换的标准模型以预设方法表面展开为UV贴图；映射单元还用于将经第一变换的原始人像映射至所述UV贴图。
11.如权利要求10所述的三维人脸建模装置中，还包括肤色匹配单元，所述肤色匹配单元用于选取原始人像上一个或多个预设区域，根据预设算法获取肤色采样值；并利用所述肤色采样值对所述UV贴图做变色处理。
12.如权利要求11所述的三维人脸建模装置中，肤色匹配单元利用所述肤色采样值对所述UV贴图做变色处理具体包括：
利用所述肤色采样值建立与UV贴图相同大小的肤色采样图，并以所述UV贴图为源图片、所述肤色采样图为目标图片进行泊松融合。
13.如权利要求11所述的三维人脸建模装置中，映射单元将经第一变换的原始人像映射至所述UV贴图具体包括：
以预设尺寸的羽化蒙版为遮罩，将经第一变换的原始人像通过羽化缝合 方式映射至经肤色匹配处理的UV贴图上。
14.如权利要求10所述的三维人脸建模装置中，所述预设标准位置为特征点中的左右瞳孔；
变换单元对原始人像的所述第一变换包括旋转、缩放或平移；
所述旋转具体包括：旋转所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔水平位置一致；
所述缩放具体包括：缩放所述原始人像，使其左右瞳孔距离与标准模型对应的标准人像中的左右瞳孔距离一致；
所述平移具体包括：平移所述原始人像，使其左右瞳孔与标准模型对应的标准人像中的左右瞳孔对齐。
15.如权利要求10所述的三维人脸建模装置中，变换单元所做第二变换具体包括如下步骤：
通过正射投影变换将标准模型的骨骼点投影至屏幕平面；
将标准模型的骨骼点的平面投影点平移至经第一变换的原始人像的对应骨骼点；
对平移后的标准模型骨骼点平面投影点正射投影变换的逆变换。
16.如权利要求15所述的三维人脸建模装置中，变换单元所做正射投影变换具体包括：
利用模型矩阵Model将标准模型的骨骼点从自定义坐标系转换为世界坐标系；
利用观察矩阵View将标准模型的骨骼点从世界坐标系转换为视觉坐标系；
利用投影矩阵Projection的正交投影将视觉坐标系去除Z轴坐标，使其落于屏幕平面。
17.如权利要求10所述的三维人脸建模装置中，所述标准模型为与所述原始人像人种匹配的标准模型。
18.如权利要求10所述的三维人脸建模装置中，所述原始人像满足一预设的分辨率条件或一预设的明暗差值条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410687577.4A CN104376594B (zh) | 2014-11-25 | 2014-11-25 | 三维人脸建模方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410687577.4A CN104376594B (zh) | 2014-11-25 | 2014-11-25 | 三维人脸建模方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104376594A CN104376594A (zh) | 2015-02-25 |
| CN104376594B true CN104376594B (zh) | 2017-09-29 |
Family
ID=52555483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410687577.4A Active CN104376594B (zh) | 2014-11-25 | 2014-11-25 | 三维人脸建模方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104376594B (zh) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104809687A (zh) * | 2015-04-23 | 2015-07-29 | 上海趣搭网络科技有限公司 | 三维人脸图像生成方法及*** |
| CN107452049B (zh) * | 2016-05-30 | 2020-09-15 | 腾讯科技（深圳）有限公司 | 一种三维头部建模方法及装置 |
| CN106570822B (zh) * | 2016-10-25 | 2020-10-16 | 宇龙计算机通信科技(深圳)有限公司 | 一种人脸贴图方法及装置 |
| CN106618734A (zh) * | 2016-11-04 | 2017-05-10 | 王敏 | 脸部整容模型对比刺印装置 |
| CN106815568A (zh) * | 2016-12-30 | 2017-06-09 | 易瓦特科技股份公司 | 用于针对目标对象进行识别的方法及*** |
| US10621771B2 (en) * | 2017-03-21 | 2020-04-14 | The Procter & Gamble Company | Methods for age appearance simulation |
| CN106934073A (zh) * | 2017-05-02 | 2017-07-07 | 成都通甲优博科技有限责任公司 | 基于三维立体图像的人脸对比***、方法及移动终端 |
| CN108932459B (zh) * | 2017-05-26 | 2021-12-10 | 富士通株式会社 | 脸部识别模型训练方法和装置及脸部识别方法 |
| CN107274493B (zh) * | 2017-06-28 | 2020-06-19 | 河海大学常州校区 | 一种基于移动平台的三维虚拟试发型人脸重建方法 |
| CN107316340B (zh) * | 2017-06-28 | 2020-06-19 | 河海大学常州校区 | 一种基于单张照片的快速人脸建模方法 |
| CN107578469A (zh) * | 2017-09-08 | 2018-01-12 | 明利 | 一种基于单张照片的3d人体建模方法及装置 |
| CN108171788B (zh) * | 2017-12-19 | 2021-02-19 | 西安蒜泥电子科技有限责任公司 | 基于三维建模的身体变化表示方法 |
| CN108171789B (zh) * | 2017-12-21 | 2022-01-18 | 迈吉客科技（北京）有限公司 | 一种虚拟形象生成方法和*** |
| CN108470321B (zh) * | 2018-02-27 | 2022-03-01 | 北京小米移动软件有限公司 | 照片的美颜处理方法、装置和存储介质 |
| CN108596827B (zh) * | 2018-04-18 | 2022-06-17 | 太平洋未来科技（深圳）有限公司 | 三维人脸模型生成方法、装置及电子设备 |
| CN109118579A (zh) * | 2018-08-03 | 2019-01-01 | 北京微播视界科技有限公司 | 动态生成人脸三维模型的方法、装置、电子设备 |
| CN109191505A (zh) * | 2018-08-03 | 2019-01-11 | 北京微播视界科技有限公司 | 静态生成人脸三维模型的方法、装置、电子设备 |
| CN109191393B (zh) * | 2018-08-16 | 2021-03-26 | Oppo广东移动通信有限公司 | 基于三维模型的美颜方法 |
| CN110853147B (zh) * | 2018-08-21 | 2023-06-20 | 东方梦幻文化产业投资有限公司 | 一种三维人脸变换的方法 |
| CN109191508A (zh) * | 2018-09-29 | 2019-01-11 | 深圳阜时科技有限公司 | 一种模拟整容装置、模拟整容方法及设备 |
| CN109859305B (zh) * | 2018-12-13 | 2020-06-30 | 中科天网（广东）科技有限公司 | 基于多角度二维人脸的三维人脸建模、识别方法及装置 |
| CN110032927A (zh) * | 2019-02-27 | 2019-07-19 | 视缘(上海)智能科技有限公司 | 一种人脸识别方法 |
| CN109993689B (zh) * | 2019-03-14 | 2023-05-16 | 郑州阿帕斯科技有限公司 | 一种美妆方法和装置 |
| CN110111417B (zh) * | 2019-05-15 | 2021-04-27 | 浙江商汤科技开发有限公司 | 三维局部人体模型的生成方法、装置及设备 |
| CN110111247B (zh) * | 2019-05-15 | 2022-06-24 | 浙江商汤科技开发有限公司 | 人脸变形处理方法、装置及设备 |
| CN110751078B (zh) * | 2019-10-15 | 2023-06-20 | 重庆灵翎互娱科技有限公司 | 一种确定三维人脸的非肤色区域的方法和设备 |
| CN112949360A (zh) * | 2019-12-11 | 2021-06-11 | 广州市久邦数码科技有限公司 | 一种视频换脸方法和装置 |
| CN111696184B (zh) * | 2020-06-10 | 2023-08-29 | 上海米哈游天命科技有限公司 | 骨骼蒙皮融合确定方法、装置、设备和存储介质 |
| CN112418195B (zh) * | 2021-01-22 | 2021-04-09 | 电子科技大学中山学院 | 一种人脸关键点检测方法、装置、电子设备及存储介质 |
| CN113554745B (zh) * | 2021-07-15 | 2023-04-07 | 电子科技大学 | 一种基于图像的三维人脸重建方法 |
| CN113920282B (zh) * | 2021-11-15 | 2022-11-04 | 广州博冠信息科技有限公司 | 图像处理方法和装置、计算机可读存储介质、电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6944320B2 (en) * | 2000-03-09 | 2005-09-13 | Microsoft Corporation | Rapid computer modeling of faces for animation |
| JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| CN103606190A (zh) * | 2013-12-06 | 2014-02-26 | 上海明穆电子科技有限公司 | 单张人脸正面照片自动转换为三维人脸模型的方法 |
| CN103646416A (zh) * | 2013-12-18 | 2014-03-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸纹理生成方法及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101968891A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 用于游戏的照片自动生成三维图形*** |
-
2014
- 2014-11-25 CN CN201410687577.4A patent/CN104376594B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6944320B2 (en) * | 2000-03-09 | 2005-09-13 | Microsoft Corporation | Rapid computer modeling of faces for animation |
| JP2011039869A (ja) * | 2009-08-13 | 2011-02-24 | Nippon Hoso Kyokai <Nhk> | 顔画像処理装置およびコンピュータプログラム |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| CN103606190A (zh) * | 2013-12-06 | 2014-02-26 | 上海明穆电子科技有限公司 | 单张人脸正面照片自动转换为三维人脸模型的方法 |
| CN103646416A (zh) * | 2013-12-18 | 2014-03-19 | 中国科学院计算技术研究所 | 一种三维卡通人脸纹理生成方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104376594A (zh) | 2015-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104376594B (zh) | 三维人脸建模方法和装置 | |
| CN108509848B (zh) | 三维物体的实时检测方法及*** | |
| WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
| CN108399649B (zh) | 一种基于级联回归网络的单张图片三维人脸重建方法 | |
| CN113012293B (zh) | 石刻模型构建方法、装置、设备及存储介质 | |
| CN102999942B (zh) | 三维人脸重建方法 | |
| CN104077804B (zh) | 一种基于多帧视频图像构建三维人脸模型的方法 | |
| CN109285215A (zh) | 一种人体三维模型重建方法、装置和存储介质 | |
| CN110675489B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN109544677A (zh) | 基于深度图像关键帧的室内场景主结构重建方法及*** | |
| CN106097348A (zh) | 一种三维激光点云与二维图像的融合方法 | |
| CN107358648A (zh) | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 | |
| CN109360262A (zh) | 基于cad图生成三维模型的室内定位***及方法 | |
| CN105069751B (zh) | 一种深度图像缺失数据的插值方法 | |
| CN104346824A (zh) | 基于单张人脸图像自动合成三维表情的方法及装置 | |
| CN109934847A (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| CN110399809A (zh) | 多特征融合的人脸关键点检测方法及装置 | |
| CN106155299B (zh) | 一种对智能设备进行手势控制的方法及装置 | |
| CN106797458A (zh) | 真实对象的虚拟改变 | |
| CN105913444B (zh) | 基于软激光测距的牲畜体型轮廓重构方法及体况评分方法 | |
| CN107766851A (zh) | 一种人脸关键点定位方法及定位装置 | |
| CN106021550A (zh) | 一种发型设计方法和*** | |
| CN113449570A (zh) | 图像处理方法和装置 | |
| CN108665530A (zh) | 基于单张图片的三维建模实现方法 | |
| Zheng et al. | 4D reconstruction of blooming flowers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |