CN107274493A - 一种基于移动平台的三维虚拟试发型人脸重建方法 - Google Patents
一种基于移动平台的三维虚拟试发型人脸重建方法 Download PDFInfo
- Publication number
- CN107274493A CN107274493A CN201710506496.3A CN201710506496A CN107274493A CN 107274493 A CN107274493 A CN 107274493A CN 201710506496 A CN201710506496 A CN 201710506496A CN 107274493 A CN107274493 A CN 107274493A
- Authority
- CN
- China
- Prior art keywords
- face
- mrow
- hair style
- dimensional
- mfrac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Architecture (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于移动平台的三维虚拟试发型人脸重建方法，通过相机或者相册获得用户脸部正面照一张，传送给服务器，服务器通过算法程序计算，完成后返回人脸相关参数和重建后的人脸纹理贴图，根据人脸相关参数和贴图实例化新的人脸三维模型并予以显示。根据用户选择加载不同的三维虚拟发型、配饰和展示背景等，实例化显示在屏幕上，从而实现显示虚拟试发型效果。本发明为用户提供较为真实的虚拟试发型体验，在功能创新上实现用户的三维人脸仿真、发型和配饰更换以及个人信息存储等功能，***将服务器中的发型及配饰等加载并供选择，最后实例化显示，为用户试发型提供基础，更真实体现不同发型的实际效果。
Description
技术领域
本发明涉及虚拟现实图像处理技术领域，尤其涉及一种基于移动平台的三维虚拟试发型人脸重建方法。
背景技术
随着经济的发展，人们更加关注自身形象，更愿意为提升自身形象气质消费，发型和服装造型对一个人形象气质的塑造起到关键性作用。与服装不同，发型一旦做出改变短时间内很难恢复。针对发型不能提前预览的问题，目前有两种主流的解决方案：一是发型图册和发色样板，二是基于二维图像的试发型应用。然而这两种方案都存在较为明显的缺陷。
发型图册和染发色彩样板不能提供特定用户的试发效果。基于二维图像的试发型应用，一般要求用户拍照角度对应发型角度，否则脸部轮廓不贴切、脸型不符合用户本人。对于不同用户来说，即使是相同发型也存在效果差异，已有方法无法较好满足消费者换发型之前预览的需求。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于移动平台的三维虚拟试发型人脸重建方法，基于移动平台搭建并结合服务器进行***优化，试发型效果以三维方式呈现，可进行多角度的旋转观察，满足用户更换发型、发色和配饰的需求。运用人脸检测、图像变形、图像融合和三维模型变形技术，发明了一种以单张照片为依据的用户人脸三维重建方法，将重建的三维用户人脸用于试发型，能够真实还原用户试发效果，体验和实用性更佳。
为实现上述目的，本发明提供了一种基于移动平台的三维虚拟试发型人脸重建方法，包括以下步骤：
建立脸型网格和基本人脸纹理贴图的三维人脸库，用于人脸图像网格重建和纹理贴图重建，网格重建目标为得到脸型拟合参数，纹理贴图重建得到基于用户照片的人脸纹理贴图；
采集人脸图像，识别出图像中脸部轮廓位置和眉毛、眼睛、鼻子以及嘴巴轮廓位置的相应特征点，根据脸部轮廓特征点确定用户脸型，根据五官轮廓位置特征点确定提取的图像元素范围；
确定脸型数据后，根据脸型拟合公式(现有技术，此处不再赘述)计算出脸型拟合参数，实现网格重建；确定五官位置后，提取出图像元素，通过图像变形算法(现有技术，此处不再赘述)和泊松融合处理后得到新的人脸纹理贴图；
将重建后的网格和纹理贴图合并，实例化显示即可得到完整的用户三维人脸。
上述建立脸型网格和基本人脸纹理贴图的三维人脸库具体为：
借助FaceShift Studio结合Kinect摄像头实现三维人脸的初步获取，运用3dsMax、Zbrush软件对基本网格的脸部特征位置进行调整和修正，使用Photoshop依据已有UV展开图重新绘制用于融合的基本贴图素材，将修整后的网格模型与贴图结合，完成基本脸型三维人脸库的建立。
上述三维人脸库包括长脸、鹅蛋脸、方脸、梨形脸、菱形脸、心形脸和圆脸这七种基本脸型网格模型和一张基本人脸纹理贴图，其中七种脸型网格模型预先标记好脸部轮廓对应位置特征点，将这些特征点投影到平面XOY上，归一化后得到基准特征点T1,T2,T3,...,T7。
上述确定脸型数据后，根据脸型拟合公式计算出拟合参数，实现网格重建，具体为：根据输入的人脸图像，识别出脸部轮廓特征点，并对轮廓特征点坐标进行归一化处理，得到向量Tinput,将人脸脸型库中的七种标准脸型模型投影到XOY平面上，归一化处理得到T1，T2，T3…T7.根据公式：
其中,且α1,α2,...,α7为待求未知数，求解获得相应的脸型拟合参数，参数传送给移动端完成网格的重建。
上述确定五官位置后，提取出图像元素，通过图像算法处理后得到新的人脸纹理贴图，具体为：
根据特征点检测到五官位置，将相应的人脸图像区域进行腐蚀，截取腐蚀后所得区域进行旋转和放缩的变形操作，变形操作后的图像融合到基本贴图素材上，经过去高光和阴影即可得到重建的用户人脸贴图。
上述将相应的人脸图像区域进行腐蚀，具体为：
对于人脸图像不同部分设定不同腐蚀次数以达到腐蚀效果。
上述截取腐蚀后所得区域进行旋转和放缩的变形操作，具体为：
对截取腐蚀后所得区域进行旋转和放缩的变形操作，同时面部特征控制点也会根据平移缩放的系数来进行移动，根据一个控制点的前后变化，反距离加权计算得到其余所有控制点的变化矩阵，其中插值函数为:
1...N是表示出图片四个角以外的控制点，dis1、…disN表示当前要计算的点距离控制点1、…N的距离；
变形之后对图像中由于拉伸形成的空白进行反向插补。
上述变形操作后的图像融合到基本贴图素材上，图像融合算法为泊松融合算法。
本发明的有益效果是：
本发明为用户提供较为真实的虚拟试发型体验，在功能创新上实现用户的三维人脸仿真、发型和配饰更换以及个人信息存储等功能，并且是基于移动端的交互。***将服务器中的发型及配饰等加载并供选择，选择后***加载对应素材的文件，并实例化显示。基于单张照片的三维人脸重建算法为用户试发型提供基础，更真实体现不同发型的实际效果。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1为本发明的三维虚拟试发型***功能及结构框架图；
图2为本发明的移动端和服务器端交互流程图；
图3为本发明的***程序总体框架图。
具体实施方式
如图1、2、3所示，一种基于移动平台的三维虚拟试发型人脸重建方法，包括以下步骤：
建立脸型网格和基本人脸纹理贴图的三维人脸库，用于人脸图像网格重建和纹理贴图重建，网格重建目标为得到脸型拟合参数，纹理贴图重建得到基于用户照片的人脸纹理贴图；
采集人脸图像，识别出脸部轮廓位置和五官位置的相应特征点，根据脸部轮廓特征点确定用户脸型，根据五官位置特征点确定提取的图像元素范围；
确定脸型数据后，根据公式计算出脸型拟合参数，实现网格重建；确定五官位置后，提取出图像元素，通过图像算法处理后得到新的人脸纹理贴图；
将重建后的网格和纹理贴图合并，实例化显示即可得到完整的用户三维人脸。
本实施例中，所述建立脸型网格和基本人脸纹理贴图的三维人脸库具体为：
借助FaceShift Studio结合Kinect摄像头实现三维人脸的初步获取，运用3dsMax、Zbrush软件对基本网格的脸部特征位置进行适当调整和修正，使用Photoshop依据已有UV展开图重新绘制用于融合的基本贴图素材，将修整后的网格模型与贴图结合，完成基本脸型三维人脸库的建立。
本实施例中，所述三维人脸库包括长脸、鹅蛋脸、方脸、梨形脸、菱形脸、心形脸和圆脸这七种基本脸型网格模型和一张基本人脸纹理贴图，其中七种脸型网格模型预先标记好脸部轮廓对应位置特征点，将这些特征点投影到平面XOY上，归一化后得到基准特征点T1,T2,T3,...,T7。
本实施例中，所述确定脸型数据后，根据公式计算出拟合参数，实现网格重建，具体为：根据公式：
其中,且α1,α2,...,α7为待求未知数，求解获得相应的脸型拟合参数，参数传送给移动端完成网格的重建。
本实施例中，所述确定五官位置后，提取出图像元素，通过图像算法处理后得到新的人脸纹理贴图，具体为：
根据特征点检测到五官位置，将相应的人脸图像区域进行腐蚀，截取腐蚀后所得区域进行旋转和放缩的变形操作，变形操作后的图像融合到基本贴图素材上，经过去高光和阴影即可得到重建的用户人脸贴图。
本实施例中，所述将相应的人脸图像区域进行腐蚀，具体为：对于人脸图像不同部分设定不同腐蚀次数以达到较为合理的腐蚀效果。
本实施例中，所述截取腐蚀后所得区域进行旋转和放缩的变形操作，具体为：
对截取腐蚀后所得区域进行旋转和放缩的变形操作，同时面部特征控制点也会根据平移缩放的系数来进行移动，根据一个控制点的前后变化，反距离加权计算得到其余所有控制点的变化矩阵，其中插值函数为:
变形之后对图像中由于拉伸形成的空白进行反向插补。
本实施例中，所述变形操作后的图像融合到基本贴图素材上，图像融合算法为泊松融合算法。
本发明的具体流程如下：
本发明采用资源、逻辑、表现分离的整体架构设计思想，以MVC模式为总体程序框架模式，以保持***的灵活性和扩展性。
资源层主要通过Unity3D资源管理技术结合美术资源命名规范来管理相关的美术资源，包括三维模型、不同类型贴图及二维图像等。
逻辑层的任务是对***中不同功能需求进行逻辑处理，分为虚拟试发型、咨询获取和个人中心三大模块。虚拟试发中心允许发型、发色、配饰和背景的更换，触摸拖动模型进行多角度观察，支持试发效果截图保存与分享。流行发型资讯和护发产品推荐模块，提供潮流发型、搭配及产品信息等咨询。个人中心模块对用户的个人收藏和试发截图等数据信息进行管理和保存，方便重新查看。
表现层采用Unity3D进行试发场景的图形渲染，运用UGUI为界面开发工具完成整个***的视觉和交互流程。
操作时，通过相机或者相册获得用户脸部正面照一张，传送给服务器，服务器通过算法程序计算，完成后返回人脸相关参数和重建后的人脸纹理贴图，根据人脸相关参数和贴图实例化新的人脸三维模型并予以显示。根据用户选择加载不同的三维虚拟发型、配饰和展示背景等，实例化显示在屏幕上，从而实现显示虚拟试发型效果，各个分步骤具体如下：
(一)三维扫描与基本脸型三维人脸库的建立。
女性对虚拟试发型需求性更高，因此本发明三维人脸重建主要针对亚洲女性。调研分析发现，绝大多数亚洲女性脸部轮廓均可由长脸、鹅蛋脸、方脸、梨形脸、菱形脸、心形脸和圆脸这七种基本脸型拟合得到。因此，建立包含以上七种基本脸型的三维人脸库作为网格模型重建的拟合基础，更加方便快捷。
FaceShift Studio是实时面部表情捕获工具，主要用来复制人类面部动作,并转化成三维模型或动画。本发明借助FaceShift Studio结合Kinect摄像头实现三维人脸的初步获取。确保Kinect摄像头正确连接，选择carmine传感器模式收取深度及图像等信息。在training模式下，被扫描者通过模仿预设自然表情来创建自己的表情文件，捕捉完毕的表情文件可被处理生成光滑的三维模型。
三维扫描所得基本模型的拓扑结构简单，且具有合理的UV展开，但贴图图像存在错位变形、色彩模糊不均等问题。结合七种不同脸型的结构及轮廓特征，运用3dsMax、Zbrush软件对基本网格的脸部特征位置进行适当调整和修正，使用Photoshop依据已有UV展开图重新绘制用于融合的基本贴图素材，将修整后的网格模型与贴图结合，便完成基本脸型三维头像库的建立。此外，对于上述三维头像模型库中七个不同脸型的基本素材，需要标记好脸部轮廓对应位置的一些特征点，为网格重建做准备。
(二)三维头像网格模型重建。
完整的三维模型通常由网格模型和纹理贴图两部分构成，本发明采用网格和纹理贴图分开重建的方案，并均以用户的单张脸部照片为基础。三维人脸网格模型重建算法的目标是得出七个融合系数，然后传送回移动端进行网格拟合重建。
接收到输入照片后，首先检测出照片中脸部最外侧轮廓的特征点，并把这些点的信息保存到里面。对于上述预先标记好脸部轮廓对应位置特征点的三维人脸基本素材，将这些特征点投影到平面XOY上，归一化后得到基准特征点T1,T2,T3,...,T7。根据公式：
其中,且α1,α2,...,α7为待求未知数，求解即可获得相应的脸型拟合参数，参数传送给移动端即可完成网格的重建。
(三)三维头像纹理贴图重建。
纹理贴图使模型更加细致并且视觉效果上更加真实。为呈现不同用户试发效果，不仅要对其脸型进行拟合，更重要的是重建出能还原其真实面貌的纹理贴图。
使用人脸检测库Face++提供的接口，对输入照片进行五官区域的关键点提取，获取照片中眼睛、鼻子、眉毛和嘴巴的大致范围。然后对该区域进行腐蚀，即将相应位置扩大，腐蚀次数越多对应位置扩展越大，对于面部不同部分可以设定不同腐蚀次数以达到较为合理的腐蚀效果，再将腐蚀获得的整个特征区域从相片中提取出来。
对上述关键区域做平移和放缩变形操作，同时面部特征控制点也会根据平移缩放的系数来进行移动，根据一个控制点的前后变化，反距离加权计算得到其余所有控制点的变化矩阵，其中插值函数为:
变形之后需要对图像中由于拉伸形成的空白进行反向插补，基本的思路是上述过程的逆过程。
将变形得到的图像，通过泊松融合算法无缝的融合到基本人脸贴图素材上，能较好的处理重叠区域融合的问题。g为人脸五官位置源图像的函数，梯度f*为背景贴图素材图像S的函数，f为区域Ω待求函数，为融合边界。融合目标有两个：一是保留基本的贴图素材信息，二是无缝拼接。根据泊松图像编辑算法(Poisson Image Editing)转化为最优化求解问题：
其求解结果为泊松方程求解:
上式的离散求解形式:
其中,vpq＝gp-gq,|Np|＝4。
(四)运行效率优化。
为实现***的高效运行降低移动端的计算和存储压力，将三维头像重建算法搭建在服务器上，对照片的处理操作、参数获取、优化等都将在服务器端进行，对***有较好的保护性，同时有效的提高运行效率。服务器作为核心算法的运行平台，功能包括提取人脸特征点，人脸贴图的算法生成，得出一些脸型权重数据以及将合成的人脸贴图和脸型权重数据一起发送给移动端。此外，本发明中涉及到数据量较大的模型和贴图等三维美术素材资源，都通过Unity3D合理打包成AssetBundle放在服务器上，在***运行时进行动态的加载，从而释放更多内存空间。
(五)美术素材优化。
移动端的计算能力、内存空间和渲染能力有限，为保证***整体流畅性应尽量减小模型资源的数据量。本发明通过减少模型数量及面数、合并及共用贴图、使用法线贴图和光线贴图等体现模型细节等方法对模型进行优化。
人头部细节较多，逼真的三维人脸往往面和顶点数很高。本发明以扫描所得人脸为基础运用ZBrush软件进行细节雕刻后，对高模进行重新拓扑布线，将总面数控制在两千五百以内，且在五官位置的顶点分布较为密集其余位置较为稀疏，实现减少面数的同时较好保留面部细节。头发模型采用类似方法，先通过高精度模型体现头发层次及质感，随后通过自动或手动减少头发模型的所需面数。
贴图是本发明中另一重要资源，通常每个模型对应1-2张贴图。用于移动端的贴图可适当降低分辨率以减少资源量，不同模型通过合理的UV划分实现贴图共用。衣服凹凸如果通过模型表现需要细分很多顶点及面片，运用法线贴图实现视觉上的表面凹凸效果以减少数据量。同时运用光照贴图增强静态场景光照效果通过较少的性能消耗使静态模型看上去更加真实、丰富、更加具有立体感。
本发明实现的功能具体如下：
本发明为用户提供较为真实的虚拟试发型体验，在功能创新上实现用户的三维人脸仿真、发型和配饰更换以及个人信息存储等功能，并且是基于移动端的交互。
实现了用户三维人脸重建，用户拍摄面部照片后，***生成对应的人脸三维模型。基于单张照片的三维人脸重建算法为用户试发型提供基础，更真实体现不同发型的实际效果。
实现了发型及配饰更换，***将服务器中的发型及配饰等加载并供选择，选择后***加载对应素材的文件，并实例化显示。
实现了用户个人数据的存储，***将所选择发型数据存入临时服务器目录，并将其对应信息放置数据库中存储方便后期的重新查看。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于移动平台的三维虚拟试发型人脸重建方法，其特征在于，包括以下步骤：
建立脸型网格和基本人脸纹理贴图的三维人脸库，用于人脸图像网格重建和纹理贴图重建，网格重建目标为得到脸型拟合参数，纹理贴图重建得到基于用户照片的人脸纹理贴图；
采集人脸图像，识别出图像中脸部轮廓位置和眉毛、眼睛、鼻子以及嘴巴轮廓位置的相应特征点，根据脸部轮廓特征点确定用户脸型，根据五官轮廓位置特征点确定提取的图像元素范围；
确定脸型数据后，根据脸型拟合公式计算出脸型拟合参数，实现网格重建；确定五官位置后，提取出图像元素，通过图像变形算法和泊松融合处理后得到新的人脸纹理贴图；
将重建后的网格和纹理贴图合并，实例化显示即可得到完整的用户三维人脸。
2.如权利要求1所述的一种基于移动平台的三维虚拟试发型人脸重建方法，其特征在于，所述建立脸型网格和基本人脸纹理贴图的三维人脸库具体为：
借助FaceShift Studio结合Kinect摄像头实现三维人脸的初步获取，运用3dsMax、Zbrush软件对基本网格的脸部特征位置进行调整和修正，使用Photoshop依据已有UV展开图重新绘制用于融合的基本贴图素材，将修整后的网格模型与贴图结合，完成基本脸型三维人脸库的建立。
3.如权利要求2所述的一种基于移动平台的三维虚拟试发型人脸重建方法，其特征在于，所述三维人脸库包括长脸、鹅蛋脸、方脸、梨形脸、菱形脸、心形脸和圆脸这七种基本脸型网格模型和一张基本人脸纹理贴图，其中七种脸型网格模型预先标记好脸部轮廓对应位置特征点，将这些特征点投影到平面XOY上，归一化后得到基准特征点T1,T2,T3,...,T7。
4.如权利要求1所述的一种基于移动平台的三维虚拟试发型人脸重建方法，其特征在于，所述确定脸型数据后，根据脸型拟合公式计算出拟合参数，实现网格重建，具体为：根据输入的人脸图像，识别出脸部轮廓特征点，并对轮廓特征点坐标进行归一化处理，得到向量Tinput,将人脸脸型库中的七种标准脸型模型投影到XOY平面上，归一化处理得到T1，T2，T3…T7.根据公式：
<mrow>
<msub>
<mi>T</mi>
<mrow>
<mi>i</mi>
<mi>n</mi>
<mi>p</mi>
<mi>u</mi>
<mi>t</mi>
</mrow>
</msub>
<mo>=</mo>
<mover>
<mi>T</mi>
<mo>&OverBar;</mo>
</mover>
<mo>+</mo>
<msub>
<mi>&alpha;</mi>
<mn>1</mn>
</msub>
<msub>
<mi>&Delta;T</mi>
<mn>1</mn>
</msub>
<mo>+</mo>
<msub>
<mi>&alpha;</mi>
<mn>2</mn>
</msub>
<msub>
<mi>&Delta;T</mi>
<mn>2</mn>
</msub>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<msub>
<mi>&alpha;</mi>
<mn>7</mn>
</msub>
<msub>
<mi>&Delta;T</mi>
<mn>7</mn>
</msub>
</mrow>
其中,且α1,α2,...,α7为待求未知数，求解获得相应的脸型拟合参数，参数传送给移动端完成网格的重建。
5.如权利要求1所述的一种基于移动平台的三维虚拟试发型人脸重建方法，其特征在于，所述确定五官位置后，提取出图像元素，通过图像算法处理后得到新的人脸纹理贴图，具体为：
根据特征点检测到五官位置，将相应的人脸图像区域进行腐蚀，截取腐蚀后所得区域进行旋转和放缩的变形操作，变形操作后的图像融合到基本贴图素材上，经过去高光和阴影即可得到重建的用户人脸贴图。
6.如权利要求5所述的一种基于移动平台的三维虚拟试发型人脸重建方法，其特征在于，所述将相应的人脸图像区域进行腐蚀，具体为：
对于人脸图像不同部分设定不同腐蚀次数以达到腐蚀效果。
7.如权利要求5所述的一种基于移动平台的三维虚拟试发型人脸重建方法，其特征在于，所述截取腐蚀后所得区域进行旋转和放缩的变形操作，具体为：
对截取腐蚀后所得区域进行旋转和放缩的变形操作，同时面部特征控制点也会根据平移缩放的系数来进行移动，根据一个控制点的前后变化，反距离加权计算得到其余所有控制点的变化矩阵，其中插值函数为:
<mrow>
<mover>
<mi>x</mi>
<mo>&OverBar;</mo>
</mover>
<mo>=</mo>
<mfrac>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mn>1</mn>
</mrow>
</mfrac>
<mo>*</mo>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mn>1</mn>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mn>1</mn>
</mrow>
</mfrac>
<mo>+</mo>
<mn>.....</mn>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>N</mi>
</mrow>
</mfrac>
</mrow>
</mfrac>
<mo>+</mo>
<mn>....</mn>
<mo>+</mo>
<mfrac>
<mrow>
<mfrac>
<mi>N</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mn>1</mn>
</mrow>
</mfrac>
<mo>*</mo>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>N</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mn>1</mn>
</mrow>
</mfrac>
<mo>+</mo>
<mn>.....</mn>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>N</mi>
</mrow>
</mfrac>
</mrow>
</mfrac>
</mrow>
1...N是表示出图片四个角以外的控制点，dis1、…disN表示当前要计算的点距离控制点1、…N的距离；
变形之后对图像中由于拉伸形成的空白进行反向插补。
8.如权利要求5所述的一种基于移动平台的三维虚拟试发型人脸重建方法，其特征在于，所述变形操作后的图像融合到基本贴图素材上，图像融合算法为泊松融合算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710506496.3A CN107274493B (zh) | 2017-06-28 | 2017-06-28 | 一种基于移动平台的三维虚拟试发型人脸重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710506496.3A CN107274493B (zh) | 2017-06-28 | 2017-06-28 | 一种基于移动平台的三维虚拟试发型人脸重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107274493A true CN107274493A (zh) | 2017-10-20 |
| CN107274493B CN107274493B (zh) | 2020-06-19 |
Family
ID=60071180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710506496.3A Active CN107274493B (zh) | 2017-06-28 | 2017-06-28 | 一种基于移动平台的三维虚拟试发型人脸重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107274493B (zh) |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171789A (zh) * | 2017-12-21 | 2018-06-15 | 迈吉客科技（北京）有限公司 | 一种虚拟形象生成方法和*** |
| CN108537861A (zh) * | 2018-04-09 | 2018-09-14 | 网易（杭州）网络有限公司 | 贴图生成方法、装置、设备和存储介质 |
| CN108711180A (zh) * | 2018-05-02 | 2018-10-26 | 北京市商汤科技开发有限公司 | 美妆/换脸特效程序文件包的生成及美妆/换脸特效生成方法与装置 |
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN109035380A (zh) * | 2018-09-11 | 2018-12-18 | 北京旷视科技有限公司 | 基于三维重建的人脸修饰方法、装置、设备及存储介质 |
| CN109377557A (zh) * | 2018-11-26 | 2019-02-22 | 中山大学 | 基于单帧人脸图像的实时三维人脸重建方法 |
| CN109410315A (zh) * | 2018-08-31 | 2019-03-01 | 南昌理工学院 | 发型设计方法、装置、可读存储介质及智能终端 |
| CN109409274A (zh) * | 2018-10-18 | 2019-03-01 | 广州云从人工智能技术有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
| CN109523345A (zh) * | 2018-10-18 | 2019-03-26 | 河海大学常州校区 | 基于虚拟现实技术的WebGL虚拟试衣***和方法 |
| CN109671159A (zh) * | 2018-12-26 | 2019-04-23 | 贵州锦微科技信息有限公司 | 基于3d vr技术的少数民族美发虚拟试戴方法 |
| CN109685892A (zh) * | 2018-12-31 | 2019-04-26 | 南京邮电大学盐城大数据研究院有限公司 | 一种快速3d人脸构建***及构建方法 |
| CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
| CN109859134A (zh) * | 2019-01-30 | 2019-06-07 | 珠海天燕科技有限公司 | 一种美妆素材的处理方法及终端 |
| CN109886144A (zh) * | 2019-01-29 | 2019-06-14 | 深圳市云之梦科技有限公司 | 虚拟试发方法、装置、计算机设备和存储介质 |
| CN110009725A (zh) * | 2019-03-06 | 2019-07-12 | 浙江大学 | 基于多张rgb图像的人脸重建方法 |
| CN110021064A (zh) * | 2019-03-07 | 2019-07-16 | 李辉 | 一种唯美人脸***及其方法 |
| CN110120053A (zh) * | 2019-05-15 | 2019-08-13 | 北京市商汤科技开发有限公司 | 脸部妆容处理方法、装置及设备 |
| CN110544149A (zh) * | 2019-08-06 | 2019-12-06 | 尚尚珍宝(北京)网络科技有限公司 | 可穿戴产品的虚拟佩戴方法及装置 |
| CN110543826A (zh) * | 2019-08-06 | 2019-12-06 | 尚尚珍宝(北京)网络科技有限公司 | 用于可穿戴产品虚拟佩戴的图像处理方法及装置 |
| CN111179411A (zh) * | 2019-11-25 | 2020-05-19 | 郭宗源 | 基于社交平台的可视化面部美容整形仿真模拟方法及***、设备 |
| CN111640182A (zh) * | 2020-04-20 | 2020-09-08 | 南京征帆信息科技有限公司 | 一种墙面纹理绘制***和方法 |
| CN111833236A (zh) * | 2019-04-21 | 2020-10-27 | 未来市股份有限公司 | 产生模拟用户的三维脸部模型的方法及装置 |
| CN111899159A (zh) * | 2020-07-31 | 2020-11-06 | 北京百度网讯科技有限公司 | 用于变换发型的方法、装置、设备以及存储介质 |
| CN112052158A (zh) * | 2020-08-05 | 2020-12-08 | 腾讯科技(成都)有限公司 | 美术资源运行信息采集方法和装置 |
| CN112116699A (zh) * | 2020-08-14 | 2020-12-22 | 浙江工商大学 | 一种基于3d人脸跟踪的实时真人虚拟试发方法 |
| CN112991523A (zh) * | 2021-04-02 | 2021-06-18 | 福建天晴在线互动科技有限公司 | 一种高效自动化的头发匹配头型生成方法及其生成装置 |
| CN113724396A (zh) * | 2021-09-10 | 2021-11-30 | 广州帕克西软件开发有限公司 | 一种基于人脸网格的虚拟整容方法及装置 |
| CN117389676A (zh) * | 2023-12-13 | 2024-01-12 | 成都白泽智汇科技有限公司 | 一种基于显示界面的智能发型适配展示方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663820A (zh) * | 2012-04-28 | 2012-09-12 | 清华大学 | 三维头部模型重建方法 |
| CN103065360A (zh) * | 2013-01-16 | 2013-04-24 | 重庆绿色智能技术研究院 | 一种发型效果图的生成方法及*** |
| CN104157010A (zh) * | 2014-08-29 | 2014-11-19 | 厦门幻世网络科技有限公司 | 一种3d人脸重建的方法及其装置 |
| CN104376594A (zh) * | 2014-11-25 | 2015-02-25 | 福建天晴数码有限公司 | 三维人脸建模方法和装置 |
| CN105045968A (zh) * | 2015-06-30 | 2015-11-11 | 青岛理工大学 | 一种发型设计方法及*** |
| CN106652025A (zh) * | 2016-12-20 | 2017-05-10 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
-
2017
- 2017-06-28 CN CN201710506496.3A patent/CN107274493B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663820A (zh) * | 2012-04-28 | 2012-09-12 | 清华大学 | 三维头部模型重建方法 |
| CN103065360A (zh) * | 2013-01-16 | 2013-04-24 | 重庆绿色智能技术研究院 | 一种发型效果图的生成方法及*** |
| CN104157010A (zh) * | 2014-08-29 | 2014-11-19 | 厦门幻世网络科技有限公司 | 一种3d人脸重建的方法及其装置 |
| CN104376594A (zh) * | 2014-11-25 | 2015-02-25 | 福建天晴数码有限公司 | 三维人脸建模方法和装置 |
| CN105045968A (zh) * | 2015-06-30 | 2015-11-11 | 青岛理工大学 | 一种发型设计方法及*** |
| CN106652025A (zh) * | 2016-12-20 | 2017-05-10 | 五邑大学 | 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置 |
Non-Patent Citations (3)
| Title |
|---|
| DETLEF RUPRECHT，HEINRICH MULLER: ""Image Warping with Scattered Data Interpolation"", 《IEEE COMPUTER GRAPHICS AND APPLICATIONS》 * |
| 王超: ""基于单视图人脸重建的移动平台发型置换引擎的研究和应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 龚勋: ""基于单张二维图片的三维人脸建模"", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171789A (zh) * | 2017-12-21 | 2018-06-15 | 迈吉客科技（北京）有限公司 | 一种虚拟形象生成方法和*** |
| CN108171789B (zh) * | 2017-12-21 | 2022-01-18 | 迈吉客科技（北京）有限公司 | 一种虚拟形象生成方法和*** |
| CN108537861A (zh) * | 2018-04-09 | 2018-09-14 | 网易（杭州）网络有限公司 | 贴图生成方法、装置、设备和存储介质 |
| CN108711180A (zh) * | 2018-05-02 | 2018-10-26 | 北京市商汤科技开发有限公司 | 美妆/换脸特效程序文件包的生成及美妆/换脸特效生成方法与装置 |
| CN108711180B (zh) * | 2018-05-02 | 2021-08-06 | 北京市商汤科技开发有限公司 | 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置 |
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN109410315A (zh) * | 2018-08-31 | 2019-03-01 | 南昌理工学院 | 发型设计方法、装置、可读存储介质及智能终端 |
| CN109035380A (zh) * | 2018-09-11 | 2018-12-18 | 北京旷视科技有限公司 | 基于三维重建的人脸修饰方法、装置、设备及存储介质 |
| CN109035380B (zh) * | 2018-09-11 | 2023-03-10 | 北京旷视科技有限公司 | 基于三维重建的人脸修饰方法、装置、设备及存储介质 |
| CN109409274B (zh) * | 2018-10-18 | 2020-09-04 | 四川云从天府人工智能科技有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
| CN109523345A (zh) * | 2018-10-18 | 2019-03-26 | 河海大学常州校区 | 基于虚拟现实技术的WebGL虚拟试衣***和方法 |
| CN109409274A (zh) * | 2018-10-18 | 2019-03-01 | 广州云从人工智能技术有限公司 | 一种基于人脸三维重建和人脸对齐的人脸图像变换方法 |
| CN109377557B (zh) * | 2018-11-26 | 2022-12-27 | 中山大学 | 基于单帧人脸图像的实时三维人脸重建方法 |
| CN109377557A (zh) * | 2018-11-26 | 2019-02-22 | 中山大学 | 基于单帧人脸图像的实时三维人脸重建方法 |
| CN109671159A (zh) * | 2018-12-26 | 2019-04-23 | 贵州锦微科技信息有限公司 | 基于3d vr技术的少数民族美发虚拟试戴方法 |
| CN109685892A (zh) * | 2018-12-31 | 2019-04-26 | 南京邮电大学盐城大数据研究院有限公司 | 一种快速3d人脸构建***及构建方法 |
| CN109886144A (zh) * | 2019-01-29 | 2019-06-14 | 深圳市云之梦科技有限公司 | 虚拟试发方法、装置、计算机设备和存储介质 |
| CN109886144B (zh) * | 2019-01-29 | 2021-08-13 | 深圳市云之梦科技有限公司 | 虚拟试发方法、装置、计算机设备和存储介质 |
| CN109859134A (zh) * | 2019-01-30 | 2019-06-07 | 珠海天燕科技有限公司 | 一种美妆素材的处理方法及终端 |
| CN109857311A (zh) * | 2019-02-14 | 2019-06-07 | 北京达佳互联信息技术有限公司 | 生成人脸三维模型的方法、装置、终端及存储介质 |
| CN110009725A (zh) * | 2019-03-06 | 2019-07-12 | 浙江大学 | 基于多张rgb图像的人脸重建方法 |
| CN110021064A (zh) * | 2019-03-07 | 2019-07-16 | 李辉 | 一种唯美人脸***及其方法 |
| CN111833236A (zh) * | 2019-04-21 | 2020-10-27 | 未来市股份有限公司 | 产生模拟用户的三维脸部模型的方法及装置 |
| CN111833236B (zh) * | 2019-04-21 | 2023-07-07 | 未来市股份有限公司 | 产生模拟用户的三维脸部模型的方法及装置 |
| CN110120053A (zh) * | 2019-05-15 | 2019-08-13 | 北京市商汤科技开发有限公司 | 脸部妆容处理方法、装置及设备 |
| CN110543826A (zh) * | 2019-08-06 | 2019-12-06 | 尚尚珍宝(北京)网络科技有限公司 | 用于可穿戴产品虚拟佩戴的图像处理方法及装置 |
| CN110544149A (zh) * | 2019-08-06 | 2019-12-06 | 尚尚珍宝(北京)网络科技有限公司 | 可穿戴产品的虚拟佩戴方法及装置 |
| CN111179411B (zh) * | 2019-11-25 | 2023-03-28 | 郭宗源 | 基于社交平台的可视化面部美容整形仿真模拟方法及***、设备 |
| CN111179411A (zh) * | 2019-11-25 | 2020-05-19 | 郭宗源 | 基于社交平台的可视化面部美容整形仿真模拟方法及***、设备 |
| CN111640182B (zh) * | 2020-04-20 | 2023-04-07 | 南京征帆信息科技有限公司 | 一种墙面纹理绘制***和方法 |
| CN111640182A (zh) * | 2020-04-20 | 2020-09-08 | 南京征帆信息科技有限公司 | 一种墙面纹理绘制***和方法 |
| CN111899159A (zh) * | 2020-07-31 | 2020-11-06 | 北京百度网讯科技有限公司 | 用于变换发型的方法、装置、设备以及存储介质 |
| CN111899159B (zh) * | 2020-07-31 | 2023-12-22 | 北京百度网讯科技有限公司 | 用于变换发型的方法、装置、设备以及存储介质 |
| CN112052158B (zh) * | 2020-08-05 | 2022-09-30 | 腾讯科技(成都)有限公司 | 美术资源运行信息采集方法和装置 |
| CN112052158A (zh) * | 2020-08-05 | 2020-12-08 | 腾讯科技(成都)有限公司 | 美术资源运行信息采集方法和装置 |
| CN112116699B (zh) * | 2020-08-14 | 2023-05-16 | 浙江工商大学 | 一种基于3d人脸跟踪的实时真人虚拟试发方法 |
| CN112116699A (zh) * | 2020-08-14 | 2020-12-22 | 浙江工商大学 | 一种基于3d人脸跟踪的实时真人虚拟试发方法 |
| CN112991523A (zh) * | 2021-04-02 | 2021-06-18 | 福建天晴在线互动科技有限公司 | 一种高效自动化的头发匹配头型生成方法及其生成装置 |
| CN112991523B (zh) * | 2021-04-02 | 2023-06-30 | 福建天晴在线互动科技有限公司 | 一种高效自动化的头发匹配头型生成方法及其生成装置 |
| CN113724396A (zh) * | 2021-09-10 | 2021-11-30 | 广州帕克西软件开发有限公司 | 一种基于人脸网格的虚拟整容方法及装置 |
| CN117389676A (zh) * | 2023-12-13 | 2024-01-12 | 成都白泽智汇科技有限公司 | 一种基于显示界面的智能发型适配展示方法 |
| CN117389676B (zh) * | 2023-12-13 | 2024-02-13 | 成都白泽智汇科技有限公司 | 一种基于显示界面的智能发型适配展示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107274493B (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107274493A (zh) | 一种基于移动平台的三维虚拟试发型人脸重建方法 | |
| CN109377557B (zh) | 基于单帧人脸图像的实时三维人脸重建方法 | |
| Lu et al. | Illustrative interactive stipple rendering | |
| CN110335343A (zh) | 基于rgbd单视角图像人体三维重建方法及装置 | |
| US7953275B1 (en) | Image shader for digital image modification | |
| US8019182B1 (en) | Digital image modification using pyramid vignettes | |
| Wu et al. | Interactive normal reconstruction from a single image | |
| CN106373178A (zh) | 生成人工图像的装置和方法 | |
| Wu et al. | Making bas-reliefs from photographs of human faces | |
| Li et al. | In-home application (App) for 3D virtual garment fitting dressing room | |
| CN111563951B (zh) | 贴图生成方法、装置、电子设备及存储介质 | |
| CN108805090A (zh) | 一种基于平面网格模型的虚拟试妆方法 | |
| Hudon et al. | Deep normal estimation for automatic shading of hand-drawn characters | |
| CN105913496B (zh) | 一种将真实服饰快速转换为三维虚拟服饰的方法及*** | |
| CN106855987A (zh) | 基于模特道具的真实感时装展示方法和装置 | |
| CN109377537A (zh) | 重彩画的风格转移方法 | |
| NZ551124A (en) | Dynamic Wrinkle mapping | |
| Verhoeven | Computer graphics meets image fusion: The power of texture baking to simultaneously visualise 3D surface features and colour | |
| WO2020104990A1 (en) | Virtually trying cloths & accessories on body model | |
| CN101477705B (zh) | 基于光照球模型的计算机辅助人物动画艺术化绘制方法 | |
| Tarini et al. | Texturing faces | |
| KR100828935B1 (ko) | 디지털 패션 디자인용 실사 기반 가상 드레이핑 시뮬레이션방법 | |
| CN108230431A (zh) | 一种二维虚拟形象的人体动作动画生成方法及*** | |
| Kerber et al. | Real-time generation of digital bas-reliefs | |
| Li et al. | ARF-Plus: Controlling Perceptual Factors in Artistic Radiance Fields for 3D Scene Stylization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |