CN113223188B - 一种视频人脸胖瘦编辑方法 - Google Patents

一种视频人脸胖瘦编辑方法 Download PDF

Info

Publication number
CN113223188B
CN113223188B CN202110538233.7A CN202110538233A CN113223188B CN 113223188 B CN113223188 B CN 113223188B CN 202110538233 A CN202110538233 A CN 202110538233A CN 113223188 B CN113223188 B CN 113223188B
Authority
CN
China
Prior art keywords
face
dimensional
video
parameters
dimensional face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110538233.7A
Other languages
English (en)
Other versions
CN113223188A (zh
Inventor
唐祥峻
孙文欣
金小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110538233.7A priority Critical patent/CN113223188B/zh
Publication of CN113223188A publication Critical patent/CN113223188A/zh
Application granted granted Critical
Publication of CN113223188B publication Critical patent/CN113223188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种视频人脸胖瘦编辑方法，包括如下步骤：基于人脸视频重建三维人脸模型，并输出三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数；基于三维人脸胖瘦调整算法对三维人脸模型进行调整，并将调整结果迁移至每一帧，生成每一帧的形变三维人脸模型；使用有向距离场建立二维平面上形变前后的人脸边界的稠密映射，并基于三维人脸模型的结构调整所述稠密映射；基于所述稠密映射对人脸视频帧形变，并使用能量优化减少因形变造成的视频帧的背景扭曲，得到形变后的人脸视频帧，并将其对应替换回原人脸视频。本发明实现了自动生成符合所述胖瘦尺度的人脸视频，并且在被遮挡，长发，戴眼镜等情况下依旧能得到理想的结果。

Description

一种视频人脸胖瘦编辑方法
技术领域
本发明涉及肖像编辑技术领域，特别是涉及一种视频人脸胖瘦编辑方法。
背景技术
随着社交网络和媒体的快速发展，越来越多的人积极地在网络上分享个人视频和图片。图像编辑技术通常被用来创造特别的人脸效果，比如人脸的夸张、美化等。目前的研究关注点主要集中于编辑人脸的颜色，纹理以及形状。
“Deep Shapely Portraits”(In MM′20:The 28th ACM InternationalConference on Multimedia.2020.1800–1808)公开了基于图像的自动胖瘦编辑方法，使用神经网络自动识别对特定人最合适的胖瘦尺度，并使用渲染融合的技术对图像进行形变。但该技术在时域上不稳定，并且不能很好处理侧脸。
“Motion-AwareGradient Domain Video Composition”(IEEE Transactions onImage Processing22,7(2013),2532–2544)公开了稳定的边界融合的重要性，并提出了融合原视频和目标视频梯度的方法。
公开号为CN 112348937 A的说明书公开了一种人脸图像处理方法，包括：电子设备获取待处理的二维图像，根据预先设定的基准网格构建所述待处理的二维图像对应的三维网格模型，根据所述待处理的二维图像的拍摄参数获取所述三维网格模型的纹理图，根据所述基准网格的脸部的可见边界确定边界点，以及与所述边界点对应的控制点；所述电子设备根据预设的变形要求，结合所述边界点与控制点的对应关系，对所述三维网格模型进行变形处理，将所述纹理图像渲染至变形处理后的三维网格模型，根据渲染后的三维网格模型生成处理后的图像。
随着深度学习的发展，近年来也出现了许多用深度学习编辑人脸的方法，但大部分用于编辑人脸的表情，妆容或姿态。例如，“Real-time Expression Transfer forFacialReenactment”(ACMTransactionsonGraphics(TOG)34,6(2015),183:1–183:14)公开了把其中一个人的表情参数迁移到另一个人脸上的方法；“PIE:portrait imageembedding for semanticcontrol”(ACMTransactionsonGraphics39,6(2020),1–14)公开了利用GAN网络对于图像语义的编辑方法，可编辑的特征包括人脸姿态，表情和光照。
公开号为CN 112308957 A的说明书公开了一种基于深度学***面上，得到最佳胖瘦的人脸；通过前后背景融合算法，使最佳胖瘦的人脸无缝嵌入到人脸肖像图像中，得到最佳胖瘦人脸肖像图像。
单目人脸重建是一个病态问题，需要人脸形状和表情的先验知识才可能求解出一个良好的结果。“A morphable model for the synthesis of 3D faces”(Inthe 26thAnnualConferenceonComputerGraphicsandInteractiveTechniques.ACM,187–194)最早公开了三维可变形模型(3DMM)，利用对三维扫描模型应用主成分分析方法，提取人脸形状的表示空间，得到人脸形状的先验知识。
“Practice and Theory of Blendshape Facial Models”(Inthe 35thAnnualConferenceoftheEuropeanAssociationforComputerGraphics.199–218)公开了混合模型(blendshapes)，将人脸表情表示为带表情人脸和自然表情人脸的差。在3DMM的基础上，后续有了更多的研究在不同层面上提高人脸表示模型的精度和适用性。
“A Multiresolution3D Morphable Face Model and Fitting Framework”(Inthe 11th JointConferenceonComputerVision,ImagingandComputerGraphicsTheoryandApplications(VISIGR APP),Vol.4.79–86)公开了多分辨率3DMM模型，可重建出不同分辨率的三维人脸网格。
但是相比起基于图像的人脸单目重建工作，基于视频的人脸重建工作则相对较少。尽管相比于图像，视频中包含更多的信息，但是重建得到人脸的形状、表情和姿态依旧是一个很有挑战性的问题。简单的添加更多的约束项并不能得到满意的结果。
“Real-time Expression Transfer for FacialReenactment”(ACMTransactionsonGraphics(TOG)34,6(2015),183:1–183:14)公开了联合多帧进行优化。
“Stabilized Real-time Face Tracking via a Learned DynamicRigidityPrior”(ACMTransactionsonGraphics(TOG)37,6(2018),1–11)公开了一个基于动态刚性先验的人脸追踪方法进一步提升了重建质量。
但是以上基于视频重建方法均不能得到唯一的人脸形状参数，即第一帧得到的人脸形状参数和最后一帧得到的人脸形状参数并不相同。
发明内容
本发明的目的在于提出一种视频人脸胖瘦编辑方法，对于任意的人脸视频给定胖瘦尺度，实现自动生成符合所述胖瘦尺度的人脸视频，并且在被遮挡，长发，戴眼镜等情况下依旧能得到理想的结果。
一种视频人脸胖瘦编辑方法，包括如下步骤：
(1)基于人脸视频重建三维人脸模型，生成人脸视频中三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数；
(2)基于三维人脸胖瘦调整算法对三维人脸模型进行调整，将调整结果迁移至每一视频帧，生成每一视频帧的形变三维人脸模型；
(3)使用有向距离场建立二维平面上形变前后的人脸边界的稠密映射，并基于三维人脸模型的结构调整所述稠密映射；
(4)基于所述稠密映射对步骤(1)中的人脸视频帧形变，并采用能量优化减少因形变造成的视频帧的背景扭曲，得到形变后的人脸视频帧，将所述形变后的人脸视频帧对应替换回原人脸视频。
所述步骤(1)中，重建三维人脸模型，生成人脸视频中三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数，其具体步骤如下：
(1-1)基于单目视觉三维人脸重建算法重建三维人脸模型，计算人脸视频中每一视频帧的人脸姿态参数。所述单目视觉三维人脸重建算法采用“A Multiresolution3DMorphable Face Model and Fitting Framework”(Inthe11thJointConferenceonComputerVision,ImagingandComputerGraphicsTheoryandApplicatio ns(VISIGRAPP),Vol.4.79–86)公开的多分辨率人脸三维模型中的最低分辨率的方法。
(1-2)根据人脸姿态参数找出人脸视频中合适表示人脸形状的连续k帧，进行联合优化得到三维人脸形状参数，所述k值小于10；
(1-3)将三维人脸形状参数作为已知条件，根据单目视觉三维人脸重建算法得到每一帧的人脸表情参数。
所述步骤(1-1)中，基于单目视觉三维人脸重建算法重建三维人脸模型，计算人脸视频中每一视频帧的人脸姿态参数，其具体步骤如下：
(1-1-1)重建三维人脸模型，根据式(I)在人脸视频的时域定义光流约束，所述光流约束利用光流信息纠正三维人脸模型中特征点检测的误差，使得三维人脸模型符合检测得出的光流变化，所述光流约束定义于人脸边界的区域，
Figure BDA0003070681690000031
其中，r、t分别为当前帧的人脸旋转参数和平移参数，r′、t′为上一帧的人脸旋转参数和平移参数，α为三维人脸形状参数估计值，β、β′为当前帧和上一帧的人脸表情参数估计值；Π为投影算子，用于根据人脸参数将人脸投影到二维平面；Lb为人脸边界的特征点集合；Ui为二维平面上第i个点所对应的光流值，Eoptic为在人脸边界定义的光流约束能量。
(1-1-2)根据式(II)所述的能量方程，固定人脸表情参数估计值和三维人脸形状参数估计值，求最优解得到人脸姿态参数Epose。
Figure BDA0003070681690000041
其中，Eland为三维人脸特征点的投影和二维人脸特征点匹配的能量，
Figure BDA0003070681690000042
为保持相邻两帧人脸姿态连续性的能量，λland、
Figure BDA0003070681690000043
λoptic分别为三个能量项的权重；
Figure BDA0003070681690000044
其中，pi为第i个点对应的特征点，L为三维人脸人脸特征点的集合；
Figure BDA0003070681690000045
其中，γ为平衡平移和旋转效果的参数。
所述步骤(1-2)中，根据人脸姿态参数找到适合表示人脸形状的连续k帧进行联合优化得到三维人脸形状参数的具体步骤为；
(1-2-1)基于步骤(1-1)得到的人脸姿态参数，遍历视频帧得到人脸正面朝向镜头的连续k帧；如k值大于等于10，则将多余的帧截断；
(1-2-2)根据式(III)所述的能量方程，与连续k帧进行联合求解得到三维人脸形状参数Eidentity：
Figure BDA0003070681690000046
其中，Ealign为三维人脸特征点及三维人脸边界点和二维人脸特征点及二维人脸边界点匹配的能量，Etemp为保持相邻两帧人脸的姿态连续性和表情连续性的能量，Eprior为三维人脸形状参数和表情参数的匹配先验知识的能量，λalign、λoptic、λtemp为对应能量项的权重；
Figure BDA0003070681690000047
其中，σ为边界能量项和特征点能量项的平衡参数。
Ealign和Eland的区别在于，Eland是图像特征点到人脸三维模型的固定对应，而Ealign的对应关系随着人脸姿态的变化而发生改变；由于人脸姿态的不同，三维人脸投影到二维图像上的边界也不同，当计算得出人脸姿态参数后，才可能应用Ealign。
Figure BDA0003070681690000048
Eprior＝wprior(||α||2+||αβ||2)(VIII)
其中，wprior为对应能量项Eprior的权重。
所述步骤(1-3)中，根据单目视觉三维人脸重建算法得到每一帧的人脸表情参数Eexpr为：
Eexpr＝λalign(Ealign)i+λoptic(Eoptic)i+λtemp(Etemp)i+(Eprior)i(IX)
所述步骤(2)中，三维人脸胖瘦调整算法采用“Deep Shapely Portraits”(In MM′20:The28th ACM International Conference on Multimedia.2020.1800–1808)公开的重建算法，所述重建算法根据输入的胖瘦尺度对三维人脸模型进行形变。
所述步骤(2)中，基于三维人脸胖瘦调整算法对三维人脸模型进行调整，生成每一帧的形变三维人脸模型的具体步骤如下；
(2-1)使用自然表情参数和三维人脸形状参数求出自然表情下的三维平均人脸模型；
(2-2)根据用户输入的胖瘦尺度得到自然表情下形变后的人脸模型；
(2-3)针对视频的每一帧，将人脸表情参数添加至自然表情下形变后的人脸模型中，输出带表情的形变三维人脸模型。
所述步骤(3)中，使用有向距离场建立二维平面上形变前后的人脸边界的稠密映射，并基于三维人脸结构调整该映射，其具体步骤如下：
(3-1)采用三维平均人脸模型和人脸姿态参数将三维人脸投影至二维图像平面，并提取二维人脸图像投影的边界；
(3-2)抽取人脸视频中的视频帧，将视频帧的人脸边界区域中各个像素点反投影于步骤(1)中重建的三维人脸模型上，对每个像素点，找到重建的三维人脸模型上对应的最近顶点；将步骤(2)得到的形变三维人脸模型的顶点投影至视频帧的平面，故反投影前的原像素点变换到新位置，将原位置和新位置的映射作为初始映射；
(3-3)使用GPU实时构建形变三维人脸模型中人脸边界的有向距离场；
(3-4)采用梯度优化方法将步骤(3-2)中得到的初始映射的像素点经过迭代优化移动到有向距离场中值为0的区域，构成密集映射；
(3-5)将密集映射的像素点投影回形变三维人脸模型，如投影回的像素点不在形变三维人脸模型的脸颊上，则将其对应的映射关系排除。
所述步骤(4)中，基于稠密映射对人脸视频中各个视频帧进行形变，并使用能量优化减少因形变造成的视频帧背景扭曲，其具体步骤如下：
(4-1)对人脸模型形变前的各个视频帧上的人脸区域附近建立棋盘网格，找到棋盘格上离密集映射的像素点最近的网格点，根据密集映射关系采用移动最小二乘形变方法移动网格点；所述移动最小二乘形变方法公开于“Image deformationusing moving leastsquares”(ACM SIGGRAPH 2006Papers.2006:533-540.)；
(4-2)固定离密集映射的像素点最近的网格点，移动其余网格点使能量E达到最小，使得视频帧因形变造成的背景扭曲影响达到最小：
E＝wlEl+wrEr (X)
其中，El、Er分别为约束网格线保持平直和约束网格上每个格点面积保持不变的能量、wl、wr分别为对应能量项的权重；
Figure BDA0003070681690000061
Figure BDA0003070681690000062
其中，vi为第i个网格点，N(i)为第i个点所有相邻点构成的集合，eij为沿着vi-vj方向的单位向量。
本发明相比现有技术，其优点在于：
1、本发明高质量的调节了视频中人脸肖像的胖瘦；
2、本发明采用多阶段优化的三维人脸重建算法，使得三维人脸重建高效且稳定；
3、本发明提供了基于有向距离场和三维人脸结构的视频形变方法，该方法不产生明显瑕疵。
附图说明
图1本发明实施例中视频人脸胖瘦编辑方法的流程图。
具体实施方式
如图1所示，视频人脸胖瘦编辑方法，包括如下步骤：
(1)基于人脸视频重建三维人脸模型，生成人脸视频中三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数。
(1-1)基于单目视觉三维人脸重建算法重建三维人脸模型，计算人脸视频中每一视频帧的人脸姿态参数；该步骤对人脸视频进行进行了刚性姿态估计。
单目视觉三维人脸重建算法采用“A Multiresolution3D Morphable Face Modeland Fitting Framework”
(Inthe11thJointConferenceonComputerVision,ImagingandComputerGraphicsTheoryandApplicatio ns(VISIGRAPP),Vol.4.79–86)公开的多分辨率人脸三维模型中的最低分辨率的方法，其具体步骤如下：
(1-1-1)重建三维人脸模型，根据式(I)在人脸视频的时域定义光流约束，光流约束利用光流信息纠正三维人脸模型中特征点检测的误差，使得重建的三维人脸模型符合检测得到的光流变化，光流约束定义于人脸边界的区域：
Figure BDA0003070681690000071
其中，r、t分别为当前帧的人脸旋转参数和平移参数，r′、t′为上一帧的人脸旋转参数和平移参数，α为三维人脸形状参数，β、β′为当前帧和上一帧的人脸表情参数，Π为投影算子，用于根据人脸参数将人脸投影到二维平面，Lb为人脸边界的特征点集合；Ui为二维平面上第i个点所对应的光流值，Eoptic为在人脸边界定义的光流约束能量。
(1-1-2)根据式(II)的能量方程，固定人脸表情参数和三维人脸形状参数，求最优解得到人脸姿态参数Epose。
Figure BDA0003070681690000072
其中，Eland为三维人脸特征点的投影和二维人脸特征点匹配的能量，
Figure BDA0003070681690000073
为保持相邻两帧人脸姿态连续性的能量，λland、
Figure BDA0003070681690000074
λoptic分别为三个能量项的权重。
Figure BDA0003070681690000075
其中，pi为第i个点对应的特征点，L为三维人脸人脸特征点的集合。
Figure BDA0003070681690000076
其中，γ为平衡平移和旋转效果的参数。
(1-2)根据人脸姿态参数找到最能表示人脸形状的连续k帧进行联合优化得到三维人脸形状参数，其具体步骤如下：
(1-2-1)基于步骤(1-1)得到的人脸姿态参数，遍历人脸视频中的所有视频帧，找到人脸正面朝向镜头或尽可能正脸朝向镜头的连续k帧，则将多余的帧截断，使得k值小于10；
(1-2-2)根据式(V)能量方程对三维人脸进行形状估计，与最能表示人脸形状的连续k帧进行联合优化求解得到三维人脸形状参数Eidentity：
Figure BDA0003070681690000077
其中，Ealign为三维人脸特征点及三维人脸边界点和二维人脸特征点及二维人脸边界点匹配的能量，Etemp为保持相邻两帧人脸的姿态连续性和表情连续性的能量，Eprior为三维人脸形状参数和表情参数的匹配先验知识的能量，λalign、λoptic、λtemp为对应能量项的权重。
Figure BDA0003070681690000078
其中，σ为边界能量项和特征点能量项的平衡参数。
Ealign和Eland的区别在于，Eland是图像特征点到人脸三维模型的固定对应，而Ealign的对应关系随着人脸姿态的变化而发生改变；由于人脸姿态的不同，三维人脸投影到二维图像上的边界也不同，当得到人脸姿态参数后，才可能应用Ealign。
Figure BDA0003070681690000081
Eprior＝wprior(||α||2+||β||2)(VIII)
其中，wprior为对应能量项Eprior的权重。
(1-3)将三维人脸形状参数作为已知条件，根据单目视觉三维人脸重建算法得到每一帧的人脸表情参数Eexpr为：
Eexpr＝λalign(Ealign)i+λoptic(Eoptic)i+λtemp(Etemp)i+(Eprior)i(IX)
(2)基于三维人脸胖瘦调整算法对三维人脸模型进行调整，将调整结果迁移至每一视频帧，生成每一视频帧的形变三维人脸模型，其具体步骤如下：
其中，三维人脸胖瘦调整算法采用“Deep Shapely Portraits”(In MM′20:The28th ACM International Conference on Multimedia.2020.1800–1808)公开的重建算法，该重建算法根据输入的胖瘦尺度对三维人脸模型进行形变。
(2-1)使用自然表情参数和三维人脸形状参数求出自然表情下的三维平均人脸模型；
(2-2)根据用户输入的胖瘦尺度得到自然表情下形变后的人脸模型；
(2-3)针对视频的每一帧，将人脸表情参数添加至自然表情下形变后的人脸模型中，输出带表情的形变三维人脸模型。
(3)使用有向距离场建立二维平面上形变前后的人脸边界的稠密映射，并基于三维人脸模型的结构调整稠密映射，其具体步骤如下：
(3-1)采用步骤(2-1)中得到的三维平均人脸模型和人脸姿态参数将三维人脸投影至二维图像平面，并提取二维人脸图像投影的边界。
(3-2)抽取视频帧的原始图像，将原始图像的人脸边界区域中各个像素点反投影于步骤(1)中重建的三维人脸模型上，对每个像素点，找到形变前三维人脸模型上最近的顶点，将形变三维人脸模型的顶点重新投影至原始图像的平面，故反投影前的原像素点变换到新位置，将原始位置和新位置的映射作为初始映射。
如果找到的顶点没有落在脸颊上，而是落在鼻子、嘴巴等其他区域，(在侧脸的情况下，鼻子可能遮挡住了原本脸颊的边界)则接下来的计算不考虑该顶点。
(3-3)将形变后的人脸边界点的位置传入GPU；在Compute shader中，对每个像素点并行，遍历人脸边界点找到距离本像素点的最近距离并储存。
(3-4)采用梯度优化方法将步骤(3-2)中得到的初始映射的像素点经过迭代优化移动到有向距离场中值为0的区域，构成密集映射，其具体步骤如下：
(3-4-1)计算初始映射中每个像素点在有向距离场相同位置处的梯度，将其根据梯度方向进行微小偏移；
(3-4-2)迭代步骤(3-4-1)，直到梯度为0或靠近有向距离场中值为0的区域，以达到将初始映射中每个像素点移动到形变后的边界线上这一目的。
(3-5)将密集映射的像素点投影回形变三维人脸模型，如投影回的像素点不在形变三维人脸模型的脸颊上，则将其对应的映射关系排除。
(4)基于稠密映射对步骤(1)中的人脸视频的视频帧形变，并采用能量优化减少因形变造成的视频帧的背景扭曲，得到形变后的视频帧并将形变后的人脸视频帧对应替换回原人脸视频，其具体步骤如下：
(4-1)对步骤(1)中人脸视频的视频帧中人脸区域附近建立棋盘网格，找到棋盘格上离密集映射的像素点最近的网格点，根据密集映射关系采用移动最小二乘形变方法移动网格点；移动最小二乘形变方法公开于“Image deformationusing moving leastsquares.”(ACM SIGGRAPH 2006Papers.2006:533-540.)；
(4-2)固定离密集映射的像素点最近的网格点，移动其余网格点使能量E达到最小，使得视频帧因形变造成的背景扭曲影响达到最小：
E＝wlEl+wrEr(X)
其中，El，Er分别为约束网格线保持平直和约束网格上每个格点面积保持不变的能量、wl、wr分别为对应能量项的权重；
Figure BDA0003070681690000091
Figure BDA0003070681690000092
其中，vi为第i个网格点，N(i)为第i个点所有相邻点构成的集合，eij为沿着vi-vj方向的单位向量。

Claims (7)

1.一种视频人脸胖瘦编辑方法，其特征在于，包括如下步骤：
(1)基于人脸视频重建三维人脸模型，生成人脸视频中三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数；
(2)基于三维人脸胖瘦调整算法对三维人脸模型进行调整，将调整结果迁移至每一视频帧，生成每一视频帧的形变三维人脸模型，其具体步骤如下：
(2-1)使用自然表情参数和三维人脸形状参数求出自然表情下的三维平均人脸模型；
(2-2)根据用户输入的胖瘦尺度得到自然表情下形变后的人脸模型；
(2-3)针对视频的每一视频帧，将人脸表情参数添加至自然表情下形变后的人脸模型中，输出带表情的形变三维人脸模型；
(3)使用有向距离场建立二维平面上形变前后的人脸边界的稠密映射，并基于三维人脸模型的结构调整所述稠密映射，其具体步骤如下：
(3-1)采用三维平均人脸模型和人脸姿态参数将三维人脸投影至二维图像平面，并提取二维人脸图像投影的边界；
(3-2)抽取人脸视频中的视频帧，将视频帧的人脸边界区域中各个像素点反投影于步骤(1)中重建的三维人脸模型上，对每个像素点，找到重建的三维人脸模型上对应的最近顶点，将步骤(2)得到的形变三维人脸模型的顶点投影至视频帧的平面，故反投影前的原像素点变换到新位置，将原位置和新位置的映射作为初始映射；
(3-3)使用GPU实时构建形变三维人脸模型中人脸边界的有向距离场；
(3-4)采用梯度优化方法将步骤(3-2)中得到的初始映射的像素点经过迭代优化移动到有向距离场中值为0的区域，构成密集映射；
(3-5)将密集映射的像素点投影回形变三维人脸模型，如投影回的像素点不在形变三维人脸模型的脸颊上，则将其对应的映射关系排除；
(4)基于所述稠密映射对步骤(1)中的人脸视频帧形变，并采用能量优化减少因形变造成的视频帧的背景扭曲，得到形变后的人脸视频帧，将所述形变后的人脸视频帧对应替换回原人脸视频。
2.如权利要求1所述的视频人脸胖瘦编辑方法，其特征在于，所述步骤(1)中，重建三维人脸模型，生成人脸视频中三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数，其具体步骤如下：
(1-1)基于单目视觉三维人脸重建算法重建三维人脸模型，计算人脸视频中每一视频帧的人脸姿态参数；
(1-2)根据人脸姿态参数找出人脸视频中合适表示人脸形状的连续k帧，进行联合优化得到三维人脸形状参数，所述k值小于10；
(1-3)将三维人脸形状参数作为已知条件，根据单目视觉三维人脸重建算法得到每一视频帧的人脸表情参数。
3.如权利要求2所述的视频人脸胖瘦编辑方法，其特征在于，所述步骤(1-1)中，基于单目视觉三维人脸重建算法重建三维人脸模型，计算人脸视频中每一视频帧的人脸姿态参数，其具体步骤如下：
(1-1-1)重建三维人脸模型，在人脸视频的时域定义光流约束，所述光流约束利用光流信息纠正三维人脸模型中特征点检测的误差，使得三维人脸模型符合检测得出的光流变化，所述光流约束定义于人脸边界的区域：
Figure FDA0003581589140000021
其中，r、t分别为当前帧的人脸旋转参数和平移参数，r′、t′为上一帧的人脸旋转参数和平移参数，α为三维人脸形状参数估计值，β、β′为当前帧和上一帧的人脸表情参数估计值；Π为投影算子，用于根据人脸参数将人脸投影到二维平面；Lb为人脸边界的特征点集合；Ui为二维平面上第i个点所对应的光流值，Eoptic为在人脸边界定义的光流约束能量；
(1-1-2)固定人脸表情参数估计值和三维人脸形状参数估计值，求最优解得到人脸姿态参数Epose：
Figure FDA0003581589140000022
其中，Eland为三维人脸特征点的投影和二维人脸特征点匹配的能量，
Figure FDA0003581589140000023
为保持相邻两帧人脸姿态连续性的能量，λland、
Figure FDA0003581589140000024
λoptic分别为三个能量项的权重。
4.如权利要求3所述的视频人脸胖瘦编辑方法，其特征在于，所述步骤(1-2)中，根据人脸姿态参数找到适合表示人脸形状的连续k帧进行联合优化得到三维人脸形状参数，其具体步骤如下：
(1-2-1)基于步骤(1-1)得到的人脸姿态参数，遍历视频帧得到人脸正面朝向镜头的连续k帧，如果k值大于等于10，则将多余的帧截断；
(1-2-2)根据式(III)所述的能量方程，与连续k帧进行联合求解得到三维人脸形状参数Eidentity：
Figure FDA0003581589140000025
其中，Ealign为三维人脸特征点及三维人脸边界点和二维人脸特征点及二维人脸边界点匹配的能量，Etemp为保持相邻两帧人脸的姿态连续性和表情连续性的能量，Eprior为三维人脸形状参数和表情参数的匹配先验知识的能量，Eoptic为在人脸边界定义的光流约束能量；λalign、λoptic、λtemp为对应能量项的权重。
5.如权利要求4所述的视频人脸胖瘦编辑方法，其特征在于，三维人脸特征点及三维人脸边界点和二维人脸特征点及二维人脸边界点匹配的能量Ealign为：
Figure FDA0003581589140000031
其中，r、t分别为当前帧的人脸旋转参数和平移参数，α为三维人脸形状参数估计值，β为当前帧的人脸表情参数估计值；σ为边界能量项和特征点能量项的平衡参数，pi为第i个点对应的特征点，Lb为人脸边界的特征点集合。
6.如权利要求2所述的视频人脸胖瘦编辑方法，其特征在于，所述步骤(1-3)中，根据单目视觉三维人脸重建算法得到每一帧的人脸表情参数Eexpr为：
Eexpr＝λalign(Ealign)i+λoptic(Eoptic)i+λtemp(Etemp)i+(Eprior)i (IX)
其中，Eexpr为人脸表情参数，Ealign为三维人脸特征点及三维人脸边界点和二维人脸特征点及二维人脸边界点匹配的能量，Etemp为保持相邻两帧人脸的姿态连续性和表情连续性的能量，Eprior为三维人脸形状参数和表情参数的匹配先验知识的能量，Eoptic为在人脸边界定义的光流约束能量；λalign、λoptic、λtemp为对应能量项的权重。
7.如权利要求1所述的视频人脸胖瘦编辑方法，其特征在于，所述步骤(4)中，基于稠密映射对人脸视频中各个视频帧进行形变，并使用能量优化减少因形变造成的视频帧背景扭曲，其具体步骤如下：
(4-1)对人脸模型形变前的各个视频帧上的人脸区域附近建立棋盘网格，找到棋盘格上离密集映射的像素点最近的网格点，根据密集映射关系采用移动最小二乘形变方法移动网格点；
(4-2)固定离密集映射的像素点最近的网格点，移动其余网格点使能量E达到最小，使得视频帧因形变造成的背景扭曲影响达到最小：
E＝wlEl+wrEr (X)
其中，El、Er分别为约束网格线保持平直和约束网格上每个格点面积保持不变的能量、wl、wr分别为对应能量项的权重；
Figure FDA0003581589140000032
Figure FDA0003581589140000033
其中，vi为第i个网格点，N(i)为第i个点所有相邻点构成的集合，eij为沿着vi-vj方向的单位向量。
CN202110538233.7A 2021-05-18 2021-05-18 一种视频人脸胖瘦编辑方法 Active CN113223188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110538233.7A CN113223188B (zh) 2021-05-18 2021-05-18 一种视频人脸胖瘦编辑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110538233.7A CN113223188B (zh) 2021-05-18 2021-05-18 一种视频人脸胖瘦编辑方法

Publications (2)

Publication Number Publication Date
CN113223188A CN113223188A (zh) 2021-08-06
CN113223188B true CN113223188B (zh) 2022-05-27

Family

ID=77093047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110538233.7A Active CN113223188B (zh) 2021-05-18 2021-05-18 一种视频人脸胖瘦编辑方法

Country Status (1)

Country Link
CN (1) CN113223188B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208133A (zh) * 2013-04-02 2013-07-17 浙江大学 一种图像中人脸胖瘦的调整方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7755619B2 (en) * 2005-10-13 2010-07-13 Microsoft Corporation Automatic 3D face-modeling from video
CN107944367B (zh) * 2017-11-16 2021-06-01 北京小米移动软件有限公司 人脸关键点检测方法及装置
CN108596827B (zh) * 2018-04-18 2022-06-17 太平洋未来科技（深圳）有限公司 三维人脸模型生成方法、装置及电子设备
CN112348937A (zh) * 2019-08-09 2021-02-09 华为技术有限公司 人脸图像处理方法及电子设备
CN110796083B (zh) * 2019-10-29 2023-07-04 腾讯科技（深圳）有限公司 图像显示方法、装置、终端及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208133A (zh) * 2013-04-02 2013-07-17 浙江大学 一种图像中人脸胖瘦的调整方法

Also Published As

Publication number Publication date
CN113223188A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN109584353B (zh) 一种基于单目视频重建三维人脸表情模型的方法
Achenbach et al. Fast generation of realistic virtual humans
US10089522B2 (en) Head-mounted display with facial expression detecting capability
CN109377557B (zh) 基于单帧人脸图像的实时三维人脸重建方法
JP4733318B2 (ja) 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム
CN110096156B (zh) 基于2d图像的虚拟换装方法
US6047078A (en) Method for extracting a three-dimensional model using appearance-based constrained structure from motion
WO2016029768A1 (zh) 一种3d人脸重建的方法及其装置
WO2019219012A1 (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
JP4950787B2 (ja) 画像処理装置及びその方法
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
US11494963B2 (en) Methods and systems for generating a resolved threedimensional (R3D) avatar
CN113628327A (zh) 一种头部三维重建方法及设备
CN111028354A (zh) 一种基于图像序列的模型形变人脸三维重建方案
WO2023066120A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN117496072B (zh) 一种三维数字人生成和交互方法及***
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、***
CN106909904B (zh) 一种基于可学习形变场的人脸正面化方法
Song et al. A generic framework for efficient 2-D and 3-D facial expression analogy
CN112116699A (zh) 一种基于3d人脸跟踪的实时真人虚拟试发方法
CN117333604A (zh) 一种基于语义感知神经辐射场的人物面部重演方法
CN113223188B (zh) 一种视频人脸胖瘦编辑方法
Straka et al. Rapid skin: estimating the 3D human pose and shape in real-time
US12020363B2 (en) Surface texturing from multiple cameras
CN115457171A (zh) 一种采用基表情空间变换的高效表情迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant