CN103198464B - 一种基于单个参考视频的人脸视频光影迁移生成方法 - Google Patents

Abstract

本发明公开了一种基于单个参考视频的人脸视频光影迁移生成方法，属于虚拟现实和计算机视觉领域。给定一段近似均匀光照下的正面人脸视频(目标视频)和一段变光照条件下的人脸视频(参考视频)，将参考视频的脸部光影效果迁移至目标视频，生成与参考视频光照效果相似、逼真的视频。本发明包括：目标关键帧的光照信息迁移和目标非关键帧光照信息传播。其中目标关键帧的光照效果迁移包括：目标关键帧与目标参考关键帧对齐、边缘保持平滑、皮肤区域光照信息提取、非皮肤区域光照信息插值。本发明可广泛应用推广到影视后期制作、个人视频编辑等应用场景。

Description

一种基于单个参考视频的人脸视频光影迁移生成方法

技术领域

本发明涉及虚拟现实和计算视觉领域，具体的说是一种基于单个参考视频的人脸表***光照迁移方法。

背景技术

基于视频素材的虚实融合技术是虚拟现实技术的重要组成部分。由于构成虚拟场景与场景对象可能来自不同的素材，场景对象和场景的光照效果可能会存在较大的差异，然而虚实融合场景需要场景与场景对象具有一致的光照效果。然而在场景对象采集过程中无法预知场景的光照条件进而无法根据场景光照条件设置采集环境的光照条件。一种可行方案是在均匀光照条件下采集场景对象视频，然后在场景虚实融合过程中将所需要的光照条件迁移到场景对象。视频场景对象的光照迁移问题，即如何将带有场景光照条件的人脸视频迁移到拍摄于均匀光照条件下的参考人脸表***，是目前急需解决的问题。

目前，有一种人脸视频光影迁移方法。2007年南加州大学的Peers等采用了一种基于关键帧的人脸视频对象光照迁移方法，通过采集静态参考人脸对象在不同光照条件下反射场。并利用同一对象在不同光照条件下的人脸图像与在正面均匀光照条件下的人脸图像之间比值，构建相应光照条件下关键帧的商图。然后计算目标帧图像与前后关键帧图像间的光流，接着利用光流变形前后关键帧商图得到目标帧，混合后得到目标帧商图，最后利用目标帧商图完成目标帧图像的光照迁移。该方法能够生成逼真的光照迁移结果，但该方法需要昂贵和复杂的采集设备，对于普通用户难以实现。

有一些基于图像的人脸图像光照迁移方法。2009年休斯顿大学李青等提出了一种基于LTV(Logarithmic Total Variation)模型的人脸光照迁移技术，能够把参考人脸的光照迁移到目标人脸上去。该方法无需知道人脸的几何和光照信息。通过将人脸图像分解为光照信息和光照信息无关的人脸特征两个部分。并利用参考图像的光照信息替换目标图像的光照信息实现光照迁移。首先利用几何变形技术对参考人脸变形；然后将目标人脸和变形后的参考人脸都分解成为依赖于光照的部分和不依赖于光照的部分；最后通过交换两幅人脸图像依赖于光照的部分，得到目标对象光照迁移结果。该方法仅需要一幅参考图像用于光照迁移，并能处理彩色图像与灰度图像的光照迁移。2010年清华大学的陈健生等提出了一种基于局部约束与全局优化的人脸重光照方法。该方法通过局部线性调整保证光照信息的平滑性并通过相互重叠窗口来实现整个图像全局优化。2011年北京航空航天大学的陈小武等提出了一种基于边缘保持测人脸光照迁移方法。首先自动检测或者手工标记图像对象的征点，并通过图像变形方法将参考图像对象对齐到目标图像对象并将图像的明度与色度进行分离，只对明度进行处理，而保持色度的不变；然后利用加权最小二乘滤波器将图像分解为大尺度层图像和细节层图像；最后将滤波后的大尺度图像与目标对象的细节层混合得到光照迁移结果的明度图像，再与目标对象的颜色层混合得到光照迁移结果。以上基于图像的方法都没考虑到视频间的平滑过渡关系以及参考帧与目标帧的表情差异。

发明内容

本发明设计开发了一种基于单个参考视频的人脸视频光影迁移生成方法。本发明利用单个的与目标视频时间长度相同的参考视频，将参考视频的光照信息迁移到目标视频上。

本发明提供的技术方案为：

一种基于单个参考视频的人脸视频光影迁移生成方法，包括：

步骤1、选取与目标视频的时间长度相同的参考视频，在目标视频中每隔n帧选取一帧为目标关键帧，在参考视频中每隔n帧选取一帧为参考关键帧，其中n为奇数；

步骤2、选取和定位目标关键帧的特征点和参考关键帧的特征点；

步骤3、计算两个相邻参考关键帧的光照信息差异，如果两个相邻参考关键帧的光照信息差异大于参考关键帧规定域值，则将这两个相邻的参考关键帧之间的中间参考非关键帧选为参考关键帧，并将与该中间参考非关键帧的时刻相同的目标非关键帧选为目标关键帧，

计算两个相邻目标关键帧的表情差异，如果这两个相邻的目标关键帧的表情差异大于目标关键帧规定域值，则将这两个目标关键帧之间的中间目标非关键帧选为目标关键帧，并将与该中间目标非关键帧的时刻相同的参考非关键帧选为参考关键帧，

若有新的目标关键帧和参考关键帧产生，则选取和定位新的目标关键帧的特征点和新的参考关键帧的特征点；

步骤4、根据目标关键帧的特征点和参考关键帧的特征点，对齐目标关键帧与参考关键帧；

步骤5、将参考关键帧的光照信息迁移到目标关键帧上；

步骤6、将相邻两个目标关键帧上的光照信息传播到这两个相邻目标关键帧之间的非目标关键帧上。

优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤2中的参考关键帧和目标关键帧的特征点包括：人脸皮肤区域的特征点和人脸非皮肤区域边界轮廓特征点。

优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤3为利用相邻两个参考关键帧的阴影区域面积差异来定量计算这两个相邻参考关键帧的光照信息差异；

利用两相邻目标关键帧的特征点之间的位置差异定量计算这两个相邻目标关键帧上的表情差异。

优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤3中所述的参考关键帧规定域值为小于等于参考关键帧中人脸部区域面积值的1/8到大于等于参考关键帧中人脸部区域面积值的1/12的任一值；

所述的目标关键帧规定域值为小于等于目标关键帧中人脸部区域宽度值的1/8到大于等于目标关键帧中人脸部区域宽度值的1/12的任一值。

优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤5采用以下方式实现：

利用边缘保持滤波器除去目标关键帧的人脸皮肤区域的和与该目标关键帧对齐的参考关键帧的人脸皮肤区域的与光照信息无关的信息，用滤波后的参考关键帧除以滤波后的与该参考关键帧对齐的目标关键帧，得与该参考关键帧对齐的目标关键帧的人脸的皮肤区域的光照信息；

根据目标关键帧的人脸非皮肤区域边界轮廓特征点对该目标关键帧的人脸非皮肤区域进行三角剖分，根据三角剖分结果对该目标关键帧的非皮肤区域进行光照信息插值。

优选的是，所述的基于单个参考视频的人脸视频光影迁移生成方法中，所述步骤6采用以下方式实现：

计算两个相邻的目标关键帧与这两个相邻目标关键帧之间的目标非关键帧的帧间对应关系；

利用这两个相邻目标关键帧与这两个目标关键帧之间的目标非关键帧的帧间对应关系，将这两个相邻目标关键帧的光照信息对齐到这两个目标关键帧之间的目标非关键帧上；

将对齐后的这两个相邻目标关键帧的光影信息线性组合，得到这两个相邻目标关键帧之间的目标非关键帧的光影信息。

本发明针对目前的视频场景对象的光照迁移技术存在的问题，设计了一种基于单个参考视频的人脸视频光影迁移生成方法，本发明使用单个参考视频就能实现，降低了具体操作的技术难度也节省了成本；本发明中通过将参考视频中的参考关键帧与目标视频中的目标关键帧对齐，并通过多次计算将参考视频的光照信息迁移到目标视频上，使得在参考视频与目标视频表情差别比较大的情况下，依然能生成逼真的光照迁移效果，同时也避免了光影抖动现象。

附图说明

图1为本发明所述的基于单个参考视频的人脸视频光影迁移生成方法的总流程示意图。

图2为本发明所述的基于单个参考视频的人脸视频光影迁移生成方法中的参考关键帧的光照信息迁移到目标关键帧上的流程图。

图3为本发明所述的基于单个参考视频的人脸视频光影迁移生成方法中的目标关键帧非皮肤区域***值示意图。

图4为本发明所述的基于单个参考视频的人脸视频光影迁移生成方法中的目标关键帧的光照信息迁移流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

本发明使用的参考视频中脸部的光影变化表情和姿势不变。目标视频在近似均匀光照条件下拍摄，脸部表情丰富。参考视频和目标视频的帧数相同，参考视频帧与目标视频帧一一对应。

如图1、2和4所示，本发明包含以下6个基本步骤：

步骤1、选取与目标视频的时间长度相同的参考视频，在目标视频中每隔n帧选取一帧为目标关键帧，在参考视频中每隔n帧选取一帧为参考关键帧，其中n为奇数；

步骤2、选取和定位目标关键帧的特征点和参考关键帧的特征点；

步骤3、计算两个相邻参考关键帧的光照信息差异，如果两个相邻参考关键帧的光照信息差异大于参考关键帧规定域值，则将这两个相邻的参考关键帧之间的中间参考非关键帧选为参考关键帧，并将与该中间参考非关键帧的时刻相同的目标非关键帧选为目标关键帧，

计算两个相邻目标关键帧的表情差异，如果这两个相邻的目标关键帧的表情差异大于目标关键帧规定域值，则将这两个目标关键帧之间的中间目标非关键帧选为目标关键帧，并将与该中间目标非关键帧的时刻相同的参考非关键帧选为参考关键帧，

若有新的目标关键帧和参考关键帧产生，则选取和定位新的目标关键帧的特征点和新的参考关键帧的特征点；

步骤4、根据目标关键帧的特征点和参考关键帧的特征点，对齐目标关键帧与参考关键帧；

步骤5、将参考关键帧的光照信息迁移到目标关键帧上；

步骤6、将相邻两个目标关键帧上的光照信息传播到这两个相邻目标关键帧之间的非目标关键帧上。

下面对以上六个基本步骤进行详细说明：

在参考视频和目标视频中每隔9帧选取一个关键帧作为关键帧，参考视频中的关键帧记为参考关键帧，目标视频中的关键帧记为目标关键帧。

对参考关键帧和目标关键帧进行特征点定位，本发明使用的特征点包括：人脸皮肤区域的特征点和人脸非皮肤区域轮廓特征点。人脸非皮肤区域具体指眉毛、眼睛、嘴以及头发，人脸非皮肤区域边界轮廓特征点具体包括脸部轮廓点、眉毛轮廓点、眼睛轮廓点和嘴的轮廓点。

在参考视频中选出参考关键帧后，本发明使用可变形轮廓模型(ActiveShape Model简称ASM)完成第一个参考关键帧上124个人脸特征点的定位，本发明同时提供了特征点位置的手动调节功能，用户可以按需手动调整每个特征点的坐标。由于参考视频中人脸表情和姿势基本不变，余下参考关键帧的特征点可以根据第一个参考关键帧的特征点进行微小调整得来。

在目标视频中选出目标关键帧后，本发明使用可变形轮廓模型完成第一个目标关键帧上124个人脸特征点的定位，用户可以按需手动调整每个特征点的坐标。由于目标视频中人脸表情和姿势变化较大，本发明使用光流计算第一个目标关键帧和余下目标关键帧间的像素位移关系并推算出余下目标关键帧的特征点位置。

在特征点定位的基础上计算相邻参考关键帧之间的光照信息差异以及相邻目标关键帧之间的表情差异。本发明使用了阴影区域面积差异来定量描述相邻参考关键帧之间的光照信息差异，阴影面积区域差异越大表示光照信息差别越大。每一个参考关键帧的阴影面积按如下方式计算：

A＝||{i|i∈F&I^k(i)＜0.1max(I^k(i))}||

其中，i是图像坐标、F表示脸部区域、I^k(i)表示该参考关键帧在坐标i处的灰度值。如果两个参考关键帧的阴影区域面积差大于参考关键帧中的人脸部区域面积值的1/10，则将这两个参考关键帧之间的中间参考非关键帧作为参考关键帧，并将于其时刻相同的目标非关键帧作为目标关键帧。

本发明使用目标关键帧之间的特征点位置差异定量计算相邻目标关键帧之间人脸表情差异，帧间特征点位置差异越大表示表情差异越大。脸部表情变化时，嘴和眼睛的变化最大，本发明使用嘴和眼睛的特征点计算脸部表情差异，计算方式如下：

Diff_m，n＝max(|d(p_m(i)，p_n(i))|)

其中，p_m(i)和p_n(i)是相邻两个目标关键帧m和n上的特征点，i是嘴和眼睛特征点的索引。如果Diff_m，n大于目标关键帧中的人脸部区域宽度值的1/10，则将这两个目标关键帧之间的中间目标非关键帧作为目标关键帧，并将与该目标非关键帧的时刻相同的参考非关键帧作为参考关键帧。若有新的目标关键帧和参考关键帧产生，则选取和定位新的目标关键帧的特征点和新的参考关键帧的特征点。

图2是本发明在参考关键帧的光照信息迁移到目标关键帧上的流程图。首先根据参考关键帧的特征点与目标关键帧的特征点，将参考关键帧与目标关键帧对齐，本发明使用MFFD(Multi-level Free For Deformation)将参考关键帧对齐到目标关键帧。在参考关键帧与目标关键帧对齐的基础上，本发明在不同区域采用不同策略提取参考关键帧的光照信息。

在人脸皮肤区域，首先使用边缘保持滤波器对参考关键帧和目标关键帧进行滤波，去掉与光照无关的信息，然后将滤波后的参考关键帧除以与该参考关键帧对齐的目标关键帧，得到与该参考关键帧对齐的目标关键帧的人脸皮肤区域的光照信息。

在目标关键帧的人脸非皮肤区域(眉毛、眼睛、嘴和头发)，本发明利用目标关键帧的人脸非皮肤区域轮廓的光照信息插值目标关键帧的人脸非皮肤区域的光照信息。现结合图3对目标关键的人脸非皮肤区域光照信息插值进行说明。首先根据目标关键帧的人脸非皮肤区域边界轮廓特的特征点，对目标关键帧的人脸非皮肤区域进行三角剖分，单个目标关键帧的人脸非皮肤区域剖分结果如图3(a)所示。在目标关键帧的人脸非皮肤区域三角剖分基础之上，将目标关键帧的人脸非皮肤区域内的像素点分为2类：位于三角网格线上的点的光照信息L_l(·)和位于三角形内部的点L_t(·)。本发明首先计算三角网格线上像素的光照信息。如果该像素点属于目标关键帧的人脸非皮肤区域边界轮廓的网格线Ω(如图3(a)种的虚线)，则该点的光照信息保持不变，如果该点像素点没有位于目标关键帧的人脸非皮肤区域边界轮廓的网格线上(如图3(a)种的实线)，则该像素点的光照信息由所在直线的两个端点加权平均和代替。如图3(b)所示，a，b，c是三角形的三个顶点，d和e是三角形边上的两个点，具体计算方式如所示：

$L_l\left(d\right)=\left\{\begin{array}{ccc}{L}_l\left(d\right),& \mathrm{if}& d\∈\mathrm{\Ω}\\ \frac{d(d,b)L_l\left(a\right)+d(a,d)L_l\left(b\right)}{d(a,b)},& \mathrm{else}& \end{array}\right.$

其中d(·，·)表示两个点的欧氏距离。三角网格线上的光照信息全部计算完毕后，本法明按如下方法计算三角形内的一个像素点f的光照信息L_t(f)：

$L_t\left(f\right)=\frac{d(f,e)L_l\left(d\right)+d(d,f)L_l\left(e\right)}{d(d,e)}$

图4是本发目标关键帧的光照信息迁移流程图。利用这两个相邻目标关键帧与这两个目标关键帧之间的目标非关键帧的帧间对应关系，将这两个相邻目标关键帧的光照信息对齐到这两个目标关键帧之间的目标非关键帧上；将对齐后的这两个相邻目标关键帧的光影信息线性组合，得到这两个相邻目标关键帧之间的目标非关键帧的光影信息。具体计算过程如下：

将两个相邻目标关键帧的光照信息和传播到这两个目标关键帧之间的一个目标非关键帧f上。m和n是两个相邻的目标关键帧的序号，f是目标非关键帧的序号，其中m＜f＜n。目标关键帧传播结果按如下公式计算：

$L_f^{\mathrm{nk}}=w_1*W_{\mathrm{mf}}\left(L_m^k\right)+w_2*W_{\mathrm{nf}}\left(L_n^k\right)$

w₁＝(n-f)/(n-m)

w₂＝1-w₁

其中，表示使用目标关键帧m到目标非关键帧f的光流来，将目标关键帧m的光照信息对齐到目标非关键帧f。表示使用目标关键帧n到目标非关键帧f的光流来，将目标关键帧n的光照信息对齐到目标非关键帧f。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，包括：

步骤1、选取与目标视频的时间长度相同的参考视频，在目标视频中每隔n帧选取一帧为目标关键帧，在参考视频中每隔n帧选取一帧为参考关键帧，其中n为奇数；

步骤2、选取和定位目标关键帧的特征点和参考关键帧的特征点；

步骤3、计算两个相邻参考关键帧的光照信息差异，如果两个相邻参考关键帧的光照信息差异大于参考关键帧规定域值，则将这两个相邻的参考关键帧之间的中间参考非关键帧选为参考关键帧，并将与该中间参考非关键帧的时刻相同的目标非关键帧选为目标关键帧；

计算两个相邻目标关键帧的表情差异，如果这两个相邻的目标关键帧的表情差异大于目标关键帧规定域值，则将这两个目标关键帧之间的中间目标非关键帧选为目标关键帧，并将与该中间目标非关键帧的时刻相同的参考非关键帧选为参考关键帧；

若有新的目标关键帧和参考关键帧产生，则选取和定位新的目标关键帧的特征点和新的参考关键帧的特征点；

步骤4、根据目标关键帧的特征点和参考关键帧的特征点，对齐目标关键帧与参考关键帧；

步骤5、将参考关键帧的光照信息迁移到目标关键帧上；

步骤6、将相邻两个目标关键帧上的光照信息传播到这两个相邻目标关键帧之间的非目标关键帧上。

2.如权利要求1所述的基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，所述步骤2中的参考关键帧和目标关键帧的特征点包括：人脸皮肤区域的特征点和人脸非皮肤区域边界轮廓特征点。

3.如权利要求1所述的基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，所述步骤3为利用相邻两个参考关键帧的阴影区域面积差异来定量计算这两个相邻参考关键帧的光照信息差异；

利用两相邻目标关键帧的特征点之间的位置差异定量计算这两个相邻目标关键帧上的表情差异。

4.如权利要求3所述的基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，所述步骤3中所述的参考关键帧规定域值为小于等于参考关键帧中人脸部区域面积值的1/8到大于等于参考关键帧中人脸部区域面积值的1/12的任一值；

所述的目标关键帧规定域值为小于等于目标关键帧中人脸部区域宽度值的1/8到大于等于目标关键帧中人脸部区域宽度值的1/12的任一值。

5.如权利要求2所述的基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，所述步骤5采用以下方式实现：

利用边缘保持滤波器除去目标关键帧的人脸皮肤区域的和与该目标关键帧对齐的参考关键帧的人脸皮肤区域的与光照无关的信息，用滤波后的参考关键帧除以滤波后的与该参考关键帧对齐的目标关键帧，得与该参考关键帧对齐的目标关键帧的人脸皮肤区域的光照信息；

根据目标关键帧的人脸非皮肤区域边界轮廓特征点对该目标关键帧的人脸的非皮肤区域进行三角剖分，根据三角剖分结果对该目标关键帧的非皮肤区域进行光照信息插值。

6.如权利要求1所述的基于单个参考视频的人脸视频光影迁移生成方法，其特征在于，所述步骤6采用以下方式实现：

计算两个相邻的目标关键帧与这两个相邻目标关键帧之间的目标非关键帧的帧间对应关系；

利用这两个相邻目标关键帧与这两个目标关键帧之间的目标非关键帧的帧间对应关系，将这两个相邻目标关键帧的光照信息对齐到这两个目标关键帧之间的目标非关键帧上；

将对齐后的这两个相邻目标关键帧的光影信息线性组合，得到这两个相邻目标关键帧之间的目标非关键帧的光影信息。