CN105894446A - 一种视频中的自动脸部轮廓修饰方法 - Google Patents

Abstract

本发明公开了一种视频中的自动脸部轮廓修饰方法，包括以下步骤：1)检测整个待处理视频内有人脸的帧，检测出人脸的bounding box和特征点；2)根据bounding box和特征点位置将感兴趣的人脸区域划分成多个三角形，并计算出每个特征点的目标特征点；3)对每个三角形，都有三个原特征点的坐标和这三个原特征点在步骤2)中得到的目标特征点，根据这六个特征点的坐标计算出该三角形的仿射变换矩阵，依据仿射变换矩阵对三个原特征点组成的三角形内的每一个点做仿射变换，产生出新的人脸图像；4)用新的人脸图像代替旧的人脸图像，即生成了结果视频。本发明可以处理视频中的人脸，实现给视频中人脸做瘦脸编辑的效果，即实现视频内容的非线性编辑。

Description

一种视频中的自动脸部轮廓修饰方法

技术领域：

本发明属于视频、图像处理技术领域，具体涉及一种视频中的自动脸部轮廓修饰方法。

背景技术：

随着社交网络和智能手机的普及，人们越来越习惯于用视频记录自己的生活，比如吃饭、旅游或演唱会等。人们在社交网络发布照片时通常都会先对照片进行美化处理，而当人们想对视频进行类似的处理的时候却是不可能的。现有的视频编辑方法都是对视频的线性编辑，很难满足大众的要求，因而提出一种对视频内容的非线性编辑方法显得十分必要。

发明内容：

本发明的目的在于克服现有技术的不足，提供了一种视频中的自动脸部轮廓修饰方法，其能够确保用该方法处理后的视频中的人脸能有美图软件那样的瘦脸效果，从而满足大众对视频特别是自拍视频的处理要求。

为达到上述目的，本发明采用如下技术方案予以实现的：

一种视频中的自动脸部轮廓修饰方法，包括以下步骤：

1)检测整个待处理视频内有人脸的帧，检测出人脸的bounding box和特征点；

2)根据bounding box和特征点位置将感兴趣的人脸区域划分成多个三角形，并计算出每个特征点的目标特征点；

3)对每个三角形，都有三个原特征点的坐标和这三个原特征点在步骤2)中得到的目标特征点，根据这六个特征点的坐标计算出该三角形的仿射变换矩阵，依据仿射变换矩阵对三个原特征点组成的三角形内的每一个点做仿射变换，产生出新的人脸图像；

4)用新的人脸图像代替旧的人脸图像，即生成了结果视频。

本发明进一步的改进在于，步骤1)中，人脸的特征点是指脸轮廓、眼睛、鼻子和嘴唇上的特征点。

本发明进一步的改进在于，步骤2)中，感兴趣的人脸区域为脸轮廓周围区域。

本发明进一步的改进在于，步骤3)中，用R矩阵表征旋转和缩放，L矩阵来表征平移，对一个三角形，有：

$R=\left[\begin{array}{cc}{r}_{00}& r_{01}\\ r_{10}& r_{11}\end{array}\right]$

$L=\left[\begin{array}{c}{l}_{00}\\ l_{01}\end{array}\right]$

对三角形三个顶点(x,y)是仿射变换前的某顶点坐标，(x’,y’)是仿射变换后的目标顶点的位置，有：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{c}{r}_{00}x+r_{01}y+l_{00}\\ r_{10}x+r_{11}y+l_{01}\end{array}\right]$

通过这三个顶点计算出这R矩阵和L矩阵中6个表征仿射变换的量，根据这六个特征点的坐标计算出该三角形的仿射变换矩阵。

本发明进一步的改进在于，步骤3)中，依据仿射变换矩阵对三角形内的每一个点做仿射变换前，首先对一个三角形ABC，利用s＝CB×AB和w＝(MA×MB)&(MB×MC)&(MC×MA)判断一个点M是否在三角形内；

当s>0时，表示三角形ABC的顺序是逆时针的，这时w>0表示点M在三角形内；当s<0时，表示三角形ABC的顺序是顺时针的，这时w<0表示点M在三角形内；

即对任意的M点在三角形内，对三角形ABC，有：

((MA×MB)&(MB×MC)&(MC×MA))(CB×AB)＞0

根据上述公式找出三角形内所有的点，对这些点按照仿射变换矩阵做仿射变换，得到变换后的图像，即为产生出新的人脸图像。

与现有技术相比，本发明的有益效果是：修改视频帧中人脸的脸部轮廓区域通过只将感兴趣的脸部轮廓区域划分成小三角形区域，然后对每一个三角形区域进行仿射变换得到新的脸部图像以修饰视频中的人脸。

本发明视频编辑是指对视频的画面的编辑，而不是简单的视频帧的重新排列。

其中，现有的视频编辑方法，只是从一段视频里剪辑出一小段或者将几段视频合成一个视频的视频帧重新排列方法。本发明所说的编辑是指视频画面的编辑，效果良好，优点突出。进一步地，传统的视频编辑方法无法满足大众对视频编辑的要求，该发明采用了视频内容编辑的方法，确保了视频编辑的有效性。

附图说明：

图1为本发明的说明示意图。

图2为计算目标特征点过程示意图；其中，图2(a)为脸部中心点和特征点移动方向示意图，图2(b)为特征点移动距离4％*D中D的示意图。

图3为计算放射矩阵过程示意图；其中，图3(a)为计算仿射变换前的三角形区域，图3(b)为计算仿射变换后的三角形区域。

图4为判断点是否在三角形内的方法示意图；其中，图4(a)为当三角形顶点顺序为逆时针时判断点是否在三角形内部的方法示意图，图4(b)为当三角形顶点顺序为顺时针时判断点是否在三角形内部的方法示意图。

图5为本发明的流程图。

具体实施方式：

下面结合附图和实施例对本发明进一步详细说明。

本发明一种视频中的自动脸部轮廓修饰方法，通过如下步骤实现：

1.计算目标特征点

参见附图2，要得到瘦脸的效果，瘦脸后的标记脸部轮廓的特征点位置必然要发生变化。计算这些目标特征点位置之前，先找到脸部中心点。脸部中心点一定在两只眼睛中间的点和嘴巴中间的点的连线上，这里我们选择4个点作为备选，它们到嘴巴中间的距离和到眼睛中心的距离比依次是10:0,8:2,6:4和x:y，其中最后一个点取在鼻尖的位置。实验显示，选择第二个点作为中心点的结果最自然。

脸部轮廓的目标特征点在脸部中心点与脸部轮廓点的连线上，只是把长度缩减为原来的96％，得到的点就是目标特征点的位置。

2.计算仿射变换矩阵

参见附图3，将脸部轮廓周围感兴趣的区域分为多个小三角形区域，针对每一个小三角形区域计算仿射变换矩阵。仿射变换矩阵表示的是两幅图之间的联系，通常用2*3的矩阵来表示，是指一幅图通过旋转、缩放和平移得到第二幅图。一个任意的仿射变换都能表示为乘以一个矩阵接着再加上一个向量，这个矩阵可以通过每一个三角形区域三个顶点的特征点和相应的目标特征点6个已知点求得。

用R矩阵表征旋转和缩放，L矩阵来表征平移，对一个三角形，有：

$R=\left[\begin{array}{cc}{r}_{00}& r_{01}\\ r_{10}& r_{11}\end{array}\right]$

$L=\left[\begin{array}{c}{l}_{00}\\ l_{01}\end{array}\right]$

对三角形三个顶点(x,y)是仿射变换前的某顶点坐标，(x’,y’)是仿射变换后的目标顶点的位置，有：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{c}{r}_{00}x+r_{01}y+l_{00}\\ r_{10}x+r_{11}y+l_{01}\end{array}\right]$

通过这样三对顶点可计算出这6个表征仿射变换的量。

3.对每个三角形内的所有点做仿射变换

参见附图4，对一个三角形ABC，利用s＝CB×AB和w＝(MA×MB)&(MB×MC)&(MC×MA)判断一个点M是否在三角形内。

当s>0时，表示三角形ABC的顺序是逆时针的，这时w>0表示点M在三角形内；当s<0时，表示三角形ABC的顺序是顺时针的，这时w<0表示点M在三角形内。即对任意的M点在三角形内，对三角形ABC，有：

((MA×MB)&(MB×MC)&(MC×MA))(CB×AB)＞0

综上，可以找出三角形内所有的点，对这些点按照2计算出的仿射变换矩阵做仿射变换，即可得到变换后的图像，就是瘦脸后的图像，像这样单帧图像内的实施过程如图1所示，再用瘦脸后的图像替换掉原先的图像，就得到了瘦脸编辑后的视频，对整个视频的具体实施过程如图5所示。

Claims (5)

1.一种视频中的自动脸部轮廓修饰方法，其特征在于，包括以下步骤：

1)检测整个待处理视频内有人脸的帧，检测出人脸的bounding box和特征点；

2)根据bounding box和特征点位置将感兴趣的人脸区域划分成多个三角形，并计算出每个特征点的目标特征点；

3)对每个三角形，都有三个原特征点的坐标和这三个原特征点在步骤2)中得到的目标特征点，根据这六个特征点的坐标计算出该三角形的仿射变换矩阵，依据仿射变换矩阵对三个原特征点组成的三角形内的每一个点做仿射变换，产生出新的人脸图像；

4)用新的人脸图像代替旧的人脸图像，即生成了结果视频。

2.根据权利要求1所述的一种视频中的自动脸部轮廓修饰方法，其特征在于，步骤1)中，人脸的特征点是指脸轮廓、眼睛、鼻子和嘴唇上的特征点。

3.根据权利要求1所述的一种视频中的自动脸部轮廓修饰方法，其特征在于，步骤2)中，感兴趣的人脸区域为脸轮廓周围区域。

4.根据权利要求1所述的一种视频中的自动脸部轮廓修饰方法，其特征在于，步骤3)中，用R矩阵表征旋转和缩放，L矩阵来表征平移，对一个三角形，有：

$R=\left[\begin{array}{cc}{r}_{00}& r_{01}\\ r_{10}& r_{11}\end{array}\right]$

$L=\left[\begin{array}{c}{l}_{00}\\ l_{01}\end{array}\right]$

对三角形三个顶点(x,y)是仿射变换前的某顶点坐标，(x’,y’)是仿射变换后的目标顶点的位置，有：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{c}{r}_{00}x+r_{01}y+l_{00}\\ r_{10}x+r_{11}y+l_{01}\end{array}\right]$

通过这三个顶点计算出这R矩阵和L矩阵中6个表征仿射变换的量，根据这六个特征点的坐标计算出该三角形的仿射变换矩阵。

5.根据权利要求1所述的一种视频中的自动脸部轮廓修饰方法，其特征在于，步骤3)中，依据仿射变换矩阵对三角形内的每一个点做仿射变换前，首先对一个三角形ABC，利用s＝CB×AB和w＝(MA×MB)&(MB×MC)&(MC×MA)判断一个点M是否在三角形内；

当s>0时，表示三角形ABC的顺序是逆时针的，这时w>0表示点M在三角形内；当s<0时，表示三角形ABC的顺序是顺时针的，这时w<0表示点M在三角形内；

即对任意的M点在三角形内，对三角形ABC，有：

((MA×MB)&(MB×MC)&(MC×MA))(CB×AB)＞0

根据上述公式找出三角形内所有的点，对这些点按照仿射变换矩阵做仿射变换，得到变换后的图像，即为产生出新的人脸图像。