CN101354789A

CN101354789A - 一种图像面具特效的实现方法和设备

Info

Publication number: CN101354789A
Application number: CNA2008101188012A
Authority: CN
Inventors: 曹玉弟; 俞青
Original assignee: Vimicro Corp
Current assignee: Vimicro Corp
Priority date: 2008-08-22
Filing date: 2008-08-22
Publication date: 2009-01-28

Abstract

本发明披露了一种图象面具特效的实现方法和设备。所述方法包括如下步骤：取得图象帧；检测图象帧中脸的位置，以及眼睛和嘴巴的位置；读取并且加载面具资源文件，面具资源文件包括具有三个参考点的面具；基于脸的眼睛和嘴巴位置，得出组合矩阵，组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系；基于组合矩阵，将面具绘制到图象帧上。本发明的图像资源文件可以采用通用的文件格式，任何一个通用的图像浏览软件都能够预览，而且极大方便了面具资源文件的设计。

Description

一种图像面具特效的实现方法和设备

技术领域

本发明涉及图像处理，具体地说涉及图像的面具特效处理。

背景技术

为丰富PC(个人计算机)摄像头的使用，目前很多软件或是驱动都提供一种人脸特效。即，在图像中找到人脸及其眼睛的位置，然后，给人脸戴帽子、戴眼镜和加胡子。包含帽子，眼镜和加胡子等图像的文件被称为面具资源文件。

在现有技术的实现方法中，面具资源文件格式受限于图像合成算法，其格式往往并不公开，或者难以读取。

发明内容

本发明的目的在于提供一种图象面具特效的实现方法和设备，能够克服前面提到的问题。

为此，根据第一方面，本发明提供一种图像面具特效的实现方法，包括如下步骤：取得图象帧；检测图象帧中脸的位置，以及眼睛和嘴巴的位置；读取并且加载面具资源文件，面具资源文件包括具有三个参考点的面具；基于脸的眼睛和嘴巴位置，得出组合矩阵，组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系；基于组合矩阵，将面具绘制到图象帧上。

根据第二方面，本发明提供一种面具资源文件，采用支持透明色设置的阿尔法通道，以设置透明区域；面具资源文件的图像包括三个位置固定的点，这三个点与脸的眼睛和嘴巴的3个坐标一一对应。

根据第三方面，本发明提供一种实现图像面具特效的设备。该设备包括：存储器，存储面具资源文件，所述面具资源文件包括具有三个参考点的面具；取得图象帧的获取单元；脸检测单元，检测图象帧中脸的位置；脸特征点定位单元，基于脸的位置定位眼睛和嘴巴；特效处理单元，读取并且加载面具资源文件，面具资源文件包括面具；基于脸的眼睛和嘴巴位置，得出组合矩阵，组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系；并且，基于组合矩阵，将面具绘制到图象帧上。

附图说明

下面将参照附图对本发明的具体实施方案进行更详细的说明，附图中：

图1示意了一个面具资源文件；

图2是本发明的面具效果流程图；

图3是一个人脸的示意图；

图4所示的加有面具的人脸图象；

图5示意本发明的实现图像面具特效的设备。

具体实施方式

本发明定制一个面具制作规范，基于规范开发面具资源文件。

根据规范，面具资源文件需要支持透明色设置的Alpha通道，以设置透明区域。透明性(transparency)是指，可使图像中某些部分不显示出来，用来创建一些有特色的图像。面具资源文件可以采用*.png，*.swf，*.gif文件。

根据规范，面具资源文件包含的每个面具资源文件尺寸固定，其中眼睛和嘴巴的位置在面具资源文件的图像中有固定的位置。图1是面具资源文件的示意图。在一个例子中，设左下角坐标为(0，0)，左眼中心位置：(X-50，Y)，右眼中心位置：(X+50，Y)，嘴巴中心位置：(X，Y-110)。在进一步的例子中X＝300，Y＝340。

人脸特效算法读取面具资源文件，同时根据实际图像中人脸区域的眼睛及嘴巴的位置进行图像合成。

需要说明，面具资源文件可以是任何内容，只要该文件中的图像的3个坐标点与目标图像帧的眼睛和嘴巴的3个坐标一一对应。

图2是本发明的面具效果流程图。

首先，取得RGB24或RGB32图象帧。需要指出，图像帧的格式并不固定为RGB24或RGB32，可以采用其它的图像帧格式；图像帧的大小也不固定，可以是640*480，320*240，1280*960等通用的视频大小。

然后，检测图象帧中人脸的位置，以及眼睛和嘴巴的位置。图3是一个人脸的示意图。如图3所示，左下角坐标为(0，0)，左眼中心位置：(250，340)，右眼中心位置：(350，340)，嘴巴中心位置：(300，230)。鼻子的中心位置为(300，300)。

接着，读取并且加载例如如图1所示的面具资源文件。

基于人脸眼睛和嘴巴位置，得出组合矩阵。这里，组合矩阵是指面具资源文件的3个坐标点和图像帧的3个坐标点之间映射关系。图像合成时，根据面具资源文件的3个坐标点和图像帧的3个坐标点，进行映射，可以形成最后的合成图像。由于图3所示人脸的左右眼和嘴巴的位置与面具资源的尺寸一致，因此，不必对面具资源的尺寸调整。当人脸的左右眼和嘴巴的位置与面具资源的尺寸不一致时，组合矩阵需要考虑按照人脸左右眼和嘴巴的位置对面具资源进行缩放。

最后，基于组合矩阵，将面具绘制到图象帧上，得到图4所示的加有面具的人脸图象。

如果图像帧的格式与面具资源文件格式不匹配，需要在图像合成(即面具绘制)前，对面具资源文件做格式转换。

图5是本发明的图像面具特效的实现设备。如图5所示，该设备包括数据存储器，图象帧获取单元，人脸检测单元，人脸特征点定位单元和特效处理单元。

数据存储器存储有各种面具资源文件，每个面具资源文件包括具有三个参考点的面具。

图象帧获取单元取得含有人脸的图象帧。图象帧可以来自摄像头，也可以来自存储单元。

人脸检测单元利用所取得的图象帧，检测图象帧中人脸的位置。人脸特征点定位单元基于人脸的位置定位眼睛和嘴巴。

特效处理单元读取并且加载面具资源文件，基于人脸的眼睛和嘴巴位置，得出一个组合矩阵。其中，组合矩阵反映脸的眼睛和嘴巴位置和面具的三个参考点之间的对应关系。接着，特效处理单元基于组合矩阵，将面具绘制到图象帧上。

本发明对面具资源文件格式参数进行定义，定义一定的标准，以丰富和方便面具资源文件的开发，同样，方便人脸特效算法进行贴图处理。

在现有技术的实现方法中，面具资源文件格式受限于图像合成算法，其格式往往并不公开，或者难以读取。本发明的图像资源文件可以采用通用的文件格式，任何一个通用的图像浏览软件都能够预览。

本发明定义了尺寸和规范，极大方便了面具资源文件的设计。发挥大众的创意，丰富软件应用。

另外，本发明贴图算法简单。由于指定的文件都具有Alpha通道，可以设置透明色，这样，可以采用的贴图算法非常多。

采用中星微公司的人脸检测和脸部器官定位算法，可以准确的找到人脸的位置和器官的位置。结合本发明使用，使得软件高效易用。

显而易见，在此描述的本发明可以有许多变化。比如，本发明不仅可以实现人脸面具，也可以实现在动物或其它生物(比如拟人化的树木)上的面具特效。这种变化不能认为偏离本发明的精神和范围。因此，所有对本领域技术人员显而易见的改变，都包括在本权利要求书的涵盖范围之内。

Claims

1.一种图像面具特效的实现方法，包括如下步骤：

取得图象帧；

检测图象帧中脸的位置，以及眼睛和嘴巴的位置；

读取并且加载面具资源文件，面具资源文件包括具有三个参考点的面具；

基于脸的眼睛和嘴巴位置，得出组合矩阵，组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系；

基于组合矩阵，将面具绘制到图象帧上。

2.如权利要求1所述的实现方法，其特征在于包括在图像帧的格式与面具资源文件格式不匹配的情况下，在基于组合矩阵将面具绘制到图象帧上的步骤之前，对面具资源文件做格式转换。

3.如权利要求1所述的实现方法，其特征在于所述脸是人脸。

4.如权利要求1所述的实现方法，其特征在于所述面具资源文件采用支持透明色设置的阿尔法(Alpha)通道，以设置透明区域。

5.一种面具资源文件，采用支持透明色设置的阿尔法(Alpha)通道，以设置透明区域；面具资源文件的图像包括三个位置固定的点，这三个点与脸的眼睛和嘴巴的3个坐标一一对应。

6.一种实现图像面具特效的设备，包括：

存储器，存储面具资源文件，所述面具资源文件包括具有三个参考点的面具；

取得图象帧的获取单元；

脸检测单元，检测图象帧中脸的位置；

脸特征点定位单元，基于脸的位置定位眼睛和嘴巴；

特效处理单元，读取并且加载面具资源文件，面具资源文件包括面具；基于脸的眼睛和嘴巴位置，得出组合矩阵，组合矩阵反映脸的眼睛和嘴巴位置与面具的三个参考点之间的对应关系；并且，基于组合矩阵，将面具绘制到图象帧上。