CN101887513B - 表情检测装置及其表情检测方法 - Google Patents

Abstract

本发明是一种表情检测装置及其表情检测方法。表情检测装置包括灰阶影像产生单元、人脸边缘检测单元、动态肤色撷取单元、人脸轮廓产生单元及表情检测单元。灰阶影像产生单元根据原始影像产生灰阶影像。人脸边缘检测单元根据灰阶影像输出人脸边缘检测结果。动态肤色撷取单元根据原始影像产生动态肤色撷取结果，并根据动态肤色撷取结果产生人脸及背景分割结果。人脸轮廓产生单元根据灰阶影像、人脸边缘检测结果及人脸及背景分割结果输出人脸轮廓。表情检测单元根据人脸轮廓输出表情检测结果。

Description

表情检测装置及其表情检测方法

技术领域

本发明有关一种表情检测装置及其表情检测方法，且特别是有关一种低运算量的表情检测装置及其表情检测方法。

背景技术

在生活中，人们常常通过脸部表情来表达内心的情绪。情感的表现区域主要包括：嘴巴、眼睛、眉毛和脸颊等。人们在表达内心情绪时，只改变一下脸部的局部特征(如嘴角上扬)便能表达一种心态。随着技术的日新月异，人们进一步地期望能将表情识别应用于电子装置之中，以大幅提高应用上的便利性。

笑脸检测为人脸表情检测的重要项目之一，其处理方法上可分为人脸特征检测技术与分类器二部份。传统人脸特征检测技术多设定人脸眼、鼻、嘴部的固定框架于人脸区域上，然后以统计比较方式(中国台湾专利号00445434；TW226589B，美国专利US 6,526,161)，去计算出人脸特征位置。另外在分类器技术方面，在美国专利US 6,430,307中，将原本与新增加的样本放入PCA中去计算正交基底，再比较是否符合。

然而，传统人脸表情检测技术不仅运算量庞大，且不易使用于嵌入式平台中(如数码相机)。此外，传统人脸表情检测技术容易受到光源的影响，当亮度不均匀时，即直接地影响到表情检测结果的正确性。

发明内容

本发明的目的是提供一种表情检测装置及其表情检测方法，其至少包括如下优点：

一、当人脸发生姿态变化时亦能撷取出特征位置。

二、降低光源变化影响。

三、快速计算人脸特征位置。

四、快速获得表情检测结果。

五、运算量低，相当适合应用于嵌入式***中。

根据本发明的一方面，提出一种表情检测装置。表情检测装置包括灰阶影像产生单元、人脸边缘检测单元、动态肤色撷取单元、人脸轮廓产生单元及表情检测单元。灰阶影像产生单元根据原始影像产生灰阶影像。人脸边缘检测单元根据灰阶影像输出人脸边缘检测结果。动态肤色撷取单元根据原始影像产生动态肤色撷取结果，并根据动态肤色撷取结果产生人脸及背景分割结果。人脸轮廓产生单元根据灰阶影像、人脸边缘检测结果及人脸及背景分割结果输出人脸轮廓。表情检测单元根据人脸轮廓输出表情检测结果。

根据本发明的另一方面，提出一种表情检测方法。表情检测方法包括：根据原始影像产生灰阶影像；根据灰阶影像输出人脸边缘检测结果；根据原始影像产生动态肤色撷取结果，并根据动态肤色撷取结果产生人脸及背景分割结果；根据灰阶影像、人脸边缘检测结果及人脸及背景分割结果输出人脸轮廓；以及根据人脸轮廓输出表情检测结果。

附图说明

为让本发明的上述内容能更明显易懂，下面将配合附图对本发明的较佳实施例作详细说明，其中：

图1是依照本发明实施例的表情检测装置的示意图。

图2是表情检测单元的示意图。

图3是特征撷取单元的示意图。

图4是嘴巴区域的示意图。

图5是将嘴巴区域划分为32等分的示意图。

图6是参考点撷取单元的示意图。

图7是框选单元的示意图。

图8是依照本发明实施例的表情检测方法的流程图。

具体实施方式

下述实施例提供一种表情检测装置及其表情检测方法。表情检测装置包括灰阶影像产生单元、人脸边缘检测单元、动态肤色撷取单元、人脸轮廓产生单元及表情检测单元。灰阶影像产生单元根据原始影像产生灰阶影像。人脸边缘检测单元根据灰阶影像输出人脸边缘检测结果。动态肤色撷取单元根据原始影像产生动态肤色撷取结果，并根据动态肤色撷取结果产生人脸及背景分割结果。人脸轮廓产生单元根据灰阶影像、人脸边缘检测结果及人脸及背景分割结果输出人脸轮廓。表情检测单元根据人脸轮廓输出表情检测结果。

实施例

请参照图1，图1是依照本发明实施例的表情检测装置的示意图。表情检测装置10包括灰阶影像产生单元110、人脸边缘检测单元120、动态肤色撷取单元130、人脸轮廓产生单元140及表情检测单元150。灰阶影像产生单元110根据原始影像S1产生灰阶影像S2。人脸边缘检测单元120根据灰阶影像S2输出人脸边缘检测结果S3。其中，人脸边缘检测单元120例如是水平边缘检测灰阶影像S2，以输出人脸边缘检测结果S3。动态肤色撷取单元130根据原始影像S1产生动态肤色撷取结果，并根据动态肤色撷取结果产生人脸及背景分割结果S4。人脸轮廓产生单元140根据灰阶影像S2、人脸边缘检测结果S3及人脸及背景分割结果S4输出人脸轮廓S5。表情检测单元150根据人脸轮廓S5输出表情检测结果S6。

需特别说明的是，一张影像不会平均的分布在0到255每一个灰阶值上，大部分的像素会落于某一区间变化。举例来说，一张人脸影像中80％～90％的灰阶值会落于50～100之间变化。而所谓动态肤色即是指根据当时不同的人脸影像设定不同的阈值。由于阈值是根据整张人脸影像的全部灰阶值比例而设定，因此具有极佳的适应性，以降低光源变化的影响。由此可知，前述动态肤色撷取单元130根据动态肤色撷取结果适应性地产生人脸及背景分割结果S4，将大幅降低光源变化的影响。此外，由于表情检测装置10并非使用固定框架，因此当人脸发生姿态变化时亦能正确地撷取出特征位置。再者，人脸轮廓产生单元140计算出人脸轮廓S5，将有利后续快速地计算人脸特征位置。不仅如此，表情检测装置10运算量低，相当适合应用于嵌入式***中。

请参照图2，图2是表情检测单元的示意图。表情检测单元150进一步包括特征撷取单元152、指定表情及非指定表情数据库156及分类器154。特征撷取单元152根据人脸轮廓S5输出特征向量S7。指定表情及非指定表情数据库156储存多张指定表情影像及非指定表情影像，并根据指定表情影像及非指定表情影像输出特征向量S8。分类器154根据特征向量S7及特征向量S8输出表情检测结果S6。

分类器154例如为支持向量机(Support Vector Machine，SVM)分类器。指定表情及非指定表情数据库156所储存的影像可分为指定表情影像及非指定表情影像两类，通过支持向量机的训练可以获得支持向量(Support Vectors，SVs)，并获得两类数据中间的区分平面(Separating Hyper-planes)，使得这两类数据离此区分平面的距离为最大。

前述分类器154例如根据特征向量S7及特征向量S8的内积结果以决定表情检测结果S6属于指定表情影像或非指定表情影像。举例来说，当特征向量S7及特征向量S8的内积结果大于0表示表情检测结果S6属于指定表情影像。相反地，当特征向量S7及特征向量S8的内积结果小于0表示表情检测结果S6属于非指定表情影像。

请参照图3至图5，图3是特征撷取单元的示意图，图4是嘴巴区域的示意图，图5是将嘴巴区域划分为32等分的示意图。特征撷取单元152进一步包括参考点撷取单元1522、框选单元1524及特征值撷取单元1526。参考点撷取单元1522根据人脸轮廓S5及灰阶影像S2输出特征点数据S9。特征点数据S9可以是任何的五官参考点，如眼睛参考点及嘴巴参考点。框选单元1524根据特征点数据S9框选特征区域S10。特征区域S10可以任何的五官区域，如嘴巴区域及眼睛区域。特征值撷取单元1526将特征区域S10分成数等分，并计算各等分的平均值，以输出特征向量S7。举例来说，特征区域S10例如为图4绘示的嘴巴区域。特征值撷取单元1526将嘴巴区域分成4×8等分，并计算各等分的灰阶平均值。在实际运用时，由于嘴巴区域的左上、左下、右上与右下格通常会超出嘴唇的范围，因此在此将舍弃这四个值，而取剩下的28个灰阶平均值作为代表嘴部区域的特征向量S7，用以训练前述图2的分类器154。由于特征区域S10的灰阶值可视为一组特征向量，因此可使前述图2绘示的分类器154快速地获得表情检测结果S6。

请参照图6，图6是参考点撷取单元的示意图。参考点撷取单元1522进一步包括上半部积分光密度(Integrated Optical Density，IOD)计算单元15222、二值化单元15224、眼睛参考点产生单元15226及嘴巴参考点产生单元15228。上半部积分光密度计算单元15222计算灰阶影像S2的上半部的上半部积分光密度S11。二值化单元15224根据上半部积分光密度S11输出二值化结果S12。眼睛参考点产生单元15226根据二值化结果S12找出特征点数据S9的两眼睛参考点S91。嘴巴参考点产生单元15228根据两眼睛参考点S91及人脸轮廓S5找出特征数据S9的嘴巴参考点S92。

举例来说，上半部积分光密度计算单元15222根据上半部积分光密度找出灰阶影像S2的上半部中5％最黑的部份以得到眉毛位置。二值化单元15224根据阈值将上半部积分光密度S11给二值化(Binary)。上半部积分光密度S11中大于阈值的部份即设为255，而上半部积分光密度S11中小于阈值的部份即设为0。两眼睛参考点S91包括左眼参考点及右眼参考点。眼睛参考点产生单元15226于二值化结果S12左侧中由下往上的第一个断点处即为左眼参考点所在处。同样地，眼睛参考点产生单元15226于二值化结果S12右侧中由下往上的第一个断点处即为右眼参考点所在处。嘴巴参考点产生单元15228计算左眼参考点及右眼参考点的中点做为嘴巴参考点S92的水平坐标，并选择人脸轮廓S5的下半部的平均亮度最低处做为嘴巴参考点S92的垂直坐标。

请参照图7，图7是框选单元的示意图。框选单元1524进一步包括预估范围框选单元15241、眼睛边缘检测单元15242、眼睛积分光密度(Integrated Optical Density，IOD)计算单元15243、逻辑运算单元15244及特征位置框选单元15245。预估范围框选单元15241根据两眼参考点S91先行框选出大概的眼睛预估范围S93。眼睛边缘检测单元15242根据眼睛预估范围S93输出眼睛边缘检测结果S94。眼睛积分光密度(Integrated Optical Density，IOD)计算单元15243根据眼睛预估范围S93输出眼睛积分光密度S95。逻辑运算单元15244根据眼睛边缘检测结果S94及眼睛积分光密度S95输出逻辑运算结果S96，逻辑运算结果S96例如是睛边缘检测结果S94及眼睛积分光密度S95的交集。特征位置框选单元15245根据逻辑运算结果S96框选特征区域S10的眼睛区域，并根据嘴巴参考点S92框选特征区域S10的嘴巴区域。框选单元1524框选出嘴巴区域后，前述图2绘示的分类器154即能根据嘴巴区域内的灰阶平均值检测是否有笑脸的表情产生。同样地，框选单元1524框选出眼睛区域后，前述图2绘示的分类器154即能根据眼睛区域内的灰阶平均值检测是否有眨眼的表情产生。

请同时参照图1及图8，图8是依照本发明实施例的表情检测方法的流程图。表情检测方法可应用于前述的实施例的表情检测装置10。表情检测方法至少包括如下步骤：首先如步骤810所示，灰阶影像产生单元110根据原始影像S1产生灰阶影像S2。接着如步骤820所示，人脸边缘检测单元120根据灰阶影像S2输出人脸边缘检测结果S3。跟着如步骤830所示，动态肤色撷取单元130根据原始影像S1产生动态肤色撷取结果，并根据动态肤色撷取结果产生人脸及背景分割结果S4。然后如步骤840所示，人脸轮廓产生单元140根据灰阶影像S2、人脸边缘检测结果S3及人脸及背景分割结果S4输出人脸轮廓S5。最后如步骤850所示，表情检测单元150根据人脸轮廓S5输出表情检测结果S6。

本发明上述实施例所揭露的表情检测装置及其表情检测方法，具有多项优点，以下仅列举部分优点说明如下：

一、当人脸发生姿态变化时亦能撷取出特征位置。

二、降低光源变化影响。

三、快速计算人脸特征位置。

四、快速获得表情检测结果。

五、运算量低，相当适合应用于嵌入式***中。

综上所述，虽然本发明已以较佳实施例揭露如上，然而其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种等同的改变或替换。因此，本发明的保护范围当视后附的本申请权利要求所界定的为准。

Claims (14)

1.一种表情检测方法，包括：

根据一原始影像产生一灰阶影像；

根据该灰阶影像输出一人脸边缘检测结果；

根据一原始影像产生一动态肤色撷取结果，并根据该动态肤色撷取结果产生一人脸及背景分割结果；

根据该灰阶影像、该人脸边缘检测结果及该人脸及背景分割结果输出一人脸轮廓；以及

根据该人脸轮廓输出一表情检测结果，

其中，所述输出一表情检测结果的该步骤进一步包括：

根据该人脸轮廓输出一第一特征向量；

储存多张指定表情影像及非指定表情影像，并根据所述指定表情影像及非指定表情影像输出至少一第二特征向量；以及

根据该第一特征向量及该第二特征向量输出该表情检测结果；

其中，所述输出一第一特征向量的该步骤进一步包括：

根据该人脸轮廓及该灰阶影像输出一特征点数据；

根据该特征点数据框选一特征区域；以及

将该特征区域分成多个等分，并计算各所述等分的平均值，以输出该第一特征向量；

其中，所述输出一特征点数据的该步骤进一步包括：

计算该灰阶影像的上半部的一上半部积分光密度；

根据该上半部积分光密度输出一二值化结果；

根据该二值化结果找出该特征点数据的一第一眼睛参考点及一第二眼睛参考点；以及

根据该第一眼睛参考点、该第二眼睛参考点及该人脸轮廓找出该特征数据的一嘴巴参考点。

2.根据权利要求1所述的表情检测方法，其特征在于框选一特征区域的该步骤包括：

根据该眼睛参考点框选一眼睛预估范围；

根据该眼睛预估范围输出一眼睛边缘检测结果；

根据该眼睛预估范围输出一眼睛积分光密度；

根据该眼睛边缘检测结果及该眼睛积分光密度输出一逻辑运算结果；以及

根据该逻辑运算结果框选该特征区域的一眼睛区域，并根据该嘴巴参考点框选该特征区域的一嘴巴区域。

3.根据权利要求2所述的表情检测方法，其特征在于输出一逻辑运算结果的该步骤是输出该眼睛边缘检测结果及该眼睛积分光密度的交集。

4.根据权利要求1所述的表情检测方法，其特征在于找出该特征数据的一嘴巴参考点的该步骤包括：

根据该第一眼睛参考点及该第二眼睛参考点计算该嘴巴参考点的水平坐标；以及

根据该人脸轮廓的下半部的平均亮度找出该嘴巴参考点的垂直坐标。

5.根据权利要求4所述的表情检测方法，其特征在于计算该嘴巴参考点的水平坐标的该步骤是计算该第一眼睛参考点及该第二眼睛参考点的中点做为该嘴巴参考点的水平坐标。

6.根据权利要求4所述的表情检测方法，其特征在于找出该嘴巴参考点的垂直坐标的该步骤是选择该人脸轮廓的下半部的平均亮度最低处做为该嘴巴参考点的垂直坐标。

7.根据权利要求1所述的表情检测方法，其特征在于输出一人脸边缘检测结果的该步骤是水平边缘检测该灰阶影像以输出该人脸边缘检测结果。

8.一种表情检测装置，包括：

一灰阶影像产生单元，用以根据一原始影像产生一灰阶影像；

一人脸边缘检测单元，用以根据该灰阶影像输出一人脸边缘检测结果；

一动态肤色撷取单元，用以根据一原始影像产生一动态肤色撷取结果，并根据该动态肤色撷取结果产生一人脸及背景分割结果；

一人脸轮廓产生单元，用以根据该灰阶影像、该人脸边缘检测结果及该人脸及背景分割结果输出一人脸轮廓；以及

一表情检测单元，用以根据该人脸轮廓输出一表情检测结果；

其中，该表情检测单元进一步包括：

一特征撷取单元，用以根据该人脸轮廓输出一第一特征向量；

一指定表情及非指定表情数据库，用以储存多张指定表情影像及非指定表情影像，并根据所述指定表情影像及非指定表情影像输出至少一第二特征向量；以及

一分类器，用以根据该第一特征向量及该第二特征向量输出该表情检测结果；

其中，该特征撷取单元进一步包括：

一参考点撷取单元，用以根据该人脸轮廓及该灰阶影像输出一特征点数据；

一框选单元，用以根据该特征点数据框选一特征区域；以及

一特征值撷取单元，用以将该特征区域分成多个等分，并计算各所述等分的平均值，以输出该第一特征向量；

其中，该参考点撷取单元进一步包括：

一上半部积分光密度(Integrated Optical Density，IOD)计算单元，用以计算该灰阶影像之上半部的一上半部积分光密度；

一二值化单元，用以根据该上半部积分光密度输出一二值化结果；

一眼睛参考点产生单元，用以根据该二值化结果找出该特征点数据的一第一眼睛参考点及一第二眼睛参考点；以及

一嘴巴参考点产生单元，用以根据该第一眼睛参考点、该第二眼睛参考点及该人脸轮廓找出该特征数据的一嘴巴参考点。

9.根据权利要求8所述的表情检测装置，其特征在于该框选单元包括：

一预估范围框选单元，用以根据该眼睛参考点框选一眼睛预估范围；

一眼睛边缘检测单元，用以根据该眼睛预估范围输出一眼睛边缘检测结果；

一眼睛积分光密度(Integrated Optical Density，IOD)计算单元，用以根据该眼睛预估范围输出一眼睛积分光密度；

一逻辑运算单元，用以根据该眼睛边缘检测结果及该眼睛积分光密度输出一逻辑运算结果；以及

一特征位置框选单元，用以根据该逻辑运算结果框选该特征区域的一眼睛区域，并根据该嘴巴参考点框选该特征区域的一嘴巴区域。

10.根据权利要求9所述的表情检测装置，其特征在于该逻辑运算单元输出该眼睛边缘检测结果及该眼睛积分光密度的交集。

11.根据权利要求8所述的表情检测装置，其特征在于嘴巴参考点产生单元根据该第一眼睛参考点及该第二眼睛参考点计算该嘴巴参考点的水平坐标，并根据该人脸轮廓的下半部的平均亮度找出该嘴巴参考点的垂直坐标。

12.根据权利要求11所述的表情检测装置，其特征在于嘴巴参考点产生单元计算该第一眼睛参考点及该第二眼睛参考点的中点做为该嘴巴参考点的水平坐标。

13.根据权利要求11所述的表情检测装置，其特征在于嘴巴参考点产生单元选择该人脸轮廓的下半部的平均亮度最低处做为该嘴巴参考点的垂直坐标。

14.根据权利要求8所述的表情检测装置，其特征在于该人脸边缘检测单元水平边缘检测该灰阶影像以输出该人脸边缘检测结果。

Images