CN108197529A - 一种融合DLDP与sobel的表情特征提取方法 - Google Patents

Abstract

本发明请求保护一种融合DLDP与sobel的表情特征提取方法，该方法将Kirsch算子的8个方向掩模分成两个子方向掩模再分别计算边缘响应值，获得两个编码(DLDP1和DLDP2)，级联两个编码的直方图得到表情特征DLDP。为了增强局部特征得到更加有用的信息，将DLDP与sobel算子进行融合得到特征Sobel‑DLDP。在JAFFE和Cohn‑Kanade人脸表情数据库上的实验表明，该方法与其它基于局部纹理的特征提取算法相比，不仅缩短了特征提取的运算时间，而且提高了识别率。

Description

一种融合DLDP与sobel的表情特征提取方法

技术领域

本发明属于图像处理与模式识别领域，特别是一种融合DLDP与sobel的表情特征提取方法。

背景技术

人脸表情识别用于分析人类的一些情感和意图，在人机交互、计算机视觉、人类心理学理论和情绪模拟研究等领域都有重要的应用。提取有效的表情特征是人脸表情识别中的关键步骤，它直接影响表情分类的识别率。表情特征提取方法分为基于全局特征和基于局部纹理特征的提取方法。相较于全局特征提取，基于局部的特征提取方法对光照、姿势等变化的鲁棒性更好。LBP由于其原理简单，计算复杂度低，广泛的应用于图像识别、目标检测和跟踪等领域。LBP对一致光照变化不敏感，但对融入非一致光照变化和随机噪声的图像表示效果不理想，影响最佳的图像识别正确率。为此，2010年Jabid等人提出了一种对噪声更具鲁棒性的局部方向模式(LDP)人脸描述方法。2013年，RiveraAR等人利用8方向的边缘响应值中正负方向响应值最大的2方向的数据进行编码，增强区分度从而提高识别率。2015年RiveraAR等人通过将图像的方向信息和第一第二大的强度信息结合起来进行编码来提高识别率。2016年，R.Srinivasa Perumal等人通过对在单个分块中获得的LDP码进行X-ORing来计算每个块的单个码，生成用于高效面部识别的紧凑代码DR-LDP，识别率得到了提高。但是以上研究都是致力于提高识别率，未考虑计算8个方向的边缘响应，同时还要对所得到的8个边缘响应取绝对值再统一排序，导致整个表情特征提取过程比较耗时。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种缩短特征提取的时间并提高识别率的融合DLDP与sobel的表情特征提取方法。本发明的技术方案如下：

一种融合DLDP与sobel的表情特征提取方法，其包括以下步骤：

S1、将人脸表情图像与sobel(索贝尔算子)进行卷积，得到人脸表情图像的边缘特征信息；

S2、将S1得到的图像划分成不重叠的M×N个子区域；

S3、令人脸面部图像的任意像素点X作为中心点与其领域8个像素点构成一个正方形，根据Kirsch算子的8方向掩模，以正方形的四个角作为第一子方向掩模，以正方形的边上四个中点作为第二子方向掩模，分别通过第一子方向掩模及第二子方向掩模与8个领域像素值卷积计算四个角和上下左右方向的边缘响应值；

S4、将排名前3的边缘响应值所在的位置设为1，其他位置设为0，根据图像在4个方向的响应符号直接进行二值编码，构造图像局部描述子，得到DLDP1和DLDP2编码；

S5、通过DLDP1和DLDP2得到DLDP编码梯度值的直方图，级联M×N个子区域的直方图，得到人脸表情图像的特征信息，再通过分类器得到融合DLDP与sobel的表情特征提取方法的识别率。

进一步的，所述步骤S1将人脸表情图像与sobel算子进行卷积，得到人脸表情图像的边缘特征，具体包括步骤：

sobel算子与人脸表情图像卷积以得到水平和垂直滤波结果：

通过将I^x和I^y组合以求出边缘特征：

进一步的，所述步骤S3根据8方向Kirsch算子的掩膜集合{M₀～M₇}:

其中M₁,M₃,M₅,M₇作为第一子方向掩模，M₀,M₂,M₄,M₆作为第二子方向掩模,同时利用第一子方向掩模及第二子方向掩模与8个相同方向的领域像素值卷积计算四个角和上下左右方向的边缘响应值。然后根据图像在4个方向的响应符号直接进行二值编码，构造图像局部描述子，定义为：

其中，m_1i表示第一子方向中第i个边缘响应值，m_2i表示第二子方向中第i个边缘响应值，m_k是第k大的边缘响应值。

进一步的，所述步骤S5得到DLDP分解局部方向模式编码梯度值的直方图具体包括步骤：

像素的DLDP码根据原图坐标排列形成对应的DLDP编码图，计算每个像素(x,y)的DLDP码之后，直方图H_DLDPi定义如下：

H_DLDPi＝∑_x,yf(DLDPi(x,y),C_i)

式中，C_i表示第i子方向的sobel-DLDP码，i＝1,2，所得的DLDP描述子是DLDP编码梯度值的直方图，再利用下式将DLDP1和DLDP2的直方图联接起来获得DLDP直方图H_DLDP，作为图像特征表示。

进一步的，所述步骤5)融合DLDP与sobel的表情特征提取计算方法为：

联合水平方向和垂直方向的DLDP算子就得到Sobel-DLDP算子：

Sobel-DLDP＝{Sobel-DLDP^x,Sobel-DLDP^y}

其中，

Sobel-DLDP^x＝{Sobel-DLDP1^x,Sobel-DLDP2^x}

Sobel-DLDP^y＝{Sobel-DLDP1^y,Sobel-DLDP2^y}

DLDP^x表示DLDP码的水平方向分量，DLDP^y表示DLDP码的垂直方向分量，DLDP1^x和DLDP2^x分别表示第一子方向DLDP的水平分量和第二子方向DLDP的水平分量，DLDP1^y和DLDP2^y分别表示第一子方向DLDP的垂直分量和第二子方向DLDP的垂直分量。

利用下式分别提取每一个子块的Sobel-DLDP直方图H_Sobel-DLDP。

式中，C_i表示第i个子方向的sobel-DLDP码，i＝1,2。最终将表情图像以从左至右、从上至下的顺序联接各个子块的特征直方图，该级联直方图用于表示人脸表情特征。最后应用SVM对融合信息进行分类并识别人脸表情。

进一步的，所述步骤S1利用JAFFE人脸表情数据库作为实验数据库，首先，通过sobel算子得到表情图像的水平和垂直方向的边缘特征，然后融合这两个方向的特征得到表情图像的边缘特征；再通过二值化减少数据量；然后再通过DLDP进行特征提取得到人脸表情特征直方图，用于分类器进行表情分类识别。

本发明的优点及有益效果如下：

本发明针对LDP算法时间消耗较大的问题，提出了一种改进算法――分解局部方向模式(DLDP)，同时为了提高识别率提出了融合DLDP与sobel算子的Sobel-DLDP表情特征提取算法。Sobel-DLDP不仅解决了LDP提取表情特征慢的问题，而且与目前效果较好的几种局部特征提取方法相比，提高了识别率。在JAFFE和Cohn-Kanade人脸表情数据库上进行实验，验证了该方法在处理速度和识别率上的有效性和优越性。

附图说明

图1是本发明提供优选实施例的基于融合DLDP与sobel的表情特征提取方法流程图。

图2为DLDP编码实例。

图3为Sobel-DLDP特征提取过程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明提供了一种融合DLDP与sobel的表情特征提取方法，其特征在于，包括以下步骤：

S1，将人脸表情图像与sobel进行卷积，得到人脸表情图像的边缘特征：

求边缘特征的步骤为：

sobel算子与原始图像I卷积以得到水平和垂直滤波结果：

通过将I^x和I^y组合以求出边缘特征：

S2,将人脸表情图像划分成不重叠的M×N个子区域；

S3，将Kirsch算子的8方向掩模根据四个角和上下左右分成两个子方向掩模，求得两个四方向边缘响应值：

将Kirsch算子的8方向掩模根据四个角和上下左右分成两个子方向掩模，令面部图像的任意像素点X作为中心点，同时分别通过两个子掩模计算四个角和上下左右方向的边缘响应值，得到两个四方向边缘响应值，即m₁₀、m₁₁、m₁₂、m₁₃和m₂₀、m₂₁、m₂₂、m₂₃。求两个四方向边缘响应值的步骤如表1为：

表1

根据图像在4个方向的响应符号直接进行二值编码，构造图像局部描述子，定义为：

其中，m_1i表示第一子方向中第i个边缘响应值，m_2i表示第二子方向中第i个边缘响应值，m_k是第k大的边缘响应值。

S4，将排名前3的边缘响应值所在的位置设为1，其他位置设为0，得到DLDP1和DLDP2编码；

S5，通过DLDP1和DLDP2得到DLDP编码梯度值的直方图，级联M×N个子区域的直方图，得到人脸表情图像的特征信息，再通过分类器得到融合DLDP与sobel的表情特征提取方法的识别率。

获得DLDP编码梯度值的直方图的方法：

像素的DLDP码根据原图坐标排列形成对应的DLDP编码图。计算每个像素(x,y)的DLDP码之后，其DLDP描述子――直方图H_DLDPi定义如下：

H_DLDPi＝∑_x,yf(DLDPi(x,y),C_i)

式中，C_i表示第i个子方向的sobel-DLDP码，i＝1,2。所得的DLDP描述子是DLDP编码梯度值的直方图。DLDP描述子包含图像的详细信息，例如边缘、角、点和其他局部纹理特征。通过上式可得到DLDP1和DLDP2的直方图，再利用下式将DLDP1和DLDP2的直方图联接起来获得DLDP直方图H_DLDP，作为图像特征表示。

最后，融合DLDP与sobel的表情特征提取计算方法为：

联合水平方向和垂直方向的DLDP算子就得到Sobel-DLDP算子：

Sobel-DLDP＝{Sobel-DLDP^x,Sobel-DLDP^y}

其中，

Sobel-DLDP^x＝{Sobel-DLDP1^x,Sobel-DLDP2^x}

Sobel-DLDP^y＝{Sobel-DLDP1^y,Sobel-DLDP2^y}

DLDP^x表示DLDP码的水平方向分量，DLDP^y表示DLDP码的垂直方向分量，DLDP1^x和DLDP2^x分别表示第一子方向DLDP的水平分量和第二子方向DLDP的水平分量，DLDP1^y和DLDP2^y分别表示第一子方向DLDP的垂直分量和第二子方向DLDP的垂直分量。

利用下式分别提取每一个子块的Sobel-DLDP直方图H_Sobel-DLDP。

式中，C_i表示第i个子方向的sobel-DLDP码，i＝1,2。最终将表情图像以从左至右、从上至下的顺序联接各个子块的特征直方图，该级联直方图用于表示人脸表情特征。最后应用SVM对融合信息进行分类并识别人脸表情。

如图2所示，为本发明中DLDP编码实例。图像像素通过四个角和上下左右分成两个子方向掩模，得到两个四方向边缘响应值，对八个边缘响应值的绝对值进行排序，将排名前3的边缘响应值所在的位置设为1，其他位置设为0，得到DLDP1和DLDP2编码。

如图3所示，为本发明中Sobel-DLDP特征提取过程。利用JAFFE人脸表情数据库作为实验数据库。首先，通过sobel算子得到表情图像的水平和垂直方向的边缘特征，然后融合这两个方向的特征得到表情图像的边缘特征；再通过二值化进一步减少数据量；然后再通过DLDP进行特征提取得到人脸表情特征直方图，用于分类器进行表情分类识别。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (6)

1.一种融合DLDP与sobel的表情特征提取方法，其特征在于，包括以下步骤：

S1、将人脸表情图像与sobel算子进行卷积，得到人脸表情图像的边缘特征信息；

S2、将S1得到的图像划分成不重叠的M×N个子区域；

S3、令人脸面部图像的任意像素点X作为中心点与其领域8个像素点构成一个正方形，根据Kirsch算子的8方向掩模，以正方形的四个角作为第一子方向掩模，以正方形的边上四个中点作为第二子方向掩模，分别通过第一子方向掩模及第二子方向掩模与8个领域像素值卷积计算四个角和上下左右方向的边缘响应值；

S4、将排名前3的边缘响应值所在的位置设为1，其他位置设为0，根据图像在4个方向的响应符号直接进行二值编码，构造图像局部描述子，得到DLDP1和DLDP2编码；

S5、通过DLDP1和DLDP2得到DLDP编码梯度值的直方图，级联M×N个子区域的直方图，得到人脸表情图像的特征信息，再通过分类器得到融合DLDP与sobel的表情特征提取方法的识别率。

2.根据权利要求1所述的融合DLDP与sobel的表情特征提取方法，其特征在于，所述步骤S1将人脸表情图像与sobel算子进行卷积，得到人脸表情图像的边缘特征，具体包括步骤：

sobel算子与人脸表情图像卷积以得到水平和垂直滤波结果：

通过将I^x和I^y组合以求出边缘特征：

3.根据权利要求1所述的融合DLDP与sobel的表情特征提取方法，其特征在于，所述步骤S3根据8方向Kirsch算子的掩膜集合{M₀～M₇}:

其中M₁,M₃,M₅,M₇作为第一子方向掩模M₀,M₂,M₄,M₆作为第二子方向掩模,同时利用第一子方向掩模及第二子方向掩模与8个相同方向的领域像素值卷积计算四个角和上下左右方向的边缘响应值，然后根据图像在4个方向的响应符号直接进行二值编码，构造图像局部描述子，定义为：

其中，m_1i表示第一子方向中第i个边缘响应值，m_2i表示第二子方向中第i个边缘响应值，m_k是第k大的边缘响应值。

4.根据权利要求1所述的融合DLDP与sobel的表情特征提取方法，其特征在于，所述步骤S5得到DLDP分解局部方向模式编码梯度值的直方图具体包括步骤：

像素的DLDP码根据原图坐标排列形成对应的DLDP编码图，计算每个像素(x,y)的DLDP码之后，直方图H_DLDPi定义如下：

H_DLDPi＝∑_x,yf(DLDPi(x,y),C_i)

式中，C_i表示第i子方向的sobel-DLDP码，i＝1,2，所得的DLDP描述子是DLDP编码梯度值的直方图，再利用下式将DLDP1和DLDP2的直方图联接起来获得DLDP直方图H_DLDP，作为图像特征表示。

5.根据权利要求4所述的融合DLDP与sobel的表情特征提取方法，其特征在于，所述步骤5，融合DLDP与sobel的表情特征提取计算方法为：

联合水平方向和垂直方向的DLDP算子就得到Sobel-DLDP算子：

Sobel-DLDP＝{Sobel-DLDP^x,Sobel-DLDP^y}

其中，

Sobel-DLDP^x＝{Sobel-DLDP1^x,Sobel-DLDP2^x}

Sobel-DLDP^y＝{Sobel-DLDP1^y,Sobel-DLDP2^y}

DLDP^x表示DLDP码的水平方向分量，DLDP^y表示DLDP码的垂直方向分量，DLDP1^x和DLDP2^x分别表示第一子方向DLDP的水平分量和第二子方向DLDP的水平分量，DLDP1^y和DLDP2^y分别表示第一子方向DLDP的垂直分量和第二子方向DLDP的垂直分量；

利用下式分别提取每一个子块的Sobel-DLDP直方图H_Sobel-DLDP。

式中，C_i表示第i子方向的sobel-DLDP码，i＝1,2。最终将表情图像以从左至右、从上至下的顺序联接各个子块的特征直方图，该级联直方图用于表示人脸表情特征。最后应用SVM对融合信息进行分类并识别人脸表情。

6.根据权利要求5所述的融合DLDP与sobel的表情特征提取方法，其特征在于，所述步骤S1利用JAFFE人脸表情数据库作为实验数据库，首先，通过sobel算子得到表情图像的水平和垂直方向的边缘特征，然后融合这两个方向的特征得到表情图像的边缘特征；再通过二值化减少数据量；然后再通过DLDP进行特征提取得到人脸表情特征直方图，用于分类器进行表情分类识别。