CN113158825A - 一种基于特征提取的人脸表情识别方法 - Google Patents

一种基于特征提取的人脸表情识别方法 Download PDF

Info

Publication number
CN113158825A
CN113158825A CN202110341583.4A CN202110341583A CN113158825A CN 113158825 A CN113158825 A CN 113158825A CN 202110341583 A CN202110341583 A CN 202110341583A CN 113158825 A CN113158825 A CN 113158825A
Authority
CN
China
Prior art keywords
sub
facial expression
pixel
neighborhoods
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110341583.4A
Other languages
English (en)
Inventor
郭晓金
张哲�
张震
刘煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110341583.4A priority Critical patent/CN113158825A/zh
Publication of CN113158825A publication Critical patent/CN113158825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征提取的人脸表情识别方法，首先将人脸表情图像分成子区域，对同一像素点，采用两个不同尺度大小的AR‑LGBP算子得到两个八位二进制序列，将两个二进制序列一一对应进行逻辑异或运算，得到一个新的二进制序列，此序列转换为的十进制数值即为此像素点的像素值，按照此方法计算每个子区域中每个像素点的像素值得到子区域的直方图，连接子区域的直方图生成人脸表情特征向量；最后，通过主成分分析算法对生成的特征向量降维，再结合SVM分类器进行人脸表情分类识别。本发明既考虑到邻域间的像素关系，能增加特征描述能力，又具有扩展性，可以在不同尺度下提取特征。

Description

一种基于特征提取的人脸表情识别方法
技术领域
本发明涉及数字图像处理技术领域，具体为表情识别过程中采用的高效率、低复杂度、鲁棒性好、鉴别能力强的特征提取技术。
背景技术
目前，对于人工智能的研究已经达到了较高的水平，而对人类情感和认知的研究相对较少。现实生活中，人们都期望计算机可以像人类一样服务于社会，在人机交互时更加的智能化，而仅具备视觉和听觉这些感知能力是远远不够的，还需加入情感理解和情感识别功能。而人脸所反映出的视觉信息是人类情感表达和交互最直接最重要的载体，研究者可通过面部表情的变化揣测出表达者内心真实的想法。所以，表情识别对情感的研究非常重要。
由于人类情感和人脸表情的复杂性以及目前一些领域对表情识别准确度的要求越来越高，经典的局部二值模式(Local Binary Pattern，LBP)特征提取算法在提取纹理特征以及实现时间方面都有了很大的改善。
经典的LBP算法中，在3×3大小的窗口范围内，以中心像素值作为阈值，对邻域内8个像素点进行二值化处理。通过比较中心像素gc与邻近像素gi灰度值的大小关系来进行编码，其结果为八位的二进制数，若gi≥gc，则为1，反之为0。然后从左上角开始顺时针将邻域8个采样点的二进制码连接起来，组成中心像素的LBP二进制码序列。最后通过给每个二进制数分配一个二项式系数2n加权求和就得到了中心像素的LBP十进制码。LBP具有灰度不变性，旋转不变性，具有强大的抗干扰性和纹理判别能力，计算简单，对光照有一定的抑制作用。LBP的计算过程只是针对中心像素与邻域像素进行比较，没有考虑邻域像素间的灰度关系，不能对非局部信息进行提取。
针对这一问题，业界提出局部梯度二值模式(Local Gradient Binary Pattern，LGBP)解决方案。LGBP从水平、垂直、对角线方向上计算局部像素间的关系，分别比较水平、垂直、对角线方向上边缘处两个像素值来进行编码，若比较结果大于等于0，则赋值为1，否则为0。将结果从左上角开始顺时针分别填入邻域8个采样点，最后将8个采样点的二进制码连接起来组成LGBP的二进制序列。将比较结果分别能准确表达出图像中各个表情区域的变化情况。最后通过给每个二进制数分配一个二项式系数2n加权求和就得到了LGBP十进制码。 LGBP具有比LBP更强的鉴别能力，但该算子易受到噪声的影响，且邻域大小固定，不能在大尺度下很好的提取纹理特征。
发明内容
有鉴于此，本发明旨在提出基于改进的LGBP即非对称局部梯度二值模式(Asymmetric Region Local Gradient Binary Pattern，AR-LGBP)的人脸表情识别方案，既考虑到邻域间的像素关系，能增加特征描述能力，又具有扩展性，可以在不同尺度下提取特征。
为了实现上述目的，本发明采用的技术方案是一种基于特征提取的人脸表情识别方法，包括以下步骤：
步骤一，将人脸表情图像分成若干子区域。
步骤二，采用非对称局部梯度二值模式计算子区域中各像素点的像素值，得到子区域像素值的直方图。
步骤三，连接各子区域的直方图生成人脸表情特征向量。
步骤四，通过主成分分析(PCA)算法对步骤三的特征向量降维，再结合支持向量机(SVM)分类器进行人脸表情分类识别。
在上述方案的基础上，利用数字电路中的逻辑运算接着对该方案中步骤二进行优化。
在数字电路中，当二进制数a和b相同时输出为0，不同时输出为1。该方案优化后的思想为：对同一像素点，根据AR-LGBP算子，采用两个不同大小的邻域得到两个序列PA和PB，将两个序列按位进行逻辑异或运算，得到一个新的序列P，将新的序列转换为8位二进制数，该值作为该像素点的纹理特征值，按照此方法计算到每个子区域中每一个像素点，最后得到子区域的直方图，最后再继续步骤三步骤四来完成最终的一个识别。新的方案为异或非对称局部梯度二值模式(XOR Asymmetric Region Local Gradient Binary Pattern，XOR-AR-LGBP)。
本发明采用以上的技术方案带来的又以技术效果如下：(1)与LGBP方案相比，AR-LGBP方案子邻域大小可根据m、n变化，具有扩展性，可以在任意尺度下提取图像的特征，能够提取到任意尺度下的特征优点以便于最后有更好的识别效果；并且二进制序列的位数是恒定的，并不会随着算子邻域的大小变化而变化，所以，该算子的特征维数是恒定的，并不会因为算法复杂度的增加而出现“维数灾难”现象。
(2)继承了AR-LGBP方案的优点，XOR-AR-LGBP方案结合了数字电路中的异或逻辑运算，能反映出水平、垂直、对角线三个方向上不同尺度的子邻域间强度变化关系，能更好地提取图像的纹理特征，具有更好的鉴别能力。
附图说明
图1为本发明中AR-LGBP的3×3邻域灰度示意图；
图2为本发明中处理后的AR-LGBP的3×3邻域灰度示意图；
图3为本发明中XOR-AR-LGBP编码示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。
本发明的设计思路是提供一种能在多尺度下提取表情特征并且能综合考虑到邻域间像素关系的方法。图1是AR-LGBP的3×3邻域灰度示意图。AR-LGBP 算子邻域大小为(2m+1)×(2n+1)，其中，
Figure RE-GDA0003104606420000021
w表示图像宽度，h表示图像高度，m用来确定任意子邻域的宽度，n用来确定任意子邻域的高度，符号
Figure RE-GDA0003104606420000022
表示向下取整。该算子将邻域分成9个子邻域，记为Ri。这些邻域可以分为四个大小为m×n的子邻域R1，R3，R5，R7，2个大小为m×1的子邻域R4，R8，2个大小为1×n的子邻域R2，R6，1个大小为1×1的子邻域R9，R9为中心像素点。
为了计算方便，对AR-LGBP进行处理，如图2所示，设每个子邻域的像素值为
Figure RE-GDA0003104606420000031
其大小等于该子邻域内所有像素点的均值，可以用公式
Figure RE-GDA0003104606420000032
表示，其中，Ni表示第i个子邻域所有像素点的个数。pij表示第i个子邻域第j个像素点的像素值。其二进制序列可表示为：P0,P1…P7,其中，P0：
Figure RE-GDA0003104606420000033
P1：
Figure RE-GDA0003104606420000034
P2:
Figure RE-GDA0003104606420000035
P3：
Figure RE-GDA0003104606420000036
P4：
Figure RE-GDA0003104606420000037
P5：
Figure RE-GDA0003104606420000038
P6：
Figure RE-GDA0003104606420000039
P7：
Figure RE-GDA00031046064200000310
此处的s函数为二值函数，AR-LGBP编码公式如下：
Figure RE-GDA00031046064200000311
Pi表示二进制序列中第i位的值，x，y分别表示像素点的横坐标和纵坐标。
进一步地，将数字电路中的异或运算与AR-LGBP算法结合。在数字电路中，当二进制数a和b相同时输出为0，不同时输出为1。该方案优化后的思想为：对同一像素点，根据AR-LGBP算子，采用两个不同大小的邻域得到两个序列 PA和PB，将两个序列按位进行逻辑异或运算，得到一个新的序列P，将新的序列转换为8位二进制数，该值作为该像素点的纹理特征值，可表示为：
Figure RE-GDA00031046064200000312
其中PAi和PBi分别为序列PA和PB的第i 位，
Figure RE-GDA00031046064200000313
表示逻辑异或操作，L表示序列的长度，此处L＝8。如图3所示为 XOR-AR-LGBP编码过程，以两个邻域大小为5×5和3×3为例。对同一像素点来说，邻域间存在强度变化，如中心像素点3×3子邻域R8像素值大于R4，即
Figure RE-GDA00031046064200000314
Figure RE-GDA00031046064200000315
其AR-LGBP描述子的编码为PA:(01010001)2＝81。中心像素点R9的5× 5子邻域R8像素值小于R4，即
Figure RE-GDA00031046064200000316
其AR-LGBP描述子的编码为 PB:(00010001)2＝17，PA与PB按位进行逻辑异或运算得到XOR-AR-LGBP的编码为
Figure RE-GDA00031046064200000317
最后，通过主成分分析(PCA)算法对生成的特征向量降维，再结合支持向量机(SVM)分类器进行人脸表情分类识别。主成分分析算法和支持向量机分类器均可以采用现有技术中的方法实现。

Claims (5)

1.一种基于特征提取的人脸表情识别方法，其特征在于，包括以下步骤：
步骤一，将人脸表情图像分成若干子区域；
步骤二，采用非对称局部梯度二值模式计算子区域中各像素点的像素值，得到子区域的直方图；
步骤三，连接各子区域的直方图生成人脸表情特征向量；
步骤四，通过主成分分析算法对步骤三的特征向量降维，再结合支持向量机分类器进行人脸表情分类识别。
2.根据权利要求1所述一种基于特征提取的人脸表情识别方法，其特征在于：所述计算像素值的过程为：针对某一像素点采用两个不同尺度大小的AR-LGBP算子得到两个八位二进制序列，将两个二进制序列一一对应进行逻辑异或运算，得到一个新的二进制序列P，将二进制序列P转换为8位二进制数，将其作为该像素点的纹理特征值，将此新的二进制序列转换为的十进制数值即为此像素点的像素值。
3.根据权利要求2所述一种基于特征提取的人脸表情识别方法，其特征在于：所述AR-LGBP算子邻域大小为(2m+1)×(2n+1)，其中，
Figure FDA0002999763360000011
1≤
Figure FDA0002999763360000012
w表示图像宽度，h表示图像高度，m用来确定任意子邻域的宽度，n用来确定任意子邻域的高度，符号
Figure FDA0002999763360000013
表示向下取整，将邻域分成9个子邻域，记为Ri，每个子邻域的像素值为
Figure FDA0002999763360000014
二进制序列P表示为：P0,P1…P7,其中，P0：
Figure FDA0002999763360000015
P1：
Figure FDA0002999763360000016
P2:
Figure FDA0002999763360000017
P3：
Figure FDA0002999763360000018
P4：
Figure FDA0002999763360000019
P5：
Figure FDA00029997633600000110
P6：
Figure FDA00029997633600000111
P7：
Figure FDA00029997633600000112
s函数为二值函数。
4.根据权利要求3所述一种基于特征提取的人脸表情识别方法，其特征在于：所述9个子邻域包括四个大小为m×n的子邻域R1，R3，R5，R7，2个大小为m×1的子邻域R4，R8，2个大小为1×n的子邻域R2，R6，1个大小为1×1的子邻域R9，R9为中心像素点。
5.根据权利要求2所述一种基于特征提取的人脸表情识别方法，其特征在于：所述纹理特征值为
Figure FDA00029997633600000113
其中PAi和PBi分别为序列PA和PB的第i位，
Figure FDA00029997633600000114
表示逻辑异或操作，L表示序列的长度，x,y表示邻域中心像素点的横纵坐标。
CN202110341583.4A 2021-03-30 2021-03-30 一种基于特征提取的人脸表情识别方法 Pending CN113158825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341583.4A CN113158825A (zh) 2021-03-30 2021-03-30 一种基于特征提取的人脸表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341583.4A CN113158825A (zh) 2021-03-30 2021-03-30 一种基于特征提取的人脸表情识别方法

Publications (1)

Publication Number Publication Date
CN113158825A true CN113158825A (zh) 2021-07-23

Family

ID=76885440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341583.4A Pending CN113158825A (zh) 2021-03-30 2021-03-30 一种基于特征提取的人脸表情识别方法

Country Status (1)

Country Link
CN (1) CN113158825A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127196A (zh) * 2016-09-14 2016-11-16 河北工业大学 基于动态纹理特征的人脸表情的分类与识别方法
CN108960041A (zh) * 2018-05-17 2018-12-07 首都师范大学 图像特征提取方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127196A (zh) * 2016-09-14 2016-11-16 河北工业大学 基于动态纹理特征的人脸表情的分类与识别方法
CN108960041A (zh) * 2018-05-17 2018-12-07 首都师范大学 图像特征提取方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
于明: "基于LGBP特征和稀疏表示的人脸表情识别", 《计算机工程与设计》 *
毋小省等: "《局部二值模式及扩展算子》", 31 October 2018, 北京：北京航空航天大学出版社 *
黄丽雯等: "非对称方向性局部二值模式人脸表情识别", 《计算机工程与应用》 *

Similar Documents

Publication Publication Date Title
JP4429370B2 (ja) ポーズによるヒト検出
CN106127196B (zh) 基于动态纹理特征的人脸表情的分类与识别方法
Zahran et al. A MODIFIED LBP METHOD TO EXTRACT FEATURES FROM COLOR IMAGES.
Fu et al. Centralized binary patterns embedded with image euclidean distance for facial expression recognition
CN105095880B (zh) 一种基于lgbp编码的手指多模态特征融合方法
CN111340047B (zh) 基于多尺度特征与前背景对比的图像语义分割方法及***
CN108805140B (zh) 一种基于lbp的特征快速提取方法及人脸识别***
CN109325507B (zh) 结合超像素显著性特征与hog特征图像分类方法和***
CN107729890B (zh) 基于lbp和深度学习的人脸识别方法
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
CN110826408B (zh) 一种分区域特征提取人脸识别方法
CN109388727A (zh) 一种基于聚类的bgp人脸快速检索方法
CN113963041A (zh) 一种图像纹理识别方法及***
CN110738265A (zh) 一种基于改进的lbp特征和lndp特征相融合的改进orb算法
Moh’d Shamaileh et al. A new feature-based wavelet completed local ternary pattern (Feat-WCLTP) for texture image classification
He et al. Local compact binary count based nonparametric background modeling for foreground detection in dynamic scenes
CN109086801A (zh) 一种基于改进lbp特征提取的图像分类方法
CN1858773A (zh) 一种基于Gabor相位模式的图像识别方法
CN113158825A (zh) 一种基于特征提取的人脸表情识别方法
Yang et al. Weber binary pattern and Weber ternary pattern for illumination-robust face recognition
CN114119658A (zh) 一种多特征自适应融合的跟随算法
Nguyen et al. Locating robust patterns based on invariant of LTP-based features
CN113888747A (zh) 一种基于环向局部三值模式的图像纹理特征提取方法
Ardakany et al. An extended local binary pattern for gender classification
Li et al. Maximum Entropy based Local Multiple Patterns for Texture Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723