CN111178195A - 人脸表情识别方法、装置及计算机可读存储介质 - Google Patents

人脸表情识别方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111178195A
CN111178195A CN201911315086.6A CN201911315086A CN111178195A CN 111178195 A CN111178195 A CN 111178195A CN 201911315086 A CN201911315086 A CN 201911315086A CN 111178195 A CN111178195 A CN 111178195A
Authority
CN
China
Prior art keywords
expression
face
facial expression
feature vector
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911315086.6A
Other languages
English (en)
Inventor
熊军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201911315086.6A priority Critical patent/CN111178195A/zh
Publication of CN111178195A publication Critical patent/CN111178195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出的人脸表情识别方法、装置及计算机可读存储介质，方法包括采集人脸表情图像，对采集到的图片分别进行编号；对采集的人脸表情图像进行预处理和标准化处理，根据编号排列得到图像组；根据处理得到的图像组进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量集；将人脸关键点所对应特征向量集放入机器学习算法SVM进行表情分类识别。本发明提供的方法能够快速捕捉微表情变化并实现表情分类，无需大量人工标引，实施起来简便且精确度高，增强了识别的可靠性和识别的效率。

Description

人脸表情识别方法、装置及计算机可读存储介质
技术领域
本发明涉及计算机图像处理技术领域，尤其涉及一种人脸表情识别方法、装置及计算机可读存储介质。
背景技术
人脸表情识别是计算机视觉研究和生物识别的重要组成。它主要是研究通过向计算机传递含有人脸的图像或视频来使计算机可以自动、高效地识别人脸蕴含的情绪，这在人机智能交互、游戏娱乐、公众安全等领域有着广泛应用。人脸表情识别的研究内容主要包括图像获取、图像预处理、特征提取和分类识别，这些也是人脸表情识别的过程。其中，特征提取和分类识别尤为关键。
表情特征提取是指从含有面部表情的图像中获取到表情的整体信息和细微局部信息,并以此来表达出相应的情感状态。目前,表情特征提取算法可以分为以下几种基于形状特征的提取方法：
(1)基于形状特征的提取方法,指通过标记在面部表情特征点的几何形状关系来获取情感状态特征信息。面部中的眉毛、眼睛、鼻子、嘴巴能够丰富的表现出表情状态,这些器官会随着不同表情的出现发生形变。通常可以对这些器官进行关键点描述，进而进行特征提取,其特征主要包含器官的位置、尺度和它们之间的比率等等，将这些特征以一组向量的形式来表示一张具有表情的脸。这种特征对内存需求小,但要求提取的特征点要十分准确，需要大量的人工标注数据，训练及预测耗时。
(2)基于纹理特征的提取方法,它是指获取到表情图像中含有情感状态的内在信息,以获得描述面部整体或者局部变化的表情特征。该方法具有计算简单快捷,特征信息较丰富,但易受光照和噪声等其他因素的影响。例如局部二值法,Gabor小波，使得对于表情的识别精度大大降低。
基于上述现有方法中存在的缺陷，实有必要提供一种新的人脸表情识别方法以满足高效、精确的人脸表情识别的需求。
发明内容
本发明提供一种人脸表情识别方法，其主要目的在于提供一种简单且精确度高的方法以取代现有的人脸表情识别方法。
为实现上述目的，本发明还提供一种人脸表情识别方法，该方法包括：
步骤S1：采集人脸表情图像，对采集到的图片分别进行编号；
步骤S2：对步骤S1采集的人脸表情图像进行预处理和标准化处理，根据编号排列得到图像组；
步骤S3：根据处理得到的图像组进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量集；
步骤S4：将人脸关键点所对应特征向量集放入机器学习算法SVM进行表情分类识别。
优选的，所述步骤S3中，所述人脸关键点提取的方法是基于人脸检测工具dlib分别得出每个图像的68个人脸关键点。
优选的，所述步骤S3包括：
步骤S31：通过图像金字塔和滑动窗口检测对预处理后的图像进行人脸检测，定位人脸的位置；
步骤S32：通过人脸检测工具dlib得到68个人脸关键点；
步骤S33：以68个人脸关键点构建样本的特征向量集。
优选的，所述步骤S33具体为：将68个点的x、y轴各自的均值制造一个标称点，这个标称点与其他的68个关键点构成了具有方向和大小的68个矢量，以这68个矢量作为该样本的表情特征向量集。
优选的，所述人脸表情识别方法还包括步骤：根据得到样本的表情特征向量集构建特征矩阵A＝[A1，A2，...Ak]∈Rm×n，m是特征维数，n是样本总数，A1，A2，...Ak为样本的k个表情特征向量集。
优选的，步骤S4包括：
步骤S41：将步骤S3获取的人脸表情的特征向量集分别输入到训练样本中，循环N次后，设定SVM核函数的参数；
步骤S42：设定训练样本权重，选取不同i值计算训练样本权重，通过输入SVM核函数的参数训练出SVM弱分类器；
步骤S43：针对SVM弱分类器计算的训练结果进行修正，重置权重并再次循环，使用改进人工蜂群优化算法对支持向量机的惩罚因子和核函数参数进行动态调整，输出最优参数，利用最优参数建立表情分类的模型；
步骤S44：将所述人脸关键点所对应特征向量集输入所述表情分类的模型实现表情识别。
优选的，步骤S42为设定训练样本权重：Wi 1＝1/N，i＝1，…，N，初始化样本权重为1/N，通过训练样本权重训练一个基于所述SVM核函数参数的SVM弱分类器。
优选的，所述步骤S2包括对整张人脸表情图像进行灰度化、直方图均衡化得到图像组。
此外，为实现上述目的，本发明还提供一种人脸表情识别装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的人脸识别程序以及可被处理器调取的SVM分类器，所述人脸识别程序被所述处理器执行时实现如下步骤：
步骤S1：采集人脸表情图像，对采集到的图片分别进行编号；
步骤S2：对步骤S1采集的人脸表情图像进行预处理和标准化处理，根据编号排列得到图像组；
步骤S3：根据处理得到的图像组进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量集；
步骤S4：将人脸关键点所对应特征向量集放入机器学习算法SVM进行表情分类识别。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序可被一个或者多个处理器执行，以实现上述的人脸表情识别方法的步骤。
本发明提出的人脸表情识别方法、装置及计算机可读存储介质，基于人脸检测工具dlib得出68个人脸关键点，通过关键点位置提取如嘴巴张开距离、眼睛睁开距离、眉毛倾斜角度、两眉之间的宽度、两眉之间的高度等特征组成人脸表情特征向量集放入机器学习算法SVM进行表情分类。
本发明的有益效果在于：对采集的图像组进行人脸关键点，构建样本的特征向量集，可以便于对表情的细微局部信息进行提取，通过向量之间的组合，可以整合出表情的整体信息，将这些特征以一组向量的形式来表示一张具有表情的脸，方法简单，可靠性高。
附图说明
图1为本发明一实施例提供的人脸表情识别方法的流程示意图；
图2为本发明一实施例提供的人脸表情识别装置的内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种人脸表情识别方法。该方法基于人脸检测工具dlib得出68个人脸关键点，通过关键点位置提取如嘴巴张开距离、眼睛睁开距离、眉毛倾斜角度、两眉之间的宽度、两眉之间的高度等特征组成人脸表情特征向量集，通过特定的训练样本与设定训练样本权重，改进特征值，使用SVM作为弱分类器，提高检测的准确率，通过选择合适的SVM核函数的参数，采用训练好的SVM弱分类器实施检测时能够快速捕捉微表情变化并实现表情分类。参照图1所示，本发明人脸表情识别方法包括：
步骤S1：采集人脸表情图像，在预设的间隔时间内，获取连续输出的人脸表情图像，对采集到的图片分别进行编号和存储，图片的编号分别为1-n；
步骤S2：对采集的人脸表情图像进行预处理和标准化处理，根据编号排列得到图像组N1-Nn；
步骤S3：根据预处理得到的图像进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量集A1-An；
进一步的，步骤S3包括如下两个步骤：
步骤S31：通过图像金字塔和滑动窗口检测对预处理后的图像进行人脸检测，定位人脸的位置；
步骤S32：通过人脸检测工具dlib得到68个人脸关键点，将这68个点的x、y轴各自的均值制造一个标称点，这个标称点与其他的68个关键点构成了具有方向和大小的68个矢量。
步骤S33：以这68个矢量作为该样本的表情特征向量集。根据得到样本的表情特征向量集构建特征矩阵A＝[A1，A2，...Ak]∈Rm×n，m是特征维数，n是样本总数，A1，A2，...Ak为样本的68个表情特征向量集。
步骤S4：将人脸关键点所对应特征向量集放入机器学习算法SVM进行表情分类识别。具体包括：
步骤S41：将步骤S3获取的人脸表情的特征向量集分别输入到训练样本中，循环N次后，设定SVM核函数的参数；
步骤S42：设定训练样本权重，选取不同i值计算训练样本权重，通过输入SVM核函数的参数训练出SVM弱分类器；在此步骤中设定训练样本权重为：Wi 1＝1/N，i＝1，…，N，初始化样本权重为1/N，通过训练样本权重训练一个基于所述SVM核函数参数的SVM弱分类器。
步骤S43：针对SVM弱分类器计算的训练结果进行修正，重置权重并再次循环，使用改进人工蜂群优化算法对支持向量机的惩罚因子和核函数参数进行动态调整，输出最优参数，利用最优参数建立表情分类的模型；
步骤S44：将经步骤S2处理的连续人头图像对应的人脸关键点特征向量集输入训练好的分类器即表情分类的模型实现表情识别。
下面结合具体实施例进行说明：
本实施例的人脸表情识别方法，包括如下步骤：
1.1图像采集、图片预处理图像标准化
采集人脸表情图像，在预设的间隔时间内，获取连续输出的人脸表情图像，对采集到的图片分别进行编号和存储；具体为利用人像捕获技术，当指定的人像在摄像头拍摄的范围内移动时自动地对其进行跟踪，并实施拍摄并存储下来有待进一步处理。
预处理步骤将调整使用的图像，将所有包含显著面部特征的人脸调整为统一大小，选择研究对象图像的参考点，将同一研究对象的同一位置在连续间隔时间内的参考点对应起来，将图像进行几何标准化。
进一步地，还包括：对整张人脸表情图像进行灰度化、直方图均衡化，以消除光照噪声因素对人脸检测和人脸关键点检测的影响，提高图像质量。
1.2属性提取和面部表示
基于人脸检测工具dlib得出68个人脸关键点；面部特殊三角形此属性为实验着重研究属性。实验选择重要的面部参考点，将临近的参考点相连接，形成包含重要面部特征部位的三角形，该三角形称为面部特殊三角形。
具体方法为通过人脸检测工具dlib针对面部特殊三角的方式定位人脸位置并提取相关关键点得到68个人脸关键点。并针对连续时间内连续输出的人头图片依照输出顺序依次提取特征并实现图像之间的关联。
1.2.1几何属性
定义68个提取点的标准化坐标(x,y)。将这68个点的x、y轴各自的均值制造一个标称点，这个标称点与其他的68个关键点构成了具有方向和大小的68个矢量，以这68个矢量作为该样本的表情特征向量集。根据得到样本的特征向量集构建特征矩阵A＝[A1，A2，...Ak]∈Rm×n，m是特征维数，n是样本总数。其中，图像组内不同图像之间用于标准化的两个参考坐标对于所有相同类型的图像有相同的位置。
1.2.2获得68个关键点的整体属性
采用主成分分析(Principal Component Analysis，PCA)的方式针对68个关键点进行整体属性的提取。将每个独立的图像裁剪成标准的区域。在尽可能多的丢弃背景像素等干扰信息后进行PCA变换，选择表示图像信息最多的几个特征维度，这几个维度应占总信息量的95％以上。再进行PCA矩阵反变换，获得降维后的特征。
辅助采用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)进行68个关键点针对局部表情分类的图像描述符。通过SIFT变换进行统一不变的缩放和旋转，以及部分不变的仿射畸变和光照变化，实现表征关键点的坐标附近区域。
通过关键点位置提取如嘴巴张开距离、眼睛睁开距离、眉毛倾斜角度、两眉之间的宽度、两眉之间的高度等特征组成人脸表情特征向量集，放入机器学习算法SVM进行表情分类。
具体包括：
A通过关键点位置提取如嘴巴张开距离、眼睛睁开距离、眉毛倾斜角度、两眉之间的宽度、两眉之间的高度等特征组成人脸表情特征向量集分别输入到训练样本中，循环N次后，设定SVM核函数的参数。
给出一个特定有n个变量的训练样本S＝{(x1，y1)，…，(xn，yn)}，循环t次，设定SVM核函数参数：C＝{C1,C2…}；其中(x1，y1)，…，(xn，yn)是dlib得出的68个人脸关键点，C均为SVM核函数参数值，为一维数组，C为多维数组；
B.设定训练样本权重，选取不同i值计算训练样本权重，通过输入SVM核函数的参数训练出SVM弱分类器。
设定训练样本权重：Wi 1＝1/N，i＝1，…，N，初始化样本权重为1/N，通过训练样本权重训练一个基于所述SVM核函数参数的SVM弱分类器；
C.针对SVM弱分类器计算的训练结果进行修正，重置权重并再次循环，使用改进人工蜂群优化算法对支持向量机的惩罚因子和核函数参数进行动态调整，输出最优参数，利用最优参数建立表情分类的模型。
D.通过连续输出的人头图片输入训练好的表情分类从而实现表情识别。
本发明还提供一种人脸表情识别装置。参照图2所示，为本发明一实施例提供的人脸表情识别装置的内部结构示意图。
在本实施例中，人脸表情识别装置1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。所述人脸表情识别装置1至少包括存储器11、处理器12、网络接口13以及通信总线14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储有可在所述处理器上运行的人脸识别程序以及可被处理器调取的SVM分类器。存储器11在一些实施例中可以是人脸表情识别装置1的内部存储单元，例如该人脸表情识别装置1的硬盘。存储器11在另一些实施例中也可以是人脸表情识别装置1的外部存储设备，例如人脸表情识别装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括人脸表情识别装置1的内部存储单元也包括外部存储设备。SVM存储器既可以存储于内部存储单元，也可以存储在外部存储单元，优选的，为存储在外部存储单元。存储器11不仅可以用于存储安装于人脸表情识别装置1的应用软件及各类数据，例如人脸识别程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行人脸识别程序01等。
通信总线14用于实现这些组件之间的连接通信。
网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该人脸表情识别装置1与其他电子设备之间建立通信连接。
图2仅示出了具有组件11-14以及人脸识别程序01的人脸表情识别装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对人脸表情识别装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的人脸表情识别装置1实施例中，存储器11中存储有人脸识别程序01；处理器12执行存储器11中存储的人脸识别程序01时实现本发明所述人脸表情识别方法的上述各项方法步骤，具体包括：
步骤S1：采集人脸表情图像，在预设的间隔时间内，获取连续输出的人脸表情图像，对采集到的图片分别进行编号和存储；
步骤S2：对采集的人脸表情图像进行预处理和标准化处理，得到图像组；
步骤S3：根据处理得到的图像组进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量集；
步骤S4：将人脸关键点所对应特征向量集放入机器学习算法SVM进行表情分类识别。
进一步地，在本发明装置的另一实施例中，人脸识别程序01还可被处理器调用，以实现本发明提供的人脸表情识别方法的上述各项方法步骤。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序可被一个或多个处理器执行，以实现本发明提供的人脸表情识别方法的上述各项方法步骤。
本发明计算机可读存储介质具体实施方式与上述人脸表情识别装置和方法各实施例基本相同，在此不作累述。
本发明提出的人脸表情识别方法、装置及计算机可读存储介质，基于人脸检测工具dlib得出68个人脸关键点，通过关键点位置提取如嘴巴张开距离、眼睛睁开距离、眉毛倾斜角度、两眉之间的宽度、两眉之间的高度等特征组成人脸表情特征向量集放入机器学习算法SVM进行表情分类。
本发明的有益效果在于：
一、面部中的眉毛、眼睛、鼻子、嘴巴能够丰富的表现出表情状态,这些器官会随着不同表情的出现发生形变。通常可以对这些器官进行关键点描述，进而进行特征提取,其特征主要包含器官的位置、尺度和它们之间的比率等等，将这些特征以一组向量的形式来表示一张具有表情的脸，方法简单，可靠性高。
二、通过68个人脸关键点的定位和采集，可以以少量的关键点表征出整个脸部复杂的变化情况，无需对各种数据进行繁复精密的标注，训练及预测，降低人工成本，减少耗时；
三、在提取表情后，通过SVM算法将未知表情的特征划分为相应的已知表情类别，可以大大提高识别精度，对复杂表情进行建模话分类和表征，准确度高。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种人脸表情识别方法，其特征在于，所述方法包括：
步骤S1：采集人脸表情图像，对采集到的图片分别进行编号；
步骤S2：对步骤S1采集的人脸表情图像进行预处理和标准化处理，根据编号排列得到图像组；
步骤S3：根据处理得到的图像组进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量集；
步骤S4：将人脸关键点所对应特征向量集放入机器学习算法SVM进行表情分类识别。
2.如权利要求1所述的人脸表情识别方法，其特征在于，所述步骤S3中，所述人脸关键点提取的方法是基于人脸检测工具dlib分别得出每个图像的68个人脸关键点。
3.如权利要求2所述的人脸表情识别方法，其特征在于，所述步骤S3包括：
步骤S31：通过图像金字塔和滑动窗口检测对预处理后的图像进行人脸检测，定位人脸的位置；
步骤S32：通过人脸检测工具dlib得到68个人脸关键点；
步骤S33：以68个人脸关键点构建样本的特征向量集。
4.如权利要求3所述的人脸表情识别方法，其特征在于，所述步骤S33具体为：将68个点的x、y轴各自的均值制造一个标称点，这个标称点与其他的68个关键点构成了具有方向和大小的68个矢量，以这68个矢量作为该样本的表情特征向量集。
5.如权利要求3所述的人脸表情识别方法，其特征在于，该方法还包括步骤：根据得到样本的表情特征向量集构建特征矩阵A＝[A1，A2，...Ak]∈Rm×n，m是特征维数，n是样本总数，A1，A2，...Ak为样本的k个表情特征向量集。
6.如权利要求1所述的人脸表情识别方法，其特征在于，所述步骤S4包括：
步骤S41：将步骤S3获取的人脸表情的特征向量集分别输入到训练样本中，循环N次后，设定SVM核函数的参数；
步骤S42：设定训练样本权重，选取不同i值计算训练样本权重，通过输入SVM核函数的参数训练出SVM弱分类器；
步骤S43：针对SVM弱分类器计算的训练结果进行修正，重置权重并再次循环，使用改进人工蜂群优化算法对支持向量机的惩罚因子和核函数参数进行动态调整，输出最优参数，利用最优参数建立表情分类的模型；
步骤S44：将所述人脸关键点所对应特征向量集输入所述表情分类模型实现表情识别。
7.如权利要求6所述的人脸表情识别方法，其特征在于，所述步骤S42设定训练样本权重为：
Figure FDA0002324578210000021
初始化样本权重为1/N，通过训练样本权重训练一个基于所述SVM核函数参数的SVM弱分类器。
8.如权利要求1所述的人脸表情识别方法，其特征在于，所述步骤S2包括：对采集的整张人脸表情图像进行灰度化、直方图均衡化，得到图像组。
9.一种人脸表情识别装置，包括存储器和处理器，其特征在于，所述存储器上存储有可在所述处理器上运行的人脸识别程序，所述人脸识别程序被所述处理器执行时实现如下步骤：
步骤S1：采集人脸表情图像，对采集到的图片分别进行编号；
步骤S2：对步骤S1采集的人脸表情图像进行预处理和标准化处理，根据编号排列得到图像组；
步骤S3：根据处理得到的图像组进行人脸检测和人脸关键点提取，并根据提取的关键点，构建样本的特征向量集；
步骤S4：将人脸关键点所对应特征向量集放入机器学习算法SVM进行表情分类识别。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有人脸识别程序，所述人脸识别程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的人脸表情识别方法的步骤。
CN201911315086.6A 2019-12-18 2019-12-18 人脸表情识别方法、装置及计算机可读存储介质 Pending CN111178195A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911315086.6A CN111178195A (zh) 2019-12-18 2019-12-18 人脸表情识别方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911315086.6A CN111178195A (zh) 2019-12-18 2019-12-18 人脸表情识别方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111178195A true CN111178195A (zh) 2020-05-19

Family

ID=70651986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911315086.6A Pending CN111178195A (zh) 2019-12-18 2019-12-18 人脸表情识别方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111178195A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307942A (zh) * 2020-10-29 2021-02-02 广东富利盛仿生机器人股份有限公司 一种面部表情量化表示方法、***及介质
CN112528777A (zh) * 2020-11-27 2021-03-19 富盛科技股份有限公司 一种用于课堂环境下的学生面部表情识别方法及***
CN112541425A (zh) * 2020-12-10 2021-03-23 深圳地平线机器人科技有限公司 情绪检测方法、装置、介质及电子设备
CN112766538A (zh) * 2020-12-26 2021-05-07 浙江天行健智能科技有限公司 一种基于svm算法的行人横穿马路决策建模方法
CN112883867A (zh) * 2021-02-09 2021-06-01 广州汇才创智科技有限公司 一种基于图像情感分析的学生在线学习评估方法及***
CN113111789A (zh) * 2021-04-15 2021-07-13 山东大学 一种基于视频流的面部表情识别方法及***
CN117315745A (zh) * 2023-09-19 2023-12-29 中影年年(北京)文化传媒有限公司 基于机器学习的面部表情捕捉方法及***
CN112307942B (zh) * 2020-10-29 2024-06-28 广东富利盛仿生机器人股份有限公司 一种面部表情量化表示方法、***及介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307942A (zh) * 2020-10-29 2021-02-02 广东富利盛仿生机器人股份有限公司 一种面部表情量化表示方法、***及介质
CN112307942B (zh) * 2020-10-29 2024-06-28 广东富利盛仿生机器人股份有限公司 一种面部表情量化表示方法、***及介质
CN112528777A (zh) * 2020-11-27 2021-03-19 富盛科技股份有限公司 一种用于课堂环境下的学生面部表情识别方法及***
CN112541425A (zh) * 2020-12-10 2021-03-23 深圳地平线机器人科技有限公司 情绪检测方法、装置、介质及电子设备
CN112766538A (zh) * 2020-12-26 2021-05-07 浙江天行健智能科技有限公司 一种基于svm算法的行人横穿马路决策建模方法
CN112883867A (zh) * 2021-02-09 2021-06-01 广州汇才创智科技有限公司 一种基于图像情感分析的学生在线学习评估方法及***
CN113111789A (zh) * 2021-04-15 2021-07-13 山东大学 一种基于视频流的面部表情识别方法及***
CN113111789B (zh) * 2021-04-15 2022-12-20 山东大学 一种基于视频流的面部表情识别方法及***
CN117315745A (zh) * 2023-09-19 2023-12-29 中影年年(北京)文化传媒有限公司 基于机器学习的面部表情捕捉方法及***
CN117315745B (zh) * 2023-09-19 2024-05-28 中影年年(北京)科技有限公司 基于机器学习的面部表情捕捉方法及***

Similar Documents

Publication Publication Date Title
CN111178195A (zh) 人脸表情识别方法、装置及计算机可读存储介质
Makhmudkhujaev et al. Facial expression recognition with local prominent directional pattern
US10445562B2 (en) AU feature recognition method and device, and storage medium
JP4161659B2 (ja) 画像認識システム及びその認識方法並びにプログラム
Guo et al. Dynamic facial expression recognition with atlas construction and sparse representation
CN107463865B (zh) 人脸检测模型训练方法、人脸检测方法及装置
US20190362144A1 (en) Eyeball movement analysis method and device, and storage medium
CN106897675A (zh) 双目视觉深度特征与表观特征相结合的人脸活体检测方法
Monzo et al. Precise eye localization using HOG descriptors
JP5574033B2 (ja) 画像認識システム及びその認識方法並びにプログラム
CN109241890B (zh) 面部图像校正方法、装置及存储介质
JP5777380B2 (ja) 画像認識装置、画像認識方法、及びプログラム
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
CN110826534A (zh) 一种基于局部主成分分析的人脸关键点检测方法及***
US8861803B2 (en) Image recognition apparatus, image recognition method, and program
CN112101293A (zh) 人脸表情的识别方法、装置、设备及存储介质
Curran et al. The use of neural networks in real-time face detection
Geetha et al. 3D face recognition using Hadoop
Shukla et al. Deep Learning Model to Identify Hide Images using CNN Algorithm
CN210442821U (zh) 一种人脸识别装置
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
Mall et al. A neural network based face detection approach
Smiatacz Face recognition: shape versus texture
CN116758589B (zh) 一种处理姿态和视角矫正的牛脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination