CN112307942A - 一种面部表情量化表示方法、***及介质 - Google Patents
一种面部表情量化表示方法、***及介质 Download PDFInfo
- Publication number
- CN112307942A CN112307942A CN202011178676.1A CN202011178676A CN112307942A CN 112307942 A CN112307942 A CN 112307942A CN 202011178676 A CN202011178676 A CN 202011178676A CN 112307942 A CN112307942 A CN 112307942A
- Authority
- CN
- China
- Prior art keywords
- facial
- expression
- image
- features
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 104
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000014509 gene expression Effects 0.000 claims abstract description 75
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 17
- 230000001815 facial effect Effects 0.000 claims description 13
- 210000004709 eyebrow Anatomy 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 210000001097 facial muscle Anatomy 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 3
- 210000003205 muscle Anatomy 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 230000007935 neutral effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 210000000887 face Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000001847 jaw Anatomy 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面部表情量化表示方法、***及介质，其中方法包括以下步骤：进行人脸检测，获得人脸图像；对所述人脸图像进行图像预处理；提取面部表情特征，所述面部表情特征包括表情区域形状特征和表情区域强度特征；采用所述面部表情特征进行面部表情分类器模型训练，构建包括表情区域形状特征以及表情区域强度特征的面部表情检测模型。本发明能够量化不同面部表情之间的特征，同时能够为相同面部表情的相似性检测提供数据基础，为仿人机器人面部表情运动单元的驱动控制提供数据参考，可广泛应用于面部表情表示技术领域。
Description
技术领域
本发明涉及基于面部特征点空间坐标数据量化表示面部表情技术领域，尤其涉及一种面部表情量化表示方法、***及介质。
背景技术
传统的面部表情描述方法，如最大限度辨别面部肌肉运动编码***(MAX)和面部动作编码***(FACS)，都是以面部肌肉为基础，对面部表情区域进行编码划分，没有数据化的量化标准来描述不同面部表情之间的特征。自然地，由于缺乏具体的量化对比数据，难以建立面部表情的相似性度量方法。
目前已有的一些面部表情表示方法，如中国专利CN110287895A公开的一种基于卷积神经网络进行情绪测量的方法。该方法通过获取围绕特征识别点的边缘点形成人脸图像的热力图数据，进而通过卷积神经网络对热力图像数据学习，获得面部表情类别识别模型。该方法能对不同面部表情做分类筛选，但仍缺乏不同面部表情之间具体的特征量化对比数据。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提出一种基于表情区域形状特征以及强度特征的面部表情量化表示方法、***及介质，利用面部表情区域形状特征以及强度特征，从两个方面对不同面部表情特征点空间坐标信息进行提取，并将定量对比结果以可视化的形式展现。
本发明所采用的技术方案是：
一种面部表情量化表示方法，包括以下步骤：
进行人脸检测，获得人脸图像；
对所述人脸图像进行图像预处理；
提取面部表情特征，所述面部表情特征包括表情区域形状特征和表情区域强度特征；
采用所述面部表情特征进行面部表情分类器模型训练，构建包括表情区域形状特征以及表情区域强度特征的面部表情检测模型。
进一步，提取表情区域形状特征，包括：
经过对所述人脸图像进行图像预处理后，获得标准化图像，从所述标准化图像中获取n个面部特征点；
围绕面部器官，根据所述n个面部特征点获取m个特征点的链码编码来表示区域形状；
按照链码编码的规则对表情区域内第i个特征点(Xi,Yi)的链码编码值ki赋值；
对原链码进行一阶差分，获得差分码li；
对所述差分码li做非负处理，获得链码编码向量l表示面部区域的形状特征；
其中，n、m为正整数，且n＞m。
进一步，提取表情区域强度特征，包括：
经过对所述人脸图像进行图像预处理后，获得标准化图像，从所述标准化图像中获取n个面部特征点；
利用所述面部特征点，根据人脸肌肉模型中的面部表情肌肉分布，定义10个面部表情区域的变形强度特征，所述10个变形强度特征包括左眉幅度、右眉幅度、左眼幅度、右眼幅度、张嘴幅度、左嘴角上提、右嘴角上提、左脸颊上提、右脸颊上提以及下巴幅度；
选取两眼内测间距作为标准距离对所述变形强度特征进行标准化处理。
进一步，所述对所述人脸图像进行图像预处理，包括：
对所述人脸图像进行人眼定位处理、几何预处理或灰度预处理中至少一种处理。
进一步，所述对所述人脸图像进行人眼定位处理，包括：
采用Dlib开源库对所述人脸图像进行特征点检测，获得人脸的特征点；
根据所述人脸的特征点获取人眼参考点空间位置信息。
进一步，所述对所述人脸图像进行几何预处理，包括：
对所述人脸图像进行旋转矫正处理、分割处理以及缩放处理。
进一步，所述对所述人脸图像进行灰度预处理，包括：
采用直方图均衡化对所述人脸图像进行灰度预处理。
进一步，所述采用所述面部表情特征进行面部表情分类器模型训练，包括：
采用所述面部表情特征对五种监督式机器学习模型进行训练，所述五种监督式机器学习模型为决策树、Random Forest、贝叶斯、支持向量机以及K最近邻算法。
本发明所采用的另一技术方案是：
一种面部表情量化表示***，包括：
人脸检测模块，用于进行人脸检测，获得人脸图像；
图像处理模块，用于对所述人脸图像进行图像预处理；
特征提取模块，用于提取面部表情特征，所述面部表情特征包括表情区域形状特征和表情区域强度特征；
模型训练模块，用于采用所述面部表情特征进行面部表情分类器模型训练，构建包括表情区域形状特征以及表情区域强度特征的面部表情检测模型。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明提出一种基于表情区域形状特征以及强度特征的面部表情量化表示方法，不仅能够量化不同面部表情之间的特征，同时能够为相同面部表情的相似性检测提供数据基础，为仿人机器人面部表情运动单元的驱动控制提供数据参考。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中人脸表情形状区域分布示意图；
图2是本发明实施例中悲伤表情相对于中性表情十个强度特征的总体变化趋势的示意图；
图3是本发明实施例中悲伤表情与中性表情状态下的嘴角区域强度特征对比图；
图4是本发明实施例中悲伤表情与中性表情状态下的下颚区域强度特征对比图；
图5是本发明实施例中一种基于表情区域形状特征以及强度特征的面部表情量化表示方法的步骤流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图5所示，本实施例提供一种基于表情区域形状特征以及强度特征的面部表情量化表示方法，包括如下步骤：
S1、进行人脸检测，获得人脸图像。
该人脸图像为主要包括人脸信息的图像，对图片或者视频进行人脸检测，并获取其中的人脸数据(即人脸图像)。用摄像机或摄像头采集含有人脸的图像或视频流，使用python中的face_recognition库，去除每帧图像中与检测目标无关的物体，并从原始脸部视频中提取人脸部分，进而将含有人脸的图像或视频流转换成只包含人脸的串行图像序列。
可以理解为，人脸检测去除图像或者视频中的无用信息。图像或者视频中有许多与实验对象不相关的但同时又容易对实验产生影响的内容，例如：背景、服饰、边缘信息/配饰等。因此人脸检测技术一方面确定图像或者视频中人脸所在位置，同时去除每帧图像中与检测目标无关的物体，提取只含有人脸的图像或视频流转换成只包含人脸的串行图像序列。
S2、对所述人脸图像进行图像预处理。
步骤S2包括以下步骤S21-S23：
S21、所述对所述人脸图像进行人眼定位处理。
人眼定位具体包括使用Dlib开源库进行特征点检测，得到人脸的特征点，获取人眼参考点空间位置信息。
S22、对所述人脸图像进行几何预处理。
主要是对人脸图像的旋转矫正、分割以及缩放。由于人脸图像是从图片或视频中剪切获得，会出现人脸位置不正等现象，如果获得的人脸几何位置标准，且大小尺寸符合，则无需进行几何预处理。
人脸图像的旋转矫正。本实施例以水平线作为参照，以左右眼参考点连线中点作为旋转轴，对人脸图像进行平面旋转，以保持左右眼参考点连线水平。消除人脸上下左右转向以及平面旋转对实验的影响。具体步骤包括：
在人脸图像中，对步骤S1中人脸检测得到的包含人脸的串行图像进行人脸68个特征点定位，根据特征点定位确定左眼参考点Pel、右眼参考点Per和中心点Pec的具体三维坐标。其中左眼参考点Pel、右眼参考点Per和中心点Pec的具体三维左边计算方式如下：
Pel表示左眼参考点，Per表示右眼参考点，Pec表示左眼参考点和右眼参考点之间的中心点，Pel(x)表示左眼参考点的横坐标，Pel(y)表示左眼参考点的纵坐标，Per(x)表示右眼参考点的横坐标，Per(y)表示右眼参考点的纵坐标，Per(x)表示右眼参考点的横坐标，Per(y)表示右眼参考点的纵坐标Pi(x)表示序号为第i点的横坐标，Pi(y)表示序号为第i点的纵坐标，序号i为36表示左眼外眼角处，序号i为39表示左眼内眼角处，序号i为42表示右眼内眼角处，序号i为45表示右眼外眼角处；
在包含人脸的串行图像中，以中心点Pec为旋转点，通过中心点Pec且垂直于图像的直线为旋转轴，在图像所在平面内旋转人脸，直至左眼参考点Pel和右眼参考点Per之间连线保持水平，完成人脸对齐。
人脸图像分割及缩放。将图像或视频对象中的人脸锁定到同一区域。由于图像或视频来自于不同的研究对象，每个研究对象脸部区域在视频中的位置截然不同，因此，为了统一数据，将人脸以从视频帧中分割截取出来，以固定尺寸缩放。
S23、对所述人脸图像进行灰度预处理。
灰度预处理。采用直方图均衡化来增强人脸图像对比度，提高人脸特征点识别准确性。实现流程如步骤A1-A5：
A1、统计原始图像各灰度级的像素数目ni，0≤i≤L，L是图像中所有的灰度数。
A2、图像中灰度为i的像素的出现概率是:px(i)＝p(x＝i)＝ni/n,n是图像中所有的像素数，px(i)实际上是像素值为i的图像的直方图，归一化到[0,1]；
A3、计算累计分布概率，其中px是累计分布函数：
A4、计算均衡化之后的灰度值：其中cdfmin为累积分布函数最小值，L为灰度级数(如图像为8位深度，则灰度级别共有28＝256级数，这也是最常见的灰度级数)，round为四舍五入取整运算，v为原始图像中为v的像素值：
A5、映射回原来像素坐标的像素值。
S3、提取描述面部表情的面部表情特征，面部表情特征包括表情区域形状特征和表情区域强度特征。
构建描述面部表情的面部表情区域形状特征以及强度特征。
表情区域形状特征。选取嘴巴、眼睛、眉毛、下巴等与表情密切相关的区域形状特征，将OpenFace提取的特征点按照人脸表情区域划分成p＝8组，人脸表情区域形状分组及特征点对应关系如表1所示，人脸表情形状区域分布具体分布情况如图1所示。具体的特征提取步骤如下补正B1-B5：
B1、从步骤S2人脸图像预处理后得到的标准化图像提取68个面部特征点；
B2、利用面部特征点，围绕面部器官，选取包含48个特征点的48链码编码来表示区域形状，按照链码编码的规则对表情区域内第i个特征点(Xi,Yi)的链码编码值ki赋值：
其中，
其中，(Xi+1,Yi+1)为表情区域另一特征点，假设表情区域的特征点数目为m，则特征点的链式编码为k1,k2…,km。
B3、对步骤B中的原链码进行一阶差分获得差分码：
B4、对差分码li做非负处理：
B5、最终由步骤B4得到的链码编码向量l＝(l1,l2,…,lm)表示面部区域的形状特征，其中m表示在此区域内有m个特征点。
表1
表情区域强度特征。计算所定义的十个面部表情区域的变形强度特征，并将计算结果绘制成图表。具体的特征提取步骤如下补正C1-C3：
C1、从步骤S2人脸图像预处理后得到的标准化图像提取68个面部特征点；
C2、利用面部特征点，根据人脸肌肉模型中的面部表情肌肉分布，定义了十个面部表情区域的变形强度特征，其中，十个面部表情区域的变形强度特征如下：
1)左眉幅度(增大表示眉毛上挑，减小表示眉毛下搭)：
2)右眉幅度(增大表示眉毛上挑，减小表示眉毛下搭)：
3)左眼幅度(增大表示睁眼)：
4)右眼幅度(增大表示睁眼)：
5)张嘴幅度(增大表示张嘴)：
6)左嘴角上提(增大表示嘴角上提)：
7)右嘴角上提(增大表示嘴角上提)：
8)左脸颊上提(增大表示脸颊上提)：
9)右脸颊上提(增大表示脸颊上提)：
10)下巴幅度：
C3、选取两眼内测间距作为标准距离对步骤C2中定义的十个面部表情区域的变形强度特征(d1,d,…,dm)作标准化处理：
其中，ds为两眼内侧间距：
例如在定量对比中性表情到开心表情的区域强度特征变化大小时，具体步骤如下：
第一步：计算不同表情状态下的十个面部表情区域变形特征，并将计算结果可视化。例如图2所示为悲伤表情相对于中性表情十个强度特征的总体变化趋势，其中横坐标表示人脸图像样本编号，纵坐标为按照定义计算得到的变形强度特征值，十条折线段表示上述十个面部表情区域变形强度特征。
第二步：分别提取相同区域的悲伤(sad)表情状态与中性(neutral)表情状态下的面部表情区域变形强度特征折线段(ds1,ds2,…ds10)与(dn1,dn2,…dn10)，并将两条线段在同一幅图表中展示(ds1&dh1,ds2&dh2,…ds10&dh10)，再分别计算两个表情状态下各自的变形强度特征均值并以直线表示。例如图3所示为悲伤表情与中性表情状态下的嘴角区域强度特征对比图，图4所示为悲伤表情与中性表情状态下的下颚区域强度特征对比图。
第三步：根据第二步中两个面部表情之间的变形强度特征均值差是否大于预设阈值，判断该面部表情区域变形强度特征是否为重要强度特征。例如在图3悲伤表情与中性表情状态下的嘴角区域强度特征(ds6&dh6)对比图中，其变形强度特征均值差明显小于预设阈值，表示嘴角在中性表情到悲伤表情强度变化较小，不是重要强度特征；在图4悲伤表情与中性表情状态下的下颚区域强度特征(ds10&dh10)对比图中，其变形强度特征均值差明显大于预设阈值，表示下颚在中性表情到愤怒表情强度变化较大，是重要强度特征。其他表情状态及其他表情区域的变形强度特征对比以此类推。
通过步骤S3，定义和计算表情区域的形状信息和强度信息，最终每一张表情图像的描述可以表示为：
I＝(L,D)
其中，L＝(L1,L2,…,L8)，Li＝(Li1,Li2,…,Lim)为表情区域形状信息，D＝(d1,d2,…,d10)为表情区域强度信息。
S4、采用所述面部表情特征进行面部表情分类器模型训练，构建包括表情区域形状特征以及表情区域强度特征的面部表情检测模型。
分类器模型训练。使用步骤S3中获得表情区域形状特征和强度特征对五种监督式机器学习模型进行训练，这五种监督式机器学习模型包含决策树、Random Forest、贝叶斯、支持向量机、K最近邻算法，训练模型可检测新样本的面部表情归类问题。
S5、获取待处理的图像数据，采用训练获得的模型对图像数据进行面部表情量化表示。
本实施例还提供了一种面部表情量化表示***，包括：
人脸检测模块，用于进行人脸检测，获得人脸图像；
图像处理模块，用于对所述人脸图像进行图像预处理；
特征提取模块，用于提取面部表情特征，所述面部表情特征包括表情区域形状特征和表情区域强度特征；
模型训练模块，用于采用所述面部表情特征进行面部表情分类器模型训练，构建包括表情区域形状特征以及表情区域强度特征的面部表情检测模型。
本实施例的一种面部表情量化表示***，可执行本发明方法实施例所提供的一种面部表情量化表示方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种面部表情量化表示方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图5所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种面部表情量化表示方法，其特征在于，包括以下步骤：
进行人脸检测，获得人脸图像；
对所述人脸图像进行图像预处理；
提取面部表情特征，所述面部表情特征包括表情区域形状特征和表情区域强度特征；
采用所述面部表情特征进行面部表情分类器模型训练，构建包括表情区域形状特征以及表情区域强度特征的面部表情检测模型。
2.根据权利要求1所述的一种面部表情量化表示方法，其特征在于，提取表情区域形状特征，包括：
经过对所述人脸图像进行图像预处理后，获得标准化图像，从所述标准化图像中获取n个面部特征点；
围绕面部器官，根据所述n个面部特征点获取m个特征点的链码编码来表示区域形状；
按照链码编码的规则对表情区域内第i个特征点(Xi,Yi)的链码编码值ki赋值；
对原链码进行一阶差分，获得差分码li；
对所述差分码li做非负处理，获得链码编码向量l表示面部区域的形状特征；
其中，n、m为正整数，且n＞m。
3.根据权利要求1所述的一种面部表情量化表示方法，其特征在于，提取表情区域强度特征，包括：
经过对所述人脸图像进行图像预处理后，获得标准化图像，从所述标准化图像中获取n个面部特征点；
利用所述面部特征点，根据人脸肌肉模型中的面部表情肌肉分布，定义10个面部表情区域的变形强度特征，所述10个变形强度特征包括左眉幅度、右眉幅度、左眼幅度、右眼幅度、张嘴幅度、左嘴角上提、右嘴角上提、左脸颊上提、右脸颊上提以及下巴幅度；
选取两眼内测间距作为标准距离对所述变形强度特征进行标准化处理。
4.根据权利要求1所述的一种面部表情量化表示方法，其特征在于，所述对所述人脸图像进行图像预处理，包括：
对所述人脸图像进行人眼定位处理、几何预处理或灰度预处理中至少一种处理。
5.根据权利要求4所述的一种面部表情量化表示方法，其特征在于，所述对所述人脸图像进行人眼定位处理，包括：
采用Dlib开源库对所述人脸图像进行特征点检测，获得人脸的特征点；
根据所述人脸的特征点获取人眼参考点空间位置信息。
6.根据权利要求4所述的一种面部表情量化表示方法，其特征在于，所述对所述人脸图像进行几何预处理，包括：
对所述人脸图像进行旋转矫正处理、分割处理以及缩放处理。
7.根据权利要求4所述的一种面部表情量化表示方法，其特征在于，所述对所述人脸图像进行灰度预处理，包括：
采用直方图均衡化对所述人脸图像进行灰度预处理。
8.根据权利要求1所述的一种面部表情量化表示方法，其特征在于，所述采用所述面部表情特征进行面部表情分类器模型训练，包括：
采用所述面部表情特征对五种监督式机器学习模型进行训练，所述五种监督式机器学习模型为决策树、Random Forest、贝叶斯、支持向量机以及K最近邻算法。
9.一种面部表情量化表示***，其特征在于，包括：
人脸检测模块，用于进行人脸检测，获得人脸图像；
图像处理模块，用于对所述人脸图像进行图像预处理；
特征提取模块，用于提取面部表情特征，所述面部表情特征包括表情区域形状特征和表情区域强度特征；
模型训练模块，用于采用所述面部表情特征进行面部表情分类器模型训练，构建包括表情区域形状特征以及表情区域强度特征的面部表情检测模型。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-8任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011178676.1A CN112307942B (zh) | 2020-10-29 | 一种面部表情量化表示方法、***及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011178676.1A CN112307942B (zh) | 2020-10-29 | 一种面部表情量化表示方法、***及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112307942A true CN112307942A (zh) | 2021-02-02 |
| CN112307942B CN112307942B (zh) | 2024-06-28 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331292A (zh) * | 2022-08-17 | 2022-11-11 | 武汉元紫东科技有限公司 | 基于面部图像的情绪识别方法、装置及计算机储存介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050169536A1 (en) * | 2004-01-30 | 2005-08-04 | Vittorio Accomazzi | System and method for applying active appearance models to image analysis |
| CN101354795A (zh) * | 2008-08-28 | 2009-01-28 | 北京中星微电子有限公司 | 基于视频的三维人脸动画驱动方法和*** |
| CN101777116A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
| CN101877056A (zh) * | 2009-12-21 | 2010-11-03 | 北京中星微电子有限公司 | 人脸表情识别方法及***、表情分类器的训练方法及*** |
| KR101198322B1 (ko) * | 2011-09-23 | 2012-11-06 | (주) 어펙트로닉스 | 얼굴 표정 인식 방법 및 시스템 |
| CN103514441A (zh) * | 2013-09-21 | 2014-01-15 | 南京信息工程大学 | 基于移动平台的人脸特征点定位跟踪方法 |
| CN108090408A (zh) * | 2016-11-21 | 2018-05-29 | 三星电子株式会社 | 用于执行脸部表情识别和训练的方法和设备 |
| CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别*** |
| CN109961054A (zh) * | 2019-03-29 | 2019-07-02 | 山东大学 | 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法 |
| CN110363124A (zh) * | 2019-07-03 | 2019-10-22 | 广州多益网络股份有限公司 | 基于人脸关键点与几何形变的快速表情识别及应用方法 |
| CN110852220A (zh) * | 2019-10-30 | 2020-02-28 | 深圳智慧林网络科技有限公司 | 人脸表情的智能识别方法、终端和计算机可读存储介质 |
| CN111178195A (zh) * | 2019-12-18 | 2020-05-19 | 中国平安人寿保险股份有限公司 | 人脸表情识别方法、装置及计算机可读存储介质 |
| KR20200055811A (ko) * | 2018-11-06 | 2020-05-22 | 숙명여자대학교산학협력단 | 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법 |
| CN111310798A (zh) * | 2020-01-19 | 2020-06-19 | 浙江大学 | 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 |
| WO2020155984A1 (zh) * | 2019-01-31 | 2020-08-06 | 北京字节跳动网络技术有限公司 | 人脸表情图像处理方法、装置和电子设备 |
| CN111563417A (zh) * | 2020-04-13 | 2020-08-21 | 华南理工大学 | 一种基于金字塔结构卷积神经网络的人脸表情识别方法 |
| CN111783622A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 人脸表情识别的方法、装置、设备和计算机可读存储介质 |
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050169536A1 (en) * | 2004-01-30 | 2005-08-04 | Vittorio Accomazzi | System and method for applying active appearance models to image analysis |
| CN101354795A (zh) * | 2008-08-28 | 2009-01-28 | 北京中星微电子有限公司 | 基于视频的三维人脸动画驱动方法和*** |
| CN101877056A (zh) * | 2009-12-21 | 2010-11-03 | 北京中星微电子有限公司 | 人脸表情识别方法及***、表情分类器的训练方法及*** |
| CN101777116A (zh) * | 2009-12-23 | 2010-07-14 | 中国科学院自动化研究所 | 一种基于动作跟踪的脸部表情分析方法 |
| KR101198322B1 (ko) * | 2011-09-23 | 2012-11-06 | (주) 어펙트로닉스 | 얼굴 표정 인식 방법 및 시스템 |
| CN103514441A (zh) * | 2013-09-21 | 2014-01-15 | 南京信息工程大学 | 基于移动平台的人脸特征点定位跟踪方法 |
| CN108090408A (zh) * | 2016-11-21 | 2018-05-29 | 三星电子株式会社 | 用于执行脸部表情识别和训练的方法和设备 |
| CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别*** |
| KR20200055811A (ko) * | 2018-11-06 | 2020-05-22 | 숙명여자대학교산학협력단 | 감정을 식별하기 위한 얼굴 감정 인식 장치 및 그 방법 |
| WO2020155984A1 (zh) * | 2019-01-31 | 2020-08-06 | 北京字节跳动网络技术有限公司 | 人脸表情图像处理方法、装置和电子设备 |
| CN109961054A (zh) * | 2019-03-29 | 2019-07-02 | 山东大学 | 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法 |
| CN110363124A (zh) * | 2019-07-03 | 2019-10-22 | 广州多益网络股份有限公司 | 基于人脸关键点与几何形变的快速表情识别及应用方法 |
| CN110852220A (zh) * | 2019-10-30 | 2020-02-28 | 深圳智慧林网络科技有限公司 | 人脸表情的智能识别方法、终端和计算机可读存储介质 |
| CN111178195A (zh) * | 2019-12-18 | 2020-05-19 | 中国平安人寿保险股份有限公司 | 人脸表情识别方法、装置及计算机可读存储介质 |
| CN111310798A (zh) * | 2020-01-19 | 2020-06-19 | 浙江大学 | 基于几何特征和纹理特征的脸部运动迟缓的检测模型的构建方法 |
| CN111563417A (zh) * | 2020-04-13 | 2020-08-21 | 华南理工大学 | 一种基于金字塔结构卷积神经网络的人脸表情识别方法 |
| CN111783622A (zh) * | 2020-06-29 | 2020-10-16 | 北京百度网讯科技有限公司 | 人脸表情识别的方法、装置、设备和计算机可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| I. PERIKOS等: "Facial Expression Recognition Using Adaptive Neuro-fuzzy Inference Systems", 《INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE》, 8 June 2018 (2018-06-08), pages 1 - 6, XP033406039, DOI: 10.1109/ICIS.2018.8466438 * |
| 张庆等: "基于链码的人脸表情几何特征提取", 《基于链码的人脸表情几何特征提取》, vol. 38, no. 20, pages 156 - 159 * |
| 张庆等: "基于链码的人脸表情几何特征提取", 《计算机工程》, vol. 38, no. 20, pages 156 - 159 * |
| 王焕焕: "基于面部表情的情绪识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 1, 15 January 2019 (2019-01-15), pages 138 - 3009 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115331292A (zh) * | 2022-08-17 | 2022-11-11 | 武汉元紫东科技有限公司 | 基于面部图像的情绪识别方法、装置及计算机储存介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| JP4640825B2 (ja) | 特定向き顔判定方法および装置並びにプログラム | |
| CN116664559B (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
| CN110678875A (zh) | 用于引导用户拍摄自拍照的***和方法 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN111415339B (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| CN110543848B (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
| CN112784712B (zh) | 一种基于实时监控的失踪儿童预警实现方法、装置 | |
| CN113688846A (zh) | 物体尺寸识别方法、可读存储介质及物体尺寸识别*** | |
| CN111539911B (zh) | 一种口呼吸面容识别方法、设备和存储介质 | |
| CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
| EP3905120A1 (en) | Quality check method and system for determining a recognition quality of an input face image | |
| RU2453919C1 (ru) | Способ выявления спама в растровом изображении | |
| CN111723688B (zh) | 人体动作识别结果的评价方法、装置和电子设备 | |
| CN116523916B (zh) | 产品表面缺陷检测方法、装置、电子设备及存储介质 | |
| CN112507985A (zh) | 人脸图像筛选方法、装置、电子设备及存储介质 | |
| JP4749879B2 (ja) | 顔判別方法および装置並びにプログラム | |
| CN112307942B (zh) | 一种面部表情量化表示方法、***及介质 | |
| CN112307942A (zh) | 一种面部表情量化表示方法、***及介质 | |
| CN110910497A (zh) | 实现增强现实地图的方法和*** | |
| CN110728692A (zh) | 一种基于Scharr算子改进的图像边缘检测方法 | |
| CN116420176A (zh) | 基于对象的图像表示来区分对象的不同配置状态的方法和设备 | |
| CN112991448A (zh) | 一种基于颜色直方图的回环检测方法、装置及存储介质 | |
| CN106875369B (zh) | 实时动态目标跟踪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |