CN107403142A - 一种微表情的检测方法 - Google Patents
一种微表情的检测方法 Download PDFInfo
- Publication number
- CN107403142A CN107403142A CN201710541472.1A CN201710541472A CN107403142A CN 107403142 A CN107403142 A CN 107403142A CN 201710541472 A CN201710541472 A CN 201710541472A CN 107403142 A CN107403142 A CN 107403142A
- Authority
- CN
- China
- Prior art keywords
- frame
- expression
- micro
- detected
- picture frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 123
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 239000013598 vector Substances 0.000 claims abstract description 78
- 238000000034 method Methods 0.000 claims description 19
- 230000007935 neutral effect Effects 0.000 claims description 6
- 210000001097 facial muscle Anatomy 0.000 claims description 5
- 210000004709 eyebrow Anatomy 0.000 description 12
- 238000012360 testing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 235000013372 meat Nutrition 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种微表情的检测方法，包括：从待检测图像序列中的每一个图像帧中提取N个特征点并对齐人脸；从N个特征点中选取K个关键特征点并划分为M个特征点集群；从M个特征点集群中选取待检测集群；选取基础帧；计算每一个图像帧中的待检测集群的关键点向量；将基础帧的关键点向量作为基础向量，计算每一个图像帧的形变矢量；将最大形变矢量的D倍作为形变阈值；将所有形变矢量大于形变阈值的图像帧加入到准微表情帧序列中；当准微表情帧序列中存在连续帧，且帧数大于或等于预设的帧阈值时，将连续帧作为微表情帧序列。应用本发明可从待检测图像序列中检测得到所需检测的微表情，并大大提高了微表情的识别能力和检测方法的鲁棒性。
Description
技术领域
本申请涉及模式识别以及计算机视觉技术领域，尤其涉及一种微表情的检测方法。
背景技术
近年来，通过对声音、面部表情、肢体语言等特征进行情绪识别来实现人机交流的技术迅速发展。其中，面部表情在分析人类情绪方面占有重要地位，但是，在很多情况下人们会隐藏或抑制他们真实的情感。
微表情是一种持续时间仅为1/25秒至1/5秒的非常快速的表情，它可以揭示人类试图隐藏的真实情感，因此在国家安全、临床诊断、案件侦破、危险预警、个人防卫等领域都展现出良好的应用前景，尤其是在测谎方面有重要的应用价值。但是，微表情的研究起步较晚，还存在大量有待解决的问题。
微表情检测是指从图像序列中确定微表情起始帧、高潮帧和结束帧的位置，它是微表情数据库建立及微表情识别算法过程中非常重要的环节。准确高效的检测技术能极大的促进微表情数据库以及微表情自动识别技术的发展，在临床检测、案件侦查以及公共安全等领域具有十分重要的应用前景和价值。
在实际生活中，由于微表情持续时间短且强度低的特点，它很难被肉眼识别。当前仅有经过高强度训练的人能区分微表情。但是，即使经过正确地训练，通过人工方式进行识别的正确识别率也仅有47％。因此，计算机视觉和模式识别领域的研究者需要研发微表情检测技术来检测微表情，同时它也在近年来成为了炙手可热的研究课题。
近年来随着计算机视觉和模式识别技术的飞速发展，微表情自动检测技术取得了很多成果。例如，2009年，Shreve等将人脸划分为几个主要区域，采用稠密光流法提取图像特征值并使用中心插分法估计光流变化，通过与设定的阈值比较来检测微表情。但是，该方法将人脸区域简单的划分为8块，并且忽略了眼睛等很多重要的表情部位。同年，Polikovsky等采用3D梯度方向直方图的方法在自己的微表情数据库中检测出微表情起始阶段、峰值阶段和结束阶段的持续时间；2011年，Sherve等人利用光流法在自己建立的表情和微表情混合数据库上对两种表情(宏表情和微表情)开展了检测实验；随后Wu等人采用提取图像Gabor特征并由SVM分类训练的方法捕捉微表情。2014年，Moilanen等提出利用LBP直方图特征计算图像序列的时空信息来检测微表情；随后Davison等用HPG特征代替LBP特征提取图像序列特征后，设定了一个基线阈值通过对比来检测微表情。2016年Xia等人提出了一种基于几何形变模型的微表情检测方法，该方法用随机漫步模型估测当前帧处于微表情帧序列的概率；同年Qu等发布了数据库用于表情和微表情检测，并利用LBP-TOP算法提取样本特征来检测微表情，取得了一定的检测效果。
但是，现有技术中的微表情的检测方法还存在一些问题，其检测结果的准确性仍然不是很高，自动识别能力仍然不是很强。
发明内容
有鉴于此，本发明提供了一种微表情的检测方法，从而可以从待检测图像序列中检测得到所需检测的微表情，并大大提高了微表情的识别能力和检测方法的鲁棒性。
本发明的技术方案具体是这样实现的：
一种微表情的检测方法，该方法包括：
针对待检测图像序列中的每一个图像帧，对图像帧中的人脸进行特征点检测，提取得到N个特征点；
根据各个图像帧中的N个特征点的位置对齐各个图像帧中的人脸；
根据各个特征点的所在位置以及面部肌肉的运动规律，在每个图像帧的人脸上的N个特征点中都对应选取K个关键特征点，并将所述K个关键特征点划分为M个特征点集群，每个特征点集群都包括至少两个关键特征点；
根据所需检测的微表情，从所述M个特征点集群中选取至少一个特征点集群作为待检测集群；
从待检测图像序列中选取代表中性表情的一个图像帧作为基础帧；
根据待检测集群中各个关键特征点的坐标参数，计算待检测图像序列中的每一个图像帧中的待检测集群的关键点向量；
将基础帧的关键点向量作为基础向量，计算待检测图像序列中的每一个图像帧的关键点向量与基础向量的欧式距离，将计算得到的欧式距离作为对应图像帧的形变矢量；
将待检测图像序列中具有最大的形变矢量的图像帧作为高潮帧，将所述高潮帧的形变矢量的D倍作为形变阈值，其中，0<D<1；
将待检测图像序列中所有形变矢量大于形变阈值的图像帧作为准微表情帧加入到准微表情帧序列中；
当准微表情帧序列中存在连续帧，且该连续帧的帧数大于或等于预设的帧阈值时，将所述连续帧作为微表情帧序列。
较佳的，通过如下步骤计算得到一个图像帧中的待检测集群的关键点向量：
将图像帧中的待检测集群中各个关键特征点的横坐标按照预设的顺序排列后作为关键点向量的第一列；
将图像帧中的待检测集群中各个关键特征点的纵坐标按照预设的顺序排列后作为关键点向量的第二列。
较佳的，通过如下的公式计算得到欧式距离：
其中，a为基础向量，bi为待检测图像序列中的第i个图像帧的关键点向量，Pi为待检测图像序列中的第i个图像帧的关键点向量与基础向量的欧式距离。
较佳的，将待检测图像序列中的第一个图像帧作为基础帧。
较佳的，所述N的值为68。
较佳的，所述M的值为10。
较佳的，所述D的值为0.6。
较佳的，所述帧阈值的值为8。
如上可见，在本发明中的微表情的检测方法中，由于先从图像帧中的人脸中提取得到N个特征点并对齐各个图像帧中的人脸，然后根据各个特征点的所在位置以及面部肌肉的运动规律，选取K个关键特征点并划分为M个特征点集群；接着，从特征点集群中选取待检测集群并从待检测图像序列中选取基础帧，计算每一个图像帧中的待检测集群的关键点向量，并进一步计算待检测图像序列中的每一个图像帧的形变矢量，然后将形变矢量大于形变阈值的图像帧作为准微表情帧加入到准微表情帧序列中，最后将帧数大于或等于预设的帧阈值的连续帧作为微表情帧序列，从而可从待检测图像序列中检测得到所需检测的微表情。由于本发明的上述微表情的检测方法中，可以通过提取人脸特征点的方式强调眼睛、眉毛、鼻子和嘴巴等重要的表情部位，并按照运动规律将各个关键特征点划分到不同的特征点集群，因此可以得到更全面、更有判决力的特征来检测微表情，大大提高了微表情的识别能力和检测方法的鲁棒性。同时，由于本发明的上述微表情的检测方法中仅需计算欧式距离，因此大大减小了计算量，降低了时耗，而且计算简单，便于理解和实现，可以广泛地应用于微表情自动识别。
附图说明
图1为本发明的一个具体实施例中的微表情的检测方法的流程图。
图2为本发明的一个具体实施例中的一个图像帧中的人脸特征点检测结果的示意图。
图3为本发明的一个具体实施例中的各个特征点集群的分布示意图。
图4为本发明的一个具体实施例中两种情况下矢量相加的平行四边形法则示意图。
图5为本发明的一个具体实施例中的形变矢量变化曲线示意图。
具体实施方式
为使本发明的技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明作进一步详细的说明。
图1为本发明的一个具体实施例中的微表情的检测方法的流程图。
如图1所示，在本发明的一个具体实施例中，所述微表情的检测方法可以包括如下所述步骤：
步骤101，针对待检测图像序列中的每一个图像帧，对图像帧中的人脸进行特征点检测，提取得到N个特征点。
在本步骤中，需要对待检测图像序列中的每一个图像帧中的人脸都进行特征点检测，从而从每一个图像帧中的人脸上都分别提取得到N个特征点。
在本发明的技术方案中，上述N的取值为自然数。另外，还可以根据实际应用情况的需要，预先设置上述N的具体取值。例如，较佳的，在本发明的一个具体实施例中，所述N的值可以是68。当然，根据实际情况的需要，所述N的值也可以是其它预先设定的取值。
此外，在本发明的技术方案中个，可以使用多种具体实现方式对图像帧中的人脸进行特征点检测，并提取N个特征点。例如，较佳的，在本发明的一个具体实施例中，可以利用DLIB开源库(即应用C++技术建立的跨平台通用库)中的“shape_predictor”函数对人脸进行特征点检测，最终得到图像帧中的人脸上的N个特征点。例如，图2为本发明的一个具体实施例中的一个图像帧中的人脸特征点检测结果的示意图，如图2所示，在对图像帧中的人脸进行特征点检测之后，得到了图像帧中的人脸上的68个特征点，即图2中标号为0～67的特征点。
步骤102，根据各个图像帧中的N个特征点的位置对齐各个图像帧中的人脸。
由于在步骤101中，待检测图像序列中的每一个图像帧中都分别提取得到了N个特征点，因此在本步骤中，可以根据所述N个特征点的位置将各个图像帧中的人脸对齐，使得每个图像帧中的人脸的各个特征点的位置是一致的。
步骤103，根据各个特征点的所在位置以及面部肌肉的运动规律，在每个图像帧的人脸上的N个特征点中都对应选取K个关键特征点，并将所述K个关键特征点划分为M个特征点集群，每个特征点集群都包括至少两个关键特征点。
在本发明的技术方案中，由于提取得到的N个特征点分布在人脸的各个区域，但所需检测的微表情一般只会出现在人脸上的一些特定区域，因此，可以在人脸上的感兴趣的区域(例如，有可能检测到微表情的区域)选取K个关键特征点，并将所述K个关键特征点划分为M个特征点集群，以便于在后续操作中对微表情进行检测。
所以，在本发明的技术方案中，上述的K个关键特征点可以从有可能检测到微表情的区域(例如，眉毛、眼睛、鼻子、嘴巴和下巴等部位)中选取。
由于各个特征点所在的位置不同，而且人脸的各个区域的肌肉的运动规律也不尽相同(例如，眉毛分内角和外角，而内角和外角的肌肉模块不一样，肌肉的运动规律自然也不一样)，因此在本发明的技术方案中，可以根据各个特征点的所在位置以及面部肌肉的运动规律，在每个图像帧的人脸上的N个特征点中都对应选取K个关键特征点，并将所述K个关键特征点划分为M个特征点集群，并且每个特征点集群都包括至少两个关键特征点。
另外，在本发明的技术方案中，上述M和K的取值为自然数。另外，还可以根据实际应用情况的需要，预先设置上述M和K的具体取值。
例如，较佳的，在本发明的一个具体实施例中，所述M的值可以是10。当然，所述M的值也可以是其它预先设定的取值。
例如，图3为本发明的一个具体实施例中的各个特征点集群的分布示意图，如图3所示，可以在在每个图像帧的人脸上都对应设置如下所述的10个特征点集群feature1～feature10：
feature1位于左眉毛外角区域，包括2个关键特征点：17～18；
feature2位于左眉毛内角区域，包括3个关键特征点：19～21；
feature3位于右眉毛内角区域，包括3个关键特征点：22～24；
feature4位于右眉毛外角区域，包括2个关键特征点：25～26；
feature5位于左眼区域，包括6个关键特征点：36～41；
feature6位于右眼区域，包括6个关键特征点：42～47；
feature7位于鼻子区域，包括5个关键特征点：31～35；
feature8位于左嘴角区域，包括4个关键特征点：48、49、59和60；
feature9位于右嘴角区域，包括4个关键特征点：53、54、55和64；
feature10位于下巴区域，包括3个关键特征点：7～9。
此外，在本发明的技术方案中个，可以使用多种具体实现方式在图像帧中的人脸中设置M个特征点集群。例如，较佳的，在本发明的一个具体实施例中，可以根据各个特征点的所在位置以及面部行为编码***(FACS，Facial Action Coding System)***中的面部肌肉运动规律，根据运动单元(AU，Action Unit)在每个图像帧的人脸上的N个特征点中都对应选取K个关键特征点，并将所述K个关键特征点划分为M个特征点集群。
步骤104，根据所需检测的微表情，从所述M个特征点集群中选取至少一个特征点集群作为待检测集群。
在本发明的技术方案中，不同的微表情所涉及的特征点集群是不同的。例如，与抬眉毛有关的微表情所涉及的特征点集群一般是feature1～feature4或者是feature1～feature6，而与撇嘴角有关的微表情所涉及的特征点集群一般是feature8～feature9。因此，在本步骤中，可以根据根据所需检测的微表情，从上述的M个特征点集群中选取一个或多个特征点集群作为待检测集群，以用于检测所需检测的微表情。
步骤105，从待检测图像序列中选取代表中性表情的一个图像帧作为基础帧。
在本步骤中，需要从待检测图像序列中选择一个代表中性表情的图像帧，即该图像帧中的人脸的表情为中性表情，而不是微表情，并将该被选取的图像帧作为基础帧。
在一般情况下，待检测图像序列中的第一个图像帧中的人脸的表情就是中性表情，因此，较佳的，在本发明的一个具体实施例中，可以将待检测图像序列中的第一个图像帧作为基础帧。
步骤106，根据待检测集群中各个关键特征点的坐标参数，计算待检测图像序列中的每一个图像帧中的待检测集群的关键点向量。
在本发明的技术方案中，可以使用多种具体实现方式来计算待检测图像序列中的每一个图像帧中的待检测集群的关键点向量。例如，较佳的，在本发明的一个具体实施例中，可以通过如下步骤计算得到一个图像帧中的待检测集群的关键点向量：
将图像帧中的待检测集群中各个关键特征点的横坐标按照预设的顺序排列后作为关键点向量的第一列；
将图像帧中的待检测集群中各个关键特征点的纵坐标按照预设的顺序排列后作为关键点向量的第二列。
例如，假设选取图3中所示的feature2作为待检测集群，该待检测集群中包括3个关键特征点19～21。假设在待检测图像序列中的第1个图像帧中，所示3个关键特征点19～21的坐标分别为(x1,y1)、(x2,y2)和(x3,y3)，则第1个图像帧中的待检测集群的关键点向量是一个三行两列的二维向量：a＝[x1,x2,x3；y1,y2,y3]；假设在待检测图像序列中的第2个图像帧中，所示3个关键特征点19～21的坐标分别为(t1,z1)、(t2,z2)和(t3,z3)，则第2个图像帧中的待检测集群的关键点向量为：b2＝[t1,t2,t3；z1,z2,z3]；……。
以此类推，针对待检测图像序列中的每一个图像帧，都可根据上述的计算方式计算得到待检测集群的关键点向量。
步骤107，将基础帧的关键点向量作为基础向量，计算待检测图像序列中的每一个图像帧的关键点向量与基础向量的欧式距离，将计算得到的欧式距离作为对应图像帧的形变矢量。
例如，较佳的，在本发明的一个具体实施例中，可以通过如下的公式计算得到上述的欧式距离：
其中，a为基础向量，bi为待检测图像序列中的第i个图像帧的关键点向量，Pi为待检测图像序列中的第i个图像帧的关键点向量与基础向量的欧式距离。
通过上述的步骤107，即可计算得到待检测图像序列中的每一个图像帧的形变矢量(其中，基础帧的形变矢量为0)，从而可以得到一个形变矢量序列：P＝[P1,P2,P3,...PL]，其中L为待检测图像序列中的图像帧的总数。
步骤108，将待检测图像序列中具有最大的形变矢量的图像帧作为高潮帧，将所述高潮帧的形变矢量的D倍作为形变阈值，其中，0<D<1。
在本发明的技术方案中，可以根据实际应用情况的需要，预先设置上述D的具体取值。例如，较佳的，在本发明的一个具体实施例中，所述D的值可以是0.6。当然，根据实际情况的需要，所述D的值也可以是其它预先设定的取值。
步骤109，将待检测图像序列中所有形变矢量大于形变阈值的图像帧作为准微表情帧加入到准微表情帧序列中。
假设有两个n维向量：X＝{x1,…,xn}和Y＝{y1,…,yn}，向量X和Y的矢量和为Z，依据平行四边形法则，向量Z表示向量X和Y的矢量和。对于人脸面部的某个特征点，若设X为该特征点在t时刻的位置向量，而Y为该特征点在t+1时刻的位置向量，则Z就表示了该特征点在t和t+1时刻的形变累积量。图4为本发明的一个具体实施例中两种情况下矢量相加的平行四边形法则示意图，如图4所示，如果X和Y的位置矢量主方向一致，则Z就会有一定幅度的增大，如图4中的左图所示；如果X和Y的位置矢量主方向不一致，则Z会变小，如图4中的右图所示。
在本发明的技术方案中，图像帧的形变矢量所表示的就是该图像帧中的待检测集群在不同时刻的形变累积量，即待检测集群所在区域的运动趋势。因此，如果某个图像帧的形变矢量大于预设的形变阈值，则可以表示此时该图像帧中的待检测集群有可能出现了微表情。所以，在本步骤中，可以将形变矢量大于形变阈值的图像帧作为准微表情帧，然后将待检测图像序列中的所有准微表情帧都加入到准微表情帧序列中。
步骤110，当准微表情帧序列中存在连续帧，且该连续帧的帧数大于或等于预设的帧阈值时，将所述连续帧作为微表情帧序列。
在本发明的技术方案中，可以根据实际应用情况的需要，预先设置上述帧阈值的具体取值。例如，较佳的，在本发明的一个具体实施例中，所述帧阈值的值可以是8(因为SDU数据库微表情样本最小帧序列长度为8帧)。当然，根据实际情况的需要，所述帧阈值的值也可以是其它预先设定的取值。
在本步骤中，可以将帧数大于或等于预设的帧阈值的连续帧作为微表情帧序列，因此，该微表情帧序列的起始帧、高潮帧和结束帧即为所检测到的微表情的起始帧、高潮帧和结束帧。
通过上述的步骤101～110，即可从待检测图像序列中检测得到所需检测的微表情，即上述的微表情帧序列中的图像帧中的人脸的面部出现了所需检测的微表情。
此外，在本发明的技术方案中，可以通过很多方式来验证本发明中所提出的微表情的检测方法的有效性。
例如，在本发明的一个具体实施例中，可以通过在CASME II和SDU微表情数据库上验证本发明所提算法来评估本专利所提出算法的有效性。
例如，在检测实验中，可以将CASME2和SDU微表情数据库中的样本分为眉毛部位、眼睛部位、鼻子部位和嘴巴部位等四种类型分别进行检测。例如，图5为本发明的一个具体实施例中的形变矢量变化曲线示意图，图5所示的是高兴微表情样本的形变矢量变化。
如图5所示，上述高兴微表情样本是SDU微表情数据库中尚未分割的原始视频片段，共有120帧，其中检测出的微表情序列为第37～97帧，其主要运动单元为右侧嘴角即图3中的特征点集群feature9，曲线上的各个点代表帧值和形变大小，例如，(62，22)表示第62帧的形变矢量为22，该第62帧的形变矢量最大，因此为高潮帧。此时，假设D的取值为0.6，则形变阈值为22*0.6＝13.2；假设帧阈值的取值为8，由于第37～97帧的总帧数大于8，因此由第37～97帧组成的连续帧即为微表情序列。
对CASME II和SDU微表情数据库上的每个样本均进行这样的处理，即可得到各个样本的形变矢量变化曲线，并可从形变矢量变化曲线中确定是否存在微表情帧序列。
另外，为了评价检测结果的准确性，实验还可以以人工编码的高潮帧作为参考。由于计算机检测与人工编码存在一定偏差，所以对于SDU微表情数据库(样本帧率为90fps)，可以把相对于人工编码的高潮帧帧值上下偏差控制在8帧以内的检测结果均视为正确，换句话说，假设将经人工编码的得到的高潮帧记为W，如果利用本发明中的方法检测出的高潮帧落在[W-8,W+8]范围之内，则认为检测成功。同理，对于CASMEⅡ微表情数据库(样本帧率为200fps)，可以把相对于人工编码的高潮帧帧值上下偏差在18帧以内的检测结果均视为正确。
为了评价检测结果的准确性，根据微表情检测实验结果，可以假设样本数量为M总，成功检测的数量为M成功，则微表情检测成功率f可表示为：
对于SDU数据库，从统计数据上看M成功＝63+8+24+79＝174，M总＝300，因此总体成功率对于CASMEⅡ数据库，M总＝255，M成功＝52+11+10+61＝134，总体成功率实验结果如表1所示。
表1
实验结果证明了本发明中所提出的基于特征点集群形变向量特征的微表情检测方法的有效性。但从感兴趣区域角度看，眼睛和鼻子区域检测成功率相对眉毛和嘴巴较低。根据实验结果可推知，这是由于眉毛和嘴巴区域的肌肉纹理相对整齐并且运动有规律，而眼睛和鼻子周围肌肉纹理相对较复杂所以运动规律性较弱，这些因素会影响检测的成功率。
综上所述，在本发明的技术方案中，由于先从图像帧中的人脸中提取得到N个特征点并对齐各个图像帧中的人脸，然后根据各个特征点的所在位置以及面部肌肉的运动规律，选取K个关键特征点并划分为M个特征点集群；接着，从特征点集群中选取待检测集群并从待检测图像序列中选取基础帧，计算每一个图像帧中的待检测集群的关键点向量，并进一步计算待检测图像序列中的每一个图像帧的形变矢量，然后将形变矢量大于形变阈值的图像帧作为准微表情帧加入到准微表情帧序列中，最后将帧数大于或等于预设的帧阈值的连续帧作为微表情帧序列，从而可从待检测图像序列中检测得到所需检测的微表情。由于本发明的上述微表情的检测方法中，可以通过提取人脸特征点的方式强调眼睛、眉毛、鼻子和嘴巴等重要的表情部位，并按照运动规律将各个关键特征点划分到不同的特征点集群，因此可以得到更全面、更有判决力的特征来检测微表情，大大提高了微表情的识别能力和检测方法的鲁棒性。同时，由于本发明的上述微表情的检测方法中仅需计算欧式距离，因此大大减小了计算量，降低了时耗，而且计算简单，便于理解和实现，可以广泛地应用于微表情自动识别。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (8)
1.一种微表情的检测方法，其特征在于，该方法包括：
针对待检测图像序列中的每一个图像帧，对图像帧中的人脸进行特征点检测，提取得到N个特征点；
根据各个图像帧中的N个特征点的位置对齐各个图像帧中的人脸；
根据各个特征点的所在位置以及面部肌肉的运动规律，在每个图像帧的人脸上的N个特征点中都对应选取K个关键特征点，并将所述K个关键特征点划分为M个特征点集群，每个特征点集群都包括至少两个关键特征点；
根据所需检测的微表情，从所述M个特征点集群中选取至少一个特征点集群作为待检测集群；
从待检测图像序列中选取代表中性表情的一个图像帧作为基础帧；
根据待检测集群中各个关键特征点的坐标参数，计算待检测图像序列中的每一个图像帧中的待检测集群的关键点向量；
将基础帧的关键点向量作为基础向量，计算待检测图像序列中的每一个图像帧的关键点向量与基础向量的欧式距离，将计算得到的欧式距离作为对应图像帧的形变矢量；
将待检测图像序列中具有最大的形变矢量的图像帧作为高潮帧，将所述高潮帧的形变矢量的D倍作为形变阈值，其中，0<D<1；
将待检测图像序列中所有形变矢量大于形变阈值的图像帧作为准微表情帧加入到准微表情帧序列中；
当准微表情帧序列中存在连续帧，且该连续帧的帧数大于或等于预设的帧阈值时，将所述连续帧作为微表情帧序列。
2.根据权利要求1所述的方法，其特征在于，通过如下步骤计算得到一个图像帧中的待检测集群的关键点向量：
将图像帧中的待检测集群中各个关键特征点的横坐标按照预设的顺序排列后作为关键点向量的第一列；
将图像帧中的待检测集群中各个关键特征点的纵坐标按照预设的顺序排列后作为关键点向量的第二列。
3.根据权利要求1所述的方法，其特征在于，通过如下的公式计算得到欧式距离：
<mrow>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<mi>T</mi>
<mi>r</mi>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mrow>
<mo>(</mo>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mrow>
其中，a为基础向量，bi为待检测图像序列中的第i个图像帧的关键点向量，Pi为待检测图像序列中的第i个图像帧的关键点向量与基础向量的欧式距离。
4.根据权利要求1所述的方法，其特征在于：
将待检测图像序列中的第一个图像帧作为基础帧。
5.根据权利要求1所述的方法，其特征在于：
所述N的值为68。
6.根据权利要求1或5所述的方法，其特征在于：
所述M的值为10。
7.根据权利要求1或5所述的方法，其特征在于：
所述D的值为0.6。
8.根据权利要求1或5所述的方法，其特征在于：
所述帧阈值的值为8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710541472.1A CN107403142B (zh) | 2017-07-05 | 2017-07-05 | 一种微表情的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710541472.1A CN107403142B (zh) | 2017-07-05 | 2017-07-05 | 一种微表情的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107403142A true CN107403142A (zh) | 2017-11-28 |
| CN107403142B CN107403142B (zh) | 2018-08-21 |
Family
ID=60404920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710541472.1A Active CN107403142B (zh) | 2017-07-05 | 2017-07-05 | 一种微表情的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107403142B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647628A (zh) * | 2018-05-07 | 2018-10-12 | 山东大学 | 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法 |
| CN109190582A (zh) * | 2018-09-18 | 2019-01-11 | 河南理工大学 | 一种微表情识别的新方法 |
| CN109800771A (zh) * | 2019-01-30 | 2019-05-24 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
| WO2019174439A1 (zh) * | 2018-03-13 | 2019-09-19 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、终端和存储介质 |
| WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN110807394A (zh) * | 2019-10-23 | 2020-02-18 | 上海能塔智能科技有限公司 | 情绪识别方法、试驾体验评估方法、装置、设备与介质 |
| CN110991294A (zh) * | 2019-11-26 | 2020-04-10 | 吉林大学 | 一种快速构建的人脸动作单元识别方法及*** |
| CN111222737A (zh) * | 2018-11-27 | 2020-06-02 | 富士施乐株式会社 | 用于实时技能评估的方法及***以及计算机可读介质 |
| CN111461021A (zh) * | 2020-04-01 | 2020-07-28 | 中国科学院心理研究所 | 一种基于光流的微表情检测方法 |
| CN111582212A (zh) * | 2020-05-15 | 2020-08-25 | 山东大学 | 一种基于运动单元的多域融合微表情检测方法 |
| CN111626179A (zh) * | 2020-05-24 | 2020-09-04 | 中国科学院心理研究所 | 一种基于光流叠加的微表情检测方法 |
| CN112329663A (zh) * | 2020-11-10 | 2021-02-05 | 西南大学 | 一种基于人脸图像序列的微表情时刻检测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440509A (zh) * | 2013-08-28 | 2013-12-11 | 山东大学 | 一种有效的微表情自动识别方法 |
| US20140240324A1 (en) * | 2008-12-04 | 2014-08-28 | Intific, Inc. | Training system and methods for dynamically injecting expression information into an animated facial mesh |
| CN104933416A (zh) * | 2015-06-26 | 2015-09-23 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
| CN105139039A (zh) * | 2015-09-29 | 2015-12-09 | 河北工业大学 | 视频序列中人脸微表情的识别方法 |
| CN106096537A (zh) * | 2016-06-06 | 2016-11-09 | 山东大学 | 一种基于多尺度采样的微表情自动识别方法 |
| CN106548149A (zh) * | 2016-10-26 | 2017-03-29 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
| CN106599800A (zh) * | 2016-11-25 | 2017-04-26 | 哈尔滨工程大学 | 一种基于深度学习的人脸微表情识别方法 |
| CN206147665U (zh) * | 2016-09-08 | 2017-05-03 | 哈尔滨理工大学 | 一种异常微表情识别装置 |
-
2017
- 2017-07-05 CN CN201710541472.1A patent/CN107403142B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140240324A1 (en) * | 2008-12-04 | 2014-08-28 | Intific, Inc. | Training system and methods for dynamically injecting expression information into an animated facial mesh |
| CN103440509A (zh) * | 2013-08-28 | 2013-12-11 | 山东大学 | 一种有效的微表情自动识别方法 |
| CN104933416A (zh) * | 2015-06-26 | 2015-09-23 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
| CN105139039A (zh) * | 2015-09-29 | 2015-12-09 | 河北工业大学 | 视频序列中人脸微表情的识别方法 |
| CN106096537A (zh) * | 2016-06-06 | 2016-11-09 | 山东大学 | 一种基于多尺度采样的微表情自动识别方法 |
| CN206147665U (zh) * | 2016-09-08 | 2017-05-03 | 哈尔滨理工大学 | 一种异常微表情识别装置 |
| CN106548149A (zh) * | 2016-10-26 | 2017-03-29 | 河北工业大学 | 监控视频序列中人脸微表情图像序列的识别方法 |
| CN106599800A (zh) * | 2016-11-25 | 2017-04-26 | 哈尔滨工程大学 | 一种基于深度学习的人脸微表情识别方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110569795B (zh) * | 2018-03-13 | 2022-10-14 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置以及相关设备 |
| US11393206B2 (en) * | 2018-03-13 | 2022-07-19 | Tencent Technology (Shenzhen) Company Limited | Image recognition method and apparatus, terminal, and storage medium |
| WO2019174439A1 (zh) * | 2018-03-13 | 2019-09-19 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、终端和存储介质 |
| CN110569795A (zh) * | 2018-03-13 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置以及相关设备 |
| CN108647628B (zh) * | 2018-05-07 | 2021-10-26 | 山东大学 | 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法 |
| CN108647628A (zh) * | 2018-05-07 | 2018-10-12 | 山东大学 | 一种基于多特征多任务字典稀疏迁移学习的微表情识别方法 |
| WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN109190582B (zh) * | 2018-09-18 | 2022-02-08 | 河南理工大学 | 一种微表情识别的新方法 |
| CN109190582A (zh) * | 2018-09-18 | 2019-01-11 | 河南理工大学 | 一种微表情识别的新方法 |
| CN111222737A (zh) * | 2018-11-27 | 2020-06-02 | 富士施乐株式会社 | 用于实时技能评估的方法及***以及计算机可读介质 |
| CN111222737B (zh) * | 2018-11-27 | 2024-04-05 | 富士胶片商业创新有限公司 | 用于实时技能评估的方法及***以及计算机可读介质 |
| CN109800771A (zh) * | 2019-01-30 | 2019-05-24 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
| CN109800771B (zh) * | 2019-01-30 | 2021-03-05 | 杭州电子科技大学 | 混合时空平面局部二值模式的自发微表情定位方法 |
| CN110807394A (zh) * | 2019-10-23 | 2020-02-18 | 上海能塔智能科技有限公司 | 情绪识别方法、试驾体验评估方法、装置、设备与介质 |
| CN110991294A (zh) * | 2019-11-26 | 2020-04-10 | 吉林大学 | 一种快速构建的人脸动作单元识别方法及*** |
| CN111461021A (zh) * | 2020-04-01 | 2020-07-28 | 中国科学院心理研究所 | 一种基于光流的微表情检测方法 |
| CN111582212A (zh) * | 2020-05-15 | 2020-08-25 | 山东大学 | 一种基于运动单元的多域融合微表情检测方法 |
| CN111582212B (zh) * | 2020-05-15 | 2023-04-18 | 山东大学 | 一种基于运动单元的多域融合微表情检测方法 |
| CN111626179A (zh) * | 2020-05-24 | 2020-09-04 | 中国科学院心理研究所 | 一种基于光流叠加的微表情检测方法 |
| CN111626179B (zh) * | 2020-05-24 | 2023-04-28 | 中国科学院心理研究所 | 一种基于光流叠加的微表情检测方法 |
| CN112329663A (zh) * | 2020-11-10 | 2021-02-05 | 西南大学 | 一种基于人脸图像序列的微表情时刻检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107403142B (zh) | 2018-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107403142B (zh) | 一种微表情的检测方法 | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| CN105005765B (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
| CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
| CN103996195B (zh) | 一种图像显著性检测方法 | |
| CN102013011B (zh) | 基于正脸补偿算子的多姿态人脸识别方法 | |
| CN107358206A (zh) | 一种基于感兴趣区域的光流特征矢量模值和角度结合的微表情检测方法 | |
| CN106446811A (zh) | 基于深度学习的驾驶员疲劳检测方法及装置 | |
| CN110516616A (zh) | 一种基于大规模rgb以及近红外数据集的双重认证人脸防伪方法 | |
| CN103839042B (zh) | 人脸识别方法和人脸识别*** | |
| CN108182409A (zh) | 活体检测方法、装置、设备及存储介质 | |
| CN106203256A (zh) | 一种基于稀疏保持典型相关分析的低分辨率人脸识别方法 | |
| CN106446849B (zh) | 一种疲劳驾驶检测方法 | |
| CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
| CN113537027B (zh) | 基于面部划分的人脸深度伪造检测方法及*** | |
| CN110175501A (zh) | 基于人脸识别的多人场景专注度识别方法 | |
| Wang et al. | Forgerynir: deep face forgery and detection in near-infrared scenario | |
| CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| Paul et al. | Extraction of facial feature points using cumulative histogram | |
| CN110348350A (zh) | 一种基于面部表情的驾驶员状态检测方法 | |
| CN106991409A (zh) | 一种运动想象脑电信号特征提取与分类***及方法 | |
| CN109101925A (zh) | 活体检测方法 | |
| Lanz et al. | Automated classification of therapeutic face exercises using the Kinect | |
| Zhang et al. | Real-time automatic deceit detection from involuntary facial expressions | |
| CN106250843B (zh) | 一种基于额头区域的人脸检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180123 Address after: 250101 Shandong Province, Ji'nan City Shun Tai Plaza Building 2, 1201 Applicant after: Shandong China Magnetic Video Co.,Ltd. Applicant after: Harvest Technology (Beijing) Co., Ltd. Address before: 250101 Shandong Province, Ji'nan City Shun Tai Plaza Building 2, 1201 Applicant before: Shandong China Magnetic Video Co.,Ltd. |
|
| TA01 | Transfer of patent application right |
Effective date of registration: 20180626 Address after: No. 2, No. 2, Shun Tai square, Shandong, Shandong Applicant after: Shandong China Magnetic Video Co.,Ltd. Address before: No. 2, No. 2, Shun Tai square, Shandong, Shandong Applicant before: Shandong China Magnetic Video Co.,Ltd. Applicant before: Harvest Technology (Beijing) Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Micro-facial expression detection method Effective date of registration: 20191212 Granted publication date: 20180821 Pledgee: Li Yanyan Pledgor: Shandong China Magnetic Video Co.,Ltd. Registration number: Y2019370000115 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210728 Address after: 20 / F, east area, building 8, Shuntai Plaza, 2000 Shunhua Road, Jinan District, China (Shandong) pilot Free Trade Zone, Jinan City, Shandong Province Patentee after: Shandong baoshengxin Information Technology Co.,Ltd. Address before: No. 2, No. 2, Shun Tai square, Shandong, Shandong Patentee before: SHANDONG CHINA MAGNETIC VIDEO Co.,Ltd. |