CN112651363A - 基于多特征点的微表情拟合方法和*** - Google Patents
基于多特征点的微表情拟合方法和*** Download PDFInfo
- Publication number
- CN112651363A CN112651363A CN202011623476.2A CN202011623476A CN112651363A CN 112651363 A CN112651363 A CN 112651363A CN 202011623476 A CN202011623476 A CN 202011623476A CN 112651363 A CN112651363 A CN 112651363A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- emotion
- neural network
- micro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000008451 emotion Effects 0.000 claims abstract description 83
- 230000001815 facial effect Effects 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 230000033001 locomotion Effects 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 40
- 230000000306 recurrent effect Effects 0.000 claims abstract description 31
- 230000002996 emotional effect Effects 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 230000008909 emotion recognition Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000036651 mood Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 241000283899 Gazella Species 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多特征点的微表情拟合方法和***。所述方法包括:获取基准图像和情绪图像,其中,基准图像指没有刺激源情况下的图像,情绪图像指存在预定刺激源情况下的图像;将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像;将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点;根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量,并将满足预定阈值的面部微特征向量作为面部运动单元进行输出;以及采用递归神经网络模型对所述面部运动单元进行拟合,得到预测的情绪特征。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种基于多特征点的微表情拟合方法,所述方法基于深度学习的非接触式微表情拟合来实现。
背景技术
微表情识别是一种利用刺激源引起面部肌肉变化,通过深度学习神经网络对面部特征进行提取,将形成的统一维度的多个特征进行融合,结合心理语义分析,获取心理特征的非接触式心理活动分析方法。在审讯的过程中,通过非接触式的微表情识别方法,可以降低审讯难度,辅助审讯员进行研判。
现有的微表情识别方法普遍为将面部整张图象输入到神经网络中进行情绪聚类,得到高兴、伤心、害怕、愤怒、厌恶、惊讶、轻蔑等七种基本情绪,分类的情绪继续增加,准确度会大幅降低。现有技术中的方法具有较大的局限性,在审讯过程中起到的辅助作用十分有限。
发明内容
本发明的目的在于一种基于多特征点的微表情拟合方法和***,以便审讯员在较低计算力下,更快地更准确地获得被检测人的情绪特征。
本发明提供了一种基于多特征点的微表情拟合方法,所述方法包括:获取基准图像和情绪图像,其中,基准图像指没有刺激源情况下的图像,情绪图像指存在预定刺激源情况下的图像;将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像;将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点;根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量,并将满足预定阈值的面部微特征向量作为面部运动单元进行输出;以及采用递归神经网络模型对所述面部运动单元进行拟合,得到预测的情绪特征。
在根据发明构思的实施例中,所述面部检测神经网络可以包括:第一卷积层,通过预定尺寸的卷积核和预定步长对输入的图像进行卷积计算;第二卷积层,通过所述卷积核和所述预定步长对第一卷积层输出的结果进行深度可分离卷积计算;第一下采样层,对第二卷积层输出的结果进行下采样计算;第二下采样层,对第一下采样层输出的结果进行下采样计算;以及全连接层,对第二下采样层输出的结果进行非线性拟合以得到与所述输入的图像对应的面部图像。其中,所述第一下采样层和所述第二下采样层均包括:第一基本单元,其步长为2,输出的结果的宽度和高度为输入的宽度和高度的一半,输出的结果的通道数为输入的通道数的两倍;以及第二基本单元,其步长为1,输出的结果的宽度、高度和通道数与输入的宽度、高度和通道数相同。
在根据发明构思的实施例中,所述方法还可以包括通过面部检测训练集对所述面部检测神经网络进行训练的步骤:在进行面部检测训练的过程中,当输出人脸框与期望人脸框的交并比系数不再升高,或者迭代次数达到预定计数时,终止训练。
在根据发明构思的实施例中,所述基准特征点的位置信息和所述情绪特征点的位置信息可以包括二维位置信息或三维位置信息。
在根据发明构思的实施例中,所述面部运动单元可以包括:眉弓运动单元、眉心运动单元、眼部运动单元、鼻部运动单元、嘴唇运动单元、嘴角运动单元中的至少一种。
在根据发明构思的实施例中,所述方法还可以包括:基于训练样本构建情绪训练集和情绪测试集,所述训练样本包括基于基准图像和情绪图像得到的所述面部运动单元以及与所述面部运动单元对应的情绪特征;构建递归神经网络模型,所述递归神经网络模型的每层共享同一网络参数;通过情绪训练集对递归神经网络模型进行训练;通过情绪测试集对训练所得的递归神经网络进行评价;以及根据评价的结果,将满足预定准确度的递归神经网络用于情绪特征的预测。
本发明还提供了一种基于多特征点的微表情拟合的***,所述***包括:图像获取单元,获取基准图像及情绪图像,其中,基准图像指没有刺激源情况下的图像,情绪图像指存在预定刺激源情况下的图像;面部检测单元,将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像;特征点提取单元,将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点;面部运动获取单元,根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量,并将满足预定阈值的面部微特征向量作为面部运动单元进行输出;以及情绪识别单元,采用递归神经网络模型对所述面部运动单元进行拟合,得到预测的情绪特征。
在根据发明构思的实施例中,所述面部检测单元包括:第一卷积层,通过预定尺寸的卷积核和预定步长对输入的图像进行卷积计算;第二卷积层,通过所述卷积核和所述预定步长对第一卷积层输出的结果进行深度可分离卷积计算;第一下采样层,对第二卷积层输出的结果进行下采样计算;第二下采样层,对第一下采样层输出的结果进行下采样计算;以及全连接层,对第二下采样层输出的结果进行非线性拟合以得到与所述输入的图像对应的面部图像。其中,所述第一下采样层和所述第二下采样层均包括:第一基本单元,其步长为2,输出的结果的宽度和高度为输入的宽度和高度的一半,输出的结果的通道数为输入的通道数的两倍;以及第二基本单元,其步长为1,输出的结果的宽度、高度和通道数与输入的宽度、高度和通道数相同。
本发明的另一方面提供了一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序在被处理器执行时实现如上所述的基于多特征点的微表情拟合方法。
本发明的另一方面提供了一种计算机设备,其特征在于,所述计算机设备包括:处理器;存储器,存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的基于多特征点的微表情拟合方法。
根据本发明的一个或多个方面,基于多特征点的微表情拟合方法和***根据基准图像和情绪图像对情绪进行预测。由于采用根据基准图像和情绪图像获得的面部运动单元进行情绪拟合,因此可以得到更为准确的情绪特征。
根据本发明的一个或多个方面,基于多特征点的微表情拟合方法和***采用包括面部检测神经网络和面部特征点标记网络的多卷积神经网络联合模型对输入的图像进行预处理,得到面部特征点。所述方法和***可根据审讯场景进行优化,从而可以在较低计算力的情况下,即便采用轻量级模型也能有较高的准确率。
根据本发明的一个或多个方面,在基于多特征点的微表情拟合方法和***中,面部检测神经网络所采用轻量级网络模型参数量少、计算复杂度低,能够实现通过轻量级的骨干网络结构对图像进行快速准确的特征提取。
附图说明
通过以下结合附图的详细描述,本公开的以上和其它方面、特征和优点将被更清楚地理解,在附图中:
图1是基于多特征点的微表情拟合方法的流程图;
图2是通过面部检测神经网络和面部特征点标记网络获得面部特征点提取的流程图;
图3是面部微特征向量的示意图;
图4是通过训练样本生成用于面部运动单元的拟合的递归神经网络模型的流程图;以及
图5是基于多特征点的微表情拟合的***的框图。
具体实施方式
提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或***的全面理解。然而,对于本领域普通技术人员在此描述的方法、设备和/或***的各种改变、变型和等同物将是显而易见的。例如,在此描述的操作的顺序仅仅是示例,并且不限于在此阐述的顺序,而是除了必须以特定顺序执行的操作之外,可做出对于本领域普通技术人员将显而易见的改变。此外,为了提高清楚性和简洁性,可省略对于本领域普通技术人员将公知的特征和结构的描述。在此描述的特征可以以不同的形式实施,并且将不被解释为局限于在此描述的示例。更确切地说,已经提供在此描述的示例使得本公开将是彻底的和完整的,并且将向本领域普通技术人员充分地传达本公开的范围。
下面参照附图详细描述本发明的实施例。所述实施例的示例在附图中示出,其中,相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例,以便解释本发明。
图1是基于多特征点的微表情拟合方法的流程图;图2是通过面部检测神经网络和面部特征点标记网络获得面部特征点提取的流程图;图3是面部微特征向量的示意图。
参照图1,在步骤S01中,获取基准图像,在步骤S02,获取情绪图像,其中,基准图像指没有刺激源情况下的图像,情绪图像指存在预定刺激源情况下的图像。具体地讲,基准图像可以是指在没有刺激源或刺激物的情况下单独获取的被检测人的面部图像,选取被检测人的情绪较为平稳时的面部图像作为基准图像会更有利于情绪的预测。此外,情绪图像可以是指从视频(例如,审讯视频)中选取的图像。例如,情绪图像可以是在预定刺激源的情况下被检测人作出反应的图像,例如,预定刺激源可以指在审讯过程中发生的对话、出示的证物、证言、审讯人的特定动作。需要说明的是,选择预定刺激源而不是任意刺激源的目的是为了排除被检测人与审讯过程无关的表情对情绪预测的干扰而仅对与预定刺激源对应的情绪图像进行预测,另一方面,选择预定刺激源可以排除无意识或下意识的表情对情绪预测的干扰。特别地,上述对预定刺激源的举例仅为示例,而不意为限制。在另一实施例中,基准图像和情绪图像也可以是在同一视频中根据场景情况分别选取的图像。在实施例中,基准图像和情绪图像可以是二维图像信息,或者可以是由双摄像头,多摄像头或深度摄像头捕捉并合成的具有深度特征的三维图像信息。
在根据本发明的实施例中,采用多卷积神经网络联合模型对输入的图像进行预处理,得到面部特征点。多卷积神经网络联合模型包括基于卷积神经网络改进的面部检测神经网络和面部特征点标记网络。将在下面对获得面部特征点的步骤进行进一步的解释和说明。
在步骤S03中,将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像。参照图2,输入包括人脸的图像,该图像可以通过面部检测神经网络输出人脸左上角和右下角的位置坐标信息。然后根据位置坐标信息对所述图像进行裁剪。关于面部检测神经网络的具体结构和生成方法将在下面进行进一步的解释和说明。
表1BoxNet模型结构表
如上参照表1,面部检测神经网络采用轻量级网络模型(或称为盒网络模型、BoxNet模型)。BoxNet模型的输入图像Image为320宽×180高像素的图像,通道数为3。在实施例中,BoxNet模型的输入图像Image可以是从采集摄像头1920×1080像素的图像通过等比例缩放得到的。这里所述的输入图像Image的尺寸仅为示例,例如,在另一实施例中,输入图像的尺寸可以为(230~400)×(130~225)。输入图像的尺寸不应过大,以避免计算量的增大导致检测速度降低;也不应过小,以避免降低准确率。
BoxNet模型的结构为:第一卷积层Conv1、第二卷积层S-Conv1、第一下采样层Block1和第二下采样层Block2。第一卷积层Conv1通过预定尺寸的卷积核和预定步长对输入的图像进行卷积计算。例如,卷积核的尺寸可以为3×3,步长为1,重复次数为1。其输出的结果的尺寸为160×90,通道数为16。
第二卷积层S-Conv1可以通过与第一卷积层Conv1相同的卷积核和预定步长对第一卷积层输出的结果进行深度可分离卷积计算。在这种情况下,第二卷积层S-Conv1的输出结果的尺寸为80×45,通道数为24。
需要说明的是,第一卷积层Conv1和第二卷积层S-Conv1的卷积核的尺寸和步长可以根据情况进行适当调整,且并不局限于两者卷积核和预定步长相同的情况。
第一卷积层Conv1和第二卷积层S-Conv1可以被称为First_Conv。
第一下采样层Block1对第二卷积层输出的结果进行下采样计算,第二下采样层Block2对第一下采样层输出的结果进行下采样计算。
其中,第一下采样层Block1和第二下采样层Block2均包括:第一基本单元,其步长为2,输出的结果的宽度和高度为输入的宽度和高度的一半,输出的结果的通道数为输入的通道数的两倍;以及第二基本单元,其步长为1,输出的结果的宽度、高度和通道数与输入的宽度、高度和通道数相同。
例如,参照表1,在第一下采样层Block1中,第一基本单元以步长2执行一次。因此,第一基本单元执行一次后的输出为其输入的一半,即,40×23像素,通道数为输入的两倍,即,48。第二基本单元的输出的宽度、高度和通道数与第一基本单元的输出相同。在第二下采样层Block2中,第一基本单元以步长2执行两次。因此,第一基本单元的执行两次后的输出为其输入的四分之一,即,10×6像素,通道数为输入的四倍,即,192。第二基本单元的输出的宽度、高度和通道数与第一基本单元的输出相同。
全连接层FC对第二下采样层Block2输出的结果进行非线性拟合以得到与所述输入的图像对应的面部图像。例如,将下采样完成的192通道的结果送入500个神经单元的全连接层后再送入4个神经单元的全连接层,对提取的结果(例如,特征图)进行非线性拟合,输出人脸框左上角和右下角的坐标。
第一下采样层Block1和第二下采样层Block2可被称为Second_Conv。
在实施例中,所述方法还包括通过面部检测训练集对所述面部检测神经网络进行训练的步骤。在训练的过程中,通过设置参数(例如,epoch参数等)来控制迭代次数,当达到特定条件时终止训练。例如,可以定义输出人脸框与期望人脸框的交并比系数(IOU_accuracy)为模型训练的判断条件。例如,交并比系数可以为输出人脸框与期望人脸框位置交集与并集的比值。模型的交并比(IOU)参数设置为0.1-0.5,优选地,可以设置为0.3。即大于该值时视为人脸位置检测成功,可以很好的实现人脸追踪检测。在实施例中,当迭代次数小于300时,通过反向传播算法调整各个神经元之间的权重系数,重新开始下一次迭代;当迭代次数等于300次,或者交并比系数收敛(例如,不再升高)时,终止训练。
在示例实施例中,BoxNet模型可以被用于审讯过程中的人脸识别。审讯环境的环境光源强度稳定,不会发生光源移动、闪烁、明暗变化等情况,周围墙壁颜色单一,被检测人坐待椅子上,检测过程中面部移动范围较小。因此,针对审讯环境的特点,BoxNet模型采用了优化了的网络结构,省略了应对复杂环境背景及光源变化情况的卷积层,优化了人脸框的交并比系数。在这种情况下,由于BoxNet模型参数量少、计算复杂度低,能够实现通过轻量级的骨干网络结构对图像快速准确的特征提取。因此,该模型与基于OpenCV的Haar级联分类器相比,可以具有更快的检测速度及更高的检测准确率。
返回参照图1,在步骤S04中,将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点。参照图2,基于由面部检测神经网络生成的面部图像,由面部特征点标记网络获得与面部图像对应的特征点。在根据本发明的示例实施例中,面部特征点标记网络可以为混洗单元(Shuffle Unit)的网络结构,其所包含的卷积模块可以采用ShuffleNet结构。面部特征点标记网络以面部图像(例如,基准面部图像和情绪面部图像)为输入层,并输出面部特征点(例如,基准特征点和情绪特征点)。
面部特征点标记网络可以采用高性能卷积神经网络模型,其输入图像为160×160像素的人脸图像,输出为人脸68个特征点的位置信息。这里所述的输入图像的尺寸仅为示例,例如,在另一实施例中,输入图像的尺寸可以为110×110~210×210。该模型与常用的计算机视觉工具库DLib种的特征点提取方法相比,具有更快的提取速度和更高的准确率。
多卷积神经网络联合模型在配置为i7-10700的主机下识别速度约为10ms,用面部检测数据集和基准(FDDB,Face Detection Data Set and Benchmark)人脸检测算法评价标准测试准确率达到90%以上。
在实施例中,基准特征点的位置信息和所述情绪特征点的位置信息包括二维位置信息。在采用双摄像头或多摄像头的情况下,基准特征点的位置信息和所述情绪特征点的位置信息可以包括三维位置信息。
返回参照图1,在步骤S05中,根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量,并将满足预定阈值的面部微特征向量作为面部运动单元进行输出。
参照图3,可以对面部微特征向量进行如下定义:
眉弓微特征201为眉弓特征点垂直位移向量,可以表示眉弓运动单元;
眉心微特征202为眉心特征点垂直位移向量,可以表示眉心运动单元;
眼部微特征203为眼部特征点垂直位移向量,可以表示眼部运动单元,例如,瞪眼睛、眯眼睛、闭眼睛等;
鼻部微特征204为鼻部特征点垂直位移向量,可以表示鼻部运动单元,例如,皱鼻子;
嘴唇微特征205为嘴唇特征点垂直位移向量,可以表示嘴唇运动单元;
嘴角微特征206为嘴角特征点水平位移向量及垂直位移向量,可以表示嘴角运动单元,例如,嘴角上升、嘴角下降,嘴角拉抻,嘴角收缩等。
在实施例中,以眉心微特征为例,当眉心微特征向量向上,且长度大于预定阈值(例如,两个像素)时,可以理解为触发了眉心运动单元中的眉心上移,从而实现将机器语言(面部特征点的变化)转换为面部语义。
返回参照图1,在步骤S06中,采用递归神经网络模型对面部运动单元进行拟合,得到预测的情绪特征。例如,可以利用递归神经网络对面部运动单元进行拟合以得到高兴、伤心、害怕、愤怒、厌恶、惊讶、轻蔑等七种基本情绪。此外,因为采用了面部运动单元进行情绪拟合,还可以得到如窘迫、内疚、害羞、骄傲等复杂情绪。
图4是通过训练样本生成用于面部运动单元的拟合的递归神经网络模型的流程图。
基于多特征点的微表情拟合方法还包括构建递归神经网络(RNN)模型及对其进行训练的步骤。
参照图4,在步骤S601中,基于训练样本构建情绪训练集和情绪测试集,训练样本包括基于基准图像和情绪图像得到的面部运动单元以及与面部运动单元对应的情绪特征。在实施例中,训练样本可以是在审讯环境下获取的样本的图像和情绪特征。
在步骤S602中,构建递归神经网络模型。
在步骤S603中,通过情绪训练集对递归神经网络模型进行训练。例如,在一次迭代中,递归神经网络模型对输入50组训练集进行训练,输出600个情绪值,600个情绪值中,根据正确的情绪占总情绪数的比例来判断是否满足分类要求。例如,要求递归神经网络模型的预测准确度大于90%。
在步骤S604中,当未满足迭代条件时,例如,当预测准确度与上次迭代的预测准确度不同(例如,大于预定的准确度变化阈值),或者未达到预定的最大迭代次数时,在步骤S605中,反向调节各个神经元间的权重系数以提高每次迭代的准确度。在示例实施例中,可以使递归神经网络模型的每层共享同一权重参数,从而可以减少运算量、提高运算速度,使模型具有更强的泛化性。例如,可以使用在程序代码里封装好的函数进行自动调节。在调整过网络参数之后返回步骤S603进行下一次训练。
通过不断迭代,当满足迭代条件时,例如,在步骤S604中,当预测准确度不再变化(例如,小于等于预定的准确度变化阈值)或迭代次数达到预定的最大迭代次数时,结束递归神经网络模型的训练。
在步骤S606中,判断该递归神经网络模型的预测准确度是否满足分类要求。如果不满足则舍弃,如果满足分类要求则向下一步进行输出。
在步骤S607中,通过情绪测试集对训练所得的递归神经网络进行评价。根据评价的结果,将满足预定准确度的递归神经网络用于所述面部运动单元的拟合。例如,将训练所得的递归神经网络对情绪测试集中的面部运动单元给出的情绪特征,当其检测准确率达到90%以上时,可将该递归神经网络用于情绪特征的预测。
图5是基于多特征点的微表情拟合的***的框图。
在图5中,基于多特征点的微表情拟合的***包括:图像获取单元100、面部检测单元200、特征点提取单元300、面部运动获取单元400和情绪识别单元500。
图像获取单元100获取基准图像及情绪图像。图像获取单元100可以被配置为执行参照图1描述的步骤S01和步骤S02,因此在此省略冗余的描述。
面部检测单元200将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像。面部检测单元200可以被配置为执行参照图1和表1描述的步骤S03,因此在此省略冗余的描述。
特征点提取单元300将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点。特征点提取单元300可以被配置为执行参照图1描述的步骤S04,因此在此省略冗余的描述。
面部运动获取单元400根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量,并将满足预定阈值的面部微特征向量作为面部运动单元进行输出。面部运动获取单元400可以被配置为执行参照图1和图2描述的步骤S05,因此在此省略冗余的描述。
情绪识别单元500采用递归神经网络模型对所述面部运动单元进行拟合,得到预测的情绪特征。此外,情绪识别单元500还可以根据训练样本对递归神经网络模型进行训练。情绪识别单元500可以被配置为执行参照图1描述的步骤S06和参照图4描述的对递归神经网络模型进行训练的步骤S601~步骤S607,因此在此省略冗余的描述。
上面参照附图描述了基于多特征点的微表情拟合的方法和***。基于多特征点的微表情拟合方法和***根据基准图像和情绪图像对情绪进行预测。由于采用根据基准图像和情绪图像获得的面部运动单元进行情绪拟合,因此可以得到更为准确的情绪特征。
此外,基于多特征点的微表情拟合方法和***采用包括面部检测神经网络和面部特征点标记网络的多卷积神经网络联合模型对输入的图像进行预处理,得到面部特征点。所述方法和***可根据审讯场景进行优化,从而可以在较低计算力的情况下,即便采用轻量级模型也能有较高的准确率。
另一方面,在基于多特征点的微表情拟合方法和***中,面部检测神经网络所采用轻量级网络模型参数量少、计算复杂度低,能够实现通过轻量级的骨干网络结构对图像进行快速准确的特征提取。
以上已参照图1至图5描述了根据本公开示例性实施例的基于多特征点的微表情拟合的方法和***。
图5所示出的基于多特征点的微表情拟合的***中的各个单元可被配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如,各个单元可对应于专用的集成电路,也可对应于纯粹的软件代码,还可对应于软件与硬件相结合的模块。此外,各个单元所实现的一个或多个功能也可由物理实体设备(例如,处理器、客户端或服务器等)中的组件来统一执行。
此外,参照图1所描述的基于多特征点的微表情拟合的方法可通过记录在计算机可读存储介质上的程序(或指令)来实现。例如,根据本公开的示例性实施例,可提供存储指令的计算机可读存储介质,其中,当所述指令被至少一个计算装置运行时,促使所述至少一个计算装置执行根据本公开的基于多特征点的微表情拟合的方法。
上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行,应注意,计算机程序还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理,这些附加步骤和进一步处理的内容已经在参照图1进行相关方法的描述过程中提及,因此这里为了避免重复将不再进行赘述。
应注意,根据本公开示例性实施例的基于多特征点的微表情拟合的装置中的各个单元可完全依赖计算机程序的运行来实现相应的功能,即,各个单元在计算机程序的功能架构中与各步骤相应,使得整个***通过专门的软件包(例如,lib库)而被调用,以实现相应的功能。
另一方面,图5所示的各个单元也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时,用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中,使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
例如,本公开的示例性实施例还可以实现为计算装置,该计算装置包括存储部件和处理器,存储部件中存储有计算机可执行指令集合,当计算机可执行指令集合被处理器执行时,执行根据本公开的示例性实施例的基于多特征点的微表情拟合的方法。
具体说来,计算装置可以部署在服务器或客户端中,也可以部署在分布式网络环境中的节点装置上。此外,计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。
这里,计算装置并非必须是单个的计算装置,还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制***或***管理器的一部分,或者可被配置为与本地或远程(例如,经由无线传输)以接口互联的便携式电子装置。
在计算装置中,处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器***、微控制器或微处理器。作为示例而非限制,处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
根据本公开示例性实施例的基于多特征点的微表情拟合的方法中所描述的某些操作可通过软件方式来实现,某些操作可通过硬件方式来实现,此外,还可通过软硬件结合的方式来实现这些操作。
处理器可运行存储在存储部件之一中的指令或代码,其中,存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收,其中,网络接口装置可采用任何已知的传输协议。
存储部件可与处理器集成为一体,例如,将RAM或闪存布置在集成电路微处理器等之内。此外,存储部件可包括独立的装置,诸如,外部盘驱动、存储阵列或任何数据库***可使用的其他存储装置。存储部件和处理器可在操作上进行耦合,或者可例如通过I/O端口、网络连接等互相通信,使得处理器能够读取存储在存储部件中的文件。
此外,计算装置还可包括视频显示器(诸如,液晶显示器)和用户交互接口(诸如,键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。
根据本公开示例性实施例的基于多特征点的微表情拟合的方法可被描述为各种互联或耦合的功能块或功能示图。然而,这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。
因此,参照图1所描述的基于多特征点的微表情拟合的方法可通过包括至少一个计算装置和至少一个存储指令的存储装置的***来实现。
根据本公开的示例性实施例,至少一个计算装置是根据本公开示例性实施例的用于执行基于多特征点的微表情拟合的方法的计算装置,存储装置中存储有计算机可执行指令集合,当计算机可执行指令集合被至少一个计算装置执行时,执行参照图1所描述的基于多特征点的微表情拟合的方法。
以上描述了本公开的各示例性实施例,应理解,上述描述仅是示例性的,并非穷尽性的,本公开不限于所披露的各示例性实施例。在不偏离本公开的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此,本公开的保护范围应该以权利要求的范围为准。
Claims (10)
1.一种基于多特征点的微表情拟合方法,所述方法包括:
获取基准图像和情绪图像,其中,基准图像指没有刺激源情况下的图像,情绪图像指存在预定刺激源情况下的图像;
将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像;
将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点;
根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量,并将满足预定阈值的面部微特征向量作为面部运动单元进行输出;以及
采用递归神经网络模型对所述面部运动单元进行拟合,得到预测的情绪特征。
2.根据权利要求1所述的方法,所述面部检测神经网络包括:
第一卷积层,通过预定尺寸的卷积核和预定步长对输入的图像进行卷积计算;
第二卷积层,通过所述卷积核和所述预定步长对第一卷积层输出的结果进行深度可分离卷积计算;
第一下采样层,对第二卷积层输出的结果进行下采样计算;
第二下采样层,对第一下采样层输出的结果进行下采样计算;以及
全连接层,对第二下采样层输出的结果进行非线性拟合以得到与所述输入的图像对应的面部图像,
其中,所述第一下采样层和所述第二下采样层均包括:
第一基本单元,其步长为2,输出的结果的宽度和高度为输入的宽度和高度的一半,输出的结果的通道数为输入的通道数的两倍;以及
第二基本单元,其步长为1,输出的结果的宽度、高度和通道数与输入的宽度、高度和通道数相同。
3.根据权利要求2所述的方法,所述方法还包括:通过面部检测训练集对所述面部检测神经网络进行训练的步骤,其中,在训练的过程中,当输出人脸框与期望人脸框的交并比系数不再升高,或者迭代次数达到预定计数时,终止训练。
4.根据权利要求1所述的方法,所述基准特征点的位置信息和所述情绪特征点的位置信息包括二维位置信息或三维位置信息。
5.根据权利要求1所述的方法,所述面部运动单元包括:眉弓运动单元、眉心运动单元、眼部运动单元、鼻部运动单元、嘴唇运动单元、嘴角运动单元中的至少一种。
6.根据权利要求5所述的方法,所述方法还包括:
基于训练样本构建情绪训练集和情绪测试集,所述训练样本包括基于基准图像和情绪图像得到的所述面部运动单元以及与所述面部运动单元对应的情绪特征;
构建递归神经网络模型,所述递归神经网络模型的每层共享同一网络参数;
通过情绪训练集对递归神经网络模型进行训练;
通过情绪测试集对训练所得的递归神经网络进行评价;以及
根据评价的结果,将满足预定准确度的递归神经网络用于情绪特征的预测。
7.一种基于多特征点的微表情拟合的***,所述***包括:
图像获取单元,获取基准图像及情绪图像,其中,基准图像指没有刺激源情况下的图像,情绪图像指存在预定刺激源情况下的图像;
面部检测单元,将基准图像和情绪图像分别输入到面部检测神经网络中进行面部检测以分别获得基准面部图像和情绪面部图像;
特征点提取单元,将基准面部图像和情绪面部图像分别输入到面部特征点标记网络中进行面部特征点提取以分别获得基准特征点和情绪特征点;
面部运动获取单元,根据基准特征点的位置信息和情绪特征点的位置信息计算出面部微特征向量,并将满足预定阈值的面部微特征向量作为面部运动单元进行输出;以及
情绪识别单元,采用递归神经网络模型对所述面部运动单元进行拟合,得到预测的情绪特征。
8.根据权利要求7所述的***,所述面部检测单元包括:
第一卷积层,通过预定尺寸的卷积核和预定步长对输入的图像进行卷积计算;
第二卷积层,通过所述卷积核和所述预定步长对第一卷积层输出的结果进行深度可分离卷积计算;
第一下采样层,对第二卷积层输出的结果进行下采样计算;
第二下采样层,对第一下采样层输出的结果进行下采样计算;以及
全连接层,对第二下采样层输出的结果进行非线性拟合以得到与所述输入的图像对应的面部图像,
其中,所述第一下采样层和所述第二下采样层均包括:
第一基本单元,其步长为2,输出的结果的宽度和高度为输入的宽度和高度的一半,输出的结果的通道数为输入的通道数的两倍;以及
第二基本单元,其步长为1,输出的结果的宽度、高度和通道数与输入的宽度、高度和通道数相同。
9.一种存储有计算机程序的计算机可读存储介质,其特征在于,当所述计算机程序在被处理器执行时实现如权利要求1至6中任意一项所述的基于多特征点的微表情拟合方法。
10.一种计算机设备,其特征在于,所述计算机设备包括:
处理器;
存储器,存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1至6中任意一项所述的基于多特征点的微表情拟合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011623476.2A CN112651363A (zh) | 2020-12-31 | 2020-12-31 | 基于多特征点的微表情拟合方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011623476.2A CN112651363A (zh) | 2020-12-31 | 2020-12-31 | 基于多特征点的微表情拟合方法和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112651363A true CN112651363A (zh) | 2021-04-13 |
Family
ID=75366794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011623476.2A Pending CN112651363A (zh) | 2020-12-31 | 2020-12-31 | 基于多特征点的微表情拟合方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112651363A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113743389A (zh) * | 2021-11-08 | 2021-12-03 | 武汉烽火信息集成技术有限公司 | 一种面部表情识别的方法、装置和电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030133599A1 (en) * | 2002-01-17 | 2003-07-17 | International Business Machines Corporation | System method for automatically detecting neutral expressionless faces in digital images |
CN108491764A (zh) * | 2018-03-05 | 2018-09-04 | 竹间智能科技(上海)有限公司 | 一种视频人脸情绪识别方法、介质及设备 |
CN109508638A (zh) * | 2018-10-11 | 2019-03-22 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
CN109784153A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技(深圳)有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
CN110751016A (zh) * | 2019-09-02 | 2020-02-04 | 合肥工业大学 | 用于情绪状态监测的面部运动单元双流特征提取方法 |
CN111597955A (zh) * | 2020-05-12 | 2020-08-28 | 博康云信科技有限公司 | 基于深度学习的表情情绪识别的智能家居控制方法及装置 |
-
2020
- 2020-12-31 CN CN202011623476.2A patent/CN112651363A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030133599A1 (en) * | 2002-01-17 | 2003-07-17 | International Business Machines Corporation | System method for automatically detecting neutral expressionless faces in digital images |
CN108491764A (zh) * | 2018-03-05 | 2018-09-04 | 竹间智能科技(上海)有限公司 | 一种视频人脸情绪识别方法、介质及设备 |
CN109508638A (zh) * | 2018-10-11 | 2019-03-22 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
CN109784153A (zh) * | 2018-12-10 | 2019-05-21 | 平安科技(深圳)有限公司 | 情绪识别方法、装置、计算机设备及存储介质 |
CN110751016A (zh) * | 2019-09-02 | 2020-02-04 | 合肥工业大学 | 用于情绪状态监测的面部运动单元双流特征提取方法 |
CN111597955A (zh) * | 2020-05-12 | 2020-08-28 | 博康云信科技有限公司 | 基于深度学习的表情情绪识别的智能家居控制方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113743389A (zh) * | 2021-11-08 | 2021-12-03 | 武汉烽火信息集成技术有限公司 | 一种面部表情识别的方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12039454B2 (en) | Microexpression-based image recognition method and apparatus, and related device | |
WO2020108362A1 (zh) | 人体姿态检测方法、装置、设备及存储介质 | |
Wang et al. | Robust 3d action recognition with random occupancy patterns | |
US9098740B2 (en) | Apparatus, method, and medium detecting object pose | |
WO2020133636A1 (zh) | ***手术中外包膜智能检测和预警方法及*** | |
KR20210048523A (ko) | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체 | |
CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
Zheng et al. | Efficient face detection and tracking in video sequences based on deep learning | |
Ali et al. | Object recognition for dental instruments using SSD-MobileNet | |
CN110633004A (zh) | 基于人体姿态估计的交互方法、装置和*** | |
US20220351547A1 (en) | Gesture analysis method and device, and computer-readable storage medium | |
CN112487844A (zh) | 手势识别方法、电子设备、计算机可读存储介质和芯片 | |
Madhiarasan et al. | A comprehensive review of sign language recognition: Different types, modalities, and datasets | |
Al-Faris et al. | Multi-view region-adaptive multi-temporal DMM and RGB action recognition | |
Enikeev et al. | Recognition of sign language using leap motion controller data | |
Yadav et al. | Design and development of a vision‐based system for detection, tracking and recognition of isolated dynamic bare hand gesticulated characters | |
Kwolek et al. | Recognition of JSL fingerspelling using deep convolutional neural networks | |
CN112651363A (zh) | 基于多特征点的微表情拟合方法和*** | |
Alnaim | Hand gesture recognition using deep learning neural networks | |
US12020507B2 (en) | System and method for determining a facial expression | |
Farouk | Principal component pyramids using image blurring for nonlinearity reduction in hand shape recognition | |
CN112766063B (zh) | 基于位移补偿的微表情拟合方法和*** | |
Kumar et al. | Visual hand gestures classification using wavelet transform and moment based features | |
Dey et al. | Recognition of Wh-Question Sign Gestures in Video Streams using an Attention Driven C3D-BiLSTM Network | |
Oguntimilehin et al. | Real-time sign language fingerspelling recognition using convolutional neural network. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |