CN114140848A - 基于knn和dsn的微表情识别方法、***、设备及存储介质 - Google Patents
基于knn和dsn的微表情识别方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN114140848A CN114140848A CN202111434496.XA CN202111434496A CN114140848A CN 114140848 A CN114140848 A CN 114140848A CN 202111434496 A CN202111434496 A CN 202111434496A CN 114140848 A CN114140848 A CN 114140848A
- Authority
- CN
- China
- Prior art keywords
- micro
- micro expression
- expression
- deep
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000014509 gene expression Effects 0.000 claims abstract description 212
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 18
- 239000000284 extract Substances 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 230000006378 damage Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 235000019587 texture Nutrition 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明设计人工智能技术，提出一种基于KNN和DSN的微表情识别方法、***、设备及存储介质，包括：对待识别微表情图像进行特征提取，获取微表情时空特征；将待识别微表情图像输入微表情识别模型的最近邻模块，获取待识别微表情图像中微表情样本点对应的相邻矩阵，并与微表情时空特征进行重构，获取重构特征；将重构特征输入微表情识别模型的深度堆叠网络模块，获取待识别微表情图像中微表情的所属类别。本发明通过提取微表情图像的时空特征，充分利用了微表情图像在时间和空间上变化大、包含信息丰富的特点，有利于后续微表情识别；通过微表情时空特征和微表情样本点的相邻矩阵进行特征重构，实现样本数据之间的关联特征，提高识别精度。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于KNN和DSN的微表情识别方法、***、设备及存储介质。
背景技术
人脸表情作为人类情绪的直接反映，一直是计算机视觉领域中最重要的研究方向之一，在过去的数十年研究之中，学术界和工业界已经在表情识别领域取得十分巨大的成功。在表情识别中，自发式表情因其不可抑制和伪造，反映的是人类内心真实想法，在风控理赔、司法审讯和心里资料方面存在巨大的应用价值，逐渐成为今年来研究热点。
相对于一般的人脸表情，微表情具备多种特点，持续时间很短，脸部纹理变化波动小，一般只会出现在上脸和下脸，因此对于微表情的分类识别，是十分困难的。一般用于微表情的特征提取和分类算法有面部动作编码***，通过预先定义的编码表征脸部动作单元，进行识别分类；基于微表情的时频域，基于三角化的时域编码模型，通过主管表现模型进行标注，进而进一步的识别。
这些传统的微表情方法，通常依赖于大量正定标本，并且加入主观因素，不能主动提取特征，会存在耗费大量人力、物力的情况，并且因为微表情复杂的特征，并不能取得很好的分类效果。近年来，得益于深度学习在模式识别、图像分类等领域取得的巨大突破，其也被应用于微表情的分类识别之中。基于微表情具备时序特征的特点，通过时序网络，例如长短期记忆网络(Long Short-Term Memory，简称LSTM)和时间卷积网络(TemporalConvolutional Network，简称TCN)提取其时序特征，进而进行分类识别。基于脸部纹理特征，采用动作单元放大以增强微表情的空间特征，集合卷积神经网络(ConvolutionalNeural Networks，简称CNN)进行分类识别。基于深度学习进行表情识别，可以自动提取多维特征，但是目前模型也只是利用单一方面的特征维度，并不能完全表征微表情丰富的特征，从而导致最终后续的微表情识别精度较低。
发明内容
本发明提供一种基于KNN和DSN的微表情识别方法、***、设备及存储介质，其主要目的在于提取微表情图像中丰富的特征，有效提高微表情识别精度。
第一方面，本发明实施例提供一种基于KNN和DSN的微表情识别方法，包括：
对待识别微表情图像进行特征提取，获取微表情时空特征；
将所述待识别微表情图像输入微表情识别模型的最近邻模块，获取所述待识别微表情图像中微表情样本点对应的相邻矩阵，并与所述微表情时空特征进行重构，获取重构特征；
将所述重构特征输入所述微表情识别模型的深度堆叠网络模块，获取所述待识别微表情图像中微表情的所属类别，其中，所述微表情识别模型由样本和标签进行训练得到，所述微表情识别模型由所述最近邻模块和所述深度堆叠网络模块依次连接组成。
优选地，所述深度堆叠网络模块由若干层深度堆叠网络串联组成，其中，所述深度堆叠网络由输入层、隐含层和输出层依次连接组成，对于当前深度堆叠网络，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到。
优选地，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到，包括：
当i>2时，第i个深度堆叠网络输入层的输入为所述重构特征和前i-2个深度堆叠网络的输出，第i个深度堆叠网络隐含层的输入为第i个深度堆叠网络输入层的输出和第i-1个深度堆叠网络的输出；
当i＝2时，第2个深度堆叠网络输入层的输入为所述重构特征，第2个深度堆叠网络隐含层的输入为第2个深度堆叠网络输入层的输出和第1个深度堆叠网络的输出；
当i＝1时，第1个深度堆叠网络输入层的输入为所述重构特征，第1个深度堆叠网络隐含层的输入为第1个深度堆叠网络输入层的输出。
优选地，所述微表情识别模型具体训练方法为批量模式的梯度下降法。
优选地，所述对待识别微表情图像进行特征提取，获取微表情时空特征，具体包括：
将所述待识别微表情图像分为若干个图像块；
基于三个正交平面的局部二值模式算法，计算每个图像块的局部二值模式特征；
对所有图像块的局部二值模式特征进行拼接，获取所述微表情时空特征。
优选地，所述并与所述微表情时空特征进行重构，获取重构特征，计算公式如下：
其中，
表示所述重构特征，i、j为正整数，xi表示所述微表情时空特征的第i个样本，xj表示所述相邻矩阵的第j个样本，k表示所述相邻矩阵的预设维度，w(xj，xi)表示权重函数，Z表示标准化分数，d表示k临近距离计算函数，K为预设值。
优选地，所述对待识别微表情图像进行特征提取，获取微表情时空特征，还包括：
对所述待识别微表情图像进行特征提取，并进行归一化；
将归一化后提取的特征作为所述微表情时空特征。
第二方面，本发明实施例提供一种基于KNN和DSN的微表情识别***，包括：
特征提取模块，用于对待识别微表情图像进行特征提取，获取微表情时空特征；
特征重构模块，用于将所述待识别微表情图像输入微表情识别模型的最近邻模块，获取所述待识别微表情图像中微表情样本点对应的相邻矩阵，并与所述微表情时空特征进行重构，获取重构特征；
识别模块，用于将所述重构特征输入所述微表情识别模型的深度堆叠网络模块，获取所述待识别微表情图像中微表情的所属类别，其中，所述微表情识别模型由样本和标签进行训练得到，所述微表情识别模型由所述最近邻模块和所述深度堆叠网络模块依次连接组成。
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于KNN和DSN的微表情识别方法的步骤。
第四方面，本发明实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于KNN和DSN的微表情识别方法的步骤。
本发明提出的一种基于KNN和DSN的微表情识别方法、***、设备及存储介质，通过提取出待识别微表情图像时间和空间上的特征，充分利用了微表情图像在时间和空间上变化大、并且包含信息丰富的特点，实现了对微表情特征的深度解析，有效的提取了有用的特征，有利于后续微表情识别；并通过微表情时空特征和微表情样本点的相邻矩阵进行特征重构，可以实现样本数据之间的关联特征，以进一步提高识别精度；并且本方法为全自动微表情识别方法，可以自动提取表情特征，减少人为主观因素的影响，具备更强的不同场景应用。
附图说明
图1为本发明实施例提供的一种基于KNN和DSN的微表情识别方法的应用场景图；
图2为本发明实施例提供的一种基于KNN和DSN的微表情识别方法的流程图；
图3为本发明实施例中3个深度堆叠网络的连接结构示意图；
图4为本发明实施例提供的一种基于KNN和DSN的微表情识别***的结构示意图；
图5为本发明实施例中提供的一种计算机设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为本发明实施例提供的一种基于KNN和DSN的微表情识别方法的应用场景图，如图1所示，用户在客户端上输入待识别微表情图像，客户端提取出该待识别微表情图像后，将该待识别微表情图像传输给服务端，服务端接收到该待识别微表情图像后，执行该一种基于KNN和DSN的微表情识别方法，对待识别微表情图像中的微表情进行识别。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
需要说明的是，服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。客户端可为智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。客户端和服务端可以通过蓝牙、USB(Universal Serial Bus，通用串行总线)或者其他通讯连接方式进行连接，本发明实施例在此不做限制。
图2为本发明实施例提供的一种基于KNN和DSN的微表情识别方法的流程图，如图2所示，该方法包括：
S210，对待识别微表情图像进行特征提取，获取微表情时空特征；
首先获取需要进行识别的多帧视频图像，将每帧视频图像作为待识别微表情图像，该待识别微表情图像为三维图像，微表情图像作为一种高维数据，包含时间或空间等多种复杂特征，微表情一般持续时间较短，随着时间和空间的推移脸部特征变化较大，提取待识别微表情图像的时空特征，可以充分利用微表情图像随时间空间变化大、且包含丰富时空信息的特点，实现对表情特征的深度解析。
对微表情图像进行时间特征和空间特征的提取，具体为：按照不同的时间粒度，生成时间轴，再根据不同时间点微表情的变化，从而提取出时间特征；图像的空间特征是指图像中像素点或者目标在空间上与其它像素点或目标的关系，包括相对空间位置关系和绝对空间位置关系等等，本发明实施例中时空特征的提取可以通过LBP_TOP(local binarypatterns from three orthogonal planes，简称基于三个正交平面的局部二值模式)算法进行时空特征的提取，也可以通过机器学习中的神经网络方法进行时空特征的提取，具体包括基于卷积长短期记忆网络(convolutional Long Short-Term Memory，简称ConvLSTM)模型进行时空特征的提取、基于3D卷积神经网络(Convolutional Neural Networks，简称CNN)进行时空特征的提取等，具体提取方法根据实际情况进行确定，本发明实施例在此不再赘述。
本发明实施例中通过提取待识别微表情图像的时空特征，充分利用微表情图像随时间空间变化大、且包含丰富时空特性的特点，实现了对表情特征深度解析，可以有效提取有用的特征，有利于后续提高微表情的识别效果。
S220，将所述待识别微表情图像输入微表情识别模型的最近邻模块，获取所述待识别微表情图像中微表情样本点对应的相邻矩阵，并与所述微表情时空特征进行重构，获取重构特征；
将该待识别微表情图像输入到微表情识别模型的最近邻模块中，该最近邻模块具体通过KNN(K-NearestNeighbor，简称K近邻算法)实现，首先对该待识别微表情图像进行采样，得到微表情样本点，并计算微表情样本点到其它样本点之间的所有距离，取出该微表情样本点最近的K个样本点，K的具体取值可以根据实际情况进行确定，然后统计这K个样本点之中所归属的分类比例，也就是这K个样本点分别属于哪些类别，每个类别对应的样本比例占多少，以此来判断该微表情样本点的具体类别。本发明实施例中，微表情类别可以包括高兴、厌恶、压抑、惊讶等，具体根据实际情况进行确定。对于同一个微表情样本点，在不同帧待识别微表情图像中，都计算出其所属类别，从而得到该微表情样本点的相邻矩阵Ωi＝{xj,…,xk}，xj表示该微表情样本点xi所属类别的坐标，xk表示后续帧微表情图像中微表情样本点所属类别的坐标。
在计算微表情样本点与其它样本点之间的距离时，所采用的距离计算公式可以是欧几里得距离(Euclidian distance)、马氏距离(Mahalanobis distance)等，本发明实施例中，选择欧几里得距离计算方式以获取相邻矩阵Ωi。
然后对微表情时空特征和相邻矩阵进行重构，将相邻矩阵和微表情时空特征进行结合，得到重构特征。具体的重构方法可以是对微表情时空特征和相邻矩阵进行融合，也可以是对微表情时空特征和相邻矩阵进行拼接，本发明实施例在此不做具体的限定。
本发明实施例中通过将微表情时空特征和相邻矩阵进行结合，可以实现样本数据之间的关联特征，便于后续的训练学习，进一步提高识别精度。
S230，将所述重构特征输入所述微表情识别模型的深度堆叠网络模块，获取所述待识别微表情图像中微表情的所属类别，其中，所述微表情识别模型由样本和标签进行训练得到，所述微表情识别模型由所述最近邻模块和所述深度堆叠网络模块依次连接组成。
将重构特征输入到微表情识别模型的深度堆叠网络模块中，该深度堆叠网络模块为深度学习网络，通过先前的训练过程，可以使得该DNN(Deep Stacking Network，简称深度堆叠网络)能够根据重构特征，来实现对微表情的分类识别，并最后将类别通过softmax分类器输出。
具体地，本发明实施例中微表情识别模型由最近邻模块和深度堆叠网络模块依次连接组成，在使用之前，通过样本和标签对该微表情识别模型进行训练，不断调整微表情识别模型的参数，当识别误差符合预设期望时即可停止训练，最终得到最优模型参数。
本发明实施例中的微表情识别模型属于神经网络中的一种，在使用该微表情识别模型前，也需要对其进行训练，通过预先取得的样本和标签，对微表情识别模型进行训练。该微表情识别模型的训练过程可以分为三个步骤：定义微表情识别模型的结构和前向传播的输出结果；定义损失函数以及反向传播优化的算法；最后生成会话并在训练数据上反复运行反向传播优化算法。
其中，神经元是构成神经网络的最小单位，一个神经元可以有多个输入和一个输出，每个神经元的输入既可以是其它神经元的输出，也可以是整个神经网络的输入。该神经网络的输出即是所有神经元的输入加权和，不同输入的权重就是神经元参数，神经网络的优化过程就是优化神经元参数取值的过程。
神经网络的效果及优化的目标是通过损失函数来定义的，损失函数给出了神经网络的输出结果与真实标签之间差距的计算公式，监督学习为神经网络训练的一种方式，其思想就是在已知答案的标注数据集上，该神经网络给出的结果要尽量接近真实的答案(即标签)。通过调整神经网络中的参数对训练数据进行拟合，使得神经网络对未知的样本提供预测能力。
反向传播算法实现了一个迭代的过程，每次迭代开始的时候，先取一部分训练数据，通过前向传播算法得到神经网络的预测结果。因为训练数据都有正确的答案，所以可以计算出预测结果和正确答案之间的差距。基于这个差距，反向传播算法会相应的更新神经网络参数的取值，使得和真实答案更加接近。
通过上述方法完成训练过程后，即可利用完成训练后的微表情识别模型进行应用。
本发明实施例可以应用在智能定损***中，智能定损***通过信息智能化获取、损失智能化判定，实现伤情报价智能化、人伤成本精细化管控。在智能定损***中，通过结合微表情识别技术，可以准确识别谈判双方对当前赔偿方案的接受程度以及情绪波动，及时弹性调整，以促成调解方案签订。
本发明实施例提出的一种基于KNN和DSN的微表情识别方法，通过提取出待识别微表情图像时间和空间上的特征，充分利用了微表情图像在时间和空间上变化大、并且包含信息丰富的特点，实现了对微表情特征的深度解析，有效的提取了有用的特征，有利于后续微表情识别；并通过微表情时空特征和微表情样本点的相邻矩阵进行特征重构，可以实现样本数据之间的关联特征，以进一步提高识别精度；并且本方法为全自动微表情识别方法，可以自动提取表情特征，减少人为主观因素的影响，具备更强的不同场景应用。
在上述实施例的基础上，优选地，所述深度堆叠网络模块由若干层深度堆叠网络串联组成，其中，所述深度堆叠网络由输入层、隐含层和输出层依次连接组成，对于当前深度堆叠网络，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到。
具体地，该深度堆叠网络模块由若干个深度堆叠网络串联组成，每个深度堆叠网络包括一个输入层、一个隐含层和一个输出层，输入层、隐含层和输出层依次连接。在深度堆叠网络的输入层中，包含一组线性神经元，以对应输入样本，隐含层基于非线性函数，实现从输入层到隐含层的特征映射，其数学表达为：
其中，w1表示输入层到隐含层的权值矩阵，对于输入向量矩阵xi，在后面加入偏置项，其值为1，f表示非线性函数，取RULE。
输出层为隐含层的线性组合，其数学表达为:
其中，U为隐含层到输出层的权重矩阵。
当前深度堆叠网络模块的输入层的输入维度Dm可以表示为：
Dm＝D+C(m-1),m＝1...3，
其中，C为输出层的神经元节点数，m代表所堆叠的块数。当前隐含层的神经元对应的训练参数也会随着输入的维度扩张而扩展，其数学表达为：
W＝(D+C(m-1))×L，
其中，L表示训练权重矩阵的另一个维度。
在本发明实施例中，当前深度堆叠网络的输入为重构特征与当前深度堆叠网络之前的所有深度堆叠网络的输出拼接后得到，如此构造，可以实现最大限度的微表情时空特征保留，以此完成前向传播，有利于后续微表情识别精度的提高。
在上述实施例的基础上，优选地，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到，包括：
当i>2时，第i个深度堆叠网络输入层的输入为所述重构特征和前i-2个深度堆叠网络的输出，第i个深度堆叠网络隐含层的输入为第i个深度堆叠网络输入层的输出和第i-1个深度堆叠网络的输出；
当i＝2时，第2个深度堆叠网络输入层的输入为所述重构特征，第2个深度堆叠网络隐含层的输入为第2个深度堆叠网络输入层的输出和第1个深度堆叠网络的输出；
当i＝1时，第1个深度堆叠网络输入层的输入为所述重构特征，第1个深度堆叠网络隐含层的输入为第1个深度堆叠网络输入层的输出。
具体地，本发明实施例以深度堆叠网络模块包括3个深度堆叠网络为例进行说明，图3为本发明实施例中3个深度堆叠网络的连接结构示意图，如图3所示，对于深度堆叠网络，排在最前面的是输入层，中间的是隐含层，排在最后的是输出层。对于深度堆叠网络模块中的多个深度堆叠网络而言，重构特征从第1个深度堆叠网络向后传输，一般而言，随着深度堆叠网络的位置越来越靠后，深度堆叠网络对重构特征中所包含的信息越来越遗忘，但是，本发明实施例中通过对重构特征和前面深度堆叠网络的输出进行拼接，输入到后面深度堆叠网络中，可以最大限度的保证微表情时空特征，从而提高后续微表情识别精度。
在上述实施例的基础上，优选地，所述微表情识别模型具体训练方法为批量模式的梯度下降法。
本发明实施例中的深度堆叠网络模块，其参数更新基于批量模式的梯度下降法，与一般的神经网络不同。深度堆叠网络模块采用对每个深度堆叠网络独监督训练，当前深度堆叠网络训练完成以后，才进行下一个深度堆叠网络训练学习，不需要全局微调的方式，实现对整个深度堆叠网络模块网络的特征训练。
在深度堆叠网络模块开始，随机初始化权值矩阵，根据实际的输出与目标输出的误差，反向传播调整每个堆叠块的权值矩阵，其损失函数为：
E＝Tr[(Y-T)(Y-T)T]，
其中，Tr为矩阵的迹，T为目标输出，Y为实际输出。
在上述实施例的基础上，优选地，所述对待识别微表情图像进行特征提取，获取微表情时空特征，具体包括：
将所述待识别微表情图像分为若干个图像块；
基于三个正交平面的局部二值模式(local binary patterns from threeorthogonal planes，简称LBP_TOP)算法，计算每个图像块的局部二值模式特征；
对所有图像块的局部二值模式特征进行拼接，获取所述微表情时空特征。
本发明实施例基于三个正交平面的局部二值模式来提取微表情时空特征，为了更好地提取微表情时空特征，将该待识别微表情图像分为若干个图像块，本发明实施例中，切分为b*b的图像块。
并且创建三维特征坐标xy、xt和yt，其中xy表示图像的纹理特征，xt表示时间特征，yt表示空间特征，对每个图像块的每个坐标面都计算LBP值，然后对所有的LBP直方图进行拼接，具体拼接方法是将每个做表面的LBP值都拼接起来，即可得到最终微表情时空特征。
该LBP_TOP算法的具体计算公式如下：
其中，j表示坐标维度，j＝0表示xy，j＝1表示xt，j＝2表示yt；nj表示在第j个正交面由LBP得到的二元模式的数量，fj表示在第j个正交面上领域中心点的LBP值，I为预设阈值。
在上述实施例的基础上，优选地，所述并与所述微表情时空特征进行重构，获取重构特征，计算公式如下：
其中，
表示所述重构特征，i、j为正整数，xi表示所述微表情时空特征的第i个样本，xj表示所述相邻矩阵的第j个样本，k表示所述相邻矩阵的预设维度，w(xj，xi)表示权重函数，Z表示标准化分数，d表示k临近距离计算函数，K为预设值。
本发明实施例中，将高斯核函数作为权函数以平滑内核，去除平滑数据和细节，以实现表情数据降噪，高斯核函数具体如下：
其中，Ωi表示所述待识别微表情图像中第i个微表情样本点的相邻矩阵，σ表示高斯核函数的带宽。
在上述实施例的基础上，优选地，所述对待识别微表情图像进行特征提取，获取微表情时空特征，还包括：
对所述待识别微表情图像进行特征提取，并进行归一化；
将归一化后提取的特征作为所述微表情时空特征。
为了更好的计算，对微表情时空特征进行归一化，具体计算公式如下：
其中，Xij表示微表情时空特征。
归一化可以把数据变成(0，1)或者(1，1)之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。
综上，本发明实施例提出的一种基于KNN和DSN的微表情识别方法，通过提取出待识别微表情图像时间和空间上的特征，充分利用了微表情图像在时间和空间上变化大、并且包含信息丰富的特点，实现了对微表情特征的深度解析，有效的提取了有用的特征，有利于后续微表情识别；并通过微表情时空特征和微表情样本点的相邻矩阵进行特征重构，可以实现样本数据之间的关联特征，以进一步提高识别精度；并且本方法为全自动微表情识别方法，可以自动提取表情特征，减少人为主观因素的影响，具备更强的不同场景应用。
并且，本发明实施例中通过对重构特征和前面深度堆叠网络的输出进行拼接，输入到后面深度堆叠网络中，可以最大限度的保证微表情时空特征，从而提高后续微表情识别精度。
最后，本发明实施例中的深度堆叠网络模块，其参数更新基于批量模式的梯度下降法，与一般的神经网络不同。基于批量模式的梯度下降法中，深度堆叠网络模块采用对每个深度堆叠网络独监督训练，当前深度堆叠网络训练完成以后，才进行下一个深度堆叠网络训练学习，不需要全局微调的方式，实现对整个深度堆叠网络模块网络的特征训练，从而提高了训练速度，减少了训练所需要的时间。
图4为本发明实施例提供的一种基于KNN和DSN的微表情识别***的结构示意图，如图4所示，该***包括特征提取模块410、特征重构模块420和识别模块430，其中：
特征提取模块410用于对待识别微表情图像进行特征提取，获取微表情时空特征；
特征重构模块420用于将所述待识别微表情图像输入微表情识别模型的最近邻模块，获取所述待识别微表情图像中微表情样本点对应的相邻矩阵，并与所述微表情时空特征进行重构，获取重构特征；
识别模块430用于将所述重构特征输入所述微表情识别模型的深度堆叠网络模块，获取所述待识别微表情图像中微表情的所属类别，其中，所述微表情识别模型由样本和标签进行训练得到，所述微表情识别模型由所述最近邻模块和所述深度堆叠网络模块依次连接组成。
本实施例为与上述方法实施例对应的***实施例，其具体实施过程与上述方法实施例相同，详情请参考上述方法实施例，本***实施例在此不再赘述。
在上述实施例的基础上，优选地，所述识别模块中，所述深度堆叠网络模块由若干层深度堆叠网络串联组成，其中，所述深度堆叠网络由输入层、隐含层和输出层依次连接组成，对于当前深度堆叠网络，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到。
在上述实施例的基础上，优选地，所述识别模块中，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到，包括：
当i>2时，第i个深度堆叠网络输入层的输入为所述重构特征和前i-2个深度堆叠网络的输出，第i个深度堆叠网络隐含层的输入为第i个深度堆叠网络输入层的输出和第i-1个深度堆叠网络的输出；
当i＝2时，第2个深度堆叠网络输入层的输入为所述重构特征，第2个深度堆叠网络隐含层的输入为第2个深度堆叠网络输入层的输出和第1个深度堆叠网络的输出；
当i＝1时，第1个深度堆叠网络输入层的输入为所述重构特征，第1个深度堆叠网络隐含层的输入为第1个深度堆叠网络输入层的输出。
在上述实施例的基础上，优选地，所述识别模块中，所述微表情识别模型具体训练方法为批量模式的梯度下降法。
在上述实施例的基础上，优选地，所述特征提取模块包括分割单元、局部二值单元和拼接单元，其中：
所述分割单元用于将所述待识别微表情图像分为若干个图像块；
所述局部二值单元用于基于三个正交平面的局部二值模式(local binarypatterns from three orthogonal planes，简称LBP_TOP)算法，计算每个图像块的局部二值模式特征；
所述拼接单元用于对所有图像块的局部二值模式特征进行拼接，获取所述微表情时空特征。
在上述实施例的基础上，优选地，所述特征重构单元中，所述并与所述微表情时空特征进行重构，获取重构特征，计算公式如下：
其中，
表示所述重构特征，i、j为正整数，xi表示所述微表情时空特征的第i个样本，xj表示所述相邻矩阵的第j个样本，k表示所述相邻矩阵的预设维度，w(xj，xi)表示权重函数，Z表示标准化分数，d表示k临近距离计算函数，K为预设值。
在上述实施例的基础上，优选地，所述特征提取单元中，所述对待识别微表情图像进行特征提取，获取微表情时空特征，还包括
对所述待识别微表情图像进行特征提取，并进行归一化；
将归一化后提取的特征作为所述微表情时空特征。
综上，本发明实施例提出的一种基于KNN和DSN的微表情识别***，通过提取出待识别微表情图像时间和空间上的特征，充分利用了微表情图像在时间和空间上变化大、并且包含信息丰富的特点，实现了对微表情特征的深度解析，有效的提取了有用的特征，有利于后续微表情识别；并通过微表情时空特征和微表情样本点的相邻矩阵进行特征重构，可以实现样本数据之间的关联特征，以进一步提高识别精度；并且本方法为全自动微表情识别方法，可以自动提取表情特征，减少人为主观因素的影响，具备更强的不同场景应用。
并且，本发明实施例中通过对重构特征和前面深度堆叠网络的输出进行拼接，输入到后面深度堆叠网络中，可以最大限度的保证微表情时空特征，从而提高后续微表情识别精度。
最后，本发明实施例中的深度堆叠网络模块，其参数更新基于批量模式的梯度下降法，与一般的神经网络不同。基于批量模式的梯度下降法中，深度堆叠网络模块采用对每个深度堆叠网络独监督训练，当前深度堆叠网络训练完成以后，才进行下一个深度堆叠网络训练学习，不需要全局微调的方式，实现对整个深度堆叠网络模块网络的特征训练，从而提高了训练速度，减少了训练所需要的时间。
上述基于KNN和DSN的微表情识别***中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图5为本发明实施例中提供的一种计算机设备的结构示意图，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作***、计算机程序和数据库。该内存储器为计算机存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行基于KNN和DSN的微表情识别方法过程中生成或获取的数据，如待识别微表情图像、重构特征、微表情类别。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于KNN和DSN的微表情识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的基于KNN和DSN的微表情识别方法的步骤。或者，处理器执行计算机程序时实现基于KNN和DSN的微表情识别***这一实施例中的各模块/单元的功能。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中基于KNN和DSN的微表情识别方法的步骤。或者，该计算机程序被处理器执行时实现上述基于KNN和DSN的微表情识别***这一实施例中的各模块/单元的功能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于KNN和DSN的微表情识别方法，其特征在于，包括：
对待识别微表情图像进行特征提取，获取微表情时空特征；
将所述待识别微表情图像输入微表情识别模型的最近邻模块，获取所述待识别微表情图像中微表情样本点对应的相邻矩阵，并与所述微表情时空特征进行重构，获取重构特征；
将所述重构特征输入所述微表情识别模型的深度堆叠网络模块，获取所述待识别微表情图像中微表情的所属类别，其中，所述微表情识别模型由样本和标签进行训练得到，所述微表情识别模型由所述最近邻模块和所述深度堆叠网络模块依次连接组成。
2.根据权利要求1所述的基于KNN和DSN的微表情识别方法，其特征在于，所述深度堆叠网络模块由若干层深度堆叠网络串联组成，其中，所述深度堆叠网络由输入层、隐含层和输出层依次连接组成，对于当前深度堆叠网络，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到。
3.根据权利要求2所述的基于KNN和DSN的微表情识别方法，其特征在于，所述当前深度堆叠网络的输入为所述重构特征与所述当前深度堆叠网络之前的所有深度堆叠网络的输出进行拼接后得到，包括：
当i>2时，第i个深度堆叠网络输入层的输入为所述重构特征和前i-2个深度堆叠网络的输出，第i个深度堆叠网络隐含层的输入为第i个深度堆叠网络输入层的输出和第i-1个深度堆叠网络的输出；
当i＝2时，第2个深度堆叠网络输入层的输入为所述重构特征，第2个深度堆叠网络隐含层的输入为第2个深度堆叠网络输入层的输出和第1个深度堆叠网络的输出；
当i＝1时，第1个深度堆叠网络输入层的输入为所述重构特征，第1个深度堆叠网络隐含层的输入为第1个深度堆叠网络输入层的输出。
4.根据权利要求1所述的基于KNN和DSN的微表情识别方法，其特征在于，所述微表情识别模型具体训练方法为批量模式的梯度下降法。
5.根据权利要求1所述的基于KNN和DSN的微表情识别方法，其特征在于，所述对待识别微表情图像进行特征提取，获取微表情时空特征，具体包括：
将所述待识别微表情图像分为若干个图像块；
基于三个正交平面的局部二值模式算法，计算每个图像块的局部二值模式特征；
对所有图像块的局部二值模式特征进行拼接，获取所述微表情时空特征。
6.根据权利要求1至5任一所述的基于KNN和DSN的微表情识别方法，其特征在于，所述并与所述微表情时空特征进行重构，获取重构特征，计算公式如下：
其中，
表示所述重构特征，i、j为正整数，xi表示所述微表情时空特征的第i个样本，xj表示所述相邻矩阵的第j个样本，k表示所述相邻矩阵的预设维度，w(xj，xi)表示权重函数，Z表示标准化分数，d表示k临近距离计算函数，K为预设值。
7.根据权利要求1至5任一所述的基于KNN和DSN的微表情识别方法，其特征在于，所述对待识别微表情图像进行特征提取，获取微表情时空特征，还包括：
对所述待识别微表情图像进行特征提取，并进行归一化；
将归一化后提取的特征作为所述微表情时空特征。
8.一种基于KNN和DSN的微表情识别***，其特征在于，包括：
特征提取模块，用于对待识别微表情图像进行特征提取，获取微表情时空特征；
特征重构模块，用于将所述待识别微表情图像输入微表情识别模型的最近邻模块，获取所述待识别微表情图像中微表情样本点对应的相邻矩阵，并与所述微表情时空特征进行重构，获取重构特征；
识别模块，用于将所述重构特征输入所述微表情识别模型的深度堆叠网络模块，获取所述待识别微表情图像中微表情的所属类别，其中，所述微表情识别模型由样本和标签进行训练得到，所述微表情识别模型由所述最近邻模块和所述深度堆叠网络模块依次连接组成。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述基于KNN和DSN的微表情识别方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于KNN和DSN的微表情识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111434496.XA CN114140848A (zh) | 2021-11-29 | 2021-11-29 | 基于knn和dsn的微表情识别方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111434496.XA CN114140848A (zh) | 2021-11-29 | 2021-11-29 | 基于knn和dsn的微表情识别方法、***、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114140848A true CN114140848A (zh) | 2022-03-04 |
Family
ID=80388927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111434496.XA Pending CN114140848A (zh) | 2021-11-29 | 2021-11-29 | 基于knn和dsn的微表情识别方法、***、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140848A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311483A (zh) * | 2023-05-24 | 2023-06-23 | 山东科技大学 | 基于局部面部区域重构和记忆对比学习的微表情识别方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717381A (zh) * | 2019-08-28 | 2020-01-21 | 北京航空航天大学 | 面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法 |
| CN113128387A (zh) * | 2021-04-14 | 2021-07-16 | 广州大学 | 基于面部表情特征分析的吸毒者毒瘾发作识别方法 |
-
2021
- 2021-11-29 CN CN202111434496.XA patent/CN114140848A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717381A (zh) * | 2019-08-28 | 2020-01-21 | 北京航空航天大学 | 面向人机协作的基于深度堆叠Bi-LSTM的人类意图理解方法 |
| CN113128387A (zh) * | 2021-04-14 | 2021-07-16 | 广州大学 | 基于面部表情特征分析的吸毒者毒瘾发作识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 中国心理学会: "2018-2019年心理学学科发展报告", 31 March 2020, 中国科学技术出版社, pages: 150 - 153 * |
| 刘嘉敏等: "基于图像重构特征融合的高光谱图像分类方法", 中国激光, vol. 48, no. 9, 31 May 2021 (2021-05-31), pages 1 - 10 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311483A (zh) * | 2023-05-24 | 2023-06-23 | 山东科技大学 | 基于局部面部区域重构和记忆对比学习的微表情识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102591961B1 (ko) | 모델 트레이닝 방법 및 장치, 및 이를 위한 단말 및 저장 매체 | |
| WO2021184902A1 (zh) | 图像分类方法、装置、及其训练方法、装置、设备、介质 | |
| CN113593611B (zh) | 语音分类网络训练方法、装置、计算设备及存储介质 | |
| CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
| CN108595558B (zh) | 一种数据均衡策略和多特征融合的图像标注方法 | |
| CN105809672A (zh) | 一种基于超像素和结构化约束的图像多目标协同分割方法 | |
| CN111259917B (zh) | 一种基于局部近邻成分分析的图像特征提取方法 | |
| US11823490B2 (en) | Non-linear latent to latent model for multi-attribute face editing | |
| CN111540367A (zh) | 语音特征提取方法、装置、电子设备和存储介质 | |
| CN109977394A (zh) | 文本模型训练方法、文本分析方法、装置、设备及介质 | |
| CN113435520A (zh) | 神经网络的训练方法、装置、设备及计算机可读存储介质 | |
| CN111028319A (zh) | 一种基于面部运动单元的三维非真实感表情生成方法 | |
| CN114329029B (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
| CN112733602B (zh) | 关系引导的行人属性识别方法 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN114358109A (zh) | 特征提取模型训练、样本检索方法、装置和计算机设备 | |
| CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
| CN114332500A (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
| CN114140848A (zh) | 基于knn和dsn的微表情识别方法、***、设备及存储介质 | |
| Qi et al. | Research on deep learning expression recognition algorithm based on multi-model fusion | |
| CN113963423B (zh) | 基于神经网络的微表情识别方法、***、设备及存储介质 | |
| CN113704528A (zh) | 聚类中心确定方法、装置和设备及计算机存储介质 | |
| CN113590720A (zh) | 数据分类方法、装置、计算机设备和存储介质 | |
| CN113269176B (zh) | 图像处理模型训练、图像处理方法、装置和计算机设备 | |
| CN117975041B (zh) | 基于图卷积神经网络的脑网络特征提取方法、***和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |