CN112270208A - 一种基于特征子空间分离的交叉数据域微表情分类方法 - Google Patents
一种基于特征子空间分离的交叉数据域微表情分类方法 Download PDFInfo
- Publication number
- CN112270208A CN112270208A CN202011044468.2A CN202011044468A CN112270208A CN 112270208 A CN112270208 A CN 112270208A CN 202011044468 A CN202011044468 A CN 202011044468A CN 112270208 A CN112270208 A CN 112270208A
- Authority
- CN
- China
- Prior art keywords
- domain
- data
- target
- source
- source domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000000926 separation method Methods 0.000 title claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 36
- 230000014509 gene expression Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010977 unit operation Methods 0.000 claims description 2
- 238000009826 distribution Methods 0.000 abstract description 5
- 230000008921 facial expression Effects 0.000 abstract description 5
- 230000009471 action Effects 0.000 abstract description 2
- 230000001815 facial effect Effects 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 10
- OUXCBPLFCPMLQZ-WOPPDYDQSA-N 4-amino-1-[(2r,3s,4s,5r)-4-hydroxy-5-(hydroxymethyl)-3-methyloxolan-2-yl]-5-iodopyrimidin-2-one Chemical compound C[C@H]1[C@H](O)[C@@H](CO)O[C@H]1N1C(=O)N=C(N)C(I)=C1 OUXCBPLFCPMLQZ-WOPPDYDQSA-N 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 206010063659 Aversion Diseases 0.000 description 3
- 238000002679 ablation Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000006549 dyspepsia Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000024798 heartburn Diseases 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征子空间分离的交叉数据域微表情分类方法,包括:构建源域和目标域的训练数据和测试数据,将不同数据域按照标签一致性进行标签重定义,用于两个数据域的标签分类一致;引入公共域对源域和目标域的数据进行处理,源域私有空间和目标域私有空间分别对源域、目标域数据进行处理,用于建立深度学习网络模型;对三部分的损失函数进行加权求和获取最终的目标损失函数,使用随机梯度下降优化器训练网络;将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。本发明解决了微表情识别场景中建立模型使用的训练数据和实际应用中使用的测试数据存在特征分布差异的问题,通过分析微表情在面部表达上动作单元的一致性,以及面部背景的差异性,解决交叉数据域微表情分类的问题。
Description
技术领域
本发明涉及图像分类识别分析领域,尤其涉及一种基于特征子空间分离的交叉数据域 微表情分类方法。
背景技术
近年来,随着计算机视觉、模式识别等学科的迅速发展,面部表情的研究趋于成熟, 微表情的研究引起了国内外很多专家学者的关注。识别微表情可以帮助获取人们真实的心 理活动信息,具有广泛的应用价值。在司法刑侦领域,警察可以根据嫌疑人的微表情来综 合考虑供词的真实性;在教育领域,老师可以通过观察学生的微表情,对学生的学习态度 和学习情况有更好的了解,从而更好的对学生进行因材施教;在商业领域,商人可以观察 对手的微表情推测对方的心理波动,有助于掌握商业战略的主动性。
作为一种特殊的动态面部表情,微表情可以揭示人类试图掩盖的隐藏情感。但是,相 比普通的动态面部表情,微表情具有较低的肌肉运动强度和较短的持续时间,这使得自动 微表情识别成为一项非常困难的任务。尽管存在很多挑战,微表情识别仍然成为最近比较 有吸引力的研究主题之一,近年来已经提出了广泛有效的方法来应对这项艰巨的任务。但 可以注意到,大多数目前开发的微表情识别方法的训练样本和测试样本属于相同的微表情 数据库,在这情况下,可以认为训练样本和测试样本遵守相同或相似的特征分布。
然而,在实际应用中,训练和测试的微表情样本可能来自两个不同的数据库。显然, 它们是在不同环境下记录的,所使用的设备也可能不同。在这种情况下,会出现训练模型 使用的样本数据与实际测试使用的样本数据的特征分布存在一定的差异。因此,目前大多 数微表情分类方法在实际测试情况下的性能可能会有所降低。
发明内容
本发明旨在解决微表情识别场景中建立模型使用的训练数据和实际应用中使用的测 试数据存在特征分布差异的问题,通过分析微表情在面部表达上动作单元的一致性,以及 面部背景的差异性,解决交叉数据域微表情分类的问题,本发明提供了一种基于特征子空 间分离的交叉数据域微表情分类方法,详见下文描述:
一种基于特征子空间分离的交叉数据域微表情分类方法,所述方法包括:
构建源域和目标域的训练数据和测试数据,将不同数据域按照标签一致性进行标签重 定义,用于两个数据域的标签分类一致;
引入公共域对源域和目标域的数据进行处理,源域私有空间和目标域私有空间分别对 源域、目标域数据进行处理,,用于建立深度学习网络模型;
根据得到的源域预测标签和源域真实标签,利用交叉熵函数进行计算,获得多分类交 叉熵损失函数,根据源域、目标域输入数据分别在公共域子空间和该域私有子空间编码得 到的特征向量,进行计算获取差异损失函数,根据源域图像和目标域图像分别在公共域子 空间编码得到的特征向量,进行计算获取域对抗的相似度损失函数;
对三部分的损失函数进行加权求和获取最终的目标损失函数,使用随机梯度下降优化 器训练网络;
将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。
其中,所述将不同数据域按照标签一致性进行标签重定义,用于两个数据域的标签分 类一致具体为:
对每一个微表情序列,将顶点帧图像划分到测试数据,其他图像划分到训练数据,序 列内图像数据标签与序列标签保持一致,得到每一个数据域的训练数据和测试数据,两个 数据域的数据进行交叉组合充当源域数据或目标域数据。
进一步地,所述引入公共域对源域和目标域的数据进行处理,源域私有空间和目标域 私有空间分别对源域、目标域数据进行处理,用于建立深度学习网络模型具体为:
模型由三条卷积神经网络支路组成,中间为公共域子空间,对源域和目标域数据进行 处理;剩下两条支路为私有域子空间,分别对源域数据和目标域进行处理;
每条卷积神经网络支路的结构与VGG16保持一致,包含5组卷积,每组卷积包含的卷积层的层数分别是2、2、3、3、3,中间网络支路还包含两个全连接层和一层用于分类 的归一化指数函数层;每组卷积后面加入了池化操作以及每个卷积层后面加上了修正线性 单元操作。
本发明提供的技术方案的有益效果是:
1、本发明通过使损失函数最小化,提高了私有域子空间和公共域子空间的正交性, 同时也提高了源域和目标域在公共域子空间编码后特征的相似性;
2、本发明通过降低源域真实标签和预测标签的交叉熵损失,可以更好地提高无标签 的目标域视频标签生成的准确性;
3、本发明通过使用迁移学习的原理和端到端的神经网络的方法,使用有标签的源域 图像数据指导无标签的目标域分类结果的生成。
附图说明
图1为一种基于特征子空间分离的交叉数据域微表情分类方法的流程图;
图2为深度学习网络模型结构以及三部分损失函数的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详 细描述。
为了解决背景技术中存在的问题,开发更实用的微表情识别方法,研究交叉数据库的 微表情识别问题就很有必要,其中训练和测试样本属于两个不同的微表情数据库。
为了方便起见,本发明实施例将带有标签的数据库称为源域(数据库),并且将测试 数据库作为交叉数据库微表情识别分类的目标域(数据库)。
实施例1
本发明实施例提供了一种基于特征子空间分离的交叉数据域微表情分类方法,参见图 1,该方法包括以下步骤:
步骤101:构建源域和目标域的训练数据和测试数据,将不同数据域按照标签一致性 进行标签重定义,保证两个数据域的标签分类一致;
步骤102:引入公共域对源域和目标域的数据进行处理,源域私有空间和目标域私有 空间分别对源域、目标域数据进行处理,以此为基础建立深度学习网络模型;
步骤103:根据得到的源域预测标签和源域真实标签,利用交叉熵函数进行计算,获 得第一部分的损失函数,根据源域、目标域的数据分别在公共域子空间和该域私有子空间 编码得到的特征向量,进行计算获取差异损失函数,根据源域图像和目标域图像分别在公 共域子空间编码得到的特征向量,进行计算获取第三部分的损失函数;
步骤104:对三部分的损失函数进行加权求和获取最终的目标损失函数,使用SGD(Stochastic Gradient Descent,随机梯度下降)优化器训练网络;
步骤105:将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。
综上所述,本发明实施例通过使损失函数最小化,通过降低源域真实标签和源域预测 标签的交叉熵损失、私有域子空间特征向量和公共域子空间特征向量的相异性损失以及源 域和目标域在公共域子空间编码后特征的相似性损失,使得公共域对源域和目标域数据的 运动信息的特征编码更具相似性和泛化性,进而提高对目标域测试样本的分类准确率。
实施例2
下面结合计算公式、实例对实施例1中的方案进行进一步地介绍,详见下文描述:
201:构建源域和目标域的训练数据和测试数据;
本发明实施例使用了两个公开的微表情数据库,SMIC和CASMEII,均为本领域研究人员所知。使用到SMIC数据库其中两种类型的数据集,即是SMIC(HS),SMIC(VIS),分 别由帧率为100FPS的高速(HS)相机,帧率为25FPS的普通视觉(VIS)相机记录。SMIC(HS) 包含来自16个测试者的164个微表情片段,SMIC(VIS)和SMIC(NIR)包含来自8个测试者 的71个微表情片段。SMIC数据库的微表情被分为积极、消极和惊讶三大类。CASMEII 数据库包含来自26个测试者的246个微表情片段,被分为开心、惊讶、厌恶、压抑和其 他五大类。为了使CASMEII与SMIC数据集保持微表情分类的一致,从CASMEII选取开 心、惊讶、厌恶和抑制四种微表情样本,将开心重标记为积极,厌恶和压抑重标记为消极, 惊讶仍标记为惊讶,进行两种类型的交叉数据域微表情分类实验。
本发明实施例的实验中使用的是微表情图像数据而非视频序列,是考虑到算法的实时 性处理要求以及鲁棒性。图片选择的规则是:对于标签一致的数据集,在各自的数据域里 构建训练集和测试集,具体方式为对于每一个微表情序列,将顶点帧图像划分到测试数据, 序列中的其他图像划分到训练数据,序列内图像数据标签与序列标签保持一致,得到每一 个数据域的训练数据和测试数据,并且两个数据域的数据可以进行交叉组合充当源域数据 或目标域数据。
202:引入公共域对源域和目标域的数据进行处理,源域私有空间和目标域私有空间 分别对源域、目标域数据进行处理,以此为基础建立深度学习网络模型;
其中,特征子空间分离的交叉域微表情分类方法解决的是训练集和测试集不属于同一 数据集的情况,即有可能两部分的数据不满足同一特征分布,因此希望利用带有标签的源 域数据训练得到的分类器对于目标域的数据仍然适用。根据微表情分类使用的显著特征是 面部单元的运动信息,这是不同数据库都包含的公有信息,而面部结构(面部背景)属于不 必要特征且为每个数据库的私有信息,因此为数据域的共享信息和私有信息建模,引入公 共域子空间和私有域子空间,公共域子空间提取不同数据域的公有特征表达,私有域提取 不同数据域的私有特征表达。
通过这种方式,在公共域上训练的分类器可以更好地对目标域数据进行分类,因为其 提取的公有特征不受数据其他特征的影响。利用深度学习的卷积神经网络进行模型的建立, 如图2所示,模型由三条卷积神经网络支路组成,中间支路为共享支路,即公共域子空间, 对源域和目标域数据进行处理;剩下两条支路为私有支路,即私有域子空间,分别对源域 数据和目标域进行处理。每条卷积神经网络支路的结构与VGG16保持一致,包含5组卷 积,每组卷积包含的卷积层的层数分别是2、2、3、3、3,网络还包含两个全连接层和一 层用于分类的Softmax(归一化指数函数)层。每组卷积后面加入了池化操作以及每个卷 积层后面加上了ReLU(Rectified Linear Unit,修正线性单元)操作,提高了网络的非线性 表达能力。
使用代表有标签的源域数据,为源域第i个图像数据,为第i个图 像数据的标签,Ns代表源域的数据数量,Ds表示源域数据;代表没有标签的目标域数据,为目标域第i个图像数据,Nt代表目标域的数据数量, DT为目标域数据。
采用Ec(x;θc)表示公共域特征提取函数,由θc参数化,该函数使图像x映射到隐藏表 示hc,hc表示公共域子空间提取到的共享的特征。Ep(x;θp)是一个类似函数,由θp参数化,该函数使图像x映射到隐藏表示hp,hp表示私有域子空间提取到的每个域的私有特征。最后,G(h;θg)表示特定任务的函数,由θg参数化,该函数使隐藏表示h映射到特定任务的 预测这里的隐藏表示hc,hp是五组卷积之后输出的特征向量。
203:使用分类损失训练网络模型以此实现网络能预测数据的分类标签;
目标域的数据是没有经过标记的数据,分类损失函数仅仅作用在源域数据的训练。本 发明实施例要最小化每个源域样本的预测标签与真实标签之间的负对数似然估计,即多分 类交叉熵损失,表示如下:
差异损失对两个域的数据都进行作用。网络模型的主要目的是满足数据的不同特征子 空间的分离,利用差异性损失来促进公共域子空间和私有域子空间对输入数据的不同方面 的特征进行编码,通过每个数据域的数据在公共域子空间的公共特征和私有域子空间的私 有特征之间的软正交约束来定义差异性损失。每条卷积神经网络支路五组卷积之后的输出 的特征维度为b,c,w,h,其中b表示的是训练过程中batchSize(批大小),c是输出的特征 图的个数,w,h是特征图的尺寸。将特征变换成二维矩阵,大小为b×cwh,即把每个特征 图展开成一维向量,当作二维矩阵的行。
用和分别表示源域数据样本和目标域数据样本在中间共享支路的特征输出,则 用和来表示源域数据和目标域数据在自支路的私有表 示,则Ec(xs)为共享支路对源域数据的特征提取过程,Ec(xt) 为共享支路对目标域数据的特征提取过程,Ep(xs)为源域私有支路对源域数据的特征提取 过程,Ep(xt)为目标域私有支路对目标域数据的特征提取过程。
差异性损失提升了每个数据域的公共表示和私有表示的正交性,旨在提高了三条支路 对输入数据的不同层面特征的提取能力,使用ldifference进行表示,其计算如下:
域对抗的相似度损失用于训练模型来产生分类器无法可靠预测图像来自哪一个域的 特征编码。域分类器的作用是对公共支路提取的特征进行二分类,判断其来自源域还是目 标域。公共域的特征编码与上述符号保持一致,即hc=Ec(x;θc),x为图像。
通过域对抗的相似度损失训练中间支路的模型参数θc,使其对源域图像和目标域图像 的公共特征的编码最大程度保持一致,域分类器无法区分特征编码是来自哪一个域的图像 产生的,则中间支路共享模型对数据域的公共特征有很好的表达。域对抗的相似度损失表 示如下:
通过最小此损失函数,使公共域子空间对源域和目标域图像的公共部分有相似的特征 表达。
204:对网络模型的三种损失函数进行加权求和,作为网络最终的损失函数。通过调 整三类损失的系数大小,使得网络模型达到最优的性能。
ltotal=lclassify+αldifference+βlDANN (4)
其中,α,β是损失函数的权重系数,是一种需要在实验过程中根据实际情况进行调整 的超参数,这里将α设为0.75,β设为0.25。
实施例3
下面结合具体的实验数据对实施例1和2中的方案进行效果评估,详见下文描述:
301:数据组成
为了对本方法的算法性能做基本的评测,本发明实施例使用来自CASMEII的数据作 为源域,即使用该数据域的标签,来自SMIC(HS)的数据作为目标域,不使用该数据域的标签。对源域和目标域的数据进行整理得到每个数据域的训练数据和测试数据,CASMEII的训练数据包含10149张图像数据,测试集为146张单一表情序列的峰值图像数据。 SMIC(HS)的训练数据包含5527张图像数据,测试集为164张单一表情序列的峰值图像数 据。对模型性能进行评估使用的是目标域的测试数据,即SMIC(HS)的164张单一表情序 列的峰值图像数据。
302:评估准则
本发明实施例的分类性能通过模型对目标域的测试数据的预测标签与真实标签之间 的分类准确度(Accuracy)进行衡量。
其中,Ntest是测试数据的总个数,Nture是测试数据中标签预测正确的样本个数。
303:实验对比
实验部分包含两部分,一组是为证明本发明实施例提出的一种基于特征子空间分离的 交叉数据域微表情分类方法的有效性的消融实验,另一组是与其他经典交叉数据域微表情 分类方法的对比。消融实验为仅使用源域数据对公共域支路进行训练,且损失函数只包含 多分类交叉熵,将此实验结果与使用完整框架和三部分损失函数的实验进行对比。
实验中将本发明与两种方法进行比较,分别是:
1)TRSG(学习用于跨数据库微表情识别的目标样本重新生成器,Target SampleRe-Generator);2)DRFS-T(保持目标域特征空间不变的跨数据库微表情识别,DomainRegeneration in the original Feature Space with unchanged Target domain)。
表1是相应的消融实验结果,其中Source_only表示使用源域CASMII数据直接训练的模型对SMIC(HS)的测试数据进行分类处理,feature_Sepreation表示利用本发明的方法训 练出来的模型对SMIC(HS)的测试数据进行分类处理。从表1可以看出特征子空间分离的方法提高了模型的泛化能力,证明了本方法的有效性。
表2显示了不同算法在以CASMEII为源域,SMIC(HS)为目标域的测试结果。本发明提出的方法对于交叉域微表情识别更加有效。
表1
表2
本发明实施例对各器件的型号除做特殊说明的以外,其他器件的型号不做限制,只要 能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号 仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则 之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于特征子空间分离的交叉数据域微表情分类方法,其特征在于,所述方法包括:
构建源域和目标域的训练数据和测试数据,将不同数据域按照标签一致性进行标签重定义,用于两个数据域的标签分类一致;
引入公共域对源域和目标域的数据进行处理,源域私有空间和目标域私有空间分别对源域、目标域数据进行处理,,用于建立深度学习网络模型;
根据得到的源域预测标签和源域真实标签,利用交叉熵函数进行计算,获得多分类交叉熵损失函数,根据源域、目标域输入数据分别在公共域子空间和该域私有子空间编码得到的特征向量,进行计算获取差异损失函数,根据源域图像和目标域图像分别在公共域子空间编码得到的特征向量,进行计算获取域对抗的相似度损失函数;
对三部分的损失函数进行加权求和获取最终的目标损失函数,使用随机梯度下降优化器训练网络;
将目标域的测试集图像输入到加载训练模型参数后的网络中输出分类结果。
2.根据权利要求1所述的一种基于特征子空间分离的交叉数据域微表情分类方法,其特征在于,所述将不同数据域按照标签一致性进行标签重定义,用于两个数据域的标签分类一致具体为:
对每一个微表情序列,将顶点帧图像划分到测试数据,其他图像划分到训练数据,序列内图像数据标签与序列标签保持一致,得到每一个数据域的训练数据和测试数据,两个数据域的数据进行交叉组合充当源域数据或目标域数据。
3.根据权利要求1所述的一种基于特征子空间分离的交叉数据域微表情分类方法,其特征在于,所述引入公共域对源域和目标域的数据进行处理,源域私有空间和目标域私有空间分别对源域、目标域数据进行处理,用于建立深度学习网络模型具体为:
模型由三条卷积神经网络支路组成,中间为公共域子空间,对源域和目标域数据进行处理;剩下两条支路为私有域子空间,分别对源域数据和目标域进行处理;
每条卷积神经网络支路的结构与VGG16保持一致,包含5组卷积,每组卷积包含的卷积层的层数分别是2、2、3、3、3,中间网络支路还包含两个全连接层和一层用于分类的归一化指数函数层;每组卷积后面加入了池化操作以及每个卷积层后面加上了修正线性单元操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011044468.2A CN112270208B (zh) | 2020-09-28 | 2020-09-28 | 一种基于特征子空间分离的交叉数据域微表情分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011044468.2A CN112270208B (zh) | 2020-09-28 | 2020-09-28 | 一种基于特征子空间分离的交叉数据域微表情分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112270208A true CN112270208A (zh) | 2021-01-26 |
CN112270208B CN112270208B (zh) | 2023-07-07 |
Family
ID=74349767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011044468.2A Active CN112270208B (zh) | 2020-09-28 | 2020-09-28 | 一种基于特征子空间分离的交叉数据域微表情分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112270208B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065633A (zh) * | 2021-02-26 | 2021-07-02 | 华为技术有限公司 | 一种模型训练方法及其相关联设备 |
CN113807231A (zh) * | 2021-09-14 | 2021-12-17 | 西安电子科技大学 | 基于unet下采样卷积神经网络的x光违禁物检测方法 |
CN114020879A (zh) * | 2022-01-04 | 2022-02-08 | 深圳佑驾创新科技有限公司 | 多源跨领域的文本情感分类网络的训练方法 |
CN114612961A (zh) * | 2022-02-15 | 2022-06-10 | 哈尔滨工业大学(深圳) | 一种多源跨域表情识别方法、装置及存储介质 |
CN115049913A (zh) * | 2022-03-31 | 2022-09-13 | 中国科学院计算技术研究所 | 一种训练场景图像分类模型的方法及场景图像分类方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109643383A (zh) * | 2016-07-28 | 2019-04-16 | 谷歌有限责任公司 | 域分离神经网络 |
US20190147854A1 (en) * | 2017-11-16 | 2019-05-16 | Microsoft Technology Licensing, Llc | Speech Recognition Source to Target Domain Adaptation |
CN110210381A (zh) * | 2019-05-30 | 2019-09-06 | 盐城工学院 | 一种域分离自适应一维卷积神经网络智能故障诊断方法 |
CN110399856A (zh) * | 2019-07-31 | 2019-11-01 | 上海商汤临港智能科技有限公司 | 特征提取网络训练方法、图像处理方法、装置及其设备 |
CN110531861A (zh) * | 2019-09-06 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 运动想象脑电信号的处理方法和装置及存储介质 |
US20200134425A1 (en) * | 2018-10-31 | 2020-04-30 | Sony Interactive Entertainment Inc. | Systems and methods for domain adaptation in neural networks using cross-domain batch normalization |
CN111444765A (zh) * | 2020-02-24 | 2020-07-24 | 北京市商汤科技开发有限公司 | 图像重识别方法及相关模型的训练方法及相关装置、设备 |
CN111709315A (zh) * | 2020-05-27 | 2020-09-25 | 西安交通大学 | 一种基于领域适配的水声目标辐射噪声识别方法 |
-
2020
- 2020-09-28 CN CN202011044468.2A patent/CN112270208B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109643383A (zh) * | 2016-07-28 | 2019-04-16 | 谷歌有限责任公司 | 域分离神经网络 |
US20190147854A1 (en) * | 2017-11-16 | 2019-05-16 | Microsoft Technology Licensing, Llc | Speech Recognition Source to Target Domain Adaptation |
US20200134425A1 (en) * | 2018-10-31 | 2020-04-30 | Sony Interactive Entertainment Inc. | Systems and methods for domain adaptation in neural networks using cross-domain batch normalization |
CN110210381A (zh) * | 2019-05-30 | 2019-09-06 | 盐城工学院 | 一种域分离自适应一维卷积神经网络智能故障诊断方法 |
CN110399856A (zh) * | 2019-07-31 | 2019-11-01 | 上海商汤临港智能科技有限公司 | 特征提取网络训练方法、图像处理方法、装置及其设备 |
CN110531861A (zh) * | 2019-09-06 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 运动想象脑电信号的处理方法和装置及存储介质 |
CN111444765A (zh) * | 2020-02-24 | 2020-07-24 | 北京市商汤科技开发有限公司 | 图像重识别方法及相关模型的训练方法及相关装置、设备 |
CN111709315A (zh) * | 2020-05-27 | 2020-09-25 | 西安交通大学 | 一种基于领域适配的水声目标辐射噪声识别方法 |
Non-Patent Citations (2)
Title |
---|
KONSTANTINOS BOUSMALIS等: ""Domain Separation Networks"", 《ARXIV》 * |
赵文仓等: "基于鉴别模型和对抗损失的无监督域自适应方法", 《高技术通讯》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113065633A (zh) * | 2021-02-26 | 2021-07-02 | 华为技术有限公司 | 一种模型训练方法及其相关联设备 |
CN113807231A (zh) * | 2021-09-14 | 2021-12-17 | 西安电子科技大学 | 基于unet下采样卷积神经网络的x光违禁物检测方法 |
CN113807231B (zh) * | 2021-09-14 | 2024-02-13 | 西安电子科技大学 | 基于unet下采样卷积神经网络的x光违禁物检测方法 |
CN114020879A (zh) * | 2022-01-04 | 2022-02-08 | 深圳佑驾创新科技有限公司 | 多源跨领域的文本情感分类网络的训练方法 |
CN114612961A (zh) * | 2022-02-15 | 2022-06-10 | 哈尔滨工业大学(深圳) | 一种多源跨域表情识别方法、装置及存储介质 |
CN114612961B (zh) * | 2022-02-15 | 2023-04-07 | 哈尔滨工业大学(深圳) | 一种多源跨域表情识别方法、装置及存储介质 |
CN115049913A (zh) * | 2022-03-31 | 2022-09-13 | 中国科学院计算技术研究所 | 一种训练场景图像分类模型的方法及场景图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112270208B (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112270208B (zh) | 一种基于特征子空间分离的交叉数据域微表情分类方法 | |
WO2021042828A1 (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
CN109754015B (zh) | 用于画作多标签识别的神经网络及相关方法、介质和设备 | |
CN111652066B (zh) | 基于多自注意力机制深度学习的医疗行为识别方法 | |
CN110717431A (zh) | 一种结合多视角注意力机制的细粒度视觉问答方法 | |
CN102156871B (zh) | 基于类别相关的码本和分类器投票策略的图像分类方法 | |
CN109948692B (zh) | 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法 | |
CN111414461A (zh) | 一种融合知识库与用户建模的智能问答方法及*** | |
Pu et al. | Estimation of crowd density in surveillance scenes based on deep convolutional neural network | |
CN112052906B (zh) | 一种基于指针网络的图像描述优化方法 | |
CN110888980A (zh) | 基于知识增强的注意力神经网络的隐式篇章关系识别方法 | |
CN116311483B (zh) | 基于局部面部区域重构和记忆对比学习的微表情识别方法 | |
Tereikovskyi et al. | The method of semantic image segmentation using neural networks | |
CN115563327A (zh) | 基于Transformer网络选择性蒸馏的零样本跨模态检索方法 | |
CN111126464A (zh) | 一种基于无监督域对抗领域适应的图像分类方法 | |
Ruan et al. | Exploring semantic representation in brain activity using word embeddings | |
Khayyat et al. | A deep learning based prediction of arabic manuscripts handwriting style. | |
CN115659947A (zh) | 基于机器阅读理解及文本摘要的多项选择答题方法及*** | |
CN111968124A (zh) | 基于半监督语义分割的肩部肌骨超声结构分割方法 | |
CN113011196A (zh) | 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型 | |
CN113963421B (zh) | 基于混合特征增强网络的动态序列非约束表情识别方法 | |
Prasad Dhore et al. | Resourceful Investigation of Malnutrition with Machine Learning Using CNN Procedure | |
CN115690833A (zh) | 一种基于深度主动学习和模型压缩的行人重识别方法 | |
Li et al. | Supervised classification of plant image based on attention mechanism | |
Asiedu et al. | Recognition of facial expressions using principal component analysis and singular value decomposition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information |
Inventor after: Liu Jing Inventor after: Su Yuting Inventor after: Wang Mengmeng Inventor before: Su Yuting Inventor before: Wang Mengmeng Inventor before: Liu Jing |
|
CB03 | Change of inventor or designer information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |