CN109508625A - 一种情感数据的分析方法及装置 - Google Patents
一种情感数据的分析方法及装置 Download PDFInfo
- Publication number
- CN109508625A CN109508625A CN201811046253.7A CN201811046253A CN109508625A CN 109508625 A CN109508625 A CN 109508625A CN 201811046253 A CN201811046253 A CN 201811046253A CN 109508625 A CN109508625 A CN 109508625A
- Authority
- CN
- China
- Prior art keywords
- data
- skeleton
- classifier
- characteristic
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002996 emotional effect Effects 0.000 title claims abstract description 22
- 238000007405 data analysis Methods 0.000 title abstract description 3
- 230000007613 environmental effect Effects 0.000 claims abstract description 100
- 230000001815 facial effect Effects 0.000 claims abstract description 87
- 230000008451 emotion Effects 0.000 claims abstract description 61
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 60
- 230000015654 memory Effects 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 20
- 210000000988 bone and bone Anatomy 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 241001269238 Data Species 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000002844 melting Methods 0.000 claims description 2
- 230000008018 melting Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 28
- 239000011159 matrix material Substances 0.000 description 19
- 238000004590 computer program Methods 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010219 correlation analysis Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 description 9
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 description 9
- 210000000299 nuclear matrix Anatomy 0.000 description 9
- 230000001360 synchronised effect Effects 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008909 emotion recognition Effects 0.000 description 4
- 238000011112 process operation Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007873 sieving Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种情感数据的分析方法，所述方法包括：对合影图像的样本数据进行特征提取，得到样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据；将面部特征数据、环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据；利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，根据识别结果确定所述目标数据对应的情感属性。本发明还提供一种情感数据的装置。
Description
技术领域
本发明涉及数据分析技术，尤其涉及一种情感数据的分析方法及装置。
背景技术
现有技术只能对包含单个人物的图片进行情感识别，而无法对包含有多个人物的合影图片进行情感识别。
发明内容
为解决上述技术问题，本发明实施例提供了一种情感数据的分析方法及装置。
本发明实施例的技术方案是这样实现的：
根据本发明实施例的一方面，提供一种情感数据的分析方法，所述方法包括：
对合影图像的样本数据进行特征提取，得到所述样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据；
将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据；
基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器；基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器；基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器；基于所述融合特征数据对融合分类器进行训练，得到训练后的融合分类器；
利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，根据识别结果确定所述目标数据对应的情感属性。
上述方案中，将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据，包括：
利用非线性映射函数将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据映射到同一个高维空间中，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的新的特征数据；
将所述新的特征数据作为所述融合特征数据。
上述方案中，所述方法还包括：
基于所述面部特征数据，对所述样本数据进行情感分类；
对分类结果中每个情感类别对应的样本数据进行情感标签标记。
上述方案中，所述方法还包括：
基于所述环境特征数据，对所述样本数据进行环境分类；
对分类结果中每个环境类别对应的样本数据进行环境标签标记。
上述方案中，所述方法还包括：
计算识别结果中表征所述情感标签的情感属性值的情感属性概率之和；或计算识别结果中表征所述环境标签的环境属性值的环境属性概率之和；
确定所述情感属性概率之和中的最大情感属性概率对应的情感属性值；将所述情感属性值对应的情感标签，确定为所述目标数据对应的情感属性；
或者，确定所述环境属性概率之和中的最大环境属性概率对应的环境属性值；将所述环境属性值对应的环境标签，确定为所述目标数据对应的情感属性。
上述方案中，基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器，包括：
基于所述面部特征数据，确定所述样本数据中每个合影图像对应的面部区域；利用所述面部区域对应的样本数据集，对所述面部分类器进行网络微调，得到微调后的面部分类器。
上述方案中，基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器，包括：
基于所述环境特征数据，确定所述样本数据中每个合影图像对应的环境区域；利用所述环境区域对应的样本数据集，对所述环境分类器进行网络微调，得到微调后的环境分类器。
上述方案中，基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器，包括：
基于所述人体骨骼特征数据，确定所述样本数据中每个合影图像对应的人体骨骼关键点；利用所述人体骨骼关键点对应的样本数据集，对所述人体骨骼分类器进行网络微调，得到微调后的人体骨骼分类器。
根据本发明实施例中的另一方面，提供一种情感数据的分析装置，所述装置包括：
提取单元，用于对合影图像的样本数据进行特征提取，得到所述样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据；
融合单元，用于将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据；
训练单元，用于基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器；基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器；基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器；基于所述融合特征数据对融合分类器进行训练，得到训练后的融合分类器；
识别单元，用于利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，根据识别结果确定所述目标数据对应的情感属性。
根据本发明实施例中的第三方面，提供一种情感数据的分析装置，所述装置包括：存储器、处理器以及存储在存储器被处理器运动的可执行程序，其特征在于，所述处理器运行所述可执行程序时执行上述情感数据的分析方法中任一项所述的情感数据的分析方法的步骤。
本发明实施例的技术方案中，提供一种情感数据的分析方法及装置，通过提取样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据，对合影图像中的人群进行情感强度分析，且通过面部特征数据和环境特征数据进行特重融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据，能够获得合影图像中多个人物的整体情感强度。从而提高了对于合影图像的情感识别度。
附图说明
图1为本发明实施例中情感数据的分析方法的流程示意图；
图2为级联卷积神经网络流程示意图；
图3为微调的基本流程示意图；
图4为基于微调方法对VGG-FACE模型进行微调的面部表情识别原理示意图；
图5为VGG-FACE模型的网络结构示意图；
图6为神经网络中卷积过程操作示意图；
图7为最大值池化过程操作示意图；
图8为Inception模块的结构示意图；
图9为本发明实施例中情感数据的分析装置结构组成示意图一；
图10为情感数据的分析装置的结构组成示意图二。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
图1为本发明实施例中情感数据的分析方法的流程示意图；如图1所示，所述方法包括：
步骤101，对合影图像的样本数据进行特征提取，得到所述样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据；
这里，合影图像具体可以是包含有至少两个人物头像的图像。
具体地，该方法主要应用于具有图像处理功能的图像处理终端，该图像处理终端可以是手机、电脑、监控设备等。
首先，图像处理终端在对合影图像的样本数据进行特征提取之前，需要先通过网络爬虫，从网络中获取大量的且包含有至少两个人物头像的合影图像，所获取到的合影图像的数量可以大于10万张。
然后，图像处理终端再对获取到的大量的合影图像进行图像筛选。具体地，图像处理终端可以将合影图像中的无效图像删除，仅保留有效的合影图像，然后将有效的合影图像作为合影图像的样本数据进行保存，以便后续对图像模型进行训练。
这里，无效图像可以是指没有人脸或人脸不清楚的图像。
本申请中，当图像处理终端获取到有效的合影图像后，对合影图像的样本数据进行特征提取，以得到该样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据。
具体地，图像处理终端在对合影图像的样本数据进行面部特征提取时，可以通过人脸识别技术对样本数据对应的合影图像进行人脸检测，根据检测结果确定出人脸位置。然后，基于人脸位置截取合影图像中的人脸图片，将截取的人脸图片代入到人脸识别模型中，即可得到该合影图像中的面部特征数据。
这里，图像处理终端具体可以采用级联的卷积神经网络(MTCNN算法)对合影图像进行人脸五官特征点检测，然后利用检测出的人脸五官特征点标定出合影图像中的人脸位置。
具体地，MTCNN是一种级联的卷积神经网络框架，MTCNN通过多任务学习的方式将人脸检测和人脸五官特征点定位两个任务集成在一起。MTCNN网络结构主要包含三个阶段，每个阶段都由一个卷积神经网络(CNN)构成。
首先，在MTCNN网络结构的第一阶段，通过一个浅层的卷积神经网络(ProposalNetwork，P-Net)结构在合影图像中获得人脸区域的候选窗口和边界框的回归向量，并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制(NMS)来合并高度重叠的候选框，以快速生成大量候选窗口；
其次，在MTCNN网络结构的第二阶段，通过一个相对P-Net较复杂的卷积神经网络(Refine Network，R-Net)结构来排除非人脸窗口来优化候选窗口；
最后，在MTCNN网络结构的第三阶段，通过一个更加复杂的卷积神经网络(OutputNetwork，O-Net)结构再次优化输出窗口，同时输出五个人脸特征点的坐标。这里，五个人脸特征点包括：鼻子特征点、左、右嘴角特征点和左右眼特征点。具体如图2所示。
图2为级联卷积神经网络流程图，如图2所示：
首先，将输入的合影图像缩放到不同尺寸，形成图像金字塔，并将形成的图像金字塔作为输入图像。
然后，在第一阶段(Proposal Network(P-Net))，使用P-Net全卷积网络在输入图像中获得人脸区域的候选窗口和边界框的回归向量，并使用边界框回归(Bounding boxregression)的方法来校正候选窗，然后再使用非极大值抑制(NMS)合并高度重叠的候选框。
在第二阶段(Refine Network(R-Net))，使用R-Net改善候选窗。将通过P-Net的候选窗输入到R-Net中，拒绝掉大部分false(非人脸)的窗口，继续使用边框回归的方法和非极大值抑制的方法合并重叠的候选框。
在第三阶段(Output Network(O-Net))，使用O-Net输出最终的人脸框和特征点位置。
其中，第三阶段和第二阶段步类似，其不同的是在第三阶段生成了人脸的5个特征点位置。
本申请中，在图像处理终端识别出合影图像中的人脸图像后，还可以对识别出的人脸图像进行筛选。具体地，可以将尺寸合适、图像清晰、正面的人脸图片提取出来，舍弃尺寸过小、图像模糊不清的人脸，以提高训练模型的质量。
这里，图像处理终端在合影图像中提取出的人脸图像可以是包含有人脸的矩形图片，每个合影图像中至少存在有两个包含有人脸的矩形图片。当该矩形图片的短边小于24像素时，可以将该图片直接舍弃，而保存矩形图片中尺寸最大的人脸图片。
本申请中，图像处理终端在获取到合影图像中的人脸图片后，还可以利用截取的人脸图片对预设的VGG-FACE模型进行微调，具体采用微调方法对VGG-FACE模型进行微调。
本申请中，图像处理终端将获取到的人脸图片代入到微调后的VGG-FACE模型，即可得到人脸情感特征，其中，微调后的VGG-FACE模型可以识别人脸图片中人脸表现出的情感以及情感强度。换言之，该人脸情感特征中既携带有人脸表现出的情感，例如：“喜悦”、“愤怒”、“悲伤”等，也携带有相应情感的强度等级，例如：“欢喜”、“大喜”、“狂喜”等。具体微调的基本示意图如图3所示。
图3为神经网络微调原理示意图，如图3所示，利用反射传播算法调整各个层的参数。这里，微调的对象可以是所有的网络层，也可以是指定层。具体，网络层包括：卷积层、池化层和inception层。
具体地，在用于微调的数据集不是充分多的情况下，通常只是对网络中层数较高的参数进行微调，原因在于防止过拟合，并且随着卷积深度的提高，提取的特征会存在较大的差异。一般认为，对于图像数据来说，较低层次的卷积神经网络特征具有通用性，可以将其看作边缘检测器或者色块检测器。而随着层数的提升，特征会包含更多当前数据集的细节信息。
本申请中，主要选择对以大量人脸数据(含2.6M张面部图像，涵盖了约2.6K个不同的人物)作为训练主体的VGG-FACE模型进行微调。VGG-FACE模型是一种深度非常大，但是结构相对简单而且有效的卷积神经网络，主要用于面部图像的训练。具体基于微调方法对VGG-FACE模型进行微调的面部表情识别原理如图4所示。
图4中，该网络共包含11个运算模块，每个运算模块均由一个线性处理器和一到多个非线性处理器构成(主要为RELU非线性单元以及最大池化滤波器)。其中前八个运算模块被称为卷积模块，其线性处理器为一组线性滤波器组，主要完成线性卷积的操作；后三个运算模块被称为全连接模块，其线性处理器也是一组线性滤波器组，区别在于各个滤波器卷积核的大小和输入数据保持一致，即每个滤波器直接对整张输入图像进行处理。
图5为VGG-FACE模型的网络结构示意图；图5中给出了每个卷积层的滤波器大小，滤波器个数，卷积步长以及卷积时向外填充的大小。
在利用微调方法对VGG-FACE模型进行微调时，首先对待训练合影图像的大小进行调整，使待训练合影图像的大小变为224×224(像素)，然后从训练合影图像中取出80％的图像作为样本训练集，从训练合影图像中取出20％的图像作为样本测试集。通过将从合影图像中获取的人脸图片输入到VGG-FACE模型中，以得到该合影图像中的人脸情感特征。
图5中conv为卷积层，卷积层是通过对合影图像进行卷积操作来提取图像特征。在卷积神经网络中，每个卷积层通常会包含多个可训练的卷积模板(即卷积核)，不同的卷积模板对应不同的图像特征。卷积核和输入图像进行卷积操作之后，经过非线性激活函数(如sigmoid函数、RELU函数、ELU函数等)处理，便可以映射得到对应的特征图(Feature Map)。其中，卷积核的参数通常是采用特定的学习算法(如：随机梯度下降算法)计算得出的。卷积指的是用卷积模板中的参数与图像对应位置的像素值进行加权求和的操作。一个典型的卷积过程可以如图6所示。
图6为神经网络中卷积过程操作示意图；图6中，用2×2的卷积核卷积一个4×4的矩阵，得到一个3×3的卷积结果，具体是通过滑动模板窗口，对输入图像中的所有位置进行卷积操作，之后便可以得到对应的特征图。
与传统的神经网络相比，卷积神经网络的突出优势在于，它放弃了传统神经网络中相邻层之间的“全连接”设计，采用局部连接和权值共享的方式，大大缩减了需要训练的模型参数个数，减少了计算量。
局部连接指的是在卷积神经网络中，每个神经元只与输入图像中的一个局部区域相连接，而不是与输入图像中的所有神经元全连接。权值共享指的是在输入图像的不同区域，共享连接参数(即卷积核参数)。另外，卷积神经网络局部连接和权值共享的设计方式，使得网络提取出的特征具有高度的稳定性，对平移、缩放以及变形等不敏感。
图5中pool为池化层，池化层通常和卷积层成对出现，在卷积层之后，池化层用来对输入特征图进行降采样操作。通常输入图像经过卷积操作后，会得到的大量特征图，特征维度过高会导致网络计算量剧增。因此，池化层通过降低特征图的维度，大大减少了模型的参数个数。
图5中RELU是修正线性单元(Rectified Linear Unit)函数，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。RELU函数形式如下：
θ(x)＝max(0,x)(1)；
对于进入神经元的来自上一层神经网络的输入向量x，使用线性整流激活函数的神经元会输出max(0,x)，至下一层神经元或作为整个神经网络的输出。
这样，一方面减少了网络运行的计算量，另一方面也降低了网络过拟合的风险。池化层得到的特征图与卷积层的特征图是一一对应的，因此池化操作只是降低了特征图维度，其个数并没有变化。
目前卷积神经网络中常用的池化方法有：最大值池化(Max Pooling)、均值池化(Mean Pooling)和随机池化(Stochastic Pooling)。对于一个采样子区域来说，最大值池化指的是选取其中像素值最大的点作为该区域的输出结果；均值池化指的是计算其中所有像素点的均值，用该均值作为采样区域的输出；随机池化指的是从采样区域中随机选取一个像素值作为结果输出，通常像素值越大，被选择的几率就越高。最大值池化过程如图7所示。
图7为神经网络中最大值池化过程操作示意图；图7中，包括一个4×4的一个图像特征区域，分别是区域1、区域2、区域3和区域4，其中，区域1中包括4个像素值(1，1，5，6)；区域2中包括4个像素值(2，4，7，8)；区域3中包括4个像素值(3，2，1，2)；区域4中包括4个像素值(1，0，3，4)；通过选取每个特征区域中像素值最大的点作为该区域的输出结果，即区域1为“6”、区域2为“8”、区域3为“3”、区域4为“4”。
本申请中，图像处理终端在得到合影图像的样本数据中的面部特征数据后，还可以基于该面部特征数据，对该样本数据进行情感分类；并对分类结果中每个情感类别对应的样本数据进行情感标签标记。
例如，采用现有的面部识别方式，例如，采用MTCNN算法对合影图像进行情感分类，以将获取到的大量合影图像划分为“正面情感”样本、“平静”样本、“负面情感”样本三种样本集，当然，还可以采用半自动或人工的方式对合影图像进行情感划分。
在得到针对样本数据的情感分类结果后，可以对分类结果中每个情感类别对应的样本数据进行情感标签标记。例如，将合影图像中的人物表现有高兴、惊讶等正面情感的图片标记为“正面情感”样本；将合影图像中的人物无特殊表情的图片标记为“平静”样本；将合影图像中的人物表现有悲伤、愤怒、恐惧等负面情感的图片标记为“负面情感”样本。
本申请中，图像处理终端在对合影图像的样本数据进行环境特征提取时，首先，可以先对合影图像的大小进行调整，使该合影图像的大小变为224×224，然后，从训练合影图像中取出80％的图像作为样本训练集，从训练合影图像中取出20％的图像作为样本测试集。随后将从合影图像中获取的人脸图片输入到深度学***局池化层输出的特征即为环境特征。其中，GoogLeNet网络的结构具体如表1所示：
表1
具地，表1中的Inception模块的具体结构如图8所示。
图8为Inception模块的结构示意图，如图8中，通过将3×3卷积和1×1卷积堆叠在一起，一方面增加了网络的亮度，另一方面增加了网络对尺度的适应性。
表1中，Dropout层指的是在网络的训练过程中，随机忽略一部分的神经元，让其不工作，该方法一方面可以加速运算，另一方面降低了模型过拟合的风险。P＝0.5即随机忽略50％的神经元。
VGG-16网络模块具体结构如表2所示：
表2
本申请中，图像处理终端在得到合影图像的样本数据中的环境特征数据后，还可以基于所述环境特征数据，对所述样本数据进行环境分类；并对分类结果中每个环境类别对应的样本数据进行环境标签标记。
例如，可以按照环境氛围划分为9个等级，例如：对于“婚礼”、“宴会”等相关环境，可以标记为“大喜”的氛围，对于“公园”、“花草”等怡人的环境，可以标记为“愉快”的氛围。具体的，标记氛围的等级可以通过数字表示，例如：用数字标签“-4”-“+4”(或0-8等其他标签)共9个数字表现环境氛围，“4”表现“狂喜”、“3”表现“大喜”、“2”表现“欢喜”、“1”表现“愉快”、“0”表现“平静”、“-1”表现“难过”、“-2”表现“悲伤”、“-3”表现“悲痛”、“-4”表现“悲哀”。上述氛围等级可以通过打标签的方式标记在图片上，以便随后通过搜索快速获取。
本申请中，图像处理终端在对合影图像的样本数据进行人体骨骼特征提取时，具体可以使用训练代码OpenPose对样本数据对应的合影图像进行人体骨骼的关键点提取，其中，一共可以提取将近130个人体骨骼的关键点，包括：人脸+动作+手，然后，使用提取到的人体骨骼图像对预训练后的GoogLeNet和ResNet50模型分别进行微调。
本申请中，提取后的人体骨骼图像与原始合影图像的大小相同，且只包含人体骨骼特征。
步骤102，将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据；
本申请中，具体可以利用非线性映射函数将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据映射到同一个高维空间中，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的新的特征数据；然后，将所述新的特征数据作为所述融合特征数据。
具体地，图像处理终端可以使用神经网络中，softmax层函数之前全连接层函数输出的4096个维度特征进行融合。
具体的融合方法可以选用：核典型关联分析(KCCA，Kernel CanonicalCorrelation Analysis)、核矩阵融合(KMF，Kernel matrix fusion)、核交叉因子(KCFA，Kernel cross factor analysis)等。这样，通过同一种模型得到除上述面部特征数据、上述环境特征数据和/或人体骨骼特征数据之外的融合特征，可以提升对合影图像中人脸图片的识别准确性。
这里，(1)基于KCCA算法的特征融合实现如下：
假设样本X＝(x1，x2，…，xn)T∈Rn×p和样本Y＝(y1，y2，…，yn)T∈Rn×q是两个均值为零的特征矩阵，其中矩阵的每一行xi和yi均表示一个特征向量，行数n表示该特征矩阵表征的数据集的大小，p，q分别表示两种特征的维度。将特征矩阵中同一行的特征向量组成特征对{(x1,y1),(x2,y2),…,(xn,yn)}，每一个特征对均来自于两个不同的模态，典型相关分析的目的在于寻找映射矩阵α＝(α1,α2,…,αd)和β＝(β1,β2,…,βd)，d≤min(p,q)，使得下式成立：
其中，Cxx＝XTX，Cyy＝YTY，Cxy＝XTY，分别表示两个特征矩阵的自协方差矩阵和两者的协方差矩阵。上述最优化问题可以转换为求矩阵特征值问题的求解：
典型相关分析是基于线性空间进行分析的，无法获得不同模态特征之间的非线性的关系，因而在典型相关分析的基础上引入核方法，提出核典型相关分析(KCCA)方法，为原始的典型相关分析算法添加非线性的性质。KCCA算法的基本思想和非线性支持向量机类似，均是将原始的特征矩阵X和Y映射到高维空间，即核空间X′和Y′，在核空间进行相关性的分析。
核典型相关分析的优化函数为：
其中Kx和Ky均为核矩阵，满足，Kx＝X′TX′，Ky＝Y′TY′。和CCA类似，上述优化函数的求解也可以转换为求特征值的问题，由于特征值求解过程中涉及到矩阵的逆，而核矩阵无法保证可逆性，为了解决该问题，对式(5)进行正则化处理：
其中0≤t≤1，为正则化系数。
(2)基于KMF的特征融合实现如下：
核矩阵融合的思想在为两种不同的模态寻找一个公共的子空间，该子空间能够最大的程度地表征两个模态的特征。假设X＝(x1，x2，...，xn)T和Y＝(y1，y2，...，yn)T分别对应样本数据从两个模态中提取的特征，Kx和Ky分别对应两个模态的核矩阵，满足其中表示核函，核矩阵融合将上述两个核矩阵通过代数运算组合起来，可以选择将核矩阵中对应位的两个元素的加权和或者是乘积作为组合后的核矩阵元素。本文中选择前一种融合方法，融合后的矩阵可以表示为：
Kf＝aKx+bKy (7)
其中，a+b＝1。获得融合后的矩阵后，可以借助传统的核方法对其进行降维处理，以获得压缩后的特征值。
(3)基于KCFA的特征融合实现如下：
对典型相关分析(CCA，Canonical Correlation Analysis)算法中投影矩阵的求解可以转换为求解特征矩阵的问题，但是这也相应地要求协方差矩阵可逆，该要求在一定程度上限制了典型相关分析的应用。交叉模型因子分析对典型相关分析进行了改进，其目标是在投影空间找到使Frobenius范数最小的映射矩阵。假设两个模态的特征矩阵分别为X∈Rn×p，Y∈Rn×q，对应的线性变换矩阵分别为U＝(u1，u2，...，ud),V＝(v1，v2，...，vd)，满足d≤min(p，q)，则交叉模型因子的优化函数为：
其中表示输入矩阵的Frobenius范数，I表示单位矩阵。由Frobenius范数的性质可知：tr(·)表示矩阵的迹。由于X和Y作为特征矩阵，是确定的，因而tr(XXT)和tr(YYT)为常量，则式(8)可以化简为：
minU,V(XUVTYT) s.t. UTU＝I,VTV＝1 (9)
上述问题的求解可以转换为奇异值分解的问题，令XTY＝SxyΛxyDxy，则对应的转移矩阵分别为U＝Sxy，V＝Dxy。
基本的交叉模型因子分析只能学习两种模态的线性特征，同样可以借助核方法将其拓展为核交叉模型因子分析(KCFA)。假设X′和Y′分别为X和Y非线性映射到高维空间后的特征矩阵，Kx，Ky为对应的核矩阵。和交叉模型因子分析类似，交叉模型因子分析也可以转换为求解X′TY′的奇异值分解问题。
步骤103，基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器；基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器；基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器；基于所述融合特征数据对融合分类器进行训练，得到训练后的融合分类器。
本申请中，分类器的类型可以是支持向量机(SVM，Support Vector Machine)、k最邻近分类算法KNN、全连接网络等类型的一种或多种，每个特征所对应的分类器的类型可以相同也可以不同。
具体地，图像处理终端基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器时，可以基于所述面部特征数据，确定所述样本数据中每个合影图像对应的面部区域；利用所述面部区域对应的样本数据集，对所述面部分类器进行网络微调，得到微调后的面部分类器。
图像处理终端基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器时，具体可以基于所述环境特征数据，确定所述样本数据中每个合影图像对应的环境区域；利用所述环境区域对应的样本数据集，对所述环境分类器进行网络微调，得到微调后的环境分类器。
图像处理终端基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器时，具体可以基于所述人体骨骼特征数据，确定所述样本数据中每个合影图像对应的人体骨骼关键点；利用所述人体骨骼关键点对应的样本数据集，对所述人体骨骼分类器进行网络微调，得到微调后的人体骨骼分类器。
步骤104，利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，根据识别结果确定所述目标数据对应的情感属性。
本申请中，当图像处理终端利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别时，还可以计算识别结果中表征所述情感标签的情感属性值的情感属性概率之和；或计算识别结果中表征所述环境标签的环境属性值的环境属性概率之和；然后，根据所述情感属性概率之和中的最大情感属性概率对应的情感属性值对应的情感标签，确定为所述目标数据对应的情感属性；或者，根据所述环境属性概率之和中的最大环境属性概率对应的环境属性值对应的环境标签，确定为所述目标数据对应的情感属性。
具体地，图像处理终端获取到训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器后，可以通过每个分类器利用权重分配算法，计算出与每个分类器对应的预测结果。
例如，对于合影图像的环境图像。将该环境图像输入到GoogLeNent网络和VGG-16网络中，进行预测计算，得到环境图像的预测结果；
对于合影图像中的人脸图像，将该人脸图像输入到Goog-FACE网络中，进行预测计算，得到人脸图像的预测结果；
对于合影图像中的第一人体骨骼图像(脸+身体)，将该第一人体骨骼图像输入到GoogLeNent网络中，进行预测计算，得到第一人体骨骼图像的预测结果；
对于合影图像中的第二人体骨骼图像(脸+身体+手)，将该第二人体骨骼图像输入到GoogLeNent网络中，进行预测计算，得到第二人体骨骼图像的预测结果；
本申请中，还可以将环境图像和人脸图像中的特征进行融合，得到除了该环境图像和该人脸图像以外的融合图像的预测结果。
这里，在融合图像中也可以包含有新的环境图像和人脸图像，只要不包含已经提取出的环境图像和人脸图像即可。
本申请中，将得到各分类器对应的图像预测结果之后，可以利用决策层信息融合的方法对步骤103中获得的多种分类器(训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器)的预测结果进行融合。
具体地，图像处理终端可以根据等级划分算法，从合影图像中筛选出每个人物的情感特征，这里，将合影图像中每个人物的情感特征作为该合影图像的人群情感特征。
这里，可以采用合影图像中的情感标签或环境标签，通过训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，并在图像识别过程中，确定出目标数据对应的图像属性，这里，图像属性包括情感标签或环境标签。
具体地，可以通过计算目标数据属于情感标签或环境标签的概率，确定目标数据对应的图像属性。然后，对每个标签的概率进行求和之后，将最大的一个概率对应的标签作为目标数据的目标标签，该目标标签则为该目标数据的图像属性。具体针对目标数据进行图像属性预测的计算公式如下：
S＝ω0Sscene+ω1Sfusion+ω2Sface+ω3Sskeleton1+ω4Sskeleton2 (10)
其中，S为预测目标数据属于某种标签属性的概率，ω0-ω4是指分别对应各种特征的权重，并且满足ω0+ω1+ω2+ω3+ω4＝1。
本方案使用人脸情感特征、场景特征以及人体骨骼特征的人群的情感强度分析，且通过人脸的情感强度特征和场景的特征进行融合，得到除已识别出的人脸特征和环境特征之外的融合特征。然后，通过识别出的人脸特征数据、环境特征数据、人体骨骼特征数据和融合特征数据分别对分类器进行训练，得到合影图像中每个人的情感特征。能够获得多人的合影图像的整体情感强度。其中，对于人脸的识别采用两种人脸情感模型进行识别，提高了对于多个的合影图像的人脸情感识别的准确性。
图9为本发明实施例中情感数据的分析装置结构组成示意图一，如图9所示，所述装置包括：
提取单元901，用于对合影图像的样本数据进行特征提取，得到所述样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据；
融合单元902，用于将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据；
训练单元903，用于基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器；基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器；基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器；基于所述融合特征数据对融合分类器进行训练，得到训练后的融合分类器；
识别单元904，用于利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，根据识别结果确定所述目标数据对应的情感属性。
本申请中，融合单元902，具体用于利用非线性映射函数将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据映射到同一个高维空间中，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的新的特征数据；将所述新的特征数据作为所述融合特征数据。
本申请中，所述装置还包括：分类单元905和标记单元906；
具体地，所述分类单元905，用于基于所述面部特征数据，对所述样本数据进行情感分类；
标记单元906，用于对分类结果中每个情感类别对应的样本数据进行情感标签标记。
本申请中，所述分类单元905，还用于基于所述环境特征数据，对所述样本数据进行环境分类；
标记单元906，还用于对分类结果中每个环境类别对应的样本数据进行环境标签标记。
本申请中，所述装置还包括：计算单元907和确定单元908；
具体地，计算单元907，用于计算识别结果中表征所述情感标签的情感属性值的情感属性概率之和；或计算识别结果中表征所述环境标签的环境属性值的环境属性概率之和；
确定单元908，用于确定所述情感属性概率之和中的最大情感属性概率对应的情感属性值；或者，确定所述环境属性概率之和中的最大环境属性概率对应的环境属性值；将所述情感属性值对应的情感标签，确定为所述目标数据对应的情感属性；或者，将所述环境属性值对应的环境标签，确定为所述目标数据对应的情感属性。
本申请中，所述装置还包括：调整单元909；
具体地，所述确定单元908，还用于基于所述面部特征数据，确定所述样本数据中每个合影图像对应的面部区域；
所述调整单元909，用于利用所述面部区域对应的样本数据集，对所述面部分类器进行网络微调，得到微调后的面部分类器。
本申请中，所述确定单元908，还用于基于所述环境特征数据，确定所述样本数据中每个合影图像对应的环境区域；
所述调整单元909，还用于利用所述环境区域对应的样本数据集，对所述环境分类器进行网络微调，得到微调后的环境分类器。
本申请中，所述确定单元908，还用于基于所述人体骨骼特征数据，确定所述样本数据中每个合影图像对应的人体骨骼关键点；
所述调整单元909，还用于利用所述人体骨骼关键点对应的样本数据集，对所述人体骨骼分类器进行网络微调，得到微调后的人体骨骼分类器。
需要说明的是：上述实施例提供的情感数据的分析装置在进行信息推送时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将情感数据的分析装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的情感数据的分析装置与情感数据的分析方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图10为情感数据的分析装置的结构组成示意图二，情感数据的分析装置1000可以是移动电话、计算机、数字广播终端、信息收发设备、游戏控制台、平板设备、个人数字助理、信息推送服务器、内容服务器等。图10所示的情感数据的分析装置1000包括：至少一个处理器1001、存储器1002、至少一个网络接口1004和用户接口1003。情感数据的分析装置1000中的各个组件通过总线***1005耦合在一起。可理解，总线***1005用于实现这些组件之间的连接通信。总线***1005除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线***1005。
其中，用户接口1003可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器1002可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read OnlyMemory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器1002旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器1002用于存储各种类型的数据以支持情感数据的分析装置1000的操作。这些数据的示例包括：用于在情感数据的分析装置900上操作的任何计算机程序，如操作***10021和应用程序10022；音乐数据；动漫数据；图书信息；视频等。其中，操作***10021包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序10022可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序10022中。
上述本发明实施例揭示的方法可以应用于处理器1001中，或者由处理器1001实现。处理器1001可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1001可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器1001可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器1002，处理器1001读取存储器1002中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，情感数据的分析装置1000可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
具体所述处理器1001运行所述计算机程序时，执行：对合影图像的样本数据进行特征提取，得到所述样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据；将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据；基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器；基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器；基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器；基于所述融合特征数据对融合分类器进行训练，得到训练后的融合分类器；利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，根据识别结果确定所述目标数据对应的情感属性。
具体所述处理器1001运行所述计算机程序时，还执行：利用非线性映射函数将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据映射到同一个高维空间中，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的新的特征数据；将所述新的特征数据作为所述融合特征数据。
具体所述处理器1001运行所述计算机程序时，还执行：基于所述面部特征数据，对所述样本数据进行情感分类；对分类结果中每个情感类别对应的样本数据进行情感标签标记。
具体所述处理器1001运行所述计算机程序时，还执行：基于所述环境特征数据，对所述样本数据进行环境分类；对分类结果中每个环境类别对应的样本数据进行环境标签标记。
具体所述处理器1001运行所述计算机程序时，还执行：计算识别结果中表征所述情感标签的情感属性值的情感属性概率之和；或计算识别结果中表征所述环境标签的环境属性值的环境属性概率之和；确定所述情感属性概率之和中的最大情感属性概率对应的情感属性值；或者，确定所述环境属性概率之和中的最大环境属性概率对应的环境属性值；将所述情感属性值对应的情感标签，确定为所述目标数据对应的情感属性；或者，将所述环境属性值对应的环境标签，确定为所述目标数据对应的情感属性。
具体所述处理器1001运行所述计算机程序时，还执行：基于所述面部特征数据，确定所述样本数据中每个合影图像对应的面部区域；利用所述面部区域对应的样本数据集，对所述面部分类器进行网络微调，得到微调后的面部分类器。
具体所述处理器1001运行所述计算机程序时，还执行：基于所述环境特征数据，确定所述样本数据中每个合影图像对应的环境区域；利用所述环境区域对应的样本数据集，对所述环境分类器进行网络微调，得到微调后的环境分类器。
具体所述处理器1001运行所述计算机程序时，还执行：基于所述人体骨骼特征数据，确定所述样本数据中每个合影图像对应的人体骨骼关键点；利用所述人体骨骼关键点对应的样本数据集，对所述人体骨骼分类器进行网络微调，得到微调后的人体骨骼分类器。
在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器1002，上述计算机程序可由情感数据的分析装置1000的处理器1001执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器运行时，执行：利用非线性映射函数将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据映射到同一个高维空间中，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的新的特征数据；将所述新的特征数据作为所述融合特征数据。
该计算机程序被处理器运行时，还执行：基于所述面部特征数据，对所述样本数据进行情感分类；对分类结果中每个情感类别对应的样本数据进行情感标签标记。
该计算机程序被处理器运行时，还执行：基于所述环境特征数据，对所述样本数据进行环境分类；对分类结果中每个环境类别对应的样本数据进行环境标签标记。
该计算机程序被处理器运行时，还执行：计算识别结果中表征所述情感标签的情感属性值的情感属性概率之和；或计算识别结果中表征所述环境标签的环境属性值的环境属性概率之和；确定所述情感属性概率之和中的最大情感属性概率对应的情感属性值；或者，确定所述环境属性概率之和中的最大环境属性概率对应的环境属性值；将所述情感属性值对应的情感标签，确定为所述目标数据对应的情感属性；或者，将所述环境属性值对应的环境标签，确定为所述目标数据对应的情感属性。
该计算机程序被处理器运行时，还执行：基于所述面部特征数据，确定所述样本数据中每个合影图像对应的面部区域；利用所述面部区域对应的样本数据集，对所述面部分类器进行网络微调，得到微调后的面部分类器。
该计算机程序被处理器运行时，还执行：基于所述环境特征数据，确定所述样本数据中每个合影图像对应的环境区域；利用所述环境区域对应的样本数据集，对所述环境分类器进行网络微调，得到微调后的环境分类器。
该计算机程序被处理器运行时，还执行：基于所述人体骨骼特征数据，确定所述样本数据中每个合影图像对应的人体骨骼关键点；利用所述人体骨骼关键点对应的样本数据集，对所述人体骨骼分类器进行网络微调，得到微调后的人体骨骼分类器。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种情感数据的分析方法，所述方法包括：
对合影图像的样本数据进行特征提取，得到所述样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据；
将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据；
基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器；基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器；基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器；基于所述融合特征数据对融合分类器进行训练，得到训练后的融合分类器；
利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，根据识别结果确定所述目标数据对应的情感属性。
2.根据权利要求1所述的方法，将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据，包括：
利用非线性映射函数将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据映射到同一个高维空间中，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的新的特征数据；
将所述新的特征数据作为所述融合特征数据。
3.根据权利要求1所述的方法，所述方法还包括：
基于所述面部特征数据，对所述样本数据进行情感分类；
对分类结果中每个情感类别对应的样本数据进行情感标签标记。
4.根据权利要求1所述的方法，所述方法还包括：
基于所述环境特征数据，对所述样本数据进行环境分类；
对分类结果中每个环境类别对应的样本数据进行环境标签标记。
5.根据权利要求3或4所述的方法，所述方法还包括：
计算识别结果中表征所述情感标签的情感属性值的情感属性概率之和；或计算识别结果中表征所述环境标签的环境属性值的环境属性概率之和；
确定所述情感属性概率之和中的最大情感属性概率对应的情感属性值；将所述情感属性值对应的情感标签，确定为所述目标数据对应的情感属性；
或者，确定所述环境属性概率之和中的最大环境属性概率对应的环境属性值；将所述环境属性值对应的环境标签，确定为所述目标数据对应的情感属性。
6.根据权利要求1所述的方法，基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器，包括：
基于所述面部特征数据，确定所述样本数据中每个合影图像对应的面部区域；利用所述面部区域对应的样本数据集，对所述面部分类器进行网络微调，得到微调后的面部分类器。
7.根据权利要求1所述的方法，基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器，包括：
基于所述环境特征数据，确定所述样本数据中每个合影图像对应的环境区域；利用所述环境区域对应的样本数据集，对所述环境分类器进行网络微调，得到微调后的环境分类器。
8.根据权利要求1所述的方法，基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器，包括：
基于所述人体骨骼特征数据，确定所述样本数据中每个合影图像对应的人体骨骼关键点；利用所述人体骨骼关键点对应的样本数据集，对所述人体骨骼分类器进行网络微调，得到微调后的人体骨骼分类器。
9.一种情感数据的分析装置，所述装置包括：
提取单元，用于对合影图像的样本数据进行特征提取，得到所述样本数据中的面部特征数据、环境特征数据和人体骨骼特征数据；
融合单元，用于将所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据进行特征融合，得到除所述面部特征数据、所述环境特征数据和/或人体骨骼特征数据之外的融合特征数据；
训练单元，用于基于所述面部特征数据对面部分类器进行训练，得到训练后的面部分类器；基于所述环境特征数据对环境分类器进行训练，得到训练后的环境分类器；基于所述人体骨骼特征数据对人体骨骼分类器进行训练，得到训练后的人体骨骼分类器；基于所述融合特征数据对融合分类器进行训练，得到训练后的融合分类器；
识别单元，用于利用训练后的面部分类器、训练后的环境分类器、训练后的人体骨骼分类器和训练后的融合分类器，分别对合影图像的目标数据进行图像识别，根据识别结果确定所述目标数据对应的情感属性。
10.一种情感数据的分析装置，所述装置包括：存储器、处理器以及存储在存储器被处理器运动的可执行程序，其特征在于，所述处理器运行所述可执行程序时执行如权利要求1至8任一项所述的情感数据的分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811046253.7A CN109508625A (zh) | 2018-09-07 | 2018-09-07 | 一种情感数据的分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811046253.7A CN109508625A (zh) | 2018-09-07 | 2018-09-07 | 一种情感数据的分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109508625A true CN109508625A (zh) | 2019-03-22 |
Family
ID=65745711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811046253.7A Pending CN109508625A (zh) | 2018-09-07 | 2018-09-07 | 一种情感数据的分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109508625A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008371A (zh) * | 2019-04-16 | 2019-07-12 | 张怡卓 | 一种基于人脸表情识别的个性化音乐推荐方法及*** |
| CN111179175A (zh) * | 2019-12-27 | 2020-05-19 | 深圳力维智联技术有限公司 | 基于卷积神经网络的图像处理方法、装置及存储介质 |
| CN111832364A (zh) * | 2019-04-22 | 2020-10-27 | 普天信息技术有限公司 | 一种人脸识别方法及装置 |
| CN112215930A (zh) * | 2020-10-19 | 2021-01-12 | 珠海金山网络游戏科技有限公司 | 一种数据处理方法与装置 |
| CN112784776A (zh) * | 2021-01-26 | 2021-05-11 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进残差网络的bpd面部情绪识别方法 |
| JP2022503426A (ja) * | 2019-09-27 | 2022-01-12 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | 人体検出方法、装置、コンピュータ機器及び記憶媒体 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090055426A (ko) * | 2007-11-28 | 2009-06-02 | 중앙대학교 산학협력단 | 특징 융합 기반 감정인식 방법 및 시스템 |
| CN105138991A (zh) * | 2015-08-27 | 2015-12-09 | 山东工商学院 | 一种基于情感显著性特征融合的视频情感识别方法 |
| CN105739688A (zh) * | 2016-01-21 | 2016-07-06 | 北京光年无限科技有限公司 | 一种基于情感体系的人机交互方法、装置和交互*** |
| CN107169508A (zh) * | 2017-04-17 | 2017-09-15 | 杭州电子科技大学 | 一种基于融合特征的旗袍图像情感语义识别方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
-
2018
- 2018-09-07 CN CN201811046253.7A patent/CN109508625A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090055426A (ko) * | 2007-11-28 | 2009-06-02 | 중앙대학교 산학협력단 | 특징 융합 기반 감정인식 방법 및 시스템 |
| CN105138991A (zh) * | 2015-08-27 | 2015-12-09 | 山东工商学院 | 一种基于情感显著性特征融合的视频情感识别方法 |
| CN105739688A (zh) * | 2016-01-21 | 2016-07-06 | 北京光年无限科技有限公司 | 一种基于情感体系的人机交互方法、装置和交互*** |
| CN107169508A (zh) * | 2017-04-17 | 2017-09-15 | 杭州电子科技大学 | 一种基于融合特征的旗袍图像情感语义识别方法 |
| CN107729835A (zh) * | 2017-10-10 | 2018-02-23 | 浙江大学 | 一种基于人脸关键点区域传统特征和人脸全局深度特征融合的表情识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| XIN GUO ET AL: "《Group-level emotion recognition using deep models on image scene, faces, and skeletons》", 《PROCEEDINGS OF THE 19TH ACM INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION》 * |
| 陈国青等: "《中国信息***研究 新兴技术背景下的机遇与挑战》", 30 November 2011, 同济大学出版社 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008371A (zh) * | 2019-04-16 | 2019-07-12 | 张怡卓 | 一种基于人脸表情识别的个性化音乐推荐方法及*** |
| CN111832364A (zh) * | 2019-04-22 | 2020-10-27 | 普天信息技术有限公司 | 一种人脸识别方法及装置 |
| CN111832364B (zh) * | 2019-04-22 | 2024-04-23 | 普天信息技术有限公司 | 一种人脸识别方法及装置 |
| JP2022503426A (ja) * | 2019-09-27 | 2022-01-12 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | 人体検出方法、装置、コンピュータ機器及び記憶媒体 |
| JP7101829B2 (ja) | 2019-09-27 | 2022-07-15 | ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド | 人体検出方法、装置、コンピュータ機器及び記憶媒体 |
| CN111179175A (zh) * | 2019-12-27 | 2020-05-19 | 深圳力维智联技术有限公司 | 基于卷积神经网络的图像处理方法、装置及存储介质 |
| CN111179175B (zh) * | 2019-12-27 | 2023-04-07 | 深圳力维智联技术有限公司 | 基于卷积神经网络的图像处理方法、装置及存储介质 |
| CN112215930A (zh) * | 2020-10-19 | 2021-01-12 | 珠海金山网络游戏科技有限公司 | 一种数据处理方法与装置 |
| CN112784776A (zh) * | 2021-01-26 | 2021-05-11 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进残差网络的bpd面部情绪识别方法 |
| CN112784776B (zh) * | 2021-01-26 | 2022-07-08 | 山西三友和智慧信息技术股份有限公司 | 一种基于改进残差网络的bpd面部情绪识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109508625A (zh) | 一种情感数据的分析方法及装置 | |
| US20210271862A1 (en) | Expression recognition method and related apparatus | |
| CN110532920B (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
| He et al. | Supercnn: A superpixelwise convolutional neural network for salient object detection | |
| Zhang et al. | End-to-end photo-sketch generation via fully convolutional representation learning | |
| CN112990054B (zh) | 紧凑的无语言面部表情嵌入和新颖三元组的训练方案 | |
| Guo et al. | Automatic image cropping for visual aesthetic enhancement using deep neural networks and cascaded regression | |
| CN109492638A (zh) | 文本检测方法、装置及电子设备 | |
| CN109359538A (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
| CN109145766A (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
| CN111126127B (zh) | 一种多级空间上下文特征指导的高分辨率遥感影像分类方法 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN112257665A (zh) | 图像内容的识别方法、图像识别模型的训练方法及介质 | |
| CN112183435A (zh) | 一种两阶段的手部目标检测方法 | |
| CN109325408A (zh) | 一种手势判断方法及存储介质 | |
| CN107967461A (zh) | Svm 差分模型训练及人脸验证方法、装置、终端及存储介质 | |
| Fu et al. | Complementarity-aware Local-global Feature Fusion Network for Building Extraction in Remote Sensing Images | |
| CN115083011A (zh) | 基于深度学习的手语理解视觉手势识别方法、***、计算机装置及存储介质 | |
| Zheng | Visual memory neural network for artistic graphic design | |
| Ruyi | A general image orientation detection method by feature fusion | |
| CN112819510A (zh) | 基于服饰多属性识别的时尚趋势预测方法、***以及设备 | |
| Wang et al. | Self-attention deep saliency network for fabric defect detection | |
| CN114627312B (zh) | 零样本图像分类方法、***、设备及存储介质 | |
| Begum et al. | A novel approach for multimodal facial expression recognition using deep learning techniques | |
| Li et al. | Scale-aware regional collective feature enhancement network for scene object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190322 |