CN112712127A - 一种结合图卷积神经网络的图像情感极性分类方法 - Google Patents

一种结合图卷积神经网络的图像情感极性分类方法 Download PDF

Info

Publication number
CN112712127A
CN112712127A CN202110019810.1A CN202110019810A CN112712127A CN 112712127 A CN112712127 A CN 112712127A CN 202110019810 A CN202110019810 A CN 202110019810A CN 112712127 A CN112712127 A CN 112712127A
Authority
CN
China
Prior art keywords
emotion
model
words
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110019810.1A
Other languages
English (en)
Inventor
毋立芳
张恒
邓斯诺
石戈
简萌
相叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110019810.1A priority Critical patent/CN112712127A/zh
Publication of CN112712127A publication Critical patent/CN112712127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种结合图卷积神经网络的图像情感极性分类方法，涉及智能媒体计算和计算机视觉技术领域；首先对训练样本进行物体信息的提取，并用每张图片中的物体信息、视觉特征建立图模型；其次以图卷积网络对图模型中包含的物体交互信息提取，并与卷积神经网络的特征进行融合；然后将训练样本进行预处理后传入网络中，利用损失函数和优化器对模型的参数进行迭代更新直至达到收敛，完成训练；最后将测试数据送入网络中，得到模型对测试数据的预测结果以及分类准确率。本发明通过提取图像中物体在情感空间的交互特征使分类特征更符合物体的情感特征以及人类情感触发机理，在视觉特征的基础上增加高级语义特征，有助于提升情感分类算法在实际应用场景中的性能。

Description

一种结合图卷积神经网络的图像情感极性分类方法
技术领域
本发明属于计算机视觉技术领域，涉及一种结合图卷积神经网络 的图像情感极性分类方法。
背景技术
随着图像社交网络的飞速发展，越来越多的人喜欢使用图片表达 他们的心情。包含情绪信息的图像在加强内容传达的观点和有效地影 响观众方面具有重要的地位。面对海量包含用户情绪的图片数据，分 析图片中包含的情感信息将极大地促进社交媒体的发展，并在教育， 广告，娱乐等领域有广泛的应用。因此，图像情感分析成为了最近的 研究热点之一。
较早的图像情感分析方法主要利用图像的统计特性，如颜色、纹 理、线条等人工特征实现图像的情感分类，但由于这样的图像低级特 征与人类情感之间存在着很大的语义鸿沟和情感鸿沟，因此并没有取 得很好的情感极性分析效果。近年来，随着社交媒体和电子计算机的 飞速发展，深度学习在计算机视觉领域得到不断发展，其在图像分类、 物体检测、目标跟踪等领域取得了较好的效果。通过卷积神经网络提 取的高级视觉特征在计算机视觉领域的作用也吸引了一些研究者将 其应用于图像情感分类。2015年，You等人设计一种利用卷积神经 网络实现的图像情感分类算法，相较传统方法得到了更好的分类效果，但由于其使用的自学习理论内在限制，其性能提升比较有限。随着对 卷积神经网络和人类情感原理的深入研究，Yang等人在2018年提出 了一种结合图像实例分割算法的图像情感分类算法，通过结合当前图 像实例分割领域效果较好的算法提取图像中包含丰富语义与情感内 容的区域，实现对图像情感分类算法中视觉特征的增强并提高了图像 情感分类算法的准确率。Wu等人在2019年设计了一种结合图像显 著性检测算法与图像情感分类的卷积神经网络，针对人类注意力机制 原理与人类情感之间的联系，通过显著性检测算法模仿人类获取图像 中最吸引注意力的区域，并利用误差反向传播机制极性反馈调整，进 一步提高了图像情感分类的准确性。
上述的一些最新成果与人类情感原理领域的研究成果激发了我 们的灵感，现有的图像情感分类算法通过获取、增强图像中的部分物 体包含的视觉特征实现了对分类算法效果的提高。但是现有研究也存 在着一定的局限性，其在物体分割、显著性检测等基础上实现了对物 体视觉特征的丰富和增强，但其对物体特征的利用只局限在视觉特征， 并没有利用物体在情感空间的交互关系，这也就导致其设计的模型具 有局限性、性能提升有限。在此基础上，我们设计了一种利用图卷积 模型实现的结合物体情感关系与视觉特征的情感分类方法，在利用图 像视觉特征的同时也考虑了图像内各个物体在情感空间的相互影响， 充分挖掘图像在情感语义层面的特征，是图片情感分类准确率得到提 升。
发明内容
本发明的目的是设计一种结合图卷积神经网络的图像情感极性 分类方法，其框架图如图1所示。
针对现有研究方法存在的问题，我们设计利用图像内物体情感关 系特征的模型，将图卷积神经网络与卷积神经网络相结合，使得模型 能够同时获取图像内物体在情感空间的关系特征与图像的视觉特征。 通过结合开源的全景分割算法Detectron2，我们设计了根据图片分 割结果建立相应图模型的方法，利用图卷积模型，在丰富图像视觉特 征的同时表达图像内物体在情感空间的相互作用特征，即关系特征， 并与基础卷积神经网络相结合，实现了对图像高级语义特征丰富，提 高了图像情感极性分析的准确率。
本发明的具体步骤如下：
步骤1，获取图像物体信息：利用全景分割模型对数据集中每张 图片做全景分割处理，得到图片中物体的类别、位置、面积等信息， 以SentiWordNet中对词语的标注结果对数据集中全景分割得到的物 体类别词语进行情感极性、强度的标注；
步骤2，建立图模型：以物体为节点、物体词语与其他物体的情 感空间距离倒数为边权重、以物体对应区域的亮度、纹理特征为节点 特征，建立相应的图模型。
步骤3，建立深度网络模型：使用基础卷积神经网络模型VGG-16、 图卷积模型GCN，将两个模型的输出做合并操作输入全连接层，并以 待分类类别数作全连接层输出维度替换原模型最后的分类层；
步骤4，训练模型：将图像经过放缩随机翻转等方式进行预处理 后，输入到网络模型中，使用随机梯度下降方法进行优化，利用交叉 熵函数评价模型性能并对模型参数进行学习；
步骤5，获得待测图像的情感类别：将数据库中的图像经过同步 骤4一样的预处理步骤后，输入到步骤4训练好的模型中，得到对应 的情感类别。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点 和显著技术进步：
本发明提出了一种新型的图像情感分类算法，将图卷积网络与基 本的深度卷积神经网络结合，在高级视觉特征的基础上增加物体情感 关系特征这一高级语义特征。针对现有公开情感数据集不标注图片中 包含的物体信息这一问题，利用全景分割领域的研究成果，设计方法 实现将图片到图模型的转换，并利用图卷积网络对图模型进行更新、 增强并与视觉特征融合，利用情感触发机理准确提取图片中的情感特 征，获得更好的情感分类效果。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明：
图1为训练基于本方法的图像情感分类卷积神经网络的架构图。
图2为基于本方法进行情感图像分类的整体流程图。
具体实施方式
本发明提出了一种结合图卷积神经网络的图像情感极性分类方 法。本发明的整体结构如图1所示。本发明在Windows10和Pyhcharm 环境下进行仿真。本发明的具体实现流程如图2所示，具体实现步骤 如下：
步骤1，获取图像物体信息：利用全景分割模型对数据集中每张 图片做全景分割处理，得到图片中物体的类别、位置、面积等信息， 以SentiWordNet中对词语的标注结果对数据集中全景分割得到的物 体类别词语进行情感极性、强度的标注；
步骤2，建立图模型：以物体为节点、物体词语与其他物体的情 感空间距离倒数为边权重、以物体对应区域的亮度、纹理特征为节点 特征，建立相应的图模型。
步骤3，建立深度网络模型：使用基础卷积神经网络模型VGG-16、 图卷积模型GCN，将两个模型的输出做合并操作输入全连接层，并以 待分类类别数作全连接层输出维度替换原模型最后的分类层；
步骤4，训练模型：将图像经过放缩随机翻转等方式进行预处理 后，输入到网络模型中，使用随机梯度下降方法进行优化，利用交叉 熵函数评价模型性能并对模型参数进行学习；
步骤5，获得待测图像的情感类别：将数据库中的图像经过同步 骤4一样的预处理步骤后，输入到步骤4训练好的模型中，得到对应 的情感类别。
在所述步骤1中，设计了利用全景分割模型获取图像物体信息的 方法：
本方法可以用于大型真实社交网络中的图像进行情感分类，故在 本实例中选取摘录自Flickr和Instagram整理而成的通用公开情感数 据集Flickr&Instagram(下文简称FI数据集)，该数据集具有数据规 模大，情感标注较准确的特点，更符合真实网络环境。
使用Deterton2中的全景分割模型，对FI数据集中的每张图片做 分割处理，并保存物体的类别、位置、像素点位置等信息。针对物体 的类别词语，我们设计一种利用情感词典SentiWordNet的词语情感 标注方法，具体的计算方法如下：
Figure BDA0002888097200000051
Sw＝Sp-Sn
其中Sp为物体词语W的积极情感强度其中p代表积极positive、 Sn物体的消极情感强度下标n代表消极negative，S′为SentiWordNet 中包含当前词语W的名词和形容词，m为S′的个数，S′ip、S′in为 SentiWordNet中标注的S′的积极、消极情感强度，其中下标i代表n个词中的顺序，p、n分别代表积极、消极，其值在0-1之间，并利 用求和平均的方法计算当前词语W的情感值。同时以每个词语正负 情感强度的差值代表当前词语的情感强度S。
在所述步骤2中，设计了利用图像物体信息建立图模型的方法：
利用全景分割得到的物体信息，以图片中包含的物体作为图模型 的节点，并以词语在情感空间的距离倒数作为图模型中节点之间的边 权重。其中，采用如下公式计算词语在情感空间的距离：
Figure BDA0002888097200000052
其中Si、Sj分别代表两个词语Wi、Wj的情感值，当两个词语的情 感极性相反时，我们以两个词的情感强度差的绝对值加1描述词语在 情感空间的距离，当两个词语情感极性相同时以情感强度差的绝对值 为情感距离。特别地，当两个词情感强度同时为0时，我们规定两个 词的情感距离为0.5.因为词语的情感值在0-1之间，所以使用0.5 以区分两个中性词语和两个同极性词语的情况。
以亮度特征和纹理特征作为图模型中的节点特征。利用步骤1中 获取的物体边框位置信息，得到每个物体所在的图像区域。以图片中 像素的亮度直方图作为亮度特征，即对物体所在图像区域的像素RGB 值转换为HSI空间的色调、饱和度和亮度，同时对亮度值做量化并以 量化后的亮度值分布曲线作为亮度特征，这里将亮度量化为0-255， 最终得到256维的特征向量。
同时，对于纹理特征，使用灰度共生矩阵方法对每个物体所在区 域计算得到。这里我们建议以45°或者135°方向进行计算，使用0° 或90°计算得到的特征质量较低，并将计算后的结果量化为256维 的特征向量。
最后，将亮度特征与纹理特征做拼接操作，得到512维的特征向 量，作为图模型中每个节点对应的特征，并以边权重矩阵A作为图模 型的边，建立图模型。
在所述步骤3中，建立深度网络模型：
利用GCN模型提取关系特征。使用堆叠GCN的结构实现，本方法 中使用两层GCN结构，其中当前层k的输入特征Hk为前一层的输出， 并采用如下所示的方式计算得到输出结果Hk+1：
Figure BDA0002888097200000061
其中
Figure BDA0002888097200000062
为邻接矩阵即上文根据物体情感值计算得到的边权重A与 单位矩阵相加的结果；Wk是当前卷积层k的权重矩阵，由随机初始 化得到并在训练过程中根据损失函数进行训练、调整直到训练结束； σ是非线性激活函数，
Figure BDA0002888097200000063
由下式计算得到：
Figure RE-GDA0002987101290000064
其中
Figure RE-GDA0002987101290000065
为
Figure RE-GDA0002987101290000066
中的元素，i代表
Figure RE-GDA0002987101290000067
中的坐标，
Figure RE-GDA0002987101290000068
为
Figure RE-GDA0002987101290000069
的元素，ij为
Figure RE-GDA00029871012900000610
中 的坐标。
经过GCN模型的计算，得到关系特征为2048维的特征向量。
对于视觉特征，采用VGG16，获取原先在ImageNet上预训练好 的VGG16模型，加载后去除最后的输入维度为2048*1024，输出维 度为1*1024的分类层，将其输出维度调整为2048*1，作为视觉特征。 在GCN网络中共包含两个图卷积层，第一个图卷积层的输入维度为512*1，输出为1024*1，第二个卷积层输入维度为1024*1，输出为 2048*1也就是最终的关系特征向量。将视觉特征与关系特征做拼接 操作，得到4096*1的特征向量，并输入最终的分类层，输出维度为 1*2，即各类别预测概率，取最大项所属位置的对应情感类别即为图 像输出的情感类别；
在所述步骤4中，通过数据预处理、数据输入、计算损失函数等 操作实现模型的训练：
将图像经过放缩、随机翻转等方式对训练集数据进行预处理，在 本实例中随机裁剪的参数设置为224*224，随机翻转的概率设置为0.5。 按固定大小为一批次，输入到网络模型中，最后不足固定大小批次的 样本作为一个批次。固定批次大小设置在一定程度上尽量的大会小幅 度的提高模型的训练效果，但由于实验平台限制，推荐选取8、16或 32，在本实例中固定批次的大小设置为16。通过最后的分类层，得 到输出的预测结果与输入的训练集标签进行自动比对，统计正确样本 数量占整体训练样本的比例记为训练集在此轮的准确率。同时在得到 输出向量时，利用下文所示损失函数可以计算得到当前模型的损失值，损失值将反馈给优化器处理后进行反向传播更新模型中各个参数。
损失函数的计算中，使用如下所示的交叉熵损失函数，目的在于 保持类间距离，让不同情感类别之间的图像更远：
Figure BDA0002888097200000071
其中m为训练时每批次的图像数量，N为数据集情感类别的数量， xi为该批次中第i张图片从前文3中的基础骨干网络在分类层之前得 到的特征，w和b即为分类层中的权重(weight)和偏置(bias)参数值， 下标yi表示分类层之后预测的类别，j代表预测结果对应的类别编号， 例如其中
Figure BDA0002888097200000072
表示该批次第i张图片判断为yi类别时在分类层中的偏置 参数的值。
出于对收敛速度和收敛效果的考虑，本方法中的优化器选取随机 梯度下降法作为优化方法。优化器的参数设置主要有初始学习率 (learning rate)和动量(momentum)两项，其中初始学习率一般为 0.1、0.01、0.0001、0.00001等值中视模型收敛情况选取，本实例推 荐取0.01，在此初始值时收敛效果更加稳定。动量原则上在0到1之 间取值，本实例中推荐选取随机梯度下降法中的默认值0.9。由于固 定学习率的设置不利于深度网络在训练后半程中寻找更好的参数，本 方法在训练过程中增加固定轮次降低学习率的策略。其中降低的轮次 推荐在20-30轮降低1-2次，总训练轮数建议50-80轮。在本实例中 对优化器进行了每20轮和每30轮降低学习率的设置，并对模型参数 进行80轮训练学习以保证训练效果的有效收敛，设置轮数过少可能 还未收敛，轮数过多则会增加训练时间但不会提高效果。
在每轮在训练样本训练完后，固定模型的参数并采用FI数据集 中的验证集数据固定大小放缩裁剪传入到网络模型中，本实例中裁剪 参数设置为224*224，将模型输出与样本的标签进行对比并统计正确 样本所占比例即验证集准确率，如果当前轮数的验证集准确率比先前 最高的验证集准确率要高就保存当前准确率为最高的验证集准确率， 并保存当前轮数训练的模型。当所有轮次训练完毕后，最终保存的最 高验证集准确率下的模型，即为训练好的最优模型；
在所述步骤5中，获得待测图像的情感类别：
将FI数据集中的测试集数据或任意图像按同步骤4中验证集图 像一样的固定大小放缩中心裁剪的预处理步骤后可逐张或以固定数 量按批次输入模型即可。本实例中固定大小放缩中心裁剪的参数设置 为224*224，为在同等实验条件下提高处理效率，本实例中测试集数 据推荐以16为批次大小，按批输出测试图像到模型中进行测试。经 过模型处理，将分类层后的输出结果与样本的标签进行对比并统计正 确样本所占比例即测试集准确率。输出结果对应的情感类别即为改模 型判断的图像情感类别。
在FI数据集中的测试集经过本实例中的模型测试，准确率结果 为0.8808，高于目前同类方法研究内容中的最好效果：刊登在2018 年高水平杂志IEEE TRANSACTIONS ONMULTIMEDIA中的《Visual Sentiment Prediction based on Automatic Discovery ofAffective Regions》 的准确率为0.8635。

Claims (5)

1.结合图卷积神经网络的图像情感极性分类方法，其特征在于，包含如下步骤：
步骤1，获取图像物体信息：利用全景分割模型对数据集中每张图片做全景分割处理，得到图片中物体的类别、位置信息，以SentiWordNet中对词语的标注结果对数据集中全景分割得到的物体类别词语进行情感极性、强度的标注；
步骤2，建立图模型：以物体为节点、物体词语在情感空间的距离倒数为边权重、以物体对应区域的亮度、纹理特征为节点特征，建立相应的图模型；
步骤3，建立深度网络模型：使用基础卷积神经网络模型VGG-16、图卷积模型GCN，将两个模型的输出做合并操作输入全连接层，并以待分类类别数作全连接层输出维度替换原模型最后的分类层；
步骤4，训练模型：将图像经过预处理后，输入到网络模型中，使用随机梯度下降方法进行优化，利用交叉熵函数评价模型性能并对模型参数进行学习；
步骤5，获得待测图像的情感类别：将数据库中的图像经过预处理后，输入到步骤4训练好的模型中，得到对应的情感类别。
2.根据权利要求1所述的方法，其特征在于：在所述步骤1中，利用全景分割算法识别图片的物体信息，并利用情感词典SentiWordNet的词语情感标注方法，具体的计算方法如下：
Figure FDA0002888097190000011
Sw＝Sp-Sn
其中Sp为物体词语W的积极情感强度其中p代表积极positive、Sn物体的消极情感强度下标n代表消极negative，S′为SentiWordNet中包含当前词语W的名词和形容词，m为S′的个数，S′ip、S′in为SentiWordNet中标注的S′i的积极、消极情感强度，其值在0-1之间，并利用求和平均的方法计算当前词语W的情感值；以每个词语正负情感强度的差值代表当前词语的情感强度SW。
3.根据权利要求1所述的方法，其特征在于：在所述步骤2中，利用全景分割算法得到的物体信息，以图片中包含的物体特征作为图模型的节点，并以词语在情感空间的距离倒数作为图模型中节点之间的边权重；对于图片中包含的多个物体词W1、W2…，采用如下公式计算其中两个词语Wi、Wj在情感空间的距离：
Figure FDA0002888097190000021
Si、Sj代表按步骤1中方法计算得到词语Wi、Wj对应情感值，当两个词语的情感极性相反时，以两个词的情感强度差的绝对值加1描述词语在情感空间的距离，当两个词语情感极性相同时以情感强度差的绝对值为情感距离；当两个词情感强度同时为0时，规定两个词的情感距离为0.5，以区分两个中性词语和两个同极性词语的情况；
最后，以两个词语Wi、Wj情感距离的倒数作为图模型中对应节点的边权重Aij，并重复该步骤，分别计算全部词语W1、W2…两两之间的边权重，得到每张图片的边权重矩阵A；
以亮度特征和纹理特征作为图模型中的节点特征；利用全景分割算法中获取的物***置信息，得到每个物体所在的图像区域；以图片中像素的亮度直方图作为亮度特征，即将物体所在图像区域的像素RGB值转换为HSI空间的色调、饱和度和亮度，同时对亮度值做量化并以量化后的亮度值分布曲线作为亮度特征，将亮度量化为0-255，最终得到256维的特征向量；
同时，对于纹理特征，使用灰度共生矩阵方法对每个物体所在区域计算得到；以45°或者135°方向进行计算，并将计算后的结果量化为256维的特征向量；
最后，将亮度特征与纹理特征做拼接操作，得到512维的特征向量，作为图模型中每个节点对应的特征，并以边权重矩阵A作为图模型的边，建立图模型。
4.根据权利要求1所述的方法，其特征在于：在所述步骤3中，
利用GCN模型提取图模型中的关系特征；使用堆叠GCN的结构实现，使用两层GCN结构，其中当前层k的输入特征Hk为前一层的输出，并采用如下所示的方式计算得到输出结果Hk +1：
Figure FDA0002888097190000031
其中
Figure FDA0002888097190000032
为邻接矩阵即上文根据物体情感值计算得到的边权重A与单位矩阵相加的结果；Wk是当前卷积层k的权重矩阵，由随机初始化得到并在训练过程中根据损失函数进行训练、调整直到训练结束；σ是非线性激活函数，
Figure FDA0002888097190000033
由下式计算得到：
Figure FDA0002888097190000034
其中
Figure FDA0002888097190000035
为
Figure FDA0002888097190000036
中的元素，i代表
Figure FDA0002888097190000037
中的坐标，
Figure FDA0002888097190000038
为
Figure FDA0002888097190000039
的元素，ij为
Figure FDA00028880971900000310
中的坐标；
经过GCN模型的计算，得到关系特征为2048*1维的特征向量；
对于视觉特征，采用VGG16，获取在ImageNet上预训练好的VGG16模型，加载后去除最后的输入维度为2048*1024，输出维度为1024*1的分类层，将其输出维度调整为2048*1，作为视觉特征；
将关系特征与视觉特征做拼接处理，得到4096*1的特征向量并输入全连接层实现对图片情感的分类。
5.根据权利要求1所述的方法，其特征在于：在所述步骤4中，损失函数使用交叉熵损失来进行基本的损失度量；具体损失函数如下：
Figure FDA00028880971900000311
其中m为训练时每批次的图像数量，N为数据集情感类别的数量，xi为该批次中第i张图片从步骤3中的基础骨干网络在分类层之前得到的特征；w和b即为分类层中的权重和偏置参数值，由随机初始化得到并在训练过程中根据损失函数进行训练、调整直到训练结束，下标yi表示分类层之后预测的类别，j代表预测结果对应的类别编号，其中
Figure FDA00028880971900000312
表示该批次第i张图片判断为yi类别时在分类层中的偏置参数的值；
在训练过程中，以0.01为初始学习率，学习率每20轮下降为当前学习率的十分之一，训练次数达到80以上后结束训练。
CN202110019810.1A 2021-01-07 2021-01-07 一种结合图卷积神经网络的图像情感极性分类方法 Pending CN112712127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110019810.1A CN112712127A (zh) 2021-01-07 2021-01-07 一种结合图卷积神经网络的图像情感极性分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110019810.1A CN112712127A (zh) 2021-01-07 2021-01-07 一种结合图卷积神经网络的图像情感极性分类方法

Publications (1)

Publication Number Publication Date
CN112712127A true CN112712127A (zh) 2021-04-27

Family

ID=75548482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110019810.1A Pending CN112712127A (zh) 2021-01-07 2021-01-07 一种结合图卷积神经网络的图像情感极性分类方法

Country Status (1)

Country Link
CN (1) CN112712127A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297936A (zh) * 2021-05-17 2021-08-24 北京工业大学 一种基于局部图卷积网络的排球群体行为识别方法
CN113392781A (zh) * 2021-06-18 2021-09-14 山东浪潮科学研究院有限公司 一种基于图神经网络的视频情感语义分析方法
CN113449640A (zh) * 2021-06-29 2021-09-28 中国地质大学（武汉） 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
CN116385029A (zh) * 2023-04-20 2023-07-04 深圳市天下房仓科技有限公司 酒店刷单检测方法、***、电子设备及存储介质
CN116721284A (zh) * 2023-05-25 2023-09-08 上海蜜度信息技术有限公司 一种基于图增强的图像分类方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679580A (zh) * 2017-10-21 2018-02-09 桂林电子科技大学 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法
CN108416397A (zh) * 2018-03-30 2018-08-17 华南理工大学 一种基于ResNet-GCN网络的图像情感分类方法
CN111563164A (zh) * 2020-05-07 2020-08-21 成都信息工程大学 一种基于图神经网络的特定目标情感分类方法
CN112001186A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种利用图卷积神经网络和中文句法的情感分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679580A (zh) * 2017-10-21 2018-02-09 桂林电子科技大学 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法
CN108416397A (zh) * 2018-03-30 2018-08-17 华南理工大学 一种基于ResNet-GCN网络的图像情感分类方法
CN111563164A (zh) * 2020-05-07 2020-08-21 成都信息工程大学 一种基于图神经网络的特定目标情感分类方法
CN112001186A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种利用图卷积神经网络和中文句法的情感分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN ZHAOMIN 等: "Multi-Label Image Recognition With Graph Convolutional Networks", 《IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 9 January 2020 (2020-01-09), pages 5172 - 5181 *
YANG JUFENG 等: "Visual Sentiment Prediction Based on Automatic Discovery of Affective Regions", 《IEEE TRANSACTIONS ON MULTIMEDIA》, vol. 20, 7 February 2018 (2018-02-07), pages 2513 *
ZHAO PINLONG 等: "Modeling sentiment dependencies with graph convolutional networks for aspect-level sentiment classification", 《KNOWLEDGE-BASED SYSTEMS》, vol. 193, 28 December 2019 (2019-12-28), pages 1 - 10, XP086080506, DOI: 10.1016/j.knosys.2019.105443 *
梁宁: "基于注意力机制及深度学习的文本情感分析研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2020 (2020-01-15) *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297936A (zh) * 2021-05-17 2021-08-24 北京工业大学 一种基于局部图卷积网络的排球群体行为识别方法
CN113297936B (zh) * 2021-05-17 2024-05-28 北京工业大学 一种基于局部图卷积网络的排球群体行为识别方法
CN113392781A (zh) * 2021-06-18 2021-09-14 山东浪潮科学研究院有限公司 一种基于图神经网络的视频情感语义分析方法
WO2022262098A1 (zh) * 2021-06-18 2022-12-22 山东浪潮科学研究院有限公司 一种基于图神经网络的视频情感语义分析方法
CN113449640A (zh) * 2021-06-29 2021-09-28 中国地质大学（武汉） 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
CN113449640B (zh) * 2021-06-29 2022-02-11 中国地质大学（武汉） 基于多任务cnn+gcn的遥感影像建筑物语义分割边缘优化方法
CN116385029A (zh) * 2023-04-20 2023-07-04 深圳市天下房仓科技有限公司 酒店刷单检测方法、***、电子设备及存储介质
CN116385029B (zh) * 2023-04-20 2024-01-30 深圳市天下房仓科技有限公司 酒店刷单检测方法、***、电子设备及存储介质
CN116721284A (zh) * 2023-05-25 2023-09-08 上海蜜度信息技术有限公司 一种基于图增强的图像分类方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110162593B (zh) 一种搜索结果处理、相似度模型训练方法及装置
CN111563164B (zh) 一种基于图神经网络的特定目标情感分类方法
CN112712127A (zh) 一种结合图卷积神经网络的图像情感极性分类方法
CN110580500A (zh) 一种面向人物交互的网络权重生成少样本图像分类方法
CN112613552B (zh) 一种结合情感类别注意力损失的卷积神经网络情感图像分类方法
CN111582397B (zh) 一种基于注意力机制的cnn-rnn图像情感分析方法
CN111582409A (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
CN108427740B (zh) 一种基于深度度量学习的图像情感分类与检索算法
CN114298122B (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN112651940B (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
Ji et al. Colorformer: Image colorization via color memory assisted hybrid-attention transformer
CN109710804B (zh) 一种教学视频图像知识点降维分析方法
CN111950528A (zh) 图表识别模型训练方法以及装置
CN113761253A (zh) 视频标签确定方法、装置、设备及存储介质
CN114201516B (zh) 一种用户画像构建的方法、信息推荐的方法以及相关装置
CN113297936A (zh) 一种基于局部图卷积网络的排球群体行为识别方法
CN114067385A (zh) 基于度量学习的跨模态人脸检索哈希方法
CN116226785A (zh) 目标对象识别方法、多模态识别模型的训练方法和装置
CN112148831A (zh) 图文混合检索方法、装置、存储介质、计算机设备
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN114898141A (zh) 一种基于对比损失的多视图半监督图像分类方法
CN111930981A (zh) 一种草图检索的数据处理方法
CN116935170A (zh) 视频处理模型的处理方法、装置、计算机设备和存储介质
CN115035341A (zh) 一种自动选择学生模型结构的图像识别知识蒸馏方法
Sowmyayani et al. Salient object based visual sentiment analysis by combining deep features and handcrafted features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination