CN111414478A - 基于深度循环神经网络的社交网络情感建模方法 - Google Patents

基于深度循环神经网络的社交网络情感建模方法 Download PDF

Info

Publication number
CN111414478A
CN111414478A CN202010174687.6A CN202010174687A CN111414478A CN 111414478 A CN111414478 A CN 111414478A CN 202010174687 A CN202010174687 A CN 202010174687A CN 111414478 A CN111414478 A CN 111414478A
Authority
CN
China
Prior art keywords
model
deep
user
emotion
social network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010174687.6A
Other languages
English (en)
Other versions
CN111414478B (zh
Inventor
王晓慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202010174687.6A priority Critical patent/CN111414478B/zh
Publication of CN111414478A publication Critical patent/CN111414478A/zh
Application granted granted Critical
Publication of CN111414478B publication Critical patent/CN111414478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度循环神经网络的社交网络情感建模方法，包括：基于注意力模型对社交网络异构数据进行处理；构建基于深度LSTM的长时记忆模型，包括：构建推广的深度神经网络残差结构，构建深度LSTM模型，构建融合多LSTM模型的深度递归神经网络；将处理后的数据输入构建的基于深度LSTM的长时记忆模型，输出得到社交网络中用户不同时刻的情感状态。与传统社交网络情感计算不同，本发明方法摆脱了对人工假定和建模的依赖，自动提取相关特征并建立情感转移和影响变化的关系模型，避免人工模型和实际情况的偏差，增强了***的推广能力。

Description

基于深度循环神经网络的社交网络情感建模方法
技术领域
本发明涉及多模态情感计算技术领域，特别涉及一种基于深度循环神经网络的社交网络情感建模方法。
背景技术
随着互联网的发展，通过社交网络理解人的情感已成为当前社会学、心理学和计算机科学等多学科的研究热点，也是情感计算的核心问题，有着重要的研究意义。媒体选择在社交网络上推送包括新闻资讯在内的各种信息，如果能准确地分析与理解人的情感，就可以通过社交平台进行精准地个性化智能推荐。因此，社交网络情感研究又有着重要的实用价值。
已有研究根据社交网络中用户的行为，如微博、地理位置、电话记录等分析用户情感状态，根据社交网络的结构和用户行为预测用户个性。基于Facebook上数据的研究表明社交网络上用户的情感与他们的社交活动和相互影响密切相关。社会学研究表明，由于人的同理心，情感具有群体性，即你的感受取决于你接触到的和与你关系或近或远的人感受到的。已有研究者根据互联网上的用户标注、微博、发表的文章等建立影响模型，以及影响的传播模型。
深度学习近年来取得了突飞猛进的进展。相比于以往的浅层学习，其突出特点在于可以用相对统一的结构处理各类异构数据，输入输出形式灵活，且无需人工进行特征筛选。其上层层级之间的隐变量可以向不同空间做映射，也就是说，针对某类任务训练好的神经网络可以方便地适配到相似任务。深度神经网络的特点决定了它适合处理社交网络中各类异构数据，从而实现各类异构数据到情感的建模。除了传统的静态神经网络，循环神经网络(Recurrent Neural Network，RNN)近年来受到越来越多的关注。相比较于静态神经网络，它增加了循环回馈的部分，即状态记忆功能。在处理当前输入时，将历史状态作为输入，即对历史信息进行“记忆”，行为模式更加接近人脑。但传统RNN在处理长期记忆依赖时显得力不从心，例如自然语言中某位置出现某词的概率，和若干词之前息息相关。LSTM(LongShort-Term Memory，长时记忆网络)的出现解决了这个问题，它是RNN的一种，通过精心设计的单元状态传递，有效解决了这个问题。
近年来，出现了一些用神经网络处理音视频情感的工作，如利用深度学习处理视频中的情感变化，但其只是在传统的分类情感识别基础上考虑帧间关系，并利用深度学习对其中某些步骤进行补充。Shizhe Chen和Qin Jin提出在多种特征基础上直接采用经典LSTM进行情感建模，其模型结构相对单一，需要手工提取各种特征。相对于社交网络，单纯的音视频数据较为规整，分析需要考虑的因素较少。
从2006年Geoffrey Hinton和他的学生Simon Osindero提出新的深度信念网络训练方法开始，深度学习的飞速发展就拉开了序幕。和之前浅层学习器相比，深度学习具有更加优异的特征学习能力，对数据有更本质的刻画，可以学到更复杂的概念。很多之前需要人工编码的特征提取步骤，在深度学习中被同构的网络完全取代，使得针对特定任务开发新算法的难度大大降低。Alex Krizhevsky等的研究表明，只要有训练足够，深度网络经常能提取出比人工精心设计得更好的特征表示。目前，深度学习的研究在学术界持续升温，谷歌、微软等大型企业的加入为其推波助澜，如著名的Google brain，微软152层残差网络等。近期DeepMind公司利用深度神经网络建模AI，能自动学习玩视频游戏，输入原始像素，无需人工标注，最终超越了人类玩家。AlphaGo更是利用深度网络实现了高质量围棋AI，以5:0战胜了欧洲冠军，大大挑战了围棋这一传统上认为电脑不可能战胜人类的领域。
本方法以社交网络的情感认知为出发点，建立基于循环神经网络的社交网络情感分析模型，输入社交网络数据，包括社交网络中的文本、图像、视频、网络关系等异构数据，输出社交网络中用户不同时刻的情感状态。
发明内容
本发明的目的在于提供一种基于深度循环神经网络的社交网络情感建模方法，根据社交网络中文本、图像、视频、网络关系等异构数据预测用户不同时刻的情感状态，解决社交网络情感计算的关键问题，能够为智能广告、推荐等应用提供模型基础；此外，本方法将社交网络、情感计算和深度学习、记忆神经网络、关注模型等有机结合起来，和已有的大部分关于社交网络情感的研究工作不同，无需人工建立情感变化和影响模型，避免了诸多先验假设，在对数据的普适性和准确率上，有着天然的优势。
为解决上述技术问题，本发明的实施例提供如下方案：
一种基于深度循环神经网络的社交网络情感建模方法，包括以下步骤：
基于注意力模型对社交网络异构数据进行处理；
构建基于深度LSTM的长时记忆模型，包括：构建推广的深度神经网络残差结构，构建深度LSTM模型，构建融合多LSTM模型的深度递归神经网络；
将处理后的数据输入构建的基于深度LSTM的长时记忆模型，输出得到社交网络中用户不同时刻的情感状态。
优选地，所述社交网络异构数据包括社交网络中的文本、图像、音频、视频、网络关系。
优选地，所述基于注意力模型对社交网络异构数据进行处理的步骤包括：
利用注意力模型根据当前状态从社交网络异构数据中根据需求提取符合重要性分布的信息，包括：
利用用户情感状态向量结合数据粗略表示生成所有异构数据的重要性分布并进行稀疏采样，所述数据粗略表示包括标签、标题、缩略图的向量化表示；
对提取的信息进行向量化处理，并生成紧凑向量表示，以输入后续模型中。
其中，对于图像，使用AutoEncoder生成紧凑向量表示；
对于音频，使用基于LSTM的AutoEncoder生成紧凑向量表示；
对于视频，先用AutoEncoder处理单张图片，再用处理音频的方法进行处理；
对于文字，用词向量进行表示。
优选地，所述构建推广的深度神经网络残差结构的步骤包括：
在基础深度神经网络结构上增加从输入端直接到内部节点的通路；
对任意节点短接。
优选地，所述构建深度LSTM模型的步骤包括：
构建情感变化时序模型和影响关联时序模型；
各变量的传递关系为：
Figure BDA0002410387960000041
Figure BDA0002410387960000042
Figure BDA0002410387960000043
Figure BDA0002410387960000044
其中，
Figure BDA0002410387960000045
为激活函数，其结果取值为[0，1]，Xt+1，Rt+1为输入的处理后数据，zt+1，rt+1为上个状态Ht经过
Figure BDA0002410387960000046
生成的两个激活量，
Figure BDA0002410387960000047
为由推广的深度神经网络
Figure BDA0002410387960000048
生成的新中间状态。
优选地，所述构建融合多LSTM模型的深度递归神经网络的步骤包括：
采用经典RNN时序数据流进行表示，以情感变化时序模型和影响关联时序模型为基础进行建模，同时情感变化时序模型和影响关联时序模型也依赖对方状态作为输入；
其中，通过以下参数进行建模和预测：
X，I分别表示观测数据及处理后数据，H，A，R表示状态向量，f表示各类映射函数，θ为模型参数，
Figure BDA0002410387960000049
表示用户i在t时刻的dm类观测数据，
Figure BDA00024103879600000410
表示对用户i在t时刻观测数据的汇总向量，由fAT输出，
Figure BDA00024103879600000411
为t时刻用户i的好友j与用户i的互动状态向量；
Figure BDA00024103879600000412
为用户i在t时刻的情感状态向量，通过输出层映射成包含喜怒哀乐的可理解信息
Figure BDA00024103879600000413
该过程通过函数
Figure BDA00024103879600000414
表示，利用深度神经网络残差结构实现，
Figure BDA00024103879600000415
为t时刻用户i的好友j对用户i的影响状态向量，
Figure BDA00024103879600000416
表示t时刻用户i所受到好友影响的聚合向量；
Figure BDA00024103879600000417
表示根据过去两人影响状态向量，及当前时刻两人情感状态向量、互动状态向量，推测下一刻两人影响状态向量；
Figure BDA00024103879600000418
为注意力模型，
Figure BDA00024103879600000419
配合其进行信息筛选；
Figure BDA0002410387960000051
将用户i所受其他用户影响进行整合，其中Nei(ui)表示用户i在社交网络中的关联用户；
Figure BDA0002410387960000052
输入用户i当前情感状态向量，当前的行为状态向量，以及受其他用户的影响状态向量，预测其下个时刻的情感状态向量。
本发明的上述方案至少包括以下有益效果：
本发明充分结合深度学习处理各类异构数据的优势，以及在记忆上充分模拟人脑的认知特点，为处理情感分析问题提供新的思路。与传统社交网络情感计算不同，本发明方法摆脱了对人工假定和建模的依赖，自动提取相关特征并建立情感转移和影响变化的关系模型，避免人工模型和实际情况的偏差，增强了***的推广能力。本发明方法不依附于特定的情感空间，在切换情感空间或增加新情感类型场合，不需要重新训练，减少开销。同时，不受限于少量静态数据，对海量动态社交网络数据进行自动甄别筛选和下载并增量学习，避免了人工步骤带来的偏差。此外，直接利用情感空间处理多类情感问题，无需拆分成多个二分类情感问题间接处理。
附图说明
图1是本发明实施例提供的基于深度循环神经网络的社交网络情感建模方法的流程图；
图2a和图2b分别是基础深度神经网络结构和本发明实施例中深度神经网络残差结构的示意图；
图3是本发明实施例中深度LSTM模型的示意图；
图4是本发明实施例中融合多LSTM模型的深度递归神经网络的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明的实施例提供了一种基于深度循环神经网络的社交网络情感建模方法，如图1所示，该方法包括以下步骤：
基于注意力模型对社交网络异构数据进行处理；
构建基于深度LSTM的长时记忆模型，包括：构建推广的深度神经网络残差结构，构建深度LSTM模型，构建融合多LSTM模型的深度递归神经网络；
将处理后的数据输入构建的基于深度LSTM的长时记忆模型，输出得到社交网络中用户不同时刻的情感状态。
本发明充分结合深度学习处理各类异构数据的优势，以及在记忆上充分模拟人脑的认知特点，为处理情感分析问题提供新的思路。与传统社交网络情感计算不同，本发明方法摆脱了对人工假定和建模的依赖，自动提取相关特征并建立情感转移和影响变化的关系模型，避免人工模型和实际情况的偏差，增强了***的推广能力。
本发明方法不依附于特定的情感空间，在切换情感空间或增加新情感类型场合，不需要重新训练，减少开销。同时，不受限于少量静态数据，对海量动态社交网络数据进行自动甄别筛选和下载并增量学习，避免了人工步骤带来的偏差。此外，直接利用情感空间处理多类情感问题，无需拆分成多个二分类情感问题间接处理。
进一步地，所述社交网络异构数据包括社交网络中的文本、图像、音频、视频、网络关系等异构数据。在本发明中，输入上述社交网络异构数据，构建的模型即可输出用户不同时刻的情感状态。
进一步地，所述基于注意力模型对社交网络异构数据进行处理的步骤包括：
利用注意力模型根据当前状态从社交网络异构数据中根据需求提取符合重要性分布的信息，包括：
利用用户情感状态向量结合数据粗略表示生成所有异构数据的重要性分布并进行稀疏采样，所述数据粗略表示包括标签、标题、缩略图的向量化表示；
对提取的信息进行向量化处理，并生成紧凑向量表示，以输入后续模型中。
社交网络异构数据中含有图片、音频、视频、文字等各类异构信息，首先需要把这些信息进行筛选汇总和规范化。本发明的实施例中利用用户情感向量结合数据粗略表示生成所有数据上的重要性分布从而进行稀疏采样，这个重要性分布通过深层网络建模得到。此外，对于图片、视频等大的媒体数据，通过重要性分布选择性跳过部分内容，从而节省资源。之后对这些信息进行向量化处理，并拼接成紧凑向量表示。
具体地，对于图像，使用AutoEncoder生成紧凑向量表示；对于音频，使用基于LSTM的AutoEncoder生成紧凑向量表示；对于视频，先用AutoEncoder处理单张图片，再用处理音频的方法进行处理；对于文字，用词向量进行表示；也可以参考其它弱分类器输出以充分利用之前研究成果。
进一步地，所述构建推广的深度神经网络残差结构的步骤包括：
在基础深度神经网络结构上增加从输入端直接到内部节点的通路；
对任意节点短接。
基础深度神经网络是所有结构单元的基础。图2a是基础深度神经网络结构的示意图，由若干卷基层(CONV)、激活层(RELU)、全连接层等交替连接构成。图2b是本发明实施例中深度神经网络残差结构的示意图，设计了更为灵活的数据通路，在原深度神经网络结构的基础上对任意部分短接，增加了从输入端直接到内部节点的直接通路，从而减轻了层级累积误差。设计实验研究中间隐藏层的布局及短接边放置方案，由对函数的学习转化成对残差的学习，大大提高了深层网络的学习效率。实验表明，优化的短接边连接可以取得比规则短接边更强的表达能力，有效避免训练时梯度消失的问题。
进一步地，所述构建深度LSTM模型的步骤包括：
构建情感变化时序模型和影响关联时序模型。
用户情感变化、影响变化关系等作为核心模块是整个时序网络的基础，这里结合LSTM长时间关联性、易于训练的优势，及深度网络表达能力强的特点，设计深度LSTM模块。
图3是本发明实施例中深度LSTM模型的示意图，各变量的传递关系为：
Figure BDA0002410387960000071
Figure BDA0002410387960000072
Figure BDA0002410387960000081
Figure BDA0002410387960000082
其中，
Figure BDA0002410387960000083
为激活函数，其结果取值为[0，1]，和经典LSTM相比，线性部分被替换成深度残差神经网络，状态更为紧凑；Xt+1，Rt+1为输入的处理后数据，zt+1，rt+1为上个状态Ht经过
Figure BDA0002410387960000084
生成的两个激活量，
Figure BDA0002410387960000085
为由推广的深度神经网络
Figure BDA0002410387960000086
生成的新中间状态。
输入Xt+1，Rt+1(处理后观测数据)，及上个状态Ht经过
Figure BDA0002410387960000087
成为两个激活量zt+1，rt+1，分别用来调制状态Ht对新中间状态
Figure BDA0002410387960000088
(由深度网络
Figure BDA0002410387960000089
生成)的影响，以及新中间状态
Figure BDA00024103879600000810
状态Ht对最终新状态的贡献。
进一步地，所述构建融合多LSTM模型的深度递归神经网络的步骤包括：
采用经典RNN时序数据流进行表示，以情感变化时序模型和影响关联时序模型为基础进行建模，同时情感变化时序模型和影响关联时序模型也依赖对方状态作为输入。
具体地，如图4所示，以用户i及与好友j的关系为例，采用经典RNN时序数据流表示，其中情感变化时序模型和影响关联时序模型的核心函数分别是fH，fA，用深度LSTM模型实现，图4展示了在t、t+1两个相邻时刻数据流的传递关系。
其中，X，I分别表示观测数据及处理后数据，H，A，R表示状态向量，f表示各类映射函数，θ为模型参数，
Figure BDA00024103879600000811
表示用户i在t时刻的dm类观测数据，
Figure BDA00024103879600000812
表示对用户i在t时刻观测数据的汇总向量，由fAT输出，
Figure BDA00024103879600000813
为t时刻用户i的好友j与用户i的互动状态向量，例如j给i留言；
Figure BDA00024103879600000814
为用户i在t时刻的情感状态向量，通过输出层映射成包含喜怒哀乐的可理解信息
Figure BDA00024103879600000815
该过程通过函数
Figure BDA00024103879600000816
表示，利用深度神经网络残差结构实现，
Figure BDA00024103879600000817
远比
Figure BDA00024103879600000818
信息丰富，某些情况下，
Figure BDA00024103879600000819
甚至将
Figure BDA00024103879600000820
信息蕴含其中，
Figure BDA00024103879600000821
为t时刻用户i的好友j对用户i的影响状态向量，和
Figure BDA00024103879600000822
类似，
Figure BDA00024103879600000823
也可以保存丰富的信息，除了包含当前时刻影响强度，也可编码之前的影响，
Figure BDA00024103879600000824
表示t时刻用户i所受到好友影响的聚合向量；
Figure BDA00024103879600000825
表示根据过去两人影响状态向量，及当前时刻两人情感状态向量、互动状态向量，推测下一刻两人影响状态向量；
Figure BDA0002410387960000091
为注意力模型，
Figure BDA0002410387960000092
配合其进行信息筛选；
Figure BDA0002410387960000093
将用户i所受其他用户影响进行整合，其中Nei(ui)表示用户i在社交网络中的关联用户；
Figure BDA0002410387960000094
输入用户i当前情感状态向量，当前的行为状态向量，以及受其他用户的影响状态向量，预测其下个时刻的情感状态向量。
综上所述，本发明充分结合深度学习处理各类异构数据的优势，以及在记忆上充分模拟人脑的认知特点，为处理情感分析问题提供新的思路。与传统社交网络情感计算不同，本发明方法摆脱了对人工假定和建模的依赖，自动提取相关特征并建立情感转移和影响变化的关系模型，避免人工模型和实际情况的偏差，增强了***的推广能力。本发明方法不依附于特定的情感空间，在切换情感空间或增加新情感类型场合，不需要重新训练，减少开销。同时，不受限于少量静态数据，对海量动态社交网络数据进行自动甄别筛选和下载并增量学习，避免了人工步骤带来的偏差。此外，直接利用情感空间处理多类情感问题，无需拆分成多个二分类情感问题间接处理。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于深度循环神经网络的社交网络情感建模方法，其特征在于，包括以下步骤：
基于注意力模型对社交网络异构数据进行处理；
构建基于深度LSTM的长时记忆模型，包括：构建推广的深度神经网络残差结构，构建深度LSTM模型，构建融合多LSTM模型的深度递归神经网络；
将处理后的数据输入构建的基于深度LSTM的长时记忆模型，输出得到社交网络中用户不同时刻的情感状态。
2.根据权利要求1所述的社交网络情感建模方法，其特征在于，所述基于注意力模型对社交网络异构数据进行处理的步骤包括：
利用注意力模型根据当前状态从社交网络异构数据中根据需求提取符合重要性分布的信息，包括：
利用用户情感状态向量结合数据粗略表示生成所有异构数据的重要性分布并进行稀疏采样，所述数据粗略表示包括标签、标题、缩略图的向量化表示；
对提取的信息进行向量化处理，并生成紧凑向量表示，以输入后续模型中；
其中，对于图像，使用AutoEncoder生成紧凑向量表示；
对于音频，使用基于LSTM的AutoEncoder生成紧凑向量表示；
对于视频，先用AutoEncoder处理单张图片，再用处理音频的方法进行处理；
对于文字，用词向量进行表示。
3.根据权利要求1所述的社交网络情感建模方法，其特征在于，所述构建推广的深度神经网络残差结构的步骤包括：
在基础深度神经网络结构上增加从输入端直接到内部节点的通路；
对任意节点短接。
4.根据权利要求3所述的社交网络情感建模方法，其特征在于，所述构建深度LSTM模型的步骤包括：
构建情感变化时序模型和影响关联时序模型；
各变量的传递关系为：
Figure FDA0002410387950000021
Figure FDA0002410387950000022
Figure FDA0002410387950000023
Figure FDA0002410387950000024
其中，
Figure FDA0002410387950000025
为激活函数，其结果取值为[0，1]，Xt+1，Rt+1为输入的处理后数据，zt+1，rt+1为上个状态Ht经过
Figure FDA0002410387950000026
生成的两个激活量，
Figure FDA0002410387950000027
为由推广的深度神经网络
Figure FDA0002410387950000028
生成的新中间状态。
5.根据权利要求4所述的社交网络情感建模方法，其特征在于，所述构建融合多LSTM模型的深度递归神经网络的步骤包括：
采用经典RNN时序数据流进行表示，以情感变化时序模型和影响关联时序模型为基础进行建模，同时情感变化时序模型和影响关联时序模型也依赖对方状态作为输入；
其中，通过以下参数进行建模和预测：
X，I分别表示观测数据及处理后数据，H，A，R表示状态向量，f表示各类映射函数，θ为模型参数，
Figure FDA0002410387950000029
表示用户i在t时刻的dm类观测数据，
Figure FDA00024103879500000210
表示对用户i在t时刻观测数据的汇总向量，由fAT输出，
Figure FDA00024103879500000211
为t时刻用户i的好友j与用户i的互动状态向量；
Figure FDA00024103879500000212
为用户i在t时刻的情感状态向量，通过输出层映射成包含喜怒哀乐的可理解信息
Figure FDA00024103879500000213
该过程通过函数
Figure FDA00024103879500000214
表示，利用深度神经网络残差结构实现，
Figure FDA00024103879500000215
为t时刻用户i的好友j对用户i的影响状态向量，
Figure FDA00024103879500000216
表示t时刻用户i所受到好友影响的聚合向量；
Figure FDA00024103879500000217
表示根据过去两人影响状态向量，及当前时刻两人情感状态向量、互动状态向量，推测下一刻两人影响状态向量；
Figure FDA00024103879500000218
为注意力模型，
Figure FDA00024103879500000219
配合其进行信息筛选；
Figure FDA00024103879500000220
将用户i所受其他用户影响进行整合，其中Nei(ui)表示用户i在社交网络中的关联用户；
Figure FDA0002410387950000031
输入用户i当前情感状态向量，当前的行为状态向量，以及受其他用户的影响状态向量，预测其下个时刻的情感状态向量。
CN202010174687.6A 2020-03-13 2020-03-13 基于深度循环神经网络的社交网络情感建模方法 Active CN111414478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010174687.6A CN111414478B (zh) 2020-03-13 2020-03-13 基于深度循环神经网络的社交网络情感建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010174687.6A CN111414478B (zh) 2020-03-13 2020-03-13 基于深度循环神经网络的社交网络情感建模方法

Publications (2)

Publication Number Publication Date
CN111414478A true CN111414478A (zh) 2020-07-14
CN111414478B CN111414478B (zh) 2023-11-17

Family

ID=71492941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010174687.6A Active CN111414478B (zh) 2020-03-13 2020-03-13 基于深度循环神经网络的社交网络情感建模方法

Country Status (1)

Country Link
CN (1) CN111414478B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327631A (zh) * 2021-07-15 2021-08-31 广州虎牙科技有限公司 一种情感识别模型的训练方法、情感识别方法及装置
CN113609306A (zh) * 2021-08-04 2021-11-05 北京邮电大学 对抗残差图变分自编码器的社交网络链接预测方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101688A1 (zh) * 2014-12-25 2016-06-30 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
CN107679580A (zh) * 2017-10-21 2018-02-09 桂林电子科技大学 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法
CN107808168A (zh) * 2017-10-31 2018-03-16 北京科技大学 一种基于强弱关系的社交网络用户行为预测方法
CN108764268A (zh) * 2018-04-02 2018-11-06 华南理工大学 一种基于深度学习的图文多模态情感识别方法
CN109508375A (zh) * 2018-11-19 2019-03-22 重庆邮电大学 一种基于多模态融合的社交情感分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016101688A1 (zh) * 2014-12-25 2016-06-30 清华大学 一种基于深度长短期记忆循环神经网络的连续语音识别方法
CN107679580A (zh) * 2017-10-21 2018-02-09 桂林电子科技大学 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法
CN107808168A (zh) * 2017-10-31 2018-03-16 北京科技大学 一种基于强弱关系的社交网络用户行为预测方法
CN108764268A (zh) * 2018-04-02 2018-11-06 华南理工大学 一种基于深度学习的图文多模态情感识别方法
CN109508375A (zh) * 2018-11-19 2019-03-22 重庆邮电大学 一种基于多模态融合的社交情感分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327631A (zh) * 2021-07-15 2021-08-31 广州虎牙科技有限公司 一种情感识别模型的训练方法、情感识别方法及装置
CN113609306A (zh) * 2021-08-04 2021-11-05 北京邮电大学 对抗残差图变分自编码器的社交网络链接预测方法及***
CN113609306B (zh) * 2021-08-04 2024-04-23 北京邮电大学 对抗残差图变分自编码器的社交网络链接预测方法及***

Also Published As

Publication number Publication date
CN111414478B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN113051916B (zh) 一种社交网络中基于情感偏移感知的交互式微博文本情感挖掘方法
CN113127624B (zh) 问答模型的训练方法及装置
Liu et al. Sentiment recognition for short annotated GIFs using visual-textual fusion
CN113064968B (zh) 一种基于张量融合网络的社交媒体情感分析方法及***
Zhang et al. A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews
CN113987167A (zh) 基于依赖感知图卷积网络的方面级情感分类方法及***
CN111414478A (zh) 基于深度循环神经网络的社交网络情感建模方法
CN114969282B (zh) 基于富媒体知识图谱多模态情感分析模型的智能交互方法
Sharif et al. Vision to language: Methods, metrics and datasets
CN114444481A (zh) 一种新闻评论的情感分析与生成方法
CN113627550A (zh) 一种基于多模态融合的图文情感分析方法
CN113609866A (zh) 文本标记方法、装置、设备及存储介质
CN117271745A (zh) 一种信息处理方法、装置及计算设备、存储介质
CN116913278A (zh) 语音处理方法、装置、设备和存储介质
CN117349402A (zh) 一种基于机器阅读理解的情绪原因对识别方法及***
Rodriguez et al. How important is motion in sign language translation?
Acharya et al. AtheNA an avid traveller using LSTM based RNN architecture
CN113741759B (zh) 评论信息的展示方法、装置、计算机设备和存储介质
CN116049393A (zh) 一种基于gcn的方面级文本情感分类方法
CN115359486A (zh) 一种文档图像中自定义信息的确定方法及***
CN114443846A (zh) 一种基于多层级文本异构图的分类方法、装置及电子设备
CN118014086B (zh) 数据处理方法、装置、设备、存储介质及产品
Montes Mora et al. Promoting the self-efficacy of deaf people through the application of translator of signifiers
Lei et al. Multimodal Sentiment Analysis Based on Composite Hierarchical Fusion
CN117762499B (zh) 任务指令构建方法和任务处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant