CN115239937A - 一种跨模态情感预测方法 - Google Patents
一种跨模态情感预测方法 Download PDFInfo
- Publication number
- CN115239937A CN115239937A CN202211161450.XA CN202211161450A CN115239937A CN 115239937 A CN115239937 A CN 115239937A CN 202211161450 A CN202211161450 A CN 202211161450A CN 115239937 A CN115239937 A CN 115239937A
- Authority
- CN
- China
- Prior art keywords
- cross
- modal
- text
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 15
- 230000002996 emotional effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000010365 information processing Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 239000009029 wenxiao Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种跨模态情感预测方法,涉及自然语言信息处理技术领域。其主要步骤如下:(1)对跨模态图片文本数据进行预处理;(2)构建神经网络跨模态情感预测模型,包括构建图像‑文本编码模块,跨模态对齐模块,跨模态融合模块,跨模态关联性学习模块和情感分类模块;(3)在训练集上训练神经网络跨模态情感预测模型;(4)分别在验证集、测试集上对神经网络跨模态情感预测模型进行验证和测试。
Description
技术领域
本发明涉及自然语言信息处理技术领域,尤其涉及一种跨模态情感预测方法。
背景技术
随着社交媒体和互联网技术的飞速发展,Twitter、微博等社交网络平台已成为用户发布内容的重要方式。人们倾向于将图像和文本一起发布以表达他们的情感或意见,因此越来越多的推文同时具有文本和视觉内容。传统情感分析只考虑了文本内容而忽略了视觉模态的作用,这给社交媒体分析和情感预测带来新的挑战。基于此,跨模态情感预测近年来受到了广泛关注,它旨在从文本和图像等跨模态数据中确定人们对主题或商品的情感极性。
迄今为止,国内外研究人员提出了一系列跨模态情感预测的方法,大致都遵循“先抽取再融合”的范式。即,先分别抽取文本和视觉内容的单模态特征,再使用不同的融合策略聚合这些特征用以情感预测。通过对现有的专利及相关技术的检索发现,现有的与跨模态情感预测有关的方法有:
(1)耿玉水,张康,赵晶,刘建鑫,李文骁. 一种基于张量融合网络的社交媒体情感分析方法及***[P].提出了一种基于张量融合网络的社交媒体情感分析方法。该方法首先分别提取多模态信息的文本特征和图像特征,然后使用张量融合方法将文本特征和图像特征进行融合得到多模态特征。最后将多模态特征输入全连接层完成情感分类。
(2)丁健宇,祁云嵩,马崟桓,赵呈祥. 基于特征融合的多模态社交媒体情感分析方法[P].提出了一种基于特征融合的多模态社交媒体情感分析方法。该方法采用多头注意力机制提取文本情感特征,采用深度残差网络提取图像情感特征,最后将两种特征拼接起来进行情感分类计算。
(3)甘臣权,冯庆东,付祥,张祖凡. 基于多模态交互融合网络的图文情感分析方法及***[P].提出了一种基于多模态交互融合网络的图文情感分析方法及***。该***采用空洞卷积神经网络、LSTM和注意力机制构建文本特征提取模块,使用深度卷积网络构建视觉特征提取模块,并采用多个具有不同神经元的多模态交互网络建模不同粒度的图文特征。最后通过多层感知机获取图文情感倾向。
可以看出现有的跨模态情感分析方法虽然取得了不错的效果,但依然存在着以下不足:(1)大多数方法忽略了模态之间的关联性,即单模态蕴含的情感可能彼此不一致,这会导致多模态情感预测效果不佳。(2)大部分方法只聚焦于不同模态的融合,而忽略了不同模态之间的对齐。(3)大多数方法仅使用简单的相加、拼接对不同模态特征进行融合,难以建模跨模态之间的复杂语义交互。
鉴于以上陈述的已有方案的不足,本发明旨在提供更简单的、更完善的方案,并使之克服现有技术的以上缺点。
发明内容
本发明的目的是提供一种跨模态情感预测方法,它能有效地解决多模态情感预测更加准确的技术问题。
本发明的目的是通过以下技术方案来实现的:
1. 一种跨模态情感预测方法,包括以下步骤:
步骤一、对待分析的跨模态情感的图片、文本数据进行预处理:
(3)将预处理后的图像文本数据按照8:1:1的比例划分为训练集、验证集和测试集;
步骤二、构建神经网络跨模态情感预测模型:
(1)构建图像-文本编码模块:
(2)构建跨模态对齐模块:
根据图像特征和文本特征构建正负样本,具体地,首先将预处理后的图像、文本数据分为两个以上的批次,对同一批次内的图文输入对进行样本分类,将来自相同输入对的图文特征记为正样本,来自不同输入对的图文特征记为负样本;
(3)构建跨模态融合模块:
(4)构建跨模态关联性学习模块:
(5)构建情感分类模块:
步骤三、训练神经网络跨模态情感预测模型:
神经网络跨模态情感预测模型的训练数据是采用步骤一所述的训练集中的数据,训练目标是最小化整体损失函数,并使用Adam优化器优化网络参数;神经网络跨模态情感预测模型的整体损失函数,由分类损失函数和对比损失函数加权求和而成,即:。其中,为超参数;
步骤四、验证和测试神经网络跨模态情感预测模型:
采用步骤一中预处理后的验证集,对神经网络跨模态情感预测模型进行验证,选取超参数对神经网络跨模态情感预测模型进行优化;再将步骤一所述的测试集中的图像文本数据,输入到经过训练和验证后的神经网络跨模态情感预测模型中,即可进行跨模态情感预测并获得情感倾向。
与现有技术相比,本发明的优点和效果是:
(1)该发明提出了一个基于对比学习的跨模态对齐模块,能够缩小不同模态之间的语义鸿沟。(2)该发明提出的跨模态关联性学习模块,充分利用了不同模态之间语义信息的差异性,提高了模型预测的精度。(3)该发明提出的框架能够扩展到其他相关的多模态问题,具有一定的普适性。
附图说明
图1为本发明的流程示意图,
图2为本发明的整体框架示意图。
具体实施方式
以下结合附图实施对本发明作进一步详细描述。
如图1所示,本发明提出了一种跨模态情感预测方法,由以下步骤组成:
步骤一、对待分析的跨模态图片、文本数据进行预处理:
(3)将预处理后的图像文本数据按照8:1:1的比例划分为训练集、验证集和测试集;
步骤二、构建神经网络跨模态情感预测模型:
(1)构建图像-文本编码模块:
(2)构建跨模态对齐模块:
根据图像特征和文本特征构建正负样本,具体地,首先将预处理后的图像、文本数据分为两个以上的批次,对同一批次内的图文输入对进行样本分类,将来自相同输入对的图像文本特征记为正样本,来自不同输入对的图像文本特征记为负样本;
(3)构建跨模态融合模块:
(4)构建跨模态关联性学习模块:
(5)构建情感分类模块:
步骤三、训练神经网络跨模态情感预测模型:
神经网络跨模态情感预测模型的训练数据是采用步骤一所述的训练集中的数据,训练目标是最小化整体损失函数,并使用Adam优化器优化网络参数;神经网络跨模态情感预测模型的整体损失函数,由分类损失函数和对比损失函数加权求和而成,
步骤四、验证和测试神经网络跨模态情感预测模型:
采用步骤一中预处理后的验证集,对神经网络跨模态情感预测模型进行验证,选取超参数对神经网络跨模态情感预测模型进行优化;再将步骤一所述的测试集中的图像文本数据,输入到经过训练和验证后的神经网络跨模态情感预测模型中,即可进行跨模态情感预测并获得情感倾向。
对本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。
Claims (1)
1.一种跨模态情感预测方法,其特征在于:所述跨模态情感预测方法包括以下步骤:
步骤一、对待分析的跨模态情感的图片、文本数据进行预处理:
(3)将预处理后的图像文本数据按照8:1:1的比例划分为训练集、验证集和测试集;
步骤二、构建神经网络跨模态情感预测模型:
(1)构建图像-文本编码模块:
(2)构建跨模态对齐模块:
根据图像特征和文本特征构建正负样本,具体地,首先将预处理后的图像、文本数据分为两个以上的批次,对同一批次内的图文输入对进行样本分类,将来自相同输入对的图文特征记为正样本,来自不同输入对的图文特征记为负样本;
(3)构建跨模态融合模块:
(4)构建跨模态关联性学习模块:
(5)构建情感分类模块:
步骤三、训练神经网络跨模态情感预测模型:
神经网络跨模态情感预测模型的训练数据是采用步骤一所述的训练集中的数据,训练目标是最小化整体损失函数,并使用Adam优化器优化网络参数;神经网络跨模态情感预测模型的整体损失函数,由分类损失函数和对比损失函数加权求和而成,
步骤四、验证和测试神经网络跨模态情感预测模型:
采用步骤一中预处理后的验证集,对神经网络跨模态情感预测模型进行验证,选取超参数对神经网络跨模态情感预测模型进行优化;再将步骤一所述的测试集中的图像文本数据,输入到经过训练和验证后的神经网络跨模态情感预测模型中,即可进行跨模态情感预测并获得情感倾向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211161450.XA CN115239937B (zh) | 2022-09-23 | 2022-09-23 | 一种跨模态情感预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211161450.XA CN115239937B (zh) | 2022-09-23 | 2022-09-23 | 一种跨模态情感预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115239937A true CN115239937A (zh) | 2022-10-25 |
CN115239937B CN115239937B (zh) | 2022-12-20 |
Family
ID=83667216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211161450.XA Active CN115239937B (zh) | 2022-09-23 | 2022-09-23 | 一种跨模态情感预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115239937B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115809438A (zh) * | 2023-01-18 | 2023-03-17 | 中国科学技术大学 | 多模态情感分析方法、***、设备及存储介质 |
CN116842141A (zh) * | 2023-08-28 | 2023-10-03 | 北京中安科技发展有限公司 | 一种基于警烟联动数字化情报研判方法 |
CN117151223A (zh) * | 2023-10-31 | 2023-12-01 | 北京新广视通科技集团有限责任公司 | 一种基于可学习提示的多模态实体识别和关系抽取方法 |
CN117195903A (zh) * | 2023-11-07 | 2023-12-08 | 北京新广视通科技集团有限责任公司 | 基于噪声感知的生成式、多模态实体关系抽取方法及*** |
CN117290461A (zh) * | 2023-11-24 | 2023-12-26 | 湖南君安科技有限公司 | 融合aspp模块与跨模态交互的多模态对话生成方法 |
CN117540023A (zh) * | 2024-01-08 | 2024-02-09 | 南京信息工程大学 | 基于模态融合图卷积网络的图像联合文本情感分析方法 |
CN117975342A (zh) * | 2024-03-28 | 2024-05-03 | 江西尚通科技发展有限公司 | 半监督多模态情感分析方法、***、存储介质及计算机 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066583A (zh) * | 2017-04-14 | 2017-08-18 | 华侨大学 | 一种基于紧凑双线性融合的图文跨模态情感分类方法 |
CN110188343A (zh) * | 2019-04-22 | 2019-08-30 | 浙江工业大学 | 基于融合注意力网络的多模态情感识别方法 |
CN110321918A (zh) * | 2019-04-28 | 2019-10-11 | 厦门大学 | 基于微博的舆论机器人***情感分析和图像标注的方法 |
US20200104368A1 (en) * | 2018-10-02 | 2020-04-02 | At&T Intellectual Property I, L.P. | Sentiment analysis tuning |
CN111753549A (zh) * | 2020-05-22 | 2020-10-09 | 江苏大学 | 一种基于注意力机制的多模态情感特征学习、识别方法 |
CN112418034A (zh) * | 2020-11-12 | 2021-02-26 | 元梦人文智能国际有限公司 | 多模态情感识别方法、装置、电子设备和存储介质 |
CN113158875A (zh) * | 2021-04-16 | 2021-07-23 | 重庆邮电大学 | 基于多模态交互融合网络的图文情感分析方法及*** |
CN113361396A (zh) * | 2021-06-04 | 2021-09-07 | 思必驰科技股份有限公司 | 多模态的知识蒸馏方法及*** |
CN114330334A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 一种基于知识图谱和跨模态注意力的多模态反讽检测方法 |
CN114547261A (zh) * | 2022-01-13 | 2022-05-27 | 北京理工大学 | 针对请求和情感标签生成的带有指定情感的机器回复方法 |
CN114757183A (zh) * | 2022-04-11 | 2022-07-15 | 北京理工大学 | 一种基于对比对齐网络的跨领域情感分类方法 |
CN114841335A (zh) * | 2022-01-19 | 2022-08-02 | 苏州大学 | 基于变分蒸馏的多模态联合表示学习方法及*** |
CN114936623A (zh) * | 2022-04-20 | 2022-08-23 | 西北工业大学 | 一种融合多模态数据的方面级情感分析方法 |
CN114973044A (zh) * | 2021-02-22 | 2022-08-30 | 上海大学 | 一种基于双模态信息增强多头注意力的视频情感分析方法 |
CN115033670A (zh) * | 2022-06-02 | 2022-09-09 | 西安电子科技大学 | 多粒度特征融合的跨模态图文检索方法 |
CN115034227A (zh) * | 2022-06-28 | 2022-09-09 | 西安交通大学 | 一种基于多模态互注意融合的渐进式多任务情感分析方法 |
-
2022
- 2022-09-23 CN CN202211161450.XA patent/CN115239937B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066583A (zh) * | 2017-04-14 | 2017-08-18 | 华侨大学 | 一种基于紧凑双线性融合的图文跨模态情感分类方法 |
US20200104368A1 (en) * | 2018-10-02 | 2020-04-02 | At&T Intellectual Property I, L.P. | Sentiment analysis tuning |
CN110188343A (zh) * | 2019-04-22 | 2019-08-30 | 浙江工业大学 | 基于融合注意力网络的多模态情感识别方法 |
CN110321918A (zh) * | 2019-04-28 | 2019-10-11 | 厦门大学 | 基于微博的舆论机器人***情感分析和图像标注的方法 |
CN111753549A (zh) * | 2020-05-22 | 2020-10-09 | 江苏大学 | 一种基于注意力机制的多模态情感特征学习、识别方法 |
CN112418034A (zh) * | 2020-11-12 | 2021-02-26 | 元梦人文智能国际有限公司 | 多模态情感识别方法、装置、电子设备和存储介质 |
CN114973044A (zh) * | 2021-02-22 | 2022-08-30 | 上海大学 | 一种基于双模态信息增强多头注意力的视频情感分析方法 |
CN113158875A (zh) * | 2021-04-16 | 2021-07-23 | 重庆邮电大学 | 基于多模态交互融合网络的图文情感分析方法及*** |
CN113361396A (zh) * | 2021-06-04 | 2021-09-07 | 思必驰科技股份有限公司 | 多模态的知识蒸馏方法及*** |
CN114330334A (zh) * | 2021-12-30 | 2022-04-12 | 杭州电子科技大学 | 一种基于知识图谱和跨模态注意力的多模态反讽检测方法 |
CN114547261A (zh) * | 2022-01-13 | 2022-05-27 | 北京理工大学 | 针对请求和情感标签生成的带有指定情感的机器回复方法 |
CN114841335A (zh) * | 2022-01-19 | 2022-08-02 | 苏州大学 | 基于变分蒸馏的多模态联合表示学习方法及*** |
CN114757183A (zh) * | 2022-04-11 | 2022-07-15 | 北京理工大学 | 一种基于对比对齐网络的跨领域情感分类方法 |
CN114936623A (zh) * | 2022-04-20 | 2022-08-23 | 西北工业大学 | 一种融合多模态数据的方面级情感分析方法 |
CN115033670A (zh) * | 2022-06-02 | 2022-09-09 | 西安电子科技大学 | 多粒度特征融合的跨模态图文检索方法 |
CN115034227A (zh) * | 2022-06-28 | 2022-09-09 | 西安交通大学 | 一种基于多模态互注意融合的渐进式多任务情感分析方法 |
Non-Patent Citations (9)
Title |
---|
GUANLIN ZHAI等: "Multi-Attention Fusion Modeling for Sentiment Analysis of Educational Big Data", 《BIG DATA MINING AND ANALYTICS》 * |
HUANGLU WEN等: "Cross-modal context-gated convolution for multi-modal sentiment analysis", 《PATTERN RECOGNITION LETTERS》 * |
JIAHAO ZHENG等: "Multimodal Representations Learning Based on Mutual Information Maximization and Minimization and Identity Embedding for Multimodal Sentiment Analysis", 《ARXIV》 * |
ZHIBANG QUAN等: "Multimodal Sentiment Analysis Based on Cross-Modal Attention and Gated Cyclic Hierarchical Fusion Networks", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》 * |
冯广等: "基于话语间时序多模态数据的情绪分析方法", 《计算机***应用》 * |
刘路路等: "ABAFN:面向多模态的方面级情感分析模型", 《计算机工程与应用》 * |
安迅: "基于跨模态融合的图文情感分析方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
赵鹏等: "融合全模态自编码器和生成对抗机制的跨模态检索", 《计算机辅助设计与图形学学报》 * |
陈巧红等: "基于多层跨模态注意力融合的图文情感分析", 《浙江理工大学学报》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115809438A (zh) * | 2023-01-18 | 2023-03-17 | 中国科学技术大学 | 多模态情感分析方法、***、设备及存储介质 |
CN116842141A (zh) * | 2023-08-28 | 2023-10-03 | 北京中安科技发展有限公司 | 一种基于警烟联动数字化情报研判方法 |
CN116842141B (zh) * | 2023-08-28 | 2023-11-07 | 北京中安科技发展有限公司 | 一种基于警烟联动数字化情报研判方法 |
CN117151223A (zh) * | 2023-10-31 | 2023-12-01 | 北京新广视通科技集团有限责任公司 | 一种基于可学习提示的多模态实体识别和关系抽取方法 |
CN117151223B (zh) * | 2023-10-31 | 2024-01-23 | 北京新广视通科技集团有限责任公司 | 一种基于可学习提示的多模态实体识别和关系抽取方法 |
CN117195903A (zh) * | 2023-11-07 | 2023-12-08 | 北京新广视通科技集团有限责任公司 | 基于噪声感知的生成式、多模态实体关系抽取方法及*** |
CN117195903B (zh) * | 2023-11-07 | 2024-01-23 | 北京新广视通科技集团有限责任公司 | 基于噪声感知的生成式、多模态实体关系抽取方法及*** |
CN117290461A (zh) * | 2023-11-24 | 2023-12-26 | 湖南君安科技有限公司 | 融合aspp模块与跨模态交互的多模态对话生成方法 |
CN117290461B (zh) * | 2023-11-24 | 2024-02-06 | 湖南君安科技有限公司 | 融合aspp模块与跨模态交互的多模态对话生成方法 |
CN117540023A (zh) * | 2024-01-08 | 2024-02-09 | 南京信息工程大学 | 基于模态融合图卷积网络的图像联合文本情感分析方法 |
CN117975342A (zh) * | 2024-03-28 | 2024-05-03 | 江西尚通科技发展有限公司 | 半监督多模态情感分析方法、***、存储介质及计算机 |
CN117975342B (zh) * | 2024-03-28 | 2024-06-11 | 江西尚通科技发展有限公司 | 半监督多模态情感分析方法、***、存储介质及计算机 |
Also Published As
Publication number | Publication date |
---|---|
CN115239937B (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115239937B (zh) | 一种跨模态情感预测方法 | |
CN113065577A (zh) | 一种面向目标的多模态情感分类方法 | |
CN112131347A (zh) | 一种基于多模态融合的假新闻检测方法 | |
CN112487822A (zh) | 一种基于深度学习的跨模态检索方法 | |
CN117391051B (zh) | 一种融合情感的共同注意网络多模态虚假新闻检测方法 | |
CN111651558A (zh) | 基于预训练语义模型的超球面协同度量推荐装置和方法 | |
US20240119716A1 (en) | Method for multimodal emotion classification based on modal space assimilation and contrastive learning | |
CN117251791B (zh) | 基于图的全局语义感知的多模态反讽检测方法 | |
CN116611024A (zh) | 一种基于事实和情感对立性的多模态反讽检测方法 | |
CN113705238A (zh) | 基于bert和方面特征定位模型的方面级情感分析方法及模型 | |
CN114648031A (zh) | 基于双向lstm和多头注意力机制的文本方面级情感识别方法 | |
CN114942991B (zh) | 一种基于隐喻识别的情感分类模型构建方法 | |
CN117574904A (zh) | 基于对比学习和多模态语义交互的命名实体识别方法 | |
CN116383517A (zh) | 动态传播特征增强的多模态谣言检测方法及*** | |
CN116434023A (zh) | 基于多模态交叉注意力网络的情感识别方法、***及设备 | |
CN115311465A (zh) | 一种基于双注意力模型的图像描述方法 | |
CN117688185A (zh) | 一种用户信息增强的长文本细粒度情感分析方法 | |
Zhu et al. | Self-supervised learning for sentiment analysis via image-text matching | |
CN112182227A (zh) | 基于transD知识图嵌入的文本情感分类***及方法 | |
CN116662924A (zh) | 基于双通道与注意力机制的方面级多模态情感分析方法 | |
CN114298011B (zh) | 神经网络、训练方法、方面级情感分析方法、装置及存储介质 | |
CN115081445A (zh) | 一种基于多任务学习的短文本实体消歧方法 | |
CN114757183A (zh) | 一种基于对比对齐网络的跨领域情感分类方法 | |
Venkatramaphanikumar et al. | Review on the Usage of Deep Learning Models in Multi-modal Sentiment Analysis | |
Prabhu et al. | A dynamic weight function based BERT auto encoder for sentiment analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |