CN107832663A - 一种基于量子理论的多模态情感分析方法 - Google Patents
一种基于量子理论的多模态情感分析方法 Download PDFInfo
- Publication number
- CN107832663A CN107832663A CN201710916759.8A CN201710916759A CN107832663A CN 107832663 A CN107832663 A CN 107832663A CN 201710916759 A CN201710916759 A CN 201710916759A CN 107832663 A CN107832663 A CN 107832663A
- Authority
- CN
- China
- Prior art keywords
- text
- image
- emotion
- modal
- density matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于量子理论的多模态情感分析方法,包括:构建多模态情感语料集;选取训练集和测试集,并分别对训练集和测试集进行预处理;对预处理之后的文本和图像,提取出各自的特征,分别构建文本密度矩阵和图像密度矩阵;将训练集中的文本密度矩阵和图像密度矩阵,输入随机森林分类器,训练得到文本情感分类模型和图像情感分类模型;将测试集语料的文本矩阵和图像矩阵输入文本和图像情感分类模型,进行情感类别分类,计算出各自的预测概率;运用多模态决策融合方法将文本预测概率和图像预测概率加权融合,最终计算出每个多模态样本的分类准确率。
Description
技术领域
本发明涉及多模态情感分类技术领域,特别是涉及一种多模态情感分析方法。
背景技术
随着互联网和社交网络的迅速发展,越来越多的用户喜欢在社交平台上(如微博、Facebook、Flickr等)发表评论和分享自己的观点,成为用户日常生活中获取信息的主要来源之一。不同于以往的只通过文本形式传递信息,用户越来越倾向于使用多种媒体形式(如文本加上图像,文本加上歌曲,文本加上视频等)共同表达他们的情感。相比于单一模态,多模态能够表达更加准确和更直观的情感信息。另一方面,分析多模态主观性文档的重要性已经被社会各行各业认识到,它可以帮助产品商改善产品,帮助政府了解民众的喜好等。因此,多模态情感分析不仅具有重要的理论意义,而且蕴含巨大的社会价值。本发明主要研究社交平台中最普遍的多模态文档情感,即图像-文本情感分析技术。
目前,针对文本的情感分析技术发展已经较为成熟,涌现出许多杰出的成果。另外一方面,由于图像处理领域存在着一个著名的难题,“语义鸿沟”,即机器获取的图像的视觉特征与人类对图像的理解的不一致性,导致低层特征与高层语义之间的距离,同时,图像情感相比于文本情感牵涉到更深奥的抽象性和主观性。图像情感分析虽然成果较为丰富,现在仍旧是一个挑战性的任务。因此,反映在多模态情感分析技术上,如何发展优秀的多模态表示模型是一个值得探索的课题。
进一步地,理论上,多模态情感分析不仅是一个分类任务,同样是一个复杂而主观的认知过程。不同的模态纠缠在一起共同表达作者的情感,不同模态的信息会同时影响用户最终的决策过程,表现为对不同模态不同的阅读顺序,可能产生不同的情感判断,促使用户的认知状态产生干涉现象。这种认知干涉现象无法用经典概率理论解释,却可以通过量子概率理论建模。已有的多模态情感分析技术主要围绕着提取多模态特征和训练优秀的分类器,没有从认知的层面看待多模态情感分析,更没有考虑和建模这种模态间的干涉效应。
现在,量子概率理论已经被研究者们证明可以作为一种数学框架描述信息检索中的查询词和文档,取得了初步性的成果。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种多模态情感分析方法。本发明搭建一个基于社交平台的多模态情感语料集,分别从图像和文本中提取特征信息,构建密度矩阵,运用随机森林分别训练文本和图像情感分类模型,并利用基于量子理论的多模态决策融合方法融合每种模态的预测结果,最终得到更加准确的分类结果。本发明的目的是通过以下技术方案来实现的:
一种基于量子理论的多模态情感分析方法,其特征在于:它包括如下步骤:
(1):利用“爬虫”技术,收集并构建多模态情感语料集,该语料集的总样本数为2*N,包含N个主观性文本和一一对应的N张主观性图片;
(2):从多模态情感语料集中,选取训练集和测试集,并分别对训练集和测试集进行预处理,去除每个文本的停留词、标点符号及统一设置每张图像的尺寸;
(3):对预处理之后的文本和图像,提取出各自的特征,分别构建文本密度矩阵ρtext和图像密度矩阵ρimage,均是n*n的矩阵,其中,n是每个单词向量的维数,方法如下:
第一步:运用glove工具得到每个文本中单词的词向量wi,然后归一化:
第二步:提取训练集中所有图像的尺度不变特征变换特征;运用K-means算法聚集SIFT特征得到K个聚类中心,构建出包含K个单词的词典;运用图像中单词的词向量si,然后归一化
第三步:基于外积操作,分别构建每个文本单词和单词的投影序列;
第四步:得到整个文本和图像的投影序列之后,运用最大似然估计MLE方法训练出密度矩阵;
第五步:运用全局收敛算法,计算出似然函数ζ(ρ)的最优解,即得出最终的文本密度矩阵和图像密度矩阵;
(4):将训练集中的文本密度矩阵和图像密度矩阵,输入随机森林分类器,训练得到文本情感分类模型和图像情感分类模型;
(5):将测试集语料的文本矩阵和图像矩阵输入文本和图像情感分类模型,进行情感类别分类,计算出各自的预测概率;
(6):运用多模态决策融合方法将文本预测概率Ptext和图像预测概率Pimage加权融合,最终计算出每个多模态样本的分类准确率,记为Pfinal。
优选地,步骤(6)的方法如下:
第一步:本发明将多模态情感分析过程类比作量子双缝干涉实验,利用波函数进行多模态分析:
其中,ψfinal(x),ψtext(x),ψimage(x)分别表示最终的情感分类、文本情感、图像情感的波函数;α,β是任意的参数,满足α2+β2=1,Ptext是文本的预测概率,Pimage是图像的预测概率,cosθ表示模态之间的干涉强度,cosθ∈[-1,+1];
第二步:计算每个多模态文档的正、负标签预测概率如下:
其中,表示该文档正标签(+1)的预测概率,表示该文档负标签(-1)的预测概率;表示文本正标签(+1)的预测概率,是对应图像正标签(+1)的预测概率,表示文本负标签(-1)的预测概率,表示图像负标签(-1)的预测概率;如果那么预测标签是+1,否则是-1;最终得到多模态文档每个样本的预测结果。
本发明的有益效果是:
(1)搭建一个有效的多模态数据语料集,克服了当前多模态情感语料集匮乏的困境;
(2)基于量子概率理论,抽取多模态特征,构建出密度矩阵,蕴含丰富的语义信息。
(3)基于量子干涉理论提出多模态决策融合方法,能够让机器模拟人类决策分类,建模模态间的干涉现象,提高多模态情感分类的准确率。
附图说明
图1为本发明的方法流程图;
图2为多模态量子表示模型的流程图;
图3为多模态情感分析与量子干涉的类比图;
图4为不同分类算法的ROC曲线实验对比结果。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。图1显示了本方法提出的基于量子理论的多模态情感分析方法的流程;图2显示了多模态量子表示模型的流程图;图3显示了多模态情感分析与量子干涉的类比图;图4显示了最终不同算法之间的情感分类的对比结果。具体步骤如下:
(1):基于著名的情感词典SentiWordNet,选取127个蕴含正情感和负情感的关键词,构成情感词表,其中正情感词数是62,如happy(开心)、smiling(微笑)等,负情感词数65,如sad(悲伤)、murder(谋杀)等。
(2):基于Flickr平台采集数据,建立多模态数据集,方法如下:
第一步:用这些情感词分别查询Flickr,运用beautifulsoup工具,在Flickr社交平台检索出的多模态文档中,用相应情感词的极性标注检索的多模态文档的极性,收集并构建多模态情感语料集,该语料集的总样本数为2*99000,包含99000个主观性文本和一一对应的99000张主观性图片,其中正情感样本总数为99400,负情感样本总数为98600。
第二步:从第一步中构建的多模态情感语料集中,随机选取80%*99000个文本和80%*99000张对应的图像作为训练集,剩下20%*99000个文本及对应的图像划分为测试集,并分别对训练集和测试集进行预处理,去除每个文本的停留词、标点符号等无用词汇,将各个图像的尺寸统一缩小为原来的50%。
(3):对预处理之后的文本和图像,运用多模态量子表示模型提取出各自的特征,构建密度矩阵ρtext和ρimage,均是n*n的矩阵,其中,n是每个(视觉)单词的向量的维数。假设每个文本表示为D={w1,w2,...,wi,…,wm},m是文本中单词的数量,如图2所示。方法如下:
第一步:运用glove工具得到每个文本中单词的100维的词向量wi,然后归一化,即
第二步:提取训练集中所有图像的128维SIFT(尺度不变特征变换)特征L个;运用K-means算法聚集L个SIFT特征得到K(设置K=128)个聚类中心,每个聚类中心就是一个视觉单词,每个单词则是一个128维的SIFT向量;构建一个包含K个视觉单词的词典,每个图像的SIFT特征都可以映射为词典中的视觉单词,假定图像表示为I={s1,s2,…,si,…,st};运用图像中视觉单词的词向量si,然后归一化
第三步:采用外积操作,利用下面的公式构建每个文本单词和图像视觉单词的投影Πi:
Πi=|wi><wi|,
Πi=|si><si|
然后每个文档的投影序列则是:ΠD={Π1,Π2,...,Πm};每个图像的投影序列为:ΠI={Π1,Π2,...,Πt}。
第四步:得到整个文本和图像的投影序列之后ΠD和ΠI,运用最大似然估计(MLE)方法训练出密度矩阵,首先表示出似然函数ζ(ρ)(似然函数的意义为得到该文档的概率):
其中,ρ是密度矩阵,tr是计算矩阵的迹。
由于log函数是单调的,因此目标函数F(ρ)可以定义为:
其中,tr(ρ)=1,ρ≥0。
第五步:运用全局收敛算法,该算法通过迭代更新ρ和目标函数F(ρ)的值,并定义出每次迭代过程中的搜索方向D:
其中q(t)和均被定义为:
最终,每次迭代的更新规则是:ρk+1=ρk+tkDk。
其中,t称作步长,t∈[0,1],q(t)≥1,fi是每个单词的词频。当目标函数的值变化在0.0001之内时,迭代终止,输出最终的密度矩阵。
(4):将训练集中的文本密度矩阵ρtext和图像密度矩阵ρimage,输入随机森林分类器,设置训练参数,如决策树棵数、最大深度等,训练得到文本情感分类模型Mtext和图像情感分类模型Mimage。
(5):将测试集语料的文本矩阵和图像矩阵输入文本和图像情感分类模型Mtext,Mimage,进行情感类别分类,计算出各自的正标签(+1)和负标签(-1)的预测概率 和
(6):运用多模态决策融合方法将文本正、负标签预测概率和图像正、负标签预测概率加权融合,最终计算该多模态文档的正、负标签分类准确率 如果那么预测标签分为+1,否则是-1,如图3所示,方法如下:
第一步:受量子干涉理论启发,本发明将多模态情感分析过程类比作量子双缝干涉实验,利用波函数推导整个多模态分析的过程:
其中,ψfinal(x),ψtext(x),ψimage(x)分别表示最终的情感分类、文本情感、图像情感的波函数。α,β是任意的参数,满足α2+β2=1,Ptext是文本的预测概率,Pimage是图像的预测概率,Pfinal是多模态文档的预测概率,cosθ表示模态之间的干涉强度,cosθ∈[-1,+1]。
第二步:最后计算每个多模态文档的正、负标签预测概率如下:
其中,表示该文档正标签(+1)的预测概率,表示该文档负标签(-1)的预测概率。表示文本正标签(+1)的预测概率,是对应图像正标签(+1)的预测概率,表示文本负标签(-1)的预测概率,表示图像负标签(-1)的预测概率。如果那么预测标签是+1,否则是-1。
最终得到多模态文档每个样本的预测结果,对比测试标签,计算出分类准确率,对比单模态文本模型、单模态图像模型、特征拼接模型、最大投票决策融合模型,统计出ROC曲线图,可以非常直观的观察到本发明可以明显的提升多模态情感分析模型的效果,如图4所示。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (2)
1.一种基于量子理论的多模态情感分析方法,其特征在于:它包括如下步骤:
(1):利用“爬虫”技术,收集并构建多模态情感语料集,该语料集的总样本数为2*N,包含N个主观性文本和一一对应的N张主观性图片。
(2):从多模态情感语料集中,选取训练集和测试集,并分别对训练集和测试集进行预处理,去除每个文本的停留词、标点符号及统一设置每张图像的尺寸;
(3):对预处理之后的文本和图像,提取出各自的特征,分别构建文本密度矩阵ρtext和图像密度矩阵ρimage,均是n*n的矩阵,其中,n是每个单词向量的维数,方法如下:
第一步:运用glove工具得到每个文本中单词的词向量wi,然后归一化:
第二步:提取训练集中所有图像的尺度不变特征变换特征;运用K-means算法聚集SIFT特征得到K个聚类中心,构建出包含K个单词的词典;运用图像中单词的词向量si,然后归一化
第三步:基于外积操作,分别构建每个文本单词和单词的投影序列;
第四步:得到整个文本和图像的投影序列之后,运用最大似然估计MLE方法训练出密度矩阵;
第五步:运用全局收敛算法,计算出似然函数ζ(ρ)的最优解,即得出最终的文本密度矩阵和图像密度矩阵;
(4):将训练集中的文本密度矩阵和图像密度矩阵,输入随机森林分类器,训练得到文本情感分类模型和图像情感分类模型;
(5):将测试集语料的文本矩阵和图像矩阵输入文本和图像情感分类模型,进行情感类别分类,计算出各自的预测概率;
(6):运用多模态决策融合方法将文本预测概率Ptext和图像预测概率Pimage加权融合,最终计算出每个多模态样本的分类准确率,记为Pfinal。
2.根据权利要求1所述的多模态情感分析方法,其特征在于,步骤(6)的方法如下:
第一步:本发明将多模态情感分析过程类比作量子双缝干涉实验,利用波函数进行多模态分析:
其中,ψfinal(x),ψtext(x),ψimage(x)分别表示最终的情感分类、文本情感、图像情感的波函数;α,β是任意的参数,满足α2+β2=1,Ptext是文本的预测概率,Pimage是图像的预测概率,cosθ表示模态之间的干涉强度,cosθ∈[-1,+1];
第二步:计算每个多模态文档的正、负标签预测概率如下:
<mrow>
<msubsup>
<mi>P</mi>
<mrow>
<mi>f</mi>
<mi>i</mi>
<mi>n</mi>
<mi>a</mi>
<mi>l</mi>
</mrow>
<mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>=</mo>
<msup>
<mi>&alpha;</mi>
<mn>2</mn>
</msup>
<msubsup>
<mi>P</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
<mi>x</mi>
<mi>t</mi>
</mrow>
<mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msup>
<mi>&beta;</mi>
<mn>2</mn>
</msup>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mi>e</mi>
</mrow>
<mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<mi>&alpha;</mi>
<mi>&beta;</mi>
<msqrt>
<mrow>
<msubsup>
<mi>P</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
<mi>x</mi>
<mi>t</mi>
</mrow>
<mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mi>e</mi>
</mrow>
<mrow>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
</msqrt>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
</mrow>
<mrow>
<msubsup>
<mi>P</mi>
<mrow>
<mi>f</mi>
<mi>i</mi>
<mi>n</mi>
<mi>a</mi>
<mi>l</mi>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>=</mo>
<msup>
<mi>&alpha;</mi>
<mn>2</mn>
</msup>
<msubsup>
<mi>P</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
<mi>x</mi>
<mi>t</mi>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msup>
<mi>&beta;</mi>
<mn>2</mn>
</msup>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mi>e</mi>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<mn>2</mn>
<mi>&alpha;</mi>
<mi>&beta;</mi>
<msqrt>
<mrow>
<msubsup>
<mi>P</mi>
<mrow>
<mi>t</mi>
<mi>e</mi>
<mi>x</mi>
<mi>t</mi>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mi>m</mi>
<mi>a</mi>
<mi>g</mi>
<mi>e</mi>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
</mrow>
</msqrt>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
</mrow>
其中,表示该文档正标签(+1)的预测概率,表示该文档负标签(-1)的预测概率;表示文本正标签(+1)的预测概率,是对应图像正标签(+1)的预测概率,表示文本负标签(-1)的预测概率,表示图像负标签(-1)的预测概率;如果那么预测标签是+1,否则是-1;最终得到多模态文档每个样本的预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710916759.8A CN107832663B (zh) | 2017-09-30 | 2017-09-30 | 一种基于量子理论的多模态情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710916759.8A CN107832663B (zh) | 2017-09-30 | 2017-09-30 | 一种基于量子理论的多模态情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107832663A true CN107832663A (zh) | 2018-03-23 |
CN107832663B CN107832663B (zh) | 2020-03-06 |
Family
ID=61647641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710916759.8A Active CN107832663B (zh) | 2017-09-30 | 2017-09-30 | 一种基于量子理论的多模态情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107832663B (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595532A (zh) * | 2018-04-02 | 2018-09-28 | 三峡大学 | 一种法律文本的量子聚类***及方法 |
CN109376775A (zh) * | 2018-10-11 | 2019-02-22 | 南开大学 | 在线新闻多模态情感分析方法 |
CN109522548A (zh) * | 2018-10-26 | 2019-03-26 | 天津大学 | 一种基于双向交互神经网络的文本情感分析方法 |
CN109885833A (zh) * | 2019-02-18 | 2019-06-14 | 山东科技大学 | 一种基于多域数据集联合嵌入的性感极性检测方法 |
CN110046264A (zh) * | 2019-04-02 | 2019-07-23 | 云南大学 | 一种面向手机文档的自动分类方法 |
CN110298338A (zh) * | 2019-06-20 | 2019-10-01 | 北京易道博识科技有限公司 | 一种文档图像分类方法及装置 |
CN110347921A (zh) * | 2019-07-04 | 2019-10-18 | 有光创新(北京)信息技术有限公司 | 一种多模态数据信息的标签抽取方法及装置 |
CN110597965A (zh) * | 2019-09-29 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 文章的情感极性分析方法、装置、电子设备及存储介质 |
CN110928961A (zh) * | 2019-11-14 | 2020-03-27 | 出门问问(苏州)信息科技有限公司 | 一种多模态实体链接方法、设备及计算机可读存储介质 |
CN111125177A (zh) * | 2019-12-26 | 2020-05-08 | 北京奇艺世纪科技有限公司 | 生成数据标签的方法、装置、电子设备及可读存储介质 |
CN112083806A (zh) * | 2020-09-16 | 2020-12-15 | 华南理工大学 | 一种基于多模态识别的自学习情感交互方法 |
CN112905736A (zh) * | 2021-01-27 | 2021-06-04 | 郑州轻工业大学 | 一种基于量子理论的无监督文本情感分析方法 |
CN113033610A (zh) * | 2021-02-23 | 2021-06-25 | 河南科技大学 | 一种多模态融合敏感信息分类检测方法 |
CN113157879A (zh) * | 2021-03-25 | 2021-07-23 | 天津大学 | 一种基于量子测量的问答任务匹配的计算机介质 |
CN113326868A (zh) * | 2021-05-06 | 2021-08-31 | 南京邮电大学 | 一种用于多模态情感分类的决策层融合方法 |
CN113761145A (zh) * | 2020-12-11 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 语言模型训练方法、语言处理方法和电子设备 |
WO2022104696A1 (zh) * | 2020-11-19 | 2022-05-27 | 南京师范大学 | 一种基于量子随机游走的交通流模态拟合方法 |
CN115048935A (zh) * | 2022-04-12 | 2022-09-13 | 北京理工大学 | 一种基于密度矩阵的语义匹配方法 |
CN115982395A (zh) * | 2023-03-20 | 2023-04-18 | 北京中科闻歌科技股份有限公司 | 一种基于量子的媒体信息的情感预测方法、介质及设备 |
US11853704B2 (en) | 2018-12-18 | 2023-12-26 | Tencent Technology (Shenzhen) Company Limited | Classification model training method, classification method, device, and medium |
CN117669753A (zh) * | 2024-01-31 | 2024-03-08 | 北京航空航天大学杭州创新研究院 | 量子模型训练方法、多模态数据处理方法及装置 |
CN118170933A (zh) * | 2024-05-13 | 2024-06-11 | 之江实验室 | 一种面向科学领域多模态语料数据的构建方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331506A (zh) * | 2014-11-20 | 2015-02-04 | 北京理工大学 | 一种面向双语微博文本的多类情感分析方法与*** |
US9171261B1 (en) * | 2011-09-24 | 2015-10-27 | Z Advanced Computing, Inc. | Analyzing or resolving ambiguities in an image for object or pattern recognition |
CN106776554A (zh) * | 2016-12-09 | 2017-05-31 | 厦门大学 | 一种基于多模态超图学习的微博情感预测方法 |
US9720934B1 (en) * | 2014-03-13 | 2017-08-01 | A9.Com, Inc. | Object recognition of feature-sparse or texture-limited subject matter |
CN107066583A (zh) * | 2017-04-14 | 2017-08-18 | 华侨大学 | 一种基于紧凑双线性融合的图文跨模态情感分类方法 |
-
2017
- 2017-09-30 CN CN201710916759.8A patent/CN107832663B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9171261B1 (en) * | 2011-09-24 | 2015-10-27 | Z Advanced Computing, Inc. | Analyzing or resolving ambiguities in an image for object or pattern recognition |
US9720934B1 (en) * | 2014-03-13 | 2017-08-01 | A9.Com, Inc. | Object recognition of feature-sparse or texture-limited subject matter |
CN104331506A (zh) * | 2014-11-20 | 2015-02-04 | 北京理工大学 | 一种面向双语微博文本的多类情感分析方法与*** |
CN106776554A (zh) * | 2016-12-09 | 2017-05-31 | 厦门大学 | 一种基于多模态超图学习的微博情感预测方法 |
CN107066583A (zh) * | 2017-04-14 | 2017-08-18 | 华侨大学 | 一种基于紧凑双线性融合的图文跨模态情感分类方法 |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108595532A (zh) * | 2018-04-02 | 2018-09-28 | 三峡大学 | 一种法律文本的量子聚类***及方法 |
CN109376775B (zh) * | 2018-10-11 | 2021-08-17 | 南开大学 | 在线新闻多模态情感分析方法 |
CN109376775A (zh) * | 2018-10-11 | 2019-02-22 | 南开大学 | 在线新闻多模态情感分析方法 |
CN109522548A (zh) * | 2018-10-26 | 2019-03-26 | 天津大学 | 一种基于双向交互神经网络的文本情感分析方法 |
US11853704B2 (en) | 2018-12-18 | 2023-12-26 | Tencent Technology (Shenzhen) Company Limited | Classification model training method, classification method, device, and medium |
CN109885833A (zh) * | 2019-02-18 | 2019-06-14 | 山东科技大学 | 一种基于多域数据集联合嵌入的性感极性检测方法 |
CN110046264A (zh) * | 2019-04-02 | 2019-07-23 | 云南大学 | 一种面向手机文档的自动分类方法 |
CN110298338A (zh) * | 2019-06-20 | 2019-10-01 | 北京易道博识科技有限公司 | 一种文档图像分类方法及装置 |
CN110298338B (zh) * | 2019-06-20 | 2021-08-24 | 北京易道博识科技有限公司 | 一种文档图像分类方法及装置 |
CN110347921A (zh) * | 2019-07-04 | 2019-10-18 | 有光创新(北京)信息技术有限公司 | 一种多模态数据信息的标签抽取方法及装置 |
CN110597965A (zh) * | 2019-09-29 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 文章的情感极性分析方法、装置、电子设备及存储介质 |
CN110597965B (zh) * | 2019-09-29 | 2024-04-16 | 深圳市雅阅科技有限公司 | 文章的情感极性分析方法、装置、电子设备及存储介质 |
CN110928961B (zh) * | 2019-11-14 | 2023-04-28 | 出门问问(苏州)信息科技有限公司 | 一种多模态实体链接方法、设备及计算机可读存储介质 |
CN110928961A (zh) * | 2019-11-14 | 2020-03-27 | 出门问问(苏州)信息科技有限公司 | 一种多模态实体链接方法、设备及计算机可读存储介质 |
CN111125177B (zh) * | 2019-12-26 | 2024-01-16 | 北京奇艺世纪科技有限公司 | 生成数据标签的方法、装置、电子设备及可读存储介质 |
CN111125177A (zh) * | 2019-12-26 | 2020-05-08 | 北京奇艺世纪科技有限公司 | 生成数据标签的方法、装置、电子设备及可读存储介质 |
CN112083806B (zh) * | 2020-09-16 | 2021-10-26 | 华南理工大学 | 一种基于多模态识别的自学习情感交互方法 |
CN112083806A (zh) * | 2020-09-16 | 2020-12-15 | 华南理工大学 | 一种基于多模态识别的自学习情感交互方法 |
WO2022104696A1 (zh) * | 2020-11-19 | 2022-05-27 | 南京师范大学 | 一种基于量子随机游走的交通流模态拟合方法 |
CN113761145A (zh) * | 2020-12-11 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 语言模型训练方法、语言处理方法和电子设备 |
CN112905736B (zh) * | 2021-01-27 | 2023-09-19 | 郑州轻工业大学 | 一种基于量子理论的无监督文本情感分析方法 |
CN112905736A (zh) * | 2021-01-27 | 2021-06-04 | 郑州轻工业大学 | 一种基于量子理论的无监督文本情感分析方法 |
CN113033610A (zh) * | 2021-02-23 | 2021-06-25 | 河南科技大学 | 一种多模态融合敏感信息分类检测方法 |
CN113033610B (zh) * | 2021-02-23 | 2022-09-13 | 河南科技大学 | 一种多模态融合敏感信息分类检测方法 |
CN113157879A (zh) * | 2021-03-25 | 2021-07-23 | 天津大学 | 一种基于量子测量的问答任务匹配的计算机介质 |
CN113326868B (zh) * | 2021-05-06 | 2022-07-15 | 南京邮电大学 | 一种用于多模态情感分类的决策层融合方法 |
CN113326868A (zh) * | 2021-05-06 | 2021-08-31 | 南京邮电大学 | 一种用于多模态情感分类的决策层融合方法 |
CN115048935A (zh) * | 2022-04-12 | 2022-09-13 | 北京理工大学 | 一种基于密度矩阵的语义匹配方法 |
CN115048935B (zh) * | 2022-04-12 | 2024-05-14 | 北京理工大学 | 一种基于密度矩阵的语义匹配方法 |
CN115982395A (zh) * | 2023-03-20 | 2023-04-18 | 北京中科闻歌科技股份有限公司 | 一种基于量子的媒体信息的情感预测方法、介质及设备 |
CN115982395B (zh) * | 2023-03-20 | 2023-05-23 | 北京中科闻歌科技股份有限公司 | 一种基于量子的媒体信息的情感预测方法、介质及设备 |
CN117669753A (zh) * | 2024-01-31 | 2024-03-08 | 北京航空航天大学杭州创新研究院 | 量子模型训练方法、多模态数据处理方法及装置 |
CN117669753B (zh) * | 2024-01-31 | 2024-04-16 | 北京航空航天大学杭州创新研究院 | 量子模型训练方法、多模态数据处理方法及装置 |
CN118170933A (zh) * | 2024-05-13 | 2024-06-11 | 之江实验室 | 一种面向科学领域多模态语料数据的构建方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107832663B (zh) | 2020-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107832663B (zh) | 一种基于量子理论的多模态情感分析方法 | |
Yang et al. | Visual sentiment prediction based on automatic discovery of affective regions | |
CN111160037B (zh) | 一种支持跨语言迁移的细粒度情感分析方法 | |
CN110413780B (zh) | 文本情感分析方法和电子设备 | |
Zhang et al. | Finding celebrities in billions of web images | |
CN109522548A (zh) | 一种基于双向交互神经网络的文本情感分析方法 | |
CN107818084B (zh) | 一种融合点评配图的情感分析方法 | |
CN111444342B (zh) | 一种基于多重弱监督集成的短文本分类方法 | |
CN109492105B (zh) | 一种基于多特征集成学习的文本情感分类方法 | |
Lavanya et al. | Twitter sentiment analysis using multi-class SVM | |
CN110008365B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN111966888B (zh) | 融合外部数据的基于方面类别的可解释性推荐方法及*** | |
Zhang et al. | A survey on machine learning techniques for auto labeling of video, audio, and text data | |
CN112836509A (zh) | 一种专家***知识库构建方法及*** | |
CN111538841B (zh) | 基于知识互蒸馏的评论情感分析方法、装置及*** | |
CN111462752A (zh) | 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法 | |
CN111582506A (zh) | 基于全局和局部标记关系的偏多标记学习方法 | |
CN114461890A (zh) | 分层多模态的知识产权搜索引擎方法与*** | |
CN113076425B (zh) | 一种用于微博评论的事件相关观点句分类方法 | |
CN108595568B (zh) | 一种基于极大无关多元逻辑回归的文本情感分类方法 | |
Akata et al. | Zero-shot learning with structured embeddings | |
Annam et al. | Emotion-Aware Music Recommendations: A Transfer Learning Approach Using Facial Expressions | |
CN117291190A (zh) | 一种基于情感词典和lda主题模型的用户需求计算方法 | |
CN117235253A (zh) | 一种基于自然语言处理技术的卡车用户隐性需求挖掘方法 | |
Lu et al. | Mining latent attributes from click-through logs for image recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |