CN109284506B - 一种基于注意力卷积神经网络的用户评论情感分析***及方法 - Google Patents
一种基于注意力卷积神经网络的用户评论情感分析***及方法 Download PDFInfo
- Publication number
- CN109284506B CN109284506B CN201811445401.2A CN201811445401A CN109284506B CN 109284506 B CN109284506 B CN 109284506B CN 201811445401 A CN201811445401 A CN 201811445401A CN 109284506 B CN109284506 B CN 109284506B
- Authority
- CN
- China
- Prior art keywords
- vector
- word
- comment
- input
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于注意力卷积神经网络的用户评论情感分析***及方法。该发明为模块化设计,主要包括四个模块,即词嵌入模块,卷积模块,注意力模块以及分类器模块。其中词嵌入模块将评论文本使用低维向量表示,卷积模块通过卷积操作提取评论的局部特征,注意力模块通过比较相似度来决定局部特征的权重,并通过加权计算评论的最终特征表达,分类器模块根据最终特征表达进行情感分类。本发明通过将注意力机制加入到神经网络模型中,克服传统神经网络模型特征提取方法的不足。通过大量数据训练后,注意力机制可以判断评论中不同词语的重要程度,使得模型可以“注意到”评论中对情感影响最大的部分,提高模型情感分类的准确率。
Description
技术领域
本发明涉及一种互联网用户评论情感分析方法,主要结合词嵌入技术和卷积神经网络来进行用户评论的特征学习,并结合注意力机制来提高情感分类的准确率,属于自然语言处理和人工智能交叉领域。
背景技术
近年来,越来越多的用户习惯在网络上发自己对某一事物的看法与评论。如何快速、准确地从互联网海量评论信息中分析所包含的用户情感已经成为当前信息科学与技术领域研究的热点。用户评论情感分析中最基本的任务是对用户的情感倾向进行分类,其中包括二元情感分类和多元情感分类。由于在互联网上可以获得大量的评论数据用于训练模型,基于机器学习的情感分析方法逐渐成为主流,并取得了较好的效果。然而,基于传统机器学习的情感分类方法提取的特征仅考虑文本中单词出现的频次,而忽略了语法结构和单词顺序,这使得评论中的语意和结构信息丢失,影响情感分类的准确率。此外,传统的机器学习方法依赖人工设计的特征,耗时费力。
由于互联网上数据的快速增长和计算机性能的提升,使基于神经网络的深度学习成为可能。深度学习最早用于计算机视觉与语言识别领域,通过训练神经网络模型来从输入数据中提取更好的特征表达来完成图像分类,语音识别等任务。由于深度学习模型在图像和语言识别领域显示出卓越的性能,也逐渐应用于自然语言处理(Natural LanguageProcessing,NLP)领域,并取得了良好的效果。在NLP领域,深度学习方法首先将文本转化为一组向量序列表示,然后将该向量序列输入神经网络模型提取特征,最后将特征输入分类器进行情感分类。基于卷积神经网络的特征提取方法使用一个滑动窗口来提取输入的局部特征,并通过池化(pooling)技术将这些局部特征组合起来;而基于循环神经网络的特征提取方法将输入编码为一个定长的特征。这两种特征提取方法没有考虑到用户评论中不同部分对评论的最终情感的贡献程度不同,虽然对单个句或短语效果较好,但在面对较长的用户评论时会降低情感分析的准确性。
发明内容
本发明为了克服传统神经网络模型特征提取方法的不足,将注意力机制加入到神经网络模型中。通过大量数据训练后,注意力机制可以判断评论中不同词语的重要程度,使得模型可以“注意到”评论中对情感影响最大的部分,提高模型情感分类的准确率。
本发明中词嵌入层用于将输入的评论文本向量化,即将文字转换为向量形式。词嵌入方法将每个单词使用一个低维向量进行表示,将每条评论中所有单词的向量表示拼接起来,就能构成一条评论的向量表示形式。卷积层通过空间结构关系学习输入中的局部特征,以减少模型需要学习的参数数量。本发明使用卷积层来提取评论的局部特征,这通过将一定的窗口大小的卷积核应用在输入序列上来实现。注意力模块首先使用一个长短时记忆网络对输入的评论进行编码,然后和卷积层提取的局部特征进行相似度比较计算出注意力权重,局部特征的加权和送至分类器进行情感分类。分类器使用全连接神经网络和Softmax分类器实现,整个模型使用逆向传播误差进行优化。
鉴于此,本发明采用的技术方案是:一种基于注意力卷积神经网络的用户评论情感分析***,包括词嵌入模块、卷积模块、注意力模块以及分类器模块,其中所述词嵌入模块将评论文本使用向量表示;所述卷积模块通过卷积操作提取评论的局部特征;所述注意力模块接收卷积模块的输出,通过比较相似度来决定局部特征的权重,并通过加权计算评论的最终特征表达,并作为分类器模块的输入;分类器模块根据最终特征表达进行情感分类。所述词嵌入模块的输出同时作为卷积模块和注意力模块的输入。
进一步,所述词嵌入模块包含一个词嵌入矩阵和一个单词表,将清洗后的评论文本转换成低维向量表示,维度由用户设定,且在100到300维之间。具体地,注意力模块中包含一个长短时记忆网络,该长短时记忆网络对词嵌入模块的结果进行编码,生成与卷积模块获取的评论局部特征向量维度相同的序列特征向量。使用所述序列特征向量和评论局部特征向量的余弦相似度作为注意力权重,将注意力权重应用在局部特征向量上,获得局部特征的权重。
所述分类器模块采用全连接神经网络与Softmax分类器层叠的方式构成,训练的误差使用交叉熵定义,模型的训练方法为逆向传播算法。
一种基于注意力卷积神经网络的用户评论情感分析方法,包括以下步骤:
S1:对用户评论文本数据进行数据清洗;例如包括分词,去除标点符号,字母转换为小等。
S2:把清洗后的评论数据输出词嵌入模块获得评论的向量表达;
S3:将评论的向量表达输入长短时记忆网络和卷积神经网络提取特征,分别获得序列特征向量和评论的局部特征向量;
S4:结合序列特征向量和评论的局部特征向量计算注意力权重,并在评论的局部特征向量上通过注意力权重计算加权和作为评论的最终特征表达。
S5:将评论的最终特征表达输入分类器进行分类,并根据模型的预测结果和真实数据标签计算误差,模型的误差函数代表了模型预测的值和训练数据真实值之间的差距;分类器输出对应输入的情感类型,例如正面情感或负面情感。
S6:采用梯度下降法训练模型,并在达到预定的训练轮数后停止训练;
S7:将待情感分类的新数据输入训练好的模型,进行情感分析预测。
本发明的有益技术效果如下:
本发明提供了一种结合了注意力机制的卷积神经网络模型来分析用户评论情感,由于结合了注意力机制,该模型能够通过学习数据中的特征来判断输入中不同词语对评论情感倾向的贡献程度,从而克服了传统神经网络网络模型的缺陷,提升了情感分类的性能。通过大量数据训练后,注意力机制可以判断评论中不同词语的重要程度,使得模型可以“注意到”评论中对情感影响最大的部分,提高模型情感分类的准确率。该模型同时具有收敛速度较快,只需要相对较小的训练数据集训练的优点。相比于传统NLP分析方法,本发明可以充分利用和学习输入用户评论中的情感信息,且无需使用句法分析或语义依存分析等外部知识。相比于传统机器学习方法,本发明无需依赖人工设计特征,极大的减少了特征工程所需的时间和人力成本。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明的模型整体架构图;
图2是本发明进行用户评论情感分析工作的流程图。
具体实施方式
下面结合附图对本发明的具体实施方法做进一步阐释。本发明主采用模块化设计,主要由4个部分构成,包括:词嵌入层,卷积层,注意力模块以及分类器。图1是本发明的***结构图。其中,词嵌入层用于将输入的评论文本向量化,即将文字转换为向量形式。词嵌入方法将每个单词使用一个低维向量进行表示,将每条评论中所有单词的向量表示拼接起来,就能构成一条评论的向量表示形式。卷积层通过空间结构关系学习输入中的局部特征,以减少模型需要学习的参数数量。本发明使用卷积层来提取评论的局部特征,这通过将一定的窗口大小的卷积核应用在输入序列上来实现。注意力模块首先使用一个长短时记忆网络(Long Short-Term Memory,LSTM)对输入的评论进行编码,然后和卷积层提取的局部特征进行相似度比较计算出注意力权重,局部特征的加权和送至分类器进行情感分类。分类器使用全连接神经网络和Softmax分类器实现,整个模型使用逆向传播误差进行优化。
图1是本发明的模型整体架构图。每部分的工作流程详细描述如下:
S11:经过数据清洗后的用户评论文本,数据清洗包括分词,去除标点符号,字母转换为小写等工作。
S12:词嵌入矩阵,对用户评论文本中的每个单词可以被低维向量x表示:
x=Lw
(1-1)
其中 代表v维向量空间,v是单词表的大小,w是一个one-hot向量,即向量中单词在单词表中位置的值为1,而其余位置均为0。/>是一个词嵌入矩阵,L的第i列即单词表中第i个单词的向量表达,其中d为词向量的维度,一般为100到300维。词嵌入矩阵L可以被随机初始化,也可以使用预训练的词向量初始化。评论文本中每一个单词都按公式(1-1)转换,这样评论文本通过词嵌入层后就会生成一组词向量,将这组词向量进行连接即为评论的向量表示review={x1,x2,...,xn},其中/>为每个单词通过词嵌入层所生成的低维向量,d为词向量的维度。
S13:使用LSTM对每条评论进行编码,生成一个中间的序列特征表达LSTM的计算由(1-2)所示
其中,xt为当前结点的输入向量,i、f、o和c分别代表输入门、遗忘门、输出门和激活向量,它们和隐层向量h维度相同,当下标为t-1时代表上一个结点的输出,而下标为t时代表当前结点的输出。例如,ht-1是上一个结点的隐层向量输出,而it、ft、ot、ct分别代表当前结点中输入门,遗忘门,输出门和激活向量的输出。W代表权重矩阵,其下标表示其对应的输入向量和门。例如,Wxi代表当前结点输入向量在输入门上的权重矩阵,Whf代表隐层向量输入在遗忘门上的权重矩阵。Wco代表激活向量输入在输出门上的权重矩阵。b代表LSTM结点中各个门的偏置量(bias),例如,bi代表输入门的偏置量,bf代表遗忘门的偏置量。σ(·)为Sigmoid函数,g(·)和h(·)为转换函数,定义如公式(1-3),(1-4)所示。取最后一个结点的输出ht作为序列特征表达s′。
S14:卷积层包含一个卷积神经网络,用于提取用户评论的局部特征表达。卷积层的输入是由词嵌入得到一系列词向量其中d为词向量的维度,n为每条评论的长度。设窗口为k卷积核权值/>则卷积运算所提取的一个局部特征ci由公式(1-5)定义:
ci=φ(W*xi:i+k+b) (1-5)
其中,W的权值即为模型所要训练的参数,*为卷积操作,xi:i+k表示输入中一个长度为k的词向量序列。b为模型的偏置(bias)参数,φ是应用在卷积结果上的非线性函数,本发明使用ReLU作为非线性函数。卷积运算后得到整个输入的特征序列c={c1,c2,...,cn},每个元素ci代表用户评论某一局部的特征。
S15:使用中间特征s′与卷积层提取的每个局部特征ci进行比较,通过衡量两个特征之间的相似度来对局部特征赋予注意力权重值。相似度越高,则赋予注意力权重值越大,权值αi由下式给出:
其中
ei=sim(ci,s′) (1-7)
sim()函数用来衡量两个输入向量之间的相似度,T表示局部特征的数量。本发明中使用的是余弦相似度。
S16:当获得注意力权重后,评论的最终特征表达s通过下式计算:
S17:s作为每条评论最终表达送至分类器进行情感分类。本发明的分类器包含两层全连接前向传递神经网络与一个Softmax分类器。在全连接前向传递神经网络上应用了dropout方法以减少模型在训练集上过拟合。Softmax分类器由K个神经元组成,K为分类类别的数量(例如,二分类问题含两个神经元)。Softmax分类器的输出结果由(1-9)定义:
其中hj是第j个神经元的原始输出(j=1,2...,K),K代表情感分类的类别数量。设模型最终输出向量output={output1,...,outputK},则模型对评论情感的预测结果
图2是使用本发明的进行用户评论情感分析的工作流程图,具体步骤如下:
S21:对用户评论文本数据进行数据清洗,包括分词,去除标点符号,字母转换为小写等操作。
S22:把清洗后的评论数据输出词嵌入层获得评论的低维向量表达。
S23:将评论的低维向量表达输入长短时记忆网络和卷积神经网络提取特征。
S24:结合序列特征表达和评论的局部特征表达计算注意力权重,并在评论的局部特征表达上通过注意力权重计算加权和作为评论的最终特征表达。
S25:将评论的最终特征表达输入分类器进行分类,并根据模型的预测结果和真是数据标签计算误差,模型的误差函数代表了模型预测的值和训练数据真实值之间的差距。本发明使用交叉熵误差函数作为代价函数,该函数由式(2-1)定义:
其中w代表模型中所有参数的向量,是模型预测的结果,yi是训练数据的真实标签,M代表一个训练数据块(batch)中数据的数量。
S26:采用梯度下降法训练模型,并在达到一定的训练轮数后停止训练。
S27:将待情感分类的新数据输入训练好的模型,进行情感分析预测。
Claims (8)
1.一种基于注意力卷积神经网络的用户评论情感分析***,其特征在于:包括词嵌入模块、卷积模块、注意力模块以及分类器模块,其中所述词嵌入模块将评论文本使用向量表示,词嵌入方法将每个单词使用一个低维向量进行表示,将每条评论中所有单词的向量表示拼接起来,构成一条评论的向量表示形式;所述卷积模块通过卷积操作提取评论的局部特征;所述注意力模块接收卷积模块的输出,通过比较相似度来决定局部特征的权重,并通过加权计算评论的最终特征表达,并作为分类器模块的输入;分类器模块根据最终特征表达进行情感分类;
所述词嵌入方法:对用户评论文本中的每个单词被低维向量x表示:
x=Lw
(1-1)
其中代表v维向量空间,v是单词表的大小,/>是一个词嵌入矩阵,L的第i列即单词表中第i个单词的向量表达,其中d为词向量的维度;评论文本中每一个单词都按公式(1-1)转换,评论文本通过词嵌入层后生成一组词向量,将这组词向量进行连接即为评论的向量表示review={x1,x2,...,xn},其中/>为每个单词通过词嵌入层所生成的低维向量,d为词向量的维度;
使用LSTM对每条评论进行编码,生成一个中间的序列特征表达LSTM的计算由(1-2)所示
其中,xt为当前结点的输入向量,i、f、o和c分别代表输入门、遗忘门、输出门和激活向量,它们和隐层向量h维度相同,当下标为t-1时代表上一个结点的输出,而下标为t时代表当前结点的输出,ht-1是上一个结点的隐层向量输出,it、ft、ot、ct分别代表当前结点中输入门,遗忘门,输出门和激活向量的输出,W代表权重矩阵,其下标表示其对应的输入向量和门,Wxi代表当前结点输入向量在输入门上的权重矩阵,Whf代表隐层向量输入在遗忘门上的权重矩阵,Wco代表激活向量输入在输出门上的权重矩阵,b代表LSTM结点中各个门的偏置量,σ(·)为Sigmoid函数,g(·)和h(·)为转换函数,定义如公式(1-3),(1-4)所示,取最后一个结点的输出ht作为序列特征表达s′;
卷积层的输入是由词嵌入得到一系列词向量其中d为词向量的维度,n为每条评论的长度,设窗口为k卷积核权值/>则卷积运算所提取的一个局部特征ci由公式(1-5)定义:
ci=φ(W*xi:i+k+b) (1-5)
其中,W的权值即为模型所要训练的参数,*为卷积操作,xi:i+k表示输入中一个长度为k的词向量序列,b为模型的偏置参数,φ是应用在卷积结果上的非线性函数,卷积运算后得到整个输入的特征序列c={c1,c2,...,cn},每个元素ci代表用户评论某一局部的特征;
使用中间特征s′与卷积层提取的每个局部特征ci进行比较,通过衡量两个特征之间的相似度来对局部特征赋予注意力权重值,相似度越高,则赋予注意力权重值越大,权值αi由下式给出:
其中
ei=sim(ci,s′) (1-7)
sim()函数用来衡量两个输入向量之间的相似度,T表示局部特征的数量,使用的是余弦相似度。
2.根据权利要求1所述一种基于注意力卷积神经网络的用户评论情感分析***,其特征在于:所述词嵌入模块的输出同时作为卷积模块和注意力模块的输入。
3.根据权利要求1或2所述一种基于注意力卷积神经网络的用户评论情感分析***,其特征在于:所述词嵌入模块包含一个词嵌入矩阵和一个单词表,将清洗后的评论文本转换成低维向量表示,维度由用户设定,且在50到300维之间。
4.根据权利要求3所述一种基于注意力卷积神经网络的用户评论情感分析***,其特征在于:注意力模块中包含一个长短时记忆网络,该长短时记忆网络对词嵌入模块的结果进行编码,生成与卷积模块获取的评论局部特征向量维度相同的序列特征向量。
5.根据权利要求4所述一种基于注意力卷积神经网络的用户评论情感分析***,其特征在于:使用所述序列特征向量和评论局部特征向量的余弦相似度作为注意力权重,将注意力权重应用在局部特征向量上,获得局部特征的权重。
6.根据权利要求1或2或4或5所述一种基于注意力卷积神经网络的用户评论情感分析***,其特征在于:所述分类器模块采用全连接神经网络与Softmax分类器层叠的方式构成,训练的误差使用交叉熵定义,模型的训练方法为逆向传播算法。
7.一种基于注意力卷积神经网络的用户评论情感分析方法,其特征在于包括以下步骤:
S1:对用户评论文本数据进行数据清洗;
S2:把清洗后的评论数据输出词嵌入模块获得评论的向量表达;对用户评论文本中的每个单词被低维向量x表示:
x=Lw
(1-1)
其中代表v维向量空间,v是单词表的大小,/>是一个词嵌入矩阵,L的第i列即单词表中第i个单词的向量表达,其中d为词向量的维度;评论文本中每一个单词都按公式(1-1)转换,评论文本通过词嵌入层后生成一组词向量,将这组词向量进行连接即为评论的向量表示review={x1,x2,...,xn},其中/>为每个单词通过词嵌入层所生成的低维向量,d为词向量的维度;
S3:将评论的向量表达输入长短时记忆网络和卷积神经网络提取特征,分别获得序列特征向量和评论的局部特征向量;
使用LSTM对每条评论进行编码,生成一个中间的序列特征表达LSTM的计算由(1-2)所示
其中,xt为当前结点的输入向量,i、f、o和c分别代表输入门、遗忘门、输出门和激活向量,它们和隐层向量h维度相同,当下标为t-1时代表上一个结点的输出,而下标为t时代表当前结点的输出,ht-1是上一个结点的隐层向量输出,it、ft、ot、ct分别代表当前结点中输入门,遗忘门,输出门和激活向量的输出,W代表权重矩阵,其下标表示其对应的输入向量和门,Wxi代表当前结点输入向量在输入门上的权重矩阵,Whf代表隐层向量输入在遗忘门上的权重矩阵,Wco代表激活向量输入在输出门上的权重矩阵,b代表LSTM结点中各个门的偏置量,σ(·)为Sigmoid函数,g(·)和h(·)为转换函数,定义如公式(1-3),(1-4)所示,取最后一个结点的输出ht作为序列特征表达s′;
卷积层的输入是由词嵌入得到一系列词向量其中d为词向量的维度,n为每条评论的长度,设窗口为k卷积核权值/>则卷积运算所提取的一个局部特征ci由公式(1-5)定义:
ci=φ(W*xi:i+k+b) (1-5)
其中,W的权值即为模型所要训练的参数,*为卷积操作,xi:i+k表示输入中一个长度为k的词向量序列,b为模型的偏置参数,φ是应用在卷积结果上的非线性函数,卷积运算后得到整个输入的特征序列c={c1,c2,...,cn},每个元素ci代表用户评论某一局部的特征;
使用中间特征s′与卷积层提取的每个局部特征ci进行比较,通过衡量两个特征之间的相似度来对局部特征赋予注意力权重值,相似度越高,则赋予注意力权重值越大,权值αi由下式给出:
其中
ei=sim(ci,s′) (1-7)
sim()函数用来衡量两个输入向量之间的相似度,T表示局部特征的数量,使用的是余弦相似度;
S4:结合序列特征向量和评论的局部特征向量计算注意力权重,并在评论的局部特征向量上通过注意力权重计算加权和作为评论的最终特征表达;评论的最终特征表达s通过下式计算:
S5:将评论的最终特征表达输入分类器进行分类,并根据模型的预测结果和真实数据标签计算误差,模型的误差函数代表了模型预测的值和训练数据真实值之间的差距;
S6:采用梯度下降法训练模型,并在达到预定的训练轮数后停止训练;
S7:将待情感分类的新数据输入训练好的模型,进行情感分析预测。
8.根据权利要求7所述一种基于注意力卷积神经网络的用户评论情感分析方法,其特征在于:所述数据清洗包括分词,去除标点符号,字母转换为小写。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811445401.2A CN109284506B (zh) | 2018-11-29 | 2018-11-29 | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811445401.2A CN109284506B (zh) | 2018-11-29 | 2018-11-29 | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109284506A CN109284506A (zh) | 2019-01-29 |
CN109284506B true CN109284506B (zh) | 2023-09-29 |
Family
ID=65173114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811445401.2A Active CN109284506B (zh) | 2018-11-29 | 2018-11-29 | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109284506B (zh) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902172B (zh) * | 2019-01-31 | 2021-08-27 | 深度好奇(北京)科技有限公司 | 案情文本分类方法、装置以及存储介质 |
CN110046616B (zh) * | 2019-03-04 | 2021-05-25 | 北京奇艺世纪科技有限公司 | 图像处理模型生成、图像处理方法、装置、终端设备及存储介质 |
CN109933665A (zh) * | 2019-03-14 | 2019-06-25 | 智者四海(北京)技术有限公司 | 评论识别的装置和方法 |
CN111694950A (zh) * | 2019-03-14 | 2020-09-22 | 京东数字科技控股有限公司 | 词嵌入方法、装置与电子设备 |
CN109948158A (zh) * | 2019-03-15 | 2019-06-28 | 南京邮电大学 | 基于环境元嵌入和深度学习的情感倾向性分析方法 |
CN111738021B (zh) * | 2019-03-25 | 2023-10-31 | 株式会社理光 | 神经机器翻译模型的词向量处理方法、装置及存储介质 |
CN109992781B (zh) * | 2019-04-02 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 文本特征的处理方法、装置和存储介质 |
CN110020214B (zh) * | 2019-04-08 | 2021-05-18 | 北京航空航天大学 | 一种融合知识的社交网络流式事件检测*** |
CN110263332A (zh) * | 2019-05-28 | 2019-09-20 | 华东师范大学 | 一种基于神经网络的自然语言关系抽取方法 |
CN110209823B (zh) * | 2019-06-12 | 2021-04-13 | 齐鲁工业大学 | 一种多标签文本分类方法及*** |
CN110362819B (zh) * | 2019-06-14 | 2023-03-31 | 中电万维信息技术有限责任公司 | 基于卷积神经网络的文本情感分析方法 |
CN110427456A (zh) * | 2019-06-26 | 2019-11-08 | 平安科技(深圳)有限公司 | 一种词语联想的方法及装置 |
CN110390017B (zh) * | 2019-07-25 | 2022-12-27 | 中国民航大学 | 基于注意力门控卷积网络的目标情感分析方法及*** |
CN112446201A (zh) * | 2019-08-12 | 2021-03-05 | 北京国双科技有限公司 | 文本的评论性质确定方法及装置 |
CN111639152B (zh) * | 2019-08-29 | 2021-04-13 | 上海卓繁信息技术股份有限公司 | 意图识别方法 |
CN110766439A (zh) * | 2019-08-30 | 2020-02-07 | 昆山市量子昆慈量子科技有限责任公司 | 一种酒店网络口碑评价方法、***及电子设备 |
CN110874397A (zh) * | 2019-11-20 | 2020-03-10 | 福州大学 | 基于注意力机制的水军评论检测***及方法 |
CN111147396B (zh) * | 2019-12-26 | 2023-03-21 | 哈尔滨工程大学 | 一种基于序列特征的加密流量分类方法 |
CN111143567B (zh) * | 2019-12-30 | 2023-04-07 | 成都数之联科技股份有限公司 | 一种基于改进神经网络的评论情感分析方法 |
CN111344717B (zh) * | 2019-12-31 | 2023-07-18 | 深圳市优必选科技股份有限公司 | 交互行为预测方法、智能装置和计算机可读存储介质 |
CN111259761B (zh) * | 2020-01-13 | 2024-06-07 | 东南大学 | 基于可迁移注意力神经网络的脑电情感识别方法及装置 |
CN111259140B (zh) * | 2020-01-13 | 2023-07-28 | 长沙理工大学 | 一种基于lstm多实体特征融合的虚假评论检测方法 |
CN111274396B (zh) * | 2020-01-20 | 2022-06-07 | 福州大学 | 一种基于外部知识的视角级文本情感分类方法及*** |
CN111353313A (zh) * | 2020-02-25 | 2020-06-30 | 四川翼飞视科技有限公司 | 基于进化神经网络架构搜索的情感分析模型构建方法 |
CN111353043A (zh) * | 2020-02-27 | 2020-06-30 | 浙江大学 | 一种基于轻量化卷积神经网络的细粒度观点挖掘方法 |
CN111460892A (zh) * | 2020-03-02 | 2020-07-28 | 五邑大学 | 一种脑电图模式分类模型的训练方法、分类方法及*** |
CN111444700A (zh) * | 2020-04-02 | 2020-07-24 | 山东山大鸥玛软件股份有限公司 | 一种基于语义文档表达的文本相似度量方法 |
CN111581981B (zh) * | 2020-05-06 | 2022-03-08 | 西安交通大学 | 基于评价对象强化和带约束标签嵌入的方面类别检测***及方法 |
CN111667339B (zh) * | 2020-05-26 | 2022-05-27 | 吉林大学 | 一种基于改进递归神经网络的诽谤性恶意用户检测方法 |
CN111666410B (zh) * | 2020-05-29 | 2022-01-28 | 中国人民解放军军事科学院国防科技创新研究院 | 商品用户评论文本的情感分类方法及*** |
CN112015862B (zh) * | 2020-08-24 | 2023-02-03 | 重庆邮电大学 | 基于层级多通道注意力的用户异常评论检测方法及*** |
CN112214991B (zh) * | 2020-10-10 | 2024-05-14 | 上海海事大学 | 一种基于多特征融合加权的微博文本立场检测方法 |
CN112417099B (zh) * | 2020-11-20 | 2022-10-04 | 南京邮电大学 | 一种基于图注意力网络的欺诈用户检测模型构建方法 |
CN112434516B (zh) * | 2020-12-18 | 2024-04-26 | 安徽商信政通信息技术股份有限公司 | 一种融合正文文本信息的自适应评论情感分析***及方法 |
CN112819604A (zh) * | 2021-01-19 | 2021-05-18 | 浙江省农村信用社联合社 | 基于融合神经网络特征挖掘的个人信用评估方法与*** |
CN112820412B (zh) * | 2021-02-03 | 2024-03-08 | 东软集团股份有限公司 | 用户信息的处理方法、装置、存储介质和电子设备 |
CN113094502A (zh) * | 2021-03-22 | 2021-07-09 | 北京工业大学 | 一种多粒度外卖用户评论情感分析方法 |
CN113159831A (zh) * | 2021-03-24 | 2021-07-23 | 湖南大学 | 一种基于改进的胶囊网络的评论文本情感分析方法 |
CN112801283B (zh) * | 2021-03-29 | 2023-06-16 | 哈尔滨工业大学(深圳) | 一种神经网络模型、动作识别方法、装置及存储介质 |
CN113206808B (zh) * | 2021-04-01 | 2022-06-14 | 中国电子科技集团公司第五十二研究所 | 一种基于一维多输入卷积神经网络的信道编码盲识别方法 |
CN113343673A (zh) * | 2021-04-14 | 2021-09-03 | 山东师范大学 | 一种多源跨域情感分类方法、***、介质及设备 |
CN113571177A (zh) * | 2021-06-25 | 2021-10-29 | 天津大学 | 基于门控卷积网络的在线论坛用户抑郁检测模型 |
CN114936283B (zh) * | 2022-05-18 | 2023-12-26 | 电子科技大学 | 一种基于Bert的网络舆情分析方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391646A (zh) * | 2017-07-13 | 2017-11-24 | 清华大学 | 一种视频图像的语义信息提取方法及装置 |
CN108363753A (zh) * | 2018-01-30 | 2018-08-03 | 南京邮电大学 | 评论文本情感分类模型训练与情感分类方法、装置及设备 |
CN108427670A (zh) * | 2018-04-08 | 2018-08-21 | 重庆邮电大学 | 一种基于语境词向量和深度学习的情感分析方法 |
CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
CN108829672A (zh) * | 2018-06-05 | 2018-11-16 | 平安科技(深圳)有限公司 | 文本的情感分析方法、装置、计算机设备和存储介质 |
-
2018
- 2018-11-29 CN CN201811445401.2A patent/CN109284506B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107391646A (zh) * | 2017-07-13 | 2017-11-24 | 清华大学 | 一种视频图像的语义信息提取方法及装置 |
CN108363753A (zh) * | 2018-01-30 | 2018-08-03 | 南京邮电大学 | 评论文本情感分类模型训练与情感分类方法、装置及设备 |
CN108427670A (zh) * | 2018-04-08 | 2018-08-21 | 重庆邮电大学 | 一种基于语境词向量和深度学习的情感分析方法 |
CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
CN108829672A (zh) * | 2018-06-05 | 2018-11-16 | 平安科技(深圳)有限公司 | 文本的情感分析方法、装置、计算机设备和存储介质 |
Non-Patent Citations (5)
Title |
---|
刘雨心等.基于分层注意力机制的神经网络垃圾评论检测模型.《计算机应用》.2018,(第11期), * |
商齐 ; 曾碧卿 ; 王盛玉 ; 周才东 ; 曾锋 ; .ACMF:基于卷积注意力模型的评分预测研究.中文信息学报.2018,(第11期),第86-96页. * |
张连彬.基于汽车品牌评论的情感分类***研究.《中国优秀硕士学位论文全文数据库 (经济与管理科学辑)》.2017,第J150-124页. * |
李洋等.基于CNN和BiLSTM网络特征融合的文本情感分析.《计算机应用》.2018, * |
白静等.基于注意力的BiLSTM-CNN中文微博立场检测模型.《计算机应用与软件》.2018,(第03期), * |
Also Published As
Publication number | Publication date |
---|---|
CN109284506A (zh) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 | |
CN112487143B (zh) | 一种基于舆情大数据分析的多标签文本分类方法 | |
CN112163426B (zh) | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 | |
CN110609891B (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
CN109472031B (zh) | 一种基于双记忆注意力的方面级别情感分类模型及方法 | |
CN112579778B (zh) | 基于多层次的特征注意力的方面级情感分类方法 | |
CN111274398B (zh) | 一种方面级用户产品评论情感分析方法及*** | |
CN112667818B (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及*** | |
CN114169330A (zh) | 融合时序卷积与Transformer编码器的中文命名实体识别方法 | |
CN111127146B (zh) | 基于卷积神经网络与降噪自编码器的信息推荐方法及*** | |
CN110929034A (zh) | 一种基于改进lstm的商品评论细粒度情感分类方法 | |
CN114757182A (zh) | 一种改进训练方式的bert短文本情感分析方法 | |
CN112906397B (zh) | 一种短文本实体消歧方法 | |
CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN111831783B (zh) | 一种篇章级关系抽取方法 | |
CN115831102A (zh) | 基于预训练特征表示的语音识别方法、装置及电子设备 | |
CN112287106A (zh) | 一种基于双通道混合神经网络的在线评论情感分类方法 | |
CN115935975A (zh) | 一种情感可控的新闻评论生成方法 | |
CN114254645A (zh) | 一种人工智能辅助写作*** | |
CN113887836B (zh) | 一种融合事件环境信息的叙述性事件预测方法 | |
CN115238693A (zh) | 一种基于多分词和多层双向长短期记忆的中文命名实体识别方法 | |
Zhao et al. | Knowledge-aware bayesian co-attention for multimodal emotion recognition | |
CN112560440A (zh) | 一种基于深度学习的面向方面级情感分析的句法依赖方法 | |
CN117216265A (zh) | 一种基于改进的图注意力网络新闻主题分类方法 | |
Lee et al. | A two-level recurrent neural network language model based on the continuous Bag-of-Words model for sentence classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |