CN107066446A - 一种嵌入逻辑规则的循环神经网络文本情感分析方法 - Google Patents
一种嵌入逻辑规则的循环神经网络文本情感分析方法 Download PDFInfo
- Publication number
- CN107066446A CN107066446A CN201710239556.XA CN201710239556A CN107066446A CN 107066446 A CN107066446 A CN 107066446A CN 201710239556 A CN201710239556 A CN 201710239556A CN 107066446 A CN107066446 A CN 107066446A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msup
- msub
- msubsup
- language material
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种嵌入逻辑规则的循环神经网络文本情感分析方法,通过抓取用于训练的文本语料,进行情感类别标记,然后将情感标记的文本语料分为训练集语料、测试集语料,并对其进行分词处理,以及去停用词处理,然后采用word2vec算法对做分词处理、去掉停用词后的训练集语料和测试集语料进行训练,得到相应的词向量,将训练集语料和测试集语料输入现有的知识库结合概率图模型进行分析处理,通过逻辑循环神经网络结构(Logic‑RNN与Logic‑LSTM),将一阶逻辑规则嵌入到循环神经网络中,本发明一方面可以达到控制循环神经网络的训练方向,更倾向人的直觉,另一方面提高了文本情感分析的精度,该方法也可以用于自然语言处理、机器学习的其他领域。
Description
技术领域
本发明涉及一种数据处理技术领域,尤其是一种在循环神经网络(RecurrentNeural Networks,RNNs)中嵌入逻辑规则的文本情感分析方法。
背景技术
随着互联网技术的发展以及web2.0的兴起,互联网逐步由静态的信息载体转变为人们获取信息,发表观点,感情交流的平台,人们通过在网上分享、评论、表达自身对于各种事物的意见、看法,比如对电影、新闻、股票等的评论,这些评论对于政府、企业、消费者等的重要性不言而喻,然而随着在线评论数据***式地增长,依靠人工对海量文本数据进行采集、处理、分析、预测是不切实际的,因此利用自动化工具,快速从大量文本中获取有价值的信息已经成为人们的迫切需求,文本情感分析的任务也应运而生。
文本情感分析在实际生活中有着广泛的应用:在推荐***中,对购买相关产品的用户的在线评论信息进行自动整理,情感分类,分析和挑选出值得推荐的产品和服务,推荐给其他的用户;在过滤***中,自动过滤一些对政府和商业机构不利的文字信息,并且鉴别出撰稿者的情感倾向、政治倾向及态度、观点和看法,例如,根据文本中反映出的作者情感进行分类,对攻击政府及个人的微博、E-mail可以实现自动屏蔽的功能;在问答***中,对询问者问题中透露的感情色彩进行分析和文本分类,采用尽量合适的语气回复,防止答案情感色彩出错而适得其反,例如,心里咨询平台,错误的感情色彩可能使咨询者失去生命;在舆情***中,互联网具有开放性、虚拟性、发散性等特点,它逐渐成为舆情话题产生和传播的主要场所,网络信息对社会的直接影响越来越大,有时关系到国家信息安全,因此人们需要使用舆情分析技术对舆情信息进行监控,此外,文本情感分析还可以用于有害信息过滤,产品在线跟踪和质量评价、电影书籍评论、行文报道评论、事件分析、股票评论、敌对信息检测、企业情报分析等方面。
文本情感分析(倾向性分析、意见抽取、意见挖掘、情感挖掘、主观分析)是对带有感情色彩的主观性文本进行分析、处理、归纳、和推理的过程,如从评论文本中分析用户对“笔记本电脑”的“屏幕、处理器、重量、内存、电源”等属性的情感倾向。从不同立场、出发点、个人态度和喜好出发,人们在看待不同的对象和事件时所表达的态度、意见和情感的倾向性是存在差异的。一般地,按照处理文本的粒度不同,文本情感分析分为词语级、短语级、句子级、篇章级以及多篇章级等几个研究层次。
word2vec是Google于2013年提出的基于深度神经网络语言模型训练词向量的开源工具。它可以从大量文本中进行无监督学习,将词表征为实数值向量,相比之前的词袋(bag-of-words)表示法,它通过把词映射到k维的向量空间,可以更好的捕捉上下文语义信息,实验证明将学习到的词向量作为应用于自然语言处理任务中,对于提高自然语言任务的效率又很大的帮助。
文本情感分析的研究方法主要有两种:一种是情感词典和规则相结合;另一种是基于机器学习方法,传统的机器学习方法主要采用贝叶斯、支持向量机或最大熵,这些方法都伴随着大量的手动特征工程且具有任务特殊性,特征选择的好坏直接影响到了文本情感分析的正确与否,不同的任务选择的特征又各不相同,很多学者开始思考,更加适合的方法。后来循环神经网络作为一个序列模型,在机器识别、语音翻译、问答等都取得了突破性的成果,让越来越多的人相信循环神经网络可以是一个很好的语言模型。但由于循环神经网络有着梯度消失的问题,通俗点就是后面的时间节点对前面的时间节点的信息感知力弱,为了解决这个问题,后来在循环神经网络中引入了“门”的概念就有了长短时记忆网络(LSTM)。
循环神经网络作为序列模型已经在众多自然语言处理任务中取得了巨大的成功以及广泛应用,例如,语言识别、机器翻译、情感分析、实体识别等,这让越来越多的人相信循环神经网络可以是一个很好的语言模型,然而循环神经网络仍存在着很多缺点,例如,循环神经网络的训练需要消耗大量的时间,高精度的模型依赖于大量的数据,单纯的数据学习常常导致不可解释性以及反直觉性。
发明内容
针对现有技术的不足,本发明提供一种训练精度高的嵌入逻辑规则的循环神经网络文本情感分析方法。
本发明的技术方案为:一种嵌入逻辑规则的循环神经网络文本情感分析方法,其特征在于,包括以下步骤:
S1)、运用数据采集工具抓取用于训练的文本语料,将文本语料进行情感类别标记,然后将情感标记的文本语料分为训练集语料、测试集语料两个集合,
S2)、结合文本语料相关的词典和Ansj分词工具对步骤S1)中的训练集语料和测试集语料进行分词处理,以及去停用词处理;
S3)、采用word2vec算法对步骤S2)中做分词处理、去掉停用词后的训练集语料和测试集语料进行训练,得到相应的词向量;
S4)、将步骤S2)中做分词、去掉停用词处理后的训练集语料和测试集语料输入现有的知识库进行分析处理,输出得到由元素(εk,xi,xj)组成的三元组集合triple,并结合概率图模型得到节点xi与xj之间的概率关系p(xj|xi),其中,xi与xj表示由一条有向边xi→xj连接的节点对,每个词表示为一个节点,p(xj|xi)表示节点xi到节点xj且xj发生的概率,并且记该逻辑规则为εk;
例如,输入词为x1→x2→x3→x4→x5,则p(x1)=1,该边逻辑规则记为ε1,该边逻辑规则记为ε2,该边逻辑规则记为ε3;
S5)、在t时刻,将三元组集合triple的元素(εk,xi,xj)向量化后得到将xt输入Logic-LSTM网络与Logic-RNN网络构建得到嵌入一阶逻辑规则的循环神经网络中训练出情感分析模型,Logic-LSTM网络具体如下:
其中,δ为sigmoid激活函数,操作符⊙表示乘积操作,it、ic t表示输入门,ft、fc t表示忘记门,ot、oc t表示输出门,表示更新门,
隐含层的输出向量ht∈RH,传递到下一个时刻的隐含层向量为hc t∈RH,Wi(Wi′)、Wf(Wf′)、Wo(Wo′)、Wc(Wc′)∈RH×d,Ui(Ui′)、Uf(U′f)、Uo(Uo′)、Uc(Uc′)∈RH×H为模型的训练参数,其中H、d分别表示隐含层的维度以及输入的维度;
Logic-RNN网络具体如下:
其中,f为非线性激活函数,U(U′)、W(W′)∈RH×d为模型的训练参数,st、st表示隐含层的输出,表示传递到下一个时刻的隐含层输出,Mask为屏蔽矩阵,通过屏蔽矩阵Mask防止冗余信息传递到下一个时刻,CEM(xt,Mask)表示两个相同维度矩阵xt,Mask对应元素相乘;
S6)、将步骤S4)生成的训练集语料的逻辑规则结合步骤S3)训练好的词向量输入到步骤S5)构建的嵌入一阶逻辑规则的循环神经网络中,通过将Logic-LSTM网络和Logic-RNN网络的输出连接到softmax函数,从而训练出情感分析模型,通过softmax函数输出概率值向量作为模型输出结果;
S7)、将步骤S4)生成的测试集语料的逻辑规则结合步骤S3)训练好的词向量输入到步骤S6)训练好的情感分析模型中,对测试集语料进行情感分类。
所述的知识库为知识图谱或者句法依存树,句法依存树可以采用StanfordParser或者LTP-Cloud生成。
本发明的有益效果为:运用概率图模型描述一阶逻辑规则,更好的利用现有的知识库,提出了一种在循环神经网络(Recurrent Neural Networks)中嵌入逻辑规则的方法,并通过修改传统的循环神经网络结构,去除循环神经网络的反馈环中的冗余信息;通过将一阶逻辑规则嵌入到循环神经网络中,一方面可以达到控制循环神经网络的训练方向,更倾向人的直觉,另一方面提高了文本情感分析的精度,而且训练时间短,训练简单;此外,可以在一定程度上缓解RNN的梯度消失问题,当训练样本较小时,该方法的效果会更加显著;
另外,该方法应用广泛,可以用于自然语言处理、机器学习的其他领域,例如实体识别、机器翻译、问答、语音识别、人群异常点检测等。
附图说明
图1为本发明的流程示意图;
图2为本发明的情感分析模型图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明:
如图1、图2所示,一种嵌入逻辑规则的循环神经网络文本情感分析方法,其特征在于,包括以下步骤:
S1)、运用数据采集工具抓取用于训练的文本语料,将文本语料进行情感类别标记,然后将情感标记的文本语料分为训练集语料、测试集语料两个集合,
S2)、结合文本语料相关的词典和Ansj分词工具对步骤S1)中的训练集语料和测试集语料进行分词处理,以及去停用词处理;
S3)、采用word2vec算法对步骤S2)中做分词处理、去掉停用词后的训练集语料和测试集语料进行训练,得到相应的词向量;
S4)、将步骤S2)中做分词、去掉停用词处理后的训练集语料和测试集语料输入现有的知识库进行分析处理,输出得到由元素(εk,xi,xj)组成的三元组集合triple,并结合概率图模型得到节点xi与xj之间的概率关系p(xj|xi),其中,xi与xj表示由一条有向边xi→xj连接的节点对,每个词表示为一个节点,p(xj|xi)表示节点xi到节点xj且xj发生的概率,该边逻辑规则记为εk;
例如,输入词为x1→x2→x3→x4→x5,则p(x1)=1,该边逻辑规则记为ε1,该边逻辑规则记为ε2,该边逻辑规则记为ε3;
S5)、在t时刻,将三元组集合triple元素(εk,xi,xj)向量化后得到将xt输入Logic-LSTM网络与Logic-RNN网络构建得到嵌入一阶逻辑规则的循环神经网络中训练出情感分析模型,Logic-LSTM网络具体如下:
其中,δ为sigmoid激活函数,操作符⊙表示乘积操作,it、ic t表示输入门,ft、fc t表示忘记门,ot、oc t表示输出门,表示更新门,
隐含层的输出向量ht∈RH,传递到下一个时刻的隐含层向量为hc t∈RH,Wi(Wi′)、Wf(Wf′)、Wo(Wo′)、Wc(Wc′)∈RH×d,Ui(Ui′)、Uf(U′f)、Uo(Uo′)、Uc(Uc′)∈RH×H为模型的训练参数,其中H、d分别表示隐含层的维度以及输入的维度;
Logic-RNN网络具体如下:
其中,f为非线性激活函数,U(U′)、W(W′)∈RH×d为模型的训练参数,st、st表示隐含层的输出,表示传递到下一个时刻的隐含层输出,Mask为屏蔽矩阵,通过屏蔽矩阵防止冗余信息传递到下一个时刻,CEM(xt,Mask)表示两个相同维度矩阵xt,Mask对应元素相乘;
S6)、将步骤S4)生成的训练集语料的逻辑规则结合步骤S3)训练好的词向量输入到步骤S5)构建的嵌入一阶逻辑规则的循环神经网络中,通过将Logic-LSTM网络和Logic-RNN网络的输出连接到softmax函数,从而训练出情感分析模型,通过softmax函数输出概率值向量作为模型输出结果;
S7)、将步骤S4)生成的测试集语料的逻辑规则结合步骤S3)训练好的词向量输入到步骤S6)训练好的情感分析模型中,对测试集语料进行情感分类。
所述的知识库为知识图谱或者句法依存树,句法依存树可以采用StanfordParser或者LTP-Cloud生成。
上述实施例和说明书中描述的只是说明本发明的原理和最佳实施例,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。
Claims (2)
1.一种嵌入逻辑规则的循环神经网络文本情感分析方法,其特征在于,包括以下步骤:
S1)、运用数据采集工具抓取用于训练的文本语料,将文本语料进行情感类别标记,然后将情感标记的文本语料分为训练集语料、测试集语料两个集合,
S2)、结合文本语料相关的词典和Ansj分词工具对步骤S1)中的训练集语料和测试集语料做分词处理,以及去停用词处理;
S3)、采用word2vec算法对步骤S2)中做分词处理、去掉停用词后的训练集语料和测试集语料进行训练,得到相应的词向量;
S4)、将步骤S2)中做分词处理、去掉停用词后的训练集语料和测试集语料输入到现有的知识库进行分析处理,输出得到由元素(εk,xi,xj)组成的三元组集合triple,并结合概率图模型得到节点xi与xj之间的概率关系p(xj|xi),其中,xi与xj表示由一条有向边xi→xj连接的节点对,每个词表示为一个节点,p(xj|xi)表示节点xi到节点xj且xj发生的概率,并且记该逻辑规则为εk;
S5)、在t时刻,将三元组集合triple的元素(εk,xi,xj)向量化后得到将xt输入Logic-LSTM网络与Logic-RNN网络构建得到嵌入一阶逻辑规则的循环神经网络中训练出情感分析模型,所述的Logic-LSTM网络具体如下:
<mrow>
<msup>
<mi>i</mi>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>+</mo>
<msub>
<mi>U</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>h</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msup>
<mi>f</mi>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>f</mi>
</msub>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>+</mo>
<msub>
<mi>U</mi>
<mi>f</mi>
</msub>
<msubsup>
<mi>h</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>f</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msup>
<mi>o</mi>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>o</mi>
</msub>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>+</mo>
<msub>
<mi>U</mi>
<mi>o</mi>
</msub>
<msubsup>
<mi>h</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>o</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msup>
<mover>
<mi>c</mi>
<mo>~</mo>
</mover>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>tanh</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>W</mi>
<mi>c</mi>
</msub>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>+</mo>
<msub>
<mi>U</mi>
<mi>c</mi>
</msub>
<msubsup>
<mi>h</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msub>
<mi>b</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
h(t)=o(t)⊙tanh(c(t));
<mrow>
<msup>
<msub>
<mi>i</mi>
<mi>c</mi>
</msub>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mi>C</mi>
<mi>E</mi>
<mi>M</mi>
<mo>(</mo>
<mrow>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>,</mo>
<mi>M</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
<mo>)</mo>
<mo>+</mo>
<msubsup>
<mi>U</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<msubsup>
<mi>h</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>i</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
<mrow>
<msup>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>W</mi>
<mi>f</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mi>C</mi>
<mi>E</mi>
<mi>M</mi>
<mo>(</mo>
<mrow>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>,</mo>
<mi>M</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
<mo>)</mo>
<mo>+</mo>
<msubsup>
<mi>U</mi>
<mi>f</mi>
<mo>&prime;</mo>
</msubsup>
<msubsup>
<mi>h</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>f</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msup>
<msub>
<mi>o</mi>
<mi>c</mi>
</msub>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>W</mi>
<mi>o</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mi>C</mi>
<mi>E</mi>
<mi>M</mi>
<mo>(</mo>
<mrow>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>,</mo>
<mi>M</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
<mo>)</mo>
<mo>+</mo>
<msubsup>
<mi>U</mi>
<mi>o</mi>
<mo>&prime;</mo>
</msubsup>
<msubsup>
<mi>h</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>o</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msup>
<msub>
<mover>
<mi>c</mi>
<mo>~</mo>
</mover>
<mi>c</mi>
</msub>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<msup>
<msub>
<mi>W</mi>
<mi>c</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mi>C</mi>
<mi>E</mi>
<mi>M</mi>
<mo>(</mo>
<mrow>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>,</mo>
<mi>M</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
<mo>)</mo>
<mo>+</mo>
<msubsup>
<mi>U</mi>
<mi>c</mi>
<mo>&prime;</mo>
</msubsup>
<msubsup>
<mi>h</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>c</mi>
<mo>&prime;</mo>
</msubsup>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中,δ为sigmoid激活函数,操作符⊙表示乘积操作,it、ic t表示输入门,ft、fc t表示忘记门,ot、oc t表示输出门,表示更新门;
隐含层的输出向量ht∈RH,传递到下一个时刻的隐含层向量为hc t∈RH,Wi(Wi′)、Wf(W′f)、Wo(W′o)、Wc(Wc′)∈RH×d,Ui(+′i)、Uf(U′f)、Uo(U′o)、Uc(U′c)∈RH×H为模型的训练参数,其中H、d分别表示隐含层的维度以及输入的维度;
所述的Logic-RNN网络具体如下:
<mrow>
<msup>
<mi>s</mi>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>Ux</mi>
<mi>t</mi>
</msup>
<mo>+</mo>
<msubsup>
<mi>Ws</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
1
<mrow>
<msup>
<msub>
<mi>s</mi>
<mi>c</mi>
</msub>
<mi>t</mi>
</msup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<msup>
<mi>U</mi>
<mo>&prime;</mo>
</msup>
<mi>C</mi>
<mi>E</mi>
<mi>M</mi>
<mo>(</mo>
<mrow>
<msup>
<mi>x</mi>
<mi>t</mi>
</msup>
<mo>,</mo>
<mi>M</mi>
<mi>a</mi>
<mi>s</mi>
<mi>k</mi>
</mrow>
<mo>)</mo>
<mo>+</mo>
<msup>
<mi>W</mi>
<mo>&prime;</mo>
</msup>
<msubsup>
<mi>s</mi>
<mi>c</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msup>
<mi>b</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中,f为非线性激活函数,U(U′)、W(W′)∈RH×d为模型的训练参数,st、st表示隐含层的输出,表示传递到下一个时刻的隐含层输出,Mask为1*d的屏蔽矩阵,CEM(xt,Mask)表示两个相同维度矩阵xt,Mask对应元素相乘;
S6)、将步骤S4)生成的训练集语料的逻辑规则结合步骤S3)训练好的词向量输入到步骤S5)构建的嵌入一阶逻辑规则的循环神经网络中,通过将Logic-LSTM网络和Logic-RNN网络的输出连接到softmax函数,从而训练出情感分析模型,通过softmax函数输出概率值向量作为模型输出结果;
S7)、将步骤S4)生成的测试集语料的逻辑规则结合步骤S3)训练好的词向量输入到步骤S6)训练好的情感分析模型中,对测试集语料进行情感分类。
2.根据权利要求1所述的一种嵌入逻辑规则的循环神经网络文本情感分析方法,其特征在于:所述的知识库为知识图谱或者句法依存树,所述的句法依存树可以采用StanfordParser或者LTP-Cloud生成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710239556.XA CN107066446B (zh) | 2017-04-13 | 2017-04-13 | 一种嵌入逻辑规则的循环神经网络文本情感分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710239556.XA CN107066446B (zh) | 2017-04-13 | 2017-04-13 | 一种嵌入逻辑规则的循环神经网络文本情感分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107066446A true CN107066446A (zh) | 2017-08-18 |
CN107066446B CN107066446B (zh) | 2020-04-10 |
Family
ID=59600167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710239556.XA Active CN107066446B (zh) | 2017-04-13 | 2017-04-13 | 一种嵌入逻辑规则的循环神经网络文本情感分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107066446B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729403A (zh) * | 2017-09-25 | 2018-02-23 | 中国工商银行股份有限公司 | 互联网信息风险提示方法及*** |
CN108304468A (zh) * | 2017-12-27 | 2018-07-20 | ***股份有限公司 | 一种文本分类方法以及文本分类装置 |
CN108364028A (zh) * | 2018-03-06 | 2018-08-03 | 中国科学院信息工程研究所 | 一种基于深度学习的互联网网站自动分类方法 |
CN108647219A (zh) * | 2018-03-15 | 2018-10-12 | 中山大学 | 一种结合情感词典的卷积神经网络文本情感分析方法 |
CN108710647A (zh) * | 2018-04-28 | 2018-10-26 | 苏宁易购集团股份有限公司 | 一种用于聊天机器人的数据处理方法及装置 |
CN108876044A (zh) * | 2018-06-25 | 2018-11-23 | 中国人民大学 | 一种基于知识增强神经网络的线上内容流行度预测方法 |
CN108920587A (zh) * | 2018-06-26 | 2018-11-30 | 清华大学 | 融合外部知识的开放域视觉问答方法及装置 |
CN108984745A (zh) * | 2018-07-16 | 2018-12-11 | 福州大学 | 一种融合多知识图谱的神经网络文本分类方法 |
CN109325457A (zh) * | 2018-09-30 | 2019-02-12 | 合肥工业大学 | 基于多通道数据和循环神经网络的情感分析方法和*** |
CN109325103A (zh) * | 2018-10-19 | 2019-02-12 | 北京大学 | 一种序列学习的动态标识符表示方法、装置及*** |
CN109359190A (zh) * | 2018-08-17 | 2019-02-19 | 中国电子科技集团公司第三十研究所 | 一种基于评价对象阵营的立场分析模型构建方法 |
CN109408633A (zh) * | 2018-09-17 | 2019-03-01 | 中山大学 | 一种多层注意力机制的循环神经网络模型的构建方法 |
CN109446331A (zh) * | 2018-12-07 | 2019-03-08 | 华中科技大学 | 一种文本情绪分类模型建立方法及文本情绪分类方法 |
CN109726745A (zh) * | 2018-12-19 | 2019-05-07 | 北京理工大学 | 一种融入描述知识的基于目标的情感分类方法 |
CN109936568A (zh) * | 2019-02-20 | 2019-06-25 | 长安大学 | 一种基于循环神经网络的防恶意攻击传感器数据采集方法 |
CN110222185A (zh) * | 2019-06-13 | 2019-09-10 | 哈尔滨工业大学(深圳) | 一种关联实体的情感信息表示方法 |
CN110348024A (zh) * | 2019-07-23 | 2019-10-18 | 天津汇智星源信息技术有限公司 | 基于法律知识图谱的智能识别*** |
CN110378335A (zh) * | 2019-06-17 | 2019-10-25 | 杭州电子科技大学 | 一种基于神经网络的信息分析方法及模型 |
CN110727758A (zh) * | 2018-06-28 | 2020-01-24 | 中国科学院声学研究所 | 一种基于多长度文本向量拼接的舆情分析方法及其*** |
CN110955770A (zh) * | 2019-12-18 | 2020-04-03 | 圆通速递有限公司 | 一种智能对话*** |
CN111008266A (zh) * | 2019-12-06 | 2020-04-14 | 北京金山数字娱乐科技有限公司 | 文本分析模型的训练方法及装置、文本分析方法及装置 |
CN111160037A (zh) * | 2019-12-02 | 2020-05-15 | 广州大学 | 一种支持跨语言迁移的细粒度情感分析方法 |
WO2020224099A1 (zh) * | 2019-05-09 | 2020-11-12 | 平安科技(深圳)有限公司 | 智能化情感问答方法、装置及计算机可读存储介质 |
CN112101033A (zh) * | 2020-09-01 | 2020-12-18 | 广州威尔森信息科技有限公司 | 一种汽车口碑的情感分析方法和装置 |
CN112163077A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 一种面向领域问答的知识图谱构建方法 |
CN113742479A (zh) * | 2020-05-29 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 筛选目标文本的方法和装置 |
CN116340511A (zh) * | 2023-02-16 | 2023-06-27 | 深圳市深弈科技有限公司 | 结合深度学习与语言逻辑推理的舆情分析方法 |
CN116595528A (zh) * | 2023-07-18 | 2023-08-15 | 华中科技大学 | 对个性化推荐***的投毒攻击方法及装置 |
CN116682551A (zh) * | 2023-07-27 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 疾病预测方法、疾病预测模型训练方法和装置 |
CN116702136A (zh) * | 2023-08-04 | 2023-09-05 | 华中科技大学 | 对个性化推荐***的操纵攻击方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103123620A (zh) * | 2012-12-11 | 2013-05-29 | 中国互联网新闻中心 | 一种基于命题逻辑的网络文本情感分析方法 |
CN104331506A (zh) * | 2014-11-20 | 2015-02-04 | 北京理工大学 | 一种面向双语微博文本的多类情感分析方法与*** |
CN104834747A (zh) * | 2015-05-25 | 2015-08-12 | 中国科学院自动化研究所 | 基于卷积神经网络的短文本分类方法 |
CN105740349A (zh) * | 2016-01-25 | 2016-07-06 | 重庆邮电大学 | 一种结合Doc2vec和卷积神经网络的情感分类方法 |
CN106202372A (zh) * | 2016-07-08 | 2016-12-07 | 中国电子科技网络信息安全有限公司 | 一种网络文本信息情感分类的方法 |
CN106384166A (zh) * | 2016-09-12 | 2017-02-08 | 中山大学 | 一种结合财经新闻的深度学习股市预测方法 |
CN106503805A (zh) * | 2016-11-14 | 2017-03-15 | 合肥工业大学 | 一种基于机器学习的双模态人人对话情感分析***及其方法 |
-
2017
- 2017-04-13 CN CN201710239556.XA patent/CN107066446B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103123620A (zh) * | 2012-12-11 | 2013-05-29 | 中国互联网新闻中心 | 一种基于命题逻辑的网络文本情感分析方法 |
CN104331506A (zh) * | 2014-11-20 | 2015-02-04 | 北京理工大学 | 一种面向双语微博文本的多类情感分析方法与*** |
CN104834747A (zh) * | 2015-05-25 | 2015-08-12 | 中国科学院自动化研究所 | 基于卷积神经网络的短文本分类方法 |
CN105740349A (zh) * | 2016-01-25 | 2016-07-06 | 重庆邮电大学 | 一种结合Doc2vec和卷积神经网络的情感分类方法 |
CN106202372A (zh) * | 2016-07-08 | 2016-12-07 | 中国电子科技网络信息安全有限公司 | 一种网络文本信息情感分类的方法 |
CN106384166A (zh) * | 2016-09-12 | 2017-02-08 | 中山大学 | 一种结合财经新闻的深度学习股市预测方法 |
CN106503805A (zh) * | 2016-11-14 | 2017-03-15 | 合肥工业大学 | 一种基于机器学习的双模态人人对话情感分析***及其方法 |
Non-Patent Citations (1)
Title |
---|
曹宇慧: "基于深度学习的文本情感分析研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729403A (zh) * | 2017-09-25 | 2018-02-23 | 中国工商银行股份有限公司 | 互联网信息风险提示方法及*** |
CN108304468B (zh) * | 2017-12-27 | 2021-12-07 | ***股份有限公司 | 一种文本分类方法以及文本分类装置 |
CN108304468A (zh) * | 2017-12-27 | 2018-07-20 | ***股份有限公司 | 一种文本分类方法以及文本分类装置 |
CN108364028A (zh) * | 2018-03-06 | 2018-08-03 | 中国科学院信息工程研究所 | 一种基于深度学习的互联网网站自动分类方法 |
CN108647219A (zh) * | 2018-03-15 | 2018-10-12 | 中山大学 | 一种结合情感词典的卷积神经网络文本情感分析方法 |
CN108710647A (zh) * | 2018-04-28 | 2018-10-26 | 苏宁易购集团股份有限公司 | 一种用于聊天机器人的数据处理方法及装置 |
CN108710647B (zh) * | 2018-04-28 | 2023-12-01 | 苏宁易购集团股份有限公司 | 一种用于聊天机器人的数据处理方法及装置 |
CN108876044B (zh) * | 2018-06-25 | 2021-02-26 | 中国人民大学 | 一种基于知识增强神经网络的线上内容流行度预测方法 |
CN108876044A (zh) * | 2018-06-25 | 2018-11-23 | 中国人民大学 | 一种基于知识增强神经网络的线上内容流行度预测方法 |
CN108920587A (zh) * | 2018-06-26 | 2018-11-30 | 清华大学 | 融合外部知识的开放域视觉问答方法及装置 |
CN110727758B (zh) * | 2018-06-28 | 2023-07-18 | 郑州芯兰德网络科技有限公司 | 一种基于多长度文本向量拼接的舆情分析方法及其*** |
CN110727758A (zh) * | 2018-06-28 | 2020-01-24 | 中国科学院声学研究所 | 一种基于多长度文本向量拼接的舆情分析方法及其*** |
CN108984745B (zh) * | 2018-07-16 | 2021-11-02 | 福州大学 | 一种融合多知识图谱的神经网络文本分类方法 |
CN108984745A (zh) * | 2018-07-16 | 2018-12-11 | 福州大学 | 一种融合多知识图谱的神经网络文本分类方法 |
CN109359190A (zh) * | 2018-08-17 | 2019-02-19 | 中国电子科技集团公司第三十研究所 | 一种基于评价对象阵营的立场分析模型构建方法 |
CN109408633A (zh) * | 2018-09-17 | 2019-03-01 | 中山大学 | 一种多层注意力机制的循环神经网络模型的构建方法 |
CN109325457A (zh) * | 2018-09-30 | 2019-02-12 | 合肥工业大学 | 基于多通道数据和循环神经网络的情感分析方法和*** |
CN109325103A (zh) * | 2018-10-19 | 2019-02-12 | 北京大学 | 一种序列学习的动态标识符表示方法、装置及*** |
CN109325103B (zh) * | 2018-10-19 | 2020-12-04 | 北京大学 | 一种序列学习的动态标识符表示方法、装置及*** |
CN109446331A (zh) * | 2018-12-07 | 2019-03-08 | 华中科技大学 | 一种文本情绪分类模型建立方法及文本情绪分类方法 |
CN109726745A (zh) * | 2018-12-19 | 2019-05-07 | 北京理工大学 | 一种融入描述知识的基于目标的情感分类方法 |
CN109726745B (zh) * | 2018-12-19 | 2020-10-09 | 北京理工大学 | 一种融入描述知识的基于目标的情感分类方法 |
CN109936568A (zh) * | 2019-02-20 | 2019-06-25 | 长安大学 | 一种基于循环神经网络的防恶意攻击传感器数据采集方法 |
CN109936568B (zh) * | 2019-02-20 | 2021-08-17 | 长安大学 | 一种基于循环神经网络的防恶意攻击传感器数据采集方法 |
WO2020224099A1 (zh) * | 2019-05-09 | 2020-11-12 | 平安科技(深圳)有限公司 | 智能化情感问答方法、装置及计算机可读存储介质 |
CN110222185A (zh) * | 2019-06-13 | 2019-09-10 | 哈尔滨工业大学(深圳) | 一种关联实体的情感信息表示方法 |
CN110378335A (zh) * | 2019-06-17 | 2019-10-25 | 杭州电子科技大学 | 一种基于神经网络的信息分析方法及模型 |
CN110348024A (zh) * | 2019-07-23 | 2019-10-18 | 天津汇智星源信息技术有限公司 | 基于法律知识图谱的智能识别*** |
CN111160037A (zh) * | 2019-12-02 | 2020-05-15 | 广州大学 | 一种支持跨语言迁移的细粒度情感分析方法 |
CN111008266A (zh) * | 2019-12-06 | 2020-04-14 | 北京金山数字娱乐科技有限公司 | 文本分析模型的训练方法及装置、文本分析方法及装置 |
CN111008266B (zh) * | 2019-12-06 | 2023-09-26 | 北京金山数字娱乐科技有限公司 | 文本分析模型的训练方法及装置、文本分析方法及装置 |
CN110955770A (zh) * | 2019-12-18 | 2020-04-03 | 圆通速递有限公司 | 一种智能对话*** |
CN113742479A (zh) * | 2020-05-29 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 筛选目标文本的方法和装置 |
CN112101033A (zh) * | 2020-09-01 | 2020-12-18 | 广州威尔森信息科技有限公司 | 一种汽车口碑的情感分析方法和装置 |
CN112163077A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 一种面向领域问答的知识图谱构建方法 |
CN112163077B (zh) * | 2020-09-28 | 2024-06-04 | 华南理工大学 | 一种面向领域问答的知识图谱构建方法 |
CN116340511A (zh) * | 2023-02-16 | 2023-06-27 | 深圳市深弈科技有限公司 | 结合深度学习与语言逻辑推理的舆情分析方法 |
CN116340511B (zh) * | 2023-02-16 | 2023-09-15 | 深圳市深弈科技有限公司 | 结合深度学习与语言逻辑推理的舆情分析方法 |
CN116595528A (zh) * | 2023-07-18 | 2023-08-15 | 华中科技大学 | 对个性化推荐***的投毒攻击方法及装置 |
CN116682551A (zh) * | 2023-07-27 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 疾病预测方法、疾病预测模型训练方法和装置 |
CN116682551B (zh) * | 2023-07-27 | 2023-12-22 | 腾讯科技(深圳)有限公司 | 疾病预测方法、疾病预测模型训练方法和装置 |
CN116702136A (zh) * | 2023-08-04 | 2023-09-05 | 华中科技大学 | 对个性化推荐***的操纵攻击方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107066446B (zh) | 2020-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107066446A (zh) | 一种嵌入逻辑规则的循环神经网络文本情感分析方法 | |
Li et al. | Imbalanced text sentiment classification using universal and domain-specific knowledge | |
Janda et al. | Syntactic, semantic and sentiment analysis: The joint effect on automated essay evaluation | |
CN107247702A (zh) | 一种文本情感分析处理方法和*** | |
KR20190063978A (ko) | 비정형 데이터의 카테고리 자동분류 방법 | |
CN111368086A (zh) | 一种基于CNN-BiLSTM+attention模型的涉案新闻观点句情感分类方法 | |
Zhao et al. | ZYJ123@ DravidianLangTech-EACL2021: Offensive language identification based on XLM-RoBERTa with DPCNN | |
CN107515855A (zh) | 一种结合表情符的微博情感分析方法和*** | |
CN112784602A (zh) | 基于远程监督的新闻情感实体抽取方法 | |
Sadr et al. | Improving the performance of text sentiment analysis using deep convolutional neural network integrated with hierarchical attention layer | |
CN115169361A (zh) | 一种情感分析方法及其相关设备 | |
Le-Hong | Diacritics generation and application in hate speech detection on Vietnamese social networks | |
Xie et al. | A novel attention based CNN model for emotion intensity prediction | |
Kondurkar et al. | Modern applications with a focus on training chatgpt and gpt models: Exploring generative ai and nlp | |
CN114970557B (zh) | 基于知识增强的跨语言结构化情感分析方法 | |
Purba et al. | A hybrid convolutional long short-term memory (CNN-LSTM) based natural language processing (NLP) model for sentiment analysis of customer product reviews in Bangla | |
Sboev et al. | A comparison of Data Driven models of solving the task of gender identification of author in Russian language texts for cases without and with the gender deception | |
Jiang et al. | Sentiment classification based on clause polarity and fusion via convolutional neural network | |
CN108694165A (zh) | 面向产品评论的跨领域对偶情感分析方法 | |
Chavan et al. | Machine learning applied in emotion classification: a survey on dataset, techniques, and trends for text based documents | |
Saravani et al. | Automated code extraction from discussion board text dataset | |
Xu et al. | Incorporating forward and backward instances in a bi-lstm-cnn model for relation classification | |
CN117150002B (zh) | 一种基于动态知识引导的摘要生成方法、***及装置 | |
Zaruba | Using natural language processing to measure the consistency of opinions expressed by politicians | |
Marfani et al. | Analysis of learners’ sentiments on MOOC forums using natural language processing techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |