CN109472024A - 一种基于双向循环注意力神经网络的文本分类方法 - Google Patents
一种基于双向循环注意力神经网络的文本分类方法 Download PDFInfo
- Publication number
- CN109472024A CN109472024A CN201811251261.5A CN201811251261A CN109472024A CN 109472024 A CN109472024 A CN 109472024A CN 201811251261 A CN201811251261 A CN 201811251261A CN 109472024 A CN109472024 A CN 109472024A
- Authority
- CN
- China
- Prior art keywords
- word
- follows
- neural network
- text
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于双向循环注意力神经网络的文本分类方法,属于学习、自然语言处理技术领域。本发明方法步骤为:步骤1、对数据进行预处理;步骤2、根据所述预处理后的数据,通过Word2vec方法完成对每个单词的词向量的生成与训练;步骤3、根据所述词向量,对该词向量进行文本语义特征抽取,并融合注意力机制和双向循环神经网络,计算出每个单词对于整体的权重,并将所述权重转换为模型的输出值Y(4);步骤4、根据特征向量Y(4),将所述特征向量Y(4)作为softmax分类器的输入,进行分类识别。该方法在文本特征学习模型中融合了注意力机制,可以有效地突出关键词的作用,使得模型的性能得到更大的提高,进一步提升文本分类的准确性。
Description
技术领域
本发明属于学习、自然语言处理技术领域,具体地说,涉及一种基于双向循环注意力神经网络的文本分类方法。
背景技术
近年来,随着互联网的飞速发展,随之产生的信息也越来越多,例如文本,图像,音频,视频等信息,其中文本信息的数据量最大,所以对文本数据的处理也变得越来越重要,如何对这些海量的文本数据进行快速地分类,成为我们急需解决的问题,这也催生了文本分类技术的产生。文本分类技术意图实现对文本信息的快速、自动的分类,从而提供一种有效的文本信息分类方法。
传统基于文本分类方法的研究主要是基于机器学习算法来实现的,基于机器学习的分类技术一般需要先获取文本的特征信息,然后构建分类器。主要是通过分析句子的句法结构,提取主干关键词及其附属词作为分类特征,利用决策树、支持向量机、朴素贝叶斯等机器学习算法进行文本分类。以上方法主要根据人工制定特征以及多种特征组合的方式来表示句子特征,不仅含有一定的人为主观性,而且当句子结构复杂度比较高时,人工定制规则更加复杂,难度较大。
鉴于深度学习在计算机视觉领域取得了较大的成果,很多专家学者便尝试在文本信息处理方面使用深度学习模型,较为常见的主要是通过卷积神经网络(CNN),循环神经网络(RNN)来训练词向量和进行语言建模以增强语言模型的表征能力。这种方法在做句子分析时,将每个单词分配同样的权重值,无法分离出对句子分类贡献值较大的单词,致使在特征提取的过程中产生信息丢失和信息冗余现象。
中国专利公开号:CN107038480A,公开日:2017年08月11日,公开了一种基于卷积神经网络的文本情感分类方法,包括以下步骤:搜集文本语料集,将文本里的数据表示成一个句子;对搜集的文本语料进行预处理,并将情感语料分为训练集语料和测试集语料;对预处理后的文本预料集用Word2vec工具训练出词向量模型并得到文本向量;将训练集语料的文本向量输入卷积神经网络训练出情感分类模型;将测试集语料的文本向量输入卷积神经网络,并用已经训练好的情感分类模型进行情感类别分类并计算出情感分类的准确率。本发明克服了以往分类时需要大量的人工标注的问题。但是本发明的不足之处在于:(1)虽然对搜集的文本语料进行了预处理,但是将文本语料集进行划分之后,就直接进行了应用,并没有对文本语料集做进一步地处理,在后期的应用中,其中对表征文本不起作用的字符等容易产生扰乱;(2)该发明通过已经训练好的情感分类模型对文本语料集进行情感分类计算,但是却只有一次计算,计算精度无法保证。
发明内容
1、要解决的问题
针对现有文本分类过程中存在的信息丢失和信息冗余现象,本发明提供了一种基于双向循环注意力神经网络的文本分类方法;该方法在文本特征学习模型中融合了注意力机制,可以有效地突出关键词的作用,使得模型的性能得到更大的提高,进一步提升文本分类的准确性。
2、技术方案
为解决上述问题,本发明采用如下的技术方案。
一种基于双向循环注意力神经网络的文本分类方法,所述分类方法具体如下:
步骤1、对数据进行预处理;
步骤2、根据所述预处理后的数据,通过Word2vec方法完成对每个单词的词向量的生成与训练;
步骤3、根据所述词向量,对该词向量进行文本语义特征抽取,并融合注意力机制和双向循环神经网络,计算出每个单词对于整体的权重,并将所述权重转换为模型的输出值Y(4);
步骤4、根据特征向量Y(4),将所述特征向量Y(4)作为softmax分类器的输入,进行分类识别。
更进一步地,所述步骤1具体过程如下:
步骤1.1、数据清洗,去除噪声和无关数据;
步骤1.2、数据集成,将多源数据结合起来存放在统一的数据仓库中;
步骤1.3、构造实验数据集,选择80%数据作为训练集,其余20%数据作为测试集;
步骤1.4、对数据集进行按词语为单位做分词处理;
步骤1.5、去除停用词,清除文本中对表征文本不起作用的词语。
更进一步地,所述步骤2具体过程如下:
步骤2.1、将分词后的文本输入到Word2vec模型中,随机生成一个词向量矩阵E={e(w1),e(w2),...,e(wn)},其中每个词的语义都是由一个向量进行表示;
步骤2.2、在每一个单词上均使用逻辑回归算法进行训练,预测出最有可能在该单词周围词的词向量,具体公式如下:
其中:wi为当前词;Cij为当前词的上下文;c为上下文窗口内的词;θ为后验概率参数;
步骤2.3、在模型逐渐达到收敛的过程中,获取词向量在词向量矩阵中的值,得到所有词的词向量。
更进一步地,所述步骤3具体过程如下:
步骤3.1、采用双向循环结构,获取每个词语的上下文表示;
步骤3.2、根据每个词语的上下文表示,获取每个词语的语义表示Xi,具体公式如下:
Xi=[Mi(wi);e(wi);Mr(wi)]
其中:Ml(wi)为当前词的左侧语义表示;Mr(wi)为当前词的右侧语义表示;e(wi)为当前词的词向量;
步骤3.3、将单词语义表示Xi经过一个双向循环神经网络,获取其隐含表示Ui;
步骤3.4、根据单词最终隐含表示Ui,进行注意力分配概率计算,将单词表示进行一个Encoder-Decoder的过程,将某一时刻的输入值的权重与上一时刻的隐含层的状态进行相似度检测,得到每个单词对于整体的权重,对每个单词的语义表示分配以不同的权重;
步骤3.5、通过池化层进行降维操作,将不同长度的文本转换为固定长度的向量Y(3),具体计算公式如下:
步骤3.6、通过一个线性神经网络得到模型的输出值Y(4),具体计算公式如下:
Y(4)=W(4)Y(3)++b(4)
其中:W(4)为初始化的转换矩阵;b(4)为偏置单元。
更进一步地,所述步骤3.1具体过程如下:
步骤3.1.1、获取单词的前文语义表示Ml(wi),其中Ml(wi)具体定义如下:
Ml(wi)=f(W(l)Ml(wi-1)+W(sl)e(wi-1))
其中:f为sigmod激活函数;W(l)为用于隐藏层中前文语义转化为下一层隐藏层的矩阵;W(sl)为用于连接当前词与前文语义的矩阵;wi-1为当前词的前一个词;e(wi-1)为当前词前文词语的词向量;
步骤3.1.2、获取单词的后文语义表示Mr(wi),其中Mr(wi)具体定义如下:
Mr(wi)=f(W(r)Mr(wi+1)+W(sr)e(wi+1))
其中:f为sigmod激活函数;W(r)为用于隐藏层中后文语义转化为下一层隐藏层的矩阵;W(sr)为用于连接当前词与后文语义的矩阵;wi+1为当前词的后一个词;e(wi+1)为当前词后文词语的词向量。
更进一步地,所述步骤3.3具体过程如下:
步骤3.3.1、通过正向传输,获取当前单词的正向隐含表示具体计算公式如下:
其中:f为tanh激活函数;当前词之前状态的隐含表示;Xi为当前词语义表示;
步骤3.3.2、通过逆向传输,获取当前单词的逆向隐含表示具体计算公式如下:
其中:f为tanh激活函数;为当前词之后状态的隐含表示;Xi为当前词语义表示;
步骤3.3.3、根据所述当前单词的正向隐含表示和当前单词的逆向隐含表示获取当前单词的最终隐含表示Ui,具体计算公式如下:
更进一步地,所述步骤3.4具体过程如下:
步骤3.4.1、在Encoder编码阶段得到句子的隐含表示序列[U1,U2,U3,...,Un];
步骤3.4.2、在Decoder解码阶段,计算第i-1时刻隐含层状态与输入中各个隐含表示之间的关联程度Pij,具体计算公式如下:
Pij=f(Ti-1,Uj)
其中:f为一个小型神经网络,用于计算Ti-1和Uj两者之间的关系分数;Ti-1为解码器在第i-1时刻的隐含层节点状态;
步骤3.4.3、使用softmax函数进行归一化操作,获取i时刻的输出值在n个隐藏状态中的注意力分配向量Aij,具体计算公式如下:
步骤3.4.4、根据所述单词的隐含表示Uj与注意力权重Aij,进行加权和得到每个单词wi基于整体内容权重的表示Yi (2),具体计算公式如下:
更进一步地,所述步骤4具体过程如下:
步骤4.1、将已经标注好类别的训练集特征向量及其类别均输入到分类器进行训练;
步骤4.2、将训练好的softmax模型对测试集文本的特征向量Y(4)进行分类操作,得到一个一维向量Pθ(Y(4)),具体公式如下:
其中:θm为模型训练第m类别的参数;为θm的转置操作结果;k为预设的文本分类种类数量;
步骤4.3、根据所述一维向量Pθ(Y(4)),选取一维向量Pθ(Y(4))中值最大的元素。
3、有益效果
相比于现有技术,本发明的有益效果为:
(1)本发明在文本特征学习模型中融合了注意力机制,其中注意力机制是一种模拟人脑注意力的模型,在进行任务处理时对于关键部分可分配较多的注意力,而对于其他不重要的部分可分配较少的注意力,从而减少了不重要因素对任务处理的影响,并且可以合理的利用计算资源,故此方法可以有效地突出关键词的作用,使得模型的性能得到更大的提高,进一步提升文本分类的准确性;
(2)本发明通过将所需数据进行预处理,去除噪声、无关数据以及对表征文本不起作用的词语,可以减少文本分类过程中消耗的时间,提高工作效率;
(3)本发明通过逻辑回归算法进行训练,并将训练得到的概率向量与真实概率向量进行匹配,在构建特征提取模型时,采用基于深度学习的文本分类方法,从而减少了人工提取特征的困难和不准确性,也极大地加快了模型训练速度;
(4)本发明在构造单词语义表示时,采用双向循环神经网络结构,将单词的词向量表示及单词的前后上下文三者相结合,利用了语义分析时句子的上下文关联性,从而极大地提高了句子的语义表达性;
(5)本发明在学习文本语义特征时,采用融合注意力机制的方法,将对文本语义更有意义的关键词分配以更高的权重,减少了特征提取过程中的信息丢失和信息冗余,一定程度上提高了文本分类的准确性。
附图说明
图1为本发明基于双向循环注意力神经网络的文本分类方法的流程图;
图2为本发明采用的基于循环结构的单词语义表示模型图;
图3为本发明构建的基于双向循环注意力神经网络模型图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。
实施例1
本实施例提供了一种基于双向循环注意力神经网络的文本分类方法,图1是本实施例的流程图,如图1所示,该流程包括以下步骤:
(1)数据预处理,具体过程如下:
(1.1)数据清洗,去除噪声和无关数据。
(1.2)数据集成,将多源数据结合起来存放在统一的数据仓库中。
(1.3)构造实验数据集,选择80%数据作为训练集,其余20%数据作为测试集。
(1.4)对数据集进行按词语为单位做分词处理,本实施例中,中文分词使用的是开源的jieba分词算法,设一条文本D由n个词构成,经分词处理后词语序列为D={w1,w2,...,wn}。
(1.5)去除停用词,清除文本中对表征文本不起作用的词语。
通过将所需数据进行预处理,去除噪声、无关数据以及对表征文本不起作用的词语,可以减少文本分类过程中消耗的时间,提高工作效率。
(2)词向量的生成与训练,通过步骤(1.4)可知:经过分词操作后,每一个文本都可以表示为D={w1,w2,...,wn},其中词的向量化表示目的是生成每个单词所对应的词向量,从而形成词向量矩阵E,在构建特征提取模型时,采用基于深度学习的文本分类方法,可减少人工提取特征的困难和不准确性。
具体地讲,在本实施例中采用Google的Word2vec方法完成对单词的词向量的生成与训练,具体过程如下:
(2.1)将分词后的文本输入到Word2vec模型中,随机生成一个词向量矩阵E={e(w1),e(w2),...,e(wn)},其中每个词的语义都是由一个向量进行表示。
(2.2)在每一个单词上均使用逻辑回归算法进行训练,这是为了保证文本的后验概率能够最大化,从而预测出最有可能在该单词周围词的词向量,具体公式如下:
其中:wi为当前词;Cij为当前词的上下文;c为上下文窗口内的词;θ为后验概率参数。
(2.3)在模型训练时,不断更新词向量在词向量矩阵中的值,当该模型训练到收敛时,便可以得到词典中所有词语的词向量,有相近语法和语义的词语的词向量在向量空间中的距离相近。
通过逻辑回归算法进行训练,并将训练得到的概率向量与真实概率向量进行匹配,可加快模型的训练速度。
(3)根据步骤(2)中的词向量,对该词向量进行文本语义特征抽取,具体过程如下:
(3.1)采用双向循环结构,获取每个词语的上下文表示,利用语义分析时句子的上下文关联性,极大地提高了句子的语义表达性,具体过程如下:
(3.1.1)将Ml(wi)定义为当前词wi的前文语义,获得单词的前文语义表示Ml(wi),其中Ml(wi)具体定义如下:
Mi(wi)=f(W(l)Ml(wi-1)+W(sl)e(wi-1))
其中:f为sigmod激活函数;W(l)为用于隐藏层中前文语义转化为下一层隐藏层的矩阵;W(sl)为用于连接当前词与前文语义的矩阵;wi-1为当前词的前一个词;e(wi-1)为当前词前文词语的词向量。
(3.1.2)将Mr(wi)定义为当前词wi的后文语义,获得单词的后文语义表示Mr(wi),其中Mr(wi)具体定义如下:
Mr(wi)=f(W(r)Mr(wi+1)+W(sr)e(wi+1))
其中:f为sigmod激活函数;W(r)为用于隐藏层中后文语义转化为下一层隐藏层的矩阵;W(sr)为用于连接当前词与后文语义的矩阵;wi+1为当前词的后一个词;e(wi+1)为当前词后文词语的词向量。
(3.2)获得每个词语的语义表示Xi,根据步骤(3.1)中当前词的左侧语义表示Ml(wi),当前词的右侧语义表示Mr(wi),以及当前词的词向量e(wi),三者进行线性叠加求和的方式得到Xi,如图2所示,其图2为本实施例采用基于循环结构的单词语义表示的模型图,其中Xi的具体表示如下:
Xi=[Mi(wi);e(wi);Mr(wi)]
(3.3)根据步骤(3.2)中的单词语义表示Xi,将其经过一个双向循环神经网络,则可获得其隐含表示Ui,其隐含表示不仅与当前词的语义表示有关,还与之前的状态和之后的状态都有关,如图3所示,其图3为本实施例构建基于双向循环注意力神经网络的模型图,其中具体过程如下:
(3.3.1)通过正向传输,获得当前单词的正向隐含表示具体计算公式如下:
其中:f为tanh激活函数;当前词之前状态的隐含表示;Xi为当前词语义表示。
(3.3.2)通过逆向传输,获得当前单词的逆向隐含表示具体计算公式如下:
其中:f为tanh激活函数;为当前词之后状态的隐含表示;Xi为当前词语义表示。
(3.3.3)根据步骤(3.3.1)中单词的正向隐含表示和步骤(3.3.2)中单词的逆向隐含表示分别在其最后一个状态得到的向量进行连接操作,获得当前单词的最终隐含表示Ui,具体计算公式如下:
(3.4)根据步骤(3.3.3)中单词最终隐含表示Ui,进行注意力分配概率计算,将单词表示进行一个Encoder-Decoder的过程,某一时刻的输入值的权重与上一时刻的隐含层的状态有关,二者进行相似度检测,得到每个单词对于整体的权重,对每个单词的语义表示分配以不同的权重,对关键词分配以更高的权重,如图3所示,具体过程如下:
(3.4.1)在Encoder编码阶段得到句子的隐含表示序列[U1,U2,U3,...,Un]。
(3.4.2)在Decoder解码阶段,计算第i-1时刻隐含层状态与输入中各个隐含表示之间的关联程度Pij,具体计算公式如下:
Pij=f(Ti-1,Uj)
其中:f为一个小型神经网络,用于计算Ti-1和Uj两者之间的关系分数;Ti-1为解码器在第i-1时刻的隐含层节点状态。
(3.4.3)使用softmax函数进行归一化操作,得到i时刻的输出值在n个隐藏状态中的注意力分配向量Aij,具体计算公式如下:
(3.4.4)将步骤(3.4.3)中单词的隐含表示Uj与注意力权重Aij,进行加权和得到每个单词wi基于整体内容权重的表示Yi (2),具体计算公式如下:
(3.5)通过池化层进行降维操作,将不同长度的文本转换为固定长度的向量Y(3),具体计算公式如下:
其中:Y(3)的第k个元素是Yi (2)的第k个元素的最大值。
(3.6)通过一个线性神经网络得到模型的输出值Y(4),具体计算公式如下:
Y(4)=W(4)Y(3)+b(4)
其中:W(4)为初始化的转换矩阵;b(4)为偏置单元;W(4)与b(4)在神经网络训练时会随机赋予初始值,最终结果将通过神经网络训练结果得到其准确值。
其中注意力机制是一种模拟人脑注意力的模型,在进行任务处理时对于关键部分可分配较多的注意力,而对于其他不重要的部分可分配较少的注意力,从而可减少不重要因素对任务处理的影响,并且可以合理的利用计算资源,从而可以有效地突出关键词的作用,使得模型的性能得到更大的提高,进一步提升文本分类的准确性。
(4)将步骤(3.6)中特征向量Y(4)作为softmax分类器的输入,进行分类识别,具体过程如下:
(4.1)将已经标注好类别的训练集特征向量及其类别均输入到分类器进行训练。
(4.2)将训练好的softmax模型对测试集文本的特征向量Y(4)进行分类操作,得到一个一维向量Pθ(Y(4)),所输出的一维向量的元素数与预设的文本分类结果种类数量相同,具体公式如下:
其中:θm为模型训练第m类别的参数;为θm的转置操作结果;k为预设的文本分类种类数量。
(4.3)根据步骤(4.2)中输出的一个大小为1*k的一维向量Pθ(Y(4)),选取该一维向量Pθ(Y(4))中值最大的元素,其所对应的类别即为文本预测所属的类别。
将对文本语义更有意义的关键词分配以更高的权重,选取一维向量Pθ(Y(4))中值最大的元素,可减少特征提取过程中的信息丢失和信息冗余,从而一定程度上提高了文本分类的准确性。
综上所述,文本分类技术已经被广泛运用于包括文本检索,网页分层目录,题材检测等重要应用领域。本实施例针对当前互联网大数据时代下的海量文本数据,提出了一种基于双向循环注意力神经网络的文本分类方法,本实施例在构建单词文本表示时,采用一种双向循环神经网络的单词上下文的表示方法,有效的结合文本语义上下文关联性的特点,使得在做语义表示时,能够精准的表示语义特征。并且在深度学习模型中融合注意力机制,计算出文本单词序列对于文本整体语义表示信息的注意力概率,即权重,从而减少了特征提取过程中的信息丢失和信息冗余,实现了文本信息精准有效的分类。
以上示意性地对本发明创造及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明创造的实施方式之一,实际的方法并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本创造宗旨的情况下,不经创造性的设计出与该技术方案相似的方法步骤及实施例,均应属于本专利的保护范围。
Claims (8)
1.一种基于双向循环注意力神经网络的文本分类方法,其特征在于,所述分类方法具体如下:
步骤1、对数据进行预处理;
步骤2、根据所述预处理后的数据,通过Word2vec方法完成对每个单词的词向量的生成与训练;
步骤3、根据所述词向量,对该词向量进行文本语义特征抽取,并融合注意力机制和双向循环神经网络,计算出每个单词对于整体的权重,并将所述权重转换为模型的输出值Y(4);
步骤4、根据特征向量Y(4),将所述特征向量Y(4)作为softmax分类器的输入,进行分类识别。
2.根据权利要求1所述一种基于双向循环注意力神经网络的文本分类方法,其特征在于,所述步骤1具体过程如下:
步骤1.1、数据清洗,去除噪声和无关数据;
步骤1.2、数据集成,将多源数据结合起来存放在统一的数据仓库中;
步骤1.3、构造实验数据集,选择80%数据作为训练集,其余20%数据作为测试集;
步骤1.4、对数据集进行按词语为单位做分词处理;
步骤1.5、去除停用词,清除文本中对表征文本不起作用的词语。
3.根据权利要求1或2所述一种基于双向循环注意力神经网络的文本分类方法,其特征在于,所述步骤2具体过程如下:
步骤2.1、将分词后的文本输入到Word2vec模型中,随机生成一个词向量矩阵E={e(w1),e(w2),...,e(wn)},其中每个词的语义都是由一个向量进行表示;
步骤2.2、在每一个单词上均使用逻辑回归算法进行训练,预测出最有可能在该单词周围词的词向量,具体公式如下:
其中:wi为当前词;Cij为当前词的上下文;c为上下文窗口内的词;θ为后验概率参数;
步骤2.3、在模型逐渐达到收敛的过程中,获取词向量在词向量矩阵中的值,得到所有词的词向量。
4.根据权利要求3所述一种基于双向循环注意力神经网络的文本分类方法,其特征在于,所述步骤3具体过程如下:
步骤3.1、采用双向循环结构,获取每个词语的上下文表示;
步骤3.2、根据每个词语的上下文表示,获取每个词语的语义表示Xi,具体公式如下:
Xi=[Ml(wi);e(wi);Mr(wi)]
其中:Mr(wi)为当前词的左侧语义表示;Mr(wi)为当前词的右侧语义表示;e(wi)为当前词的词向量;
步骤3.3、将单词语义表示Xi经过一个双向循环神经网络,获取其隐含表示Ui;
步骤3.4、根据单词最终隐含表示Ui,进行注意力分配概率计算,将单词表示进行一个Encoder-Decoder的过程,将某一时刻的输入值的权重与上一时刻的隐含层的状态进行相似度检测,得到每个单词对于整体的权重,对每个单词的语义表示分配以不同的权重;
步骤3.5、通过池化层进行降维操作,将不同长度的文本转换为固定长度的向量Y(3),具体计算公式如下:
步骤3.6、通过一个线性神经网络得到模型的输出值Y(4),具体计算公式如下:
Y(4)=W(4)Y(3)+b(4)
其中:W(4)为初始化的转换矩阵;b(4)为偏置单元。
5.根据权利要求4所述一种基于双向循环注意力神经网络的文本分类方法,其特征在于,所述步骤3.1具体过程如下:
步骤3.1.1、获取单词的前文语义表示Ml(wi),其中Ml(wi)具体定义如下:
Ml(wi)=f(W(i)Ml(wi-1)+W(sl)e(wi-1))
其中:f为sigmod激活函数;W(l)为用于隐藏层中前文语义转化为下一层隐藏层的矩阵;W(sl)为用于连接当前词与前文语义的矩阵;wi-1为当前词的前一个词;e(wi-1)为当前词前文词语的词向量;
步骤3.1.2、获取单词的后文语义表示Mr(wi),其中Mr(wi)具体定义如下:
Mr(wi)=f(W(r)Mr(wi+1)+W(sr)e(wi+1))
其中:f为sigmod激活函数;W(r)为用于隐藏层中后文语义转化为下一层隐藏层的矩阵;W(sr)为用于连接当前词与后文语义的矩阵;wi+1为当前词的后一个词;e(wi+1)为当前词后文词语的词向量。
6.根据权利要求4所述一种基于双向循环注意力神经网络的文本分类方法,其特征在于,所述步骤3.3具体过程如下:
步骤3.3.1、通过正向传输,获取当前单词的正向隐含表示具体计算公式如下:
其中:f为tanh激活函数;当前词之前状态的隐含表示;Xi为当前词语义表示;
步骤3.3.2、通过逆向传输,获取当前单词的逆向隐含表示具体计算公式如下:
其中:f为tanh激活函数;为当前词之后状态的隐含表示;Xi为当前词语义表示;
步骤3.3.3、根据所述当前单词的正向隐含表示和当前单词的逆向隐含表示获取当前单词的最终隐含表示Ui,具体计算公式如下:
。
7.根据权利要求4所述一种基于双向循环注意力神经网络的文本分类方法,其特征在于,所述步骤3.4具体过程如下:
步骤3.4.1、在Encoder编码阶段得到句子的隐含表示序列[U1,U2,U3,...,Un];
步骤3.4.2、在Decoder解码阶段,计算第i-1时刻隐含层状态与输入中各个隐含表示之间的关联程度Pij,具体计算公式如下:
Pij=f(Ti-1,Uj)
其中:f为一个小型神经网络,用于计算Ti-1和Uj两者之间的关系分数;Ti-1为解码器在第i-1时刻的隐含层节点状态;
步骤3.4.3、使用softmax函数进行归一化操作,获取i时刻的输出值在n个隐藏状态中的注意力分配向量Aij,具体计算公式如下:
步骤3.4.4、根据所述单词的隐含表示Uj与注意力权重Aij,进行加权和得到每个单词wi基于整体内容权重的表示Yi (2),具体计算公式如下:
。
8.根据权利要求3所述一种基于双向循环注意力神经网络的文本分类方法,其特征在于,所述步骤4具体过程如下:
步骤4.1、将已经标注好类别的训练集特征向量及其类别均输入到分类器进行训练;
步骤4.2、将训练好的softmax模型对测试集文本的特征向量Y(4)进行分类操作,得到一个一维向量Pθ(Y(4)),具体公式如下:
其中:θm为模型训练第m类别的参数;为θm的转置操作结果;k为预设的文本分类种类数量;
步骤4.3、根据所述一维向量Pθ(Y(4)),选取一维向量Pθ(Y(4))中值最大的元素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811251261.5A CN109472024B (zh) | 2018-10-25 | 2018-10-25 | 一种基于双向循环注意力神经网络的文本分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811251261.5A CN109472024B (zh) | 2018-10-25 | 2018-10-25 | 一种基于双向循环注意力神经网络的文本分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109472024A true CN109472024A (zh) | 2019-03-15 |
CN109472024B CN109472024B (zh) | 2022-10-11 |
Family
ID=65666165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811251261.5A Active CN109472024B (zh) | 2018-10-25 | 2018-10-25 | 一种基于双向循环注意力神经网络的文本分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109472024B (zh) |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977292A (zh) * | 2019-03-21 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 搜索方法、装置、计算设备和计算机可读存储介质 |
CN110046698A (zh) * | 2019-04-28 | 2019-07-23 | 北京邮电大学 | 异质图神经网络生成方法、装置、电子设备及存储介质 |
CN110110330A (zh) * | 2019-04-30 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 基于文本的关键词提取方法和计算机设备 |
CN110119765A (zh) * | 2019-04-18 | 2019-08-13 | 浙江工业大学 | 一种基于Seq2seq框架的关键词提取方法 |
CN110209816A (zh) * | 2019-05-24 | 2019-09-06 | 中国科学院自动化研究所 | 基于对抗模仿学习的事件识别及分类方法、***、装置 |
CN110209821A (zh) * | 2019-06-06 | 2019-09-06 | 北京奇艺世纪科技有限公司 | 文本类别确定方法和装置 |
CN110263912A (zh) * | 2019-05-14 | 2019-09-20 | 杭州电子科技大学 | 一种基于多目标关联深度推理的图像问答方法 |
CN110298041A (zh) * | 2019-06-24 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 垃圾文本过滤方法、装置、电子设备及存储介质 |
CN110322962A (zh) * | 2019-07-03 | 2019-10-11 | 重庆邮电大学 | 一种自动生成诊断结果的方法、***及计算机设备 |
CN110321554A (zh) * | 2019-06-03 | 2019-10-11 | 任子行网络技术股份有限公司 | 基于Bi-LSTM的不良文本检测方法及装置 |
CN110347790A (zh) * | 2019-06-18 | 2019-10-18 | 广州杰赛科技股份有限公司 | 基于注意力机制的文本查重方法、装置、设备及存储介质 |
CN110413786A (zh) * | 2019-07-26 | 2019-11-05 | 北京智游网安科技有限公司 | 基于网页文本分类的数据处理方法、智能终端及存储介质 |
CN110413995A (zh) * | 2019-07-03 | 2019-11-05 | 北京信息科技大学 | 一种基于双向mgu神经网络的关系抽取方法 |
CN110428809A (zh) * | 2019-06-28 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 语音音素识别方法和装置、存储介质及电子装置 |
CN110442723A (zh) * | 2019-08-14 | 2019-11-12 | 山东大学 | 一种基于多步判别的Co-Attention模型用于多标签文本分类的方法 |
CN110457562A (zh) * | 2019-08-15 | 2019-11-15 | 中国农业大学 | 一种基于神经网络模型的食品安全事件分类方法及装置 |
CN110472236A (zh) * | 2019-07-23 | 2019-11-19 | 浙江大学城市学院 | 一种基于注意力机制的双向gru文本可读性评估方法 |
CN110532353A (zh) * | 2019-08-27 | 2019-12-03 | 海南阿凡题科技有限公司 | 基于深度学习的文本实体匹配方法、***、装置 |
CN110543562A (zh) * | 2019-08-19 | 2019-12-06 | 武大吉奥信息技术有限公司 | 一种基于事件图谱的城市治理事件自动分拨方法及*** |
CN110598223A (zh) * | 2019-09-20 | 2019-12-20 | 沈阳雅译网络技术有限公司 | 一种从粗粒度到细粒度的神经机器翻译推断加速方法 |
CN110610003A (zh) * | 2019-08-15 | 2019-12-24 | 阿里巴巴集团控股有限公司 | 用于辅助文本标注的方法和*** |
CN110705283A (zh) * | 2019-09-06 | 2020-01-17 | 上海交通大学 | 基于文本法律法规与司法解释匹配的深度学习方法和*** |
CN110738062A (zh) * | 2019-09-30 | 2020-01-31 | 内蒙古工业大学 | 一种gru神经网络蒙汉机器翻译方法 |
CN110866113A (zh) * | 2019-09-30 | 2020-03-06 | 浙江大学 | 基于稀疏自注意力机制微调伯特模型的文本分类方法 |
CN110991171A (zh) * | 2019-09-30 | 2020-04-10 | 奇安信科技集团股份有限公司 | 敏感词检测方法及装置 |
CN111159331A (zh) * | 2019-11-14 | 2020-05-15 | 中国科学院深圳先进技术研究院 | 文本的查询方法、文本查询装置以及计算机存储介质 |
CN111666378A (zh) * | 2020-06-11 | 2020-09-15 | 暨南大学 | 一种基于词向量的中文年报标题分类方法 |
CN111783444A (zh) * | 2019-04-02 | 2020-10-16 | 北京百度网讯科技有限公司 | 文本向量生成方法及装置 |
CN111797871A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 信息处理方法、装置、存储介质及电子设备 |
CN111814452A (zh) * | 2020-07-13 | 2020-10-23 | 四川长虹电器股份有限公司 | 一种影视领域基于神经网络的依存句法分析方法 |
CN111986730A (zh) * | 2020-07-27 | 2020-11-24 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 一种预测siRNA沉默效率的方法 |
CN112133279A (zh) * | 2019-06-06 | 2020-12-25 | Tcl集团股份有限公司 | 车载信息播报方法、装置及终端设备 |
CN112132262A (zh) * | 2020-09-08 | 2020-12-25 | 西安交通大学 | 基于可解释模型的循环神经网络后门攻击检测方法 |
CN112163064A (zh) * | 2020-10-14 | 2021-01-01 | 上海应用技术大学 | 基于深度学习的文本分类方法 |
CN112199496A (zh) * | 2020-08-05 | 2021-01-08 | 广西大学 | 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法 |
CN112269876A (zh) * | 2020-10-26 | 2021-01-26 | 南京邮电大学 | 一种基于深度学习的文本分类方法 |
CN112287072A (zh) * | 2020-11-20 | 2021-01-29 | 公安部第一研究所 | 一种多维互联网文本风险数据识别方法 |
CN112416956A (zh) * | 2020-11-19 | 2021-02-26 | 重庆邮电大学 | 一种基于bert和独立循环神经网络的问句分类方法 |
CN112559741A (zh) * | 2020-12-03 | 2021-03-26 | 苏州热工研究院有限公司 | 核电设备缺陷记录文本分类方法、***、介质及电子设备 |
CN112765955A (zh) * | 2021-01-22 | 2021-05-07 | 中国人民公安大学 | 一种中文指代表达下的跨模态实例分割方法 |
CN112905796A (zh) * | 2021-03-16 | 2021-06-04 | 山东亿云信息技术有限公司 | 基于再注意力机制的文本情绪分类方法及*** |
CN113297364A (zh) * | 2021-06-07 | 2021-08-24 | 吉林大学 | 一种面向对话***中的自然语言理解方法及装置 |
CN113590819A (zh) * | 2021-06-30 | 2021-11-02 | 中山大学 | 一种大规模类别层级文本分类方法 |
CN113887679A (zh) * | 2021-12-08 | 2022-01-04 | 四川大学 | 融合后验概率校准的模型训练方法、装置、设备及介质 |
CN114547305A (zh) * | 2022-02-24 | 2022-05-27 | 金华高等研究院(金华理工学院筹建工作领导小组办公室) | 一种基于自然语言处理的文本分类*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358948A (zh) * | 2017-06-27 | 2017-11-17 | 上海交通大学 | 基于注意力模型的语言输入关联性检测方法 |
US20180190268A1 (en) * | 2017-01-04 | 2018-07-05 | Samsung Electronics Co., Ltd. | Speech recognizing method and apparatus |
-
2018
- 2018-10-25 CN CN201811251261.5A patent/CN109472024B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180190268A1 (en) * | 2017-01-04 | 2018-07-05 | Samsung Electronics Co., Ltd. | Speech recognizing method and apparatus |
CN107358948A (zh) * | 2017-06-27 | 2017-11-17 | 上海交通大学 | 基于注意力模型的语言输入关联性检测方法 |
Non-Patent Citations (1)
Title |
---|
刘金硕等: "一种基于联合深度神经网络的食品安全信息情感分类模型", 《计算机科学》 * |
Cited By (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977292A (zh) * | 2019-03-21 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 搜索方法、装置、计算设备和计算机可读存储介质 |
CN109977292B (zh) * | 2019-03-21 | 2022-12-27 | 腾讯科技(深圳)有限公司 | 搜索方法、装置、计算设备和计算机可读存储介质 |
CN111783444A (zh) * | 2019-04-02 | 2020-10-16 | 北京百度网讯科技有限公司 | 文本向量生成方法及装置 |
CN111783444B (zh) * | 2019-04-02 | 2023-07-25 | 北京百度网讯科技有限公司 | 文本向量生成方法及装置 |
CN111797871A (zh) * | 2019-04-09 | 2020-10-20 | Oppo广东移动通信有限公司 | 信息处理方法、装置、存储介质及电子设备 |
CN110119765A (zh) * | 2019-04-18 | 2019-08-13 | 浙江工业大学 | 一种基于Seq2seq框架的关键词提取方法 |
CN110046698B (zh) * | 2019-04-28 | 2021-07-30 | 北京邮电大学 | 异质图神经网络生成方法、装置、电子设备及存储介质 |
CN110046698A (zh) * | 2019-04-28 | 2019-07-23 | 北京邮电大学 | 异质图神经网络生成方法、装置、电子设备及存储介质 |
CN110110330A (zh) * | 2019-04-30 | 2019-08-09 | 腾讯科技(深圳)有限公司 | 基于文本的关键词提取方法和计算机设备 |
CN110110330B (zh) * | 2019-04-30 | 2023-08-11 | 腾讯科技(深圳)有限公司 | 基于文本的关键词提取方法和计算机设备 |
CN110263912A (zh) * | 2019-05-14 | 2019-09-20 | 杭州电子科技大学 | 一种基于多目标关联深度推理的图像问答方法 |
CN110263912B (zh) * | 2019-05-14 | 2021-02-26 | 杭州电子科技大学 | 一种基于多目标关联深度推理的图像问答方法 |
CN110209816A (zh) * | 2019-05-24 | 2019-09-06 | 中国科学院自动化研究所 | 基于对抗模仿学习的事件识别及分类方法、***、装置 |
CN110209816B (zh) * | 2019-05-24 | 2021-06-08 | 中国科学院自动化研究所 | 基于对抗模仿学习的事件识别及分类方法、***、装置 |
CN110321554A (zh) * | 2019-06-03 | 2019-10-11 | 任子行网络技术股份有限公司 | 基于Bi-LSTM的不良文本检测方法及装置 |
CN112133279A (zh) * | 2019-06-06 | 2020-12-25 | Tcl集团股份有限公司 | 车载信息播报方法、装置及终端设备 |
CN110209821A (zh) * | 2019-06-06 | 2019-09-06 | 北京奇艺世纪科技有限公司 | 文本类别确定方法和装置 |
CN110347790B (zh) * | 2019-06-18 | 2021-08-10 | 广州杰赛科技股份有限公司 | 基于注意力机制的文本查重方法、装置、设备及存储介质 |
CN110347790A (zh) * | 2019-06-18 | 2019-10-18 | 广州杰赛科技股份有限公司 | 基于注意力机制的文本查重方法、装置、设备及存储介质 |
CN110298041B (zh) * | 2019-06-24 | 2023-09-05 | 北京奇艺世纪科技有限公司 | 垃圾文本过滤方法、装置、电子设备及存储介质 |
CN110298041A (zh) * | 2019-06-24 | 2019-10-01 | 北京奇艺世纪科技有限公司 | 垃圾文本过滤方法、装置、电子设备及存储介质 |
CN110534092B (zh) * | 2019-06-28 | 2022-04-26 | 腾讯科技(深圳)有限公司 | 语音音素识别方法和装置、存储介质及电子装置 |
CN110534092A (zh) * | 2019-06-28 | 2019-12-03 | 腾讯科技(深圳)有限公司 | 语音音素识别方法和装置、存储介质及电子装置 |
CN110473518B (zh) * | 2019-06-28 | 2022-04-26 | 腾讯科技(深圳)有限公司 | 语音音素识别方法和装置、存储介质及电子装置 |
CN110473518A (zh) * | 2019-06-28 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 语音音素识别方法和装置、存储介质及电子装置 |
CN110428809A (zh) * | 2019-06-28 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 语音音素识别方法和装置、存储介质及电子装置 |
CN110428809B (zh) * | 2019-06-28 | 2022-04-26 | 腾讯科技(深圳)有限公司 | 语音音素识别方法和装置、存储介质及电子装置 |
CN110413995A (zh) * | 2019-07-03 | 2019-11-05 | 北京信息科技大学 | 一种基于双向mgu神经网络的关系抽取方法 |
CN110413995B (zh) * | 2019-07-03 | 2022-12-23 | 北京信息科技大学 | 一种基于双向mgu神经网络的关系抽取方法 |
CN110322962A (zh) * | 2019-07-03 | 2019-10-11 | 重庆邮电大学 | 一种自动生成诊断结果的方法、***及计算机设备 |
CN110472236A (zh) * | 2019-07-23 | 2019-11-19 | 浙江大学城市学院 | 一种基于注意力机制的双向gru文本可读性评估方法 |
CN110413786B (zh) * | 2019-07-26 | 2021-12-28 | 北京智游网安科技有限公司 | 基于网页文本分类的数据处理方法、智能终端及存储介质 |
CN110413786A (zh) * | 2019-07-26 | 2019-11-05 | 北京智游网安科技有限公司 | 基于网页文本分类的数据处理方法、智能终端及存储介质 |
CN110442723B (zh) * | 2019-08-14 | 2020-05-15 | 山东大学 | 一种基于多步判别的Co-Attention模型用于多标签文本分类的方法 |
CN110442723A (zh) * | 2019-08-14 | 2019-11-12 | 山东大学 | 一种基于多步判别的Co-Attention模型用于多标签文本分类的方法 |
CN110457562A (zh) * | 2019-08-15 | 2019-11-15 | 中国农业大学 | 一种基于神经网络模型的食品安全事件分类方法及装置 |
CN110610003B (zh) * | 2019-08-15 | 2023-09-15 | 创新先进技术有限公司 | 用于辅助文本标注的方法和*** |
CN110610003A (zh) * | 2019-08-15 | 2019-12-24 | 阿里巴巴集团控股有限公司 | 用于辅助文本标注的方法和*** |
CN110543562A (zh) * | 2019-08-19 | 2019-12-06 | 武大吉奥信息技术有限公司 | 一种基于事件图谱的城市治理事件自动分拨方法及*** |
CN110532353A (zh) * | 2019-08-27 | 2019-12-03 | 海南阿凡题科技有限公司 | 基于深度学习的文本实体匹配方法、***、装置 |
CN110532353B (zh) * | 2019-08-27 | 2021-10-15 | 海南阿凡题科技有限公司 | 基于深度学习的文本实体匹配方法、***、装置 |
CN110705283A (zh) * | 2019-09-06 | 2020-01-17 | 上海交通大学 | 基于文本法律法规与司法解释匹配的深度学习方法和*** |
CN110598223A (zh) * | 2019-09-20 | 2019-12-20 | 沈阳雅译网络技术有限公司 | 一种从粗粒度到细粒度的神经机器翻译推断加速方法 |
CN110738062A (zh) * | 2019-09-30 | 2020-01-31 | 内蒙古工业大学 | 一种gru神经网络蒙汉机器翻译方法 |
CN110991171B (zh) * | 2019-09-30 | 2023-10-13 | 奇安信科技集团股份有限公司 | 敏感词检测方法及装置 |
CN110866113A (zh) * | 2019-09-30 | 2020-03-06 | 浙江大学 | 基于稀疏自注意力机制微调伯特模型的文本分类方法 |
CN110866113B (zh) * | 2019-09-30 | 2022-07-26 | 浙江大学 | 基于稀疏自注意力机制微调伯特模型的文本分类方法 |
CN110991171A (zh) * | 2019-09-30 | 2020-04-10 | 奇安信科技集团股份有限公司 | 敏感词检测方法及装置 |
CN111159331A (zh) * | 2019-11-14 | 2020-05-15 | 中国科学院深圳先进技术研究院 | 文本的查询方法、文本查询装置以及计算机存储介质 |
CN111159331B (zh) * | 2019-11-14 | 2021-11-23 | 中国科学院深圳先进技术研究院 | 文本的查询方法、文本查询装置以及计算机存储介质 |
CN111666378A (zh) * | 2020-06-11 | 2020-09-15 | 暨南大学 | 一种基于词向量的中文年报标题分类方法 |
CN111814452A (zh) * | 2020-07-13 | 2020-10-23 | 四川长虹电器股份有限公司 | 一种影视领域基于神经网络的依存句法分析方法 |
CN111986730A (zh) * | 2020-07-27 | 2020-11-24 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 一种预测siRNA沉默效率的方法 |
CN112199496A (zh) * | 2020-08-05 | 2021-01-08 | 广西大学 | 基于多头注意力机制与rcnn网络的电网设备缺陷文本分类方法 |
CN112132262A (zh) * | 2020-09-08 | 2020-12-25 | 西安交通大学 | 基于可解释模型的循环神经网络后门攻击检测方法 |
CN112163064B (zh) * | 2020-10-14 | 2024-04-16 | 上海应用技术大学 | 基于深度学习的文本分类方法 |
CN112163064A (zh) * | 2020-10-14 | 2021-01-01 | 上海应用技术大学 | 基于深度学习的文本分类方法 |
CN112269876A (zh) * | 2020-10-26 | 2021-01-26 | 南京邮电大学 | 一种基于深度学习的文本分类方法 |
CN112416956A (zh) * | 2020-11-19 | 2021-02-26 | 重庆邮电大学 | 一种基于bert和独立循环神经网络的问句分类方法 |
CN112287072A (zh) * | 2020-11-20 | 2021-01-29 | 公安部第一研究所 | 一种多维互联网文本风险数据识别方法 |
CN112559741A (zh) * | 2020-12-03 | 2021-03-26 | 苏州热工研究院有限公司 | 核电设备缺陷记录文本分类方法、***、介质及电子设备 |
CN112559741B (zh) * | 2020-12-03 | 2023-12-29 | 苏州热工研究院有限公司 | 核电设备缺陷记录文本分类方法、***、介质及电子设备 |
CN112765955B (zh) * | 2021-01-22 | 2023-05-26 | 中国人民公安大学 | 一种中文指代表达下的跨模态实例分割方法 |
CN112765955A (zh) * | 2021-01-22 | 2021-05-07 | 中国人民公安大学 | 一种中文指代表达下的跨模态实例分割方法 |
CN112905796B (zh) * | 2021-03-16 | 2023-04-18 | 山东亿云信息技术有限公司 | 基于再注意力机制的文本情绪分类方法及*** |
CN112905796A (zh) * | 2021-03-16 | 2021-06-04 | 山东亿云信息技术有限公司 | 基于再注意力机制的文本情绪分类方法及*** |
CN113297364A (zh) * | 2021-06-07 | 2021-08-24 | 吉林大学 | 一种面向对话***中的自然语言理解方法及装置 |
CN113590819A (zh) * | 2021-06-30 | 2021-11-02 | 中山大学 | 一种大规模类别层级文本分类方法 |
CN113590819B (zh) * | 2021-06-30 | 2024-01-02 | 中山大学 | 一种大规模类别层级文本分类方法 |
CN113887679B (zh) * | 2021-12-08 | 2022-03-08 | 四川大学 | 融合后验概率校准的模型训练方法、装置、设备及介质 |
CN113887679A (zh) * | 2021-12-08 | 2022-01-04 | 四川大学 | 融合后验概率校准的模型训练方法、装置、设备及介质 |
CN114547305A (zh) * | 2022-02-24 | 2022-05-27 | 金华高等研究院(金华理工学院筹建工作领导小组办公室) | 一种基于自然语言处理的文本分类*** |
Also Published As
Publication number | Publication date |
---|---|
CN109472024B (zh) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109472024A (zh) | 一种基于双向循环注意力神经网络的文本分类方法 | |
CN110298037B (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
CN110929030B (zh) | 一种文本摘要和情感分类联合训练方法 | |
CN108363753B (zh) | 评论文本情感分类模型训练与情感分类方法、装置及设备 | |
CN108416065B (zh) | 基于层级神经网络的图像-句子描述生成***及方法 | |
Gallant et al. | Representing objects, relations, and sequences | |
CN107943784B (zh) | 基于生成对抗网络的关系抽取方法 | |
CN110502753A (zh) | 一种基于语义增强的深度学习情感分析模型及其分析方法 | |
CN109189925A (zh) | 基于点互信息的词向量模型和基于cnn的文本分类方法 | |
CN108984530A (zh) | 一种网络敏感内容的检测方法及检测*** | |
CN110134946B (zh) | 一种针对复杂数据的机器阅读理解方法 | |
CN108108449A (zh) | 一种面向医疗领域的基于多源异构数据问答***及该***的实现方法 | |
CN109697232A (zh) | 一种基于深度学习的中文文本情感分析方法 | |
CN107918782A (zh) | 一种生成描述图像内容的自然语言的方法与*** | |
CN108920445A (zh) | 一种基于Bi-LSTM-CRF模型的命名实体识别方法和装置 | |
CN110750635B (zh) | 一种基于联合深度学习模型的法条推荐方法 | |
CN105938485A (zh) | 一种基于卷积循环混合模型的图像描述方法 | |
CN111966827B (zh) | 基于异构二部图的对话情感分析方法 | |
CN109977199A (zh) | 一种基于注意力池化机制的阅读理解方法 | |
CN110717330A (zh) | 基于深度学习的词句级短文本分类方法 | |
CN110188348A (zh) | 一种基于深度神经网络的中文语言处理模型及方法 | |
CN111858878B (zh) | 从自然语言文本中自动提取答案的方法、***及存储介质 | |
CN111914555B (zh) | 基于Transformer结构的自动化关系抽取*** | |
Puscasiu et al. | Automated image captioning | |
CN113673254A (zh) | 基于相似度保持的知识蒸馏的立场检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |