CN112527959A - 基于无池化卷积嵌入和注意分布神经网络的新闻分类方法 - Google Patents

Abstract

本发明请求保护一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，它利用特征和权重作为分类过程中的关键因素。其机制是使用一种在嵌入层中进行卷积以提取局部特征，删除池化层以减少信息丢失，然后添加注意力机制以重新分配权重以从而获得文本的全局特征。该模型不仅捕获了文本的深刻特征，还捕获了新闻各部分的重要性。卷积神经网络(CNN)由于具有提取局部特征和位置不变特征的优势而在文本分类任务中发挥了重要作用。注意力机制由于其对文本上下文信息的提取，以及更加关注重要部分的特点，强化关键信息权重，两者结合有更强的特征提取能力。结合无池化CNN和全局注意力机制来处理新闻分类问题可以显著提高文本分类的准确率。

Description

基于无池化卷积嵌入和注意分布神经网络的新闻分类方法

技术领域

本发明属于中文新闻文本分类方法，尤其涉及一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法。

背景技术

文本分类是NLP的一项经典任务。它将其对应的标签分配给指定的文本。目前，文本分类的方法主要分为传统的机器学习文本分类和深度学习文本分类。

传统的机器学习文本分类方法包括k最近邻(KNN，K-NearestNeighbor)，最大熵(The Maximum Entropy)和支持向量机(SVM，Support Vector Machines)等。KNN算法的核心思想是，如果大多数特征空间中k个最相邻的样本中的k个样本属于某个类别，样本也属于此类别，并且与该类别中的样本共享特征。不同的类别由最近邻居的数量决定，因此它适合于训练数据集中的样本量。最大熵的原理是，在学习概率模型时，具有最大熵的模型是最佳模型。即，最大熵也可以理解为在满足约束的模型集中选择的最大熵的模型。SVM是用于通过监督学习对数据进行二进制分类的广义线性分类器。目前深度学习算法开始广泛应用于文本分类。循环神经网络(RNN)是一个基于时间序列的神经网络模型，可以捕获序列之间的长期依赖。但是，随着序列长度的增加，标准RNN很难获得长期依赖关系，因此很难对整个序列进行建模。在建模过程中，部分信息可能会丢失，并且梯度消失和梯度***也存在问题。卷积神经网络(CNN)也被应用于文本分类任务，CNN在捕获局部特征和位置不变特征方面具有巨大优势。长短记忆网络(LSTM)的使用可以模拟句子之间的关系。LSTM添加了三种基于RNN的门结构，解决了梯度消失和梯度***的问题。与LSTM相比，门控递归单元(GRU)仅具有两种门结构，即更新门和复位门。因此，GRU在训练期间具有较少的参数和更好的收敛性。同样，分层注意力模型将注意力机制纳入了分层GRU模型中，以便该模型可以更好地捕获文档的重要信息。近年来，注意机制已被广泛用于文本分类领域，因为它可以区分每个单词对分类结果的重要性。

由于计算机无法直接处理文本序列，因此将文本表达为计算机可以理解的形式(称为文本向量化)很重要。

本发明要解决的问题是，针对输入文本语义信息不足，池化层会导致信息丢失而导致分类精度下降的问题。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法。本发明的技术方案如下：

一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其包括以下步骤：

步骤1：搜集新闻文本数据集，对新闻文本进行规范化格式处理并分词，利用词嵌入获得新闻的特征向量，对于新闻标签，根据新闻类别和新闻数据对新闻进行随机切分，将语料分为训练集、测试集和验证集，训练集用于对新闻分类模型的训练，验证集用来验证模型是否合理，测试集用来测试模型分类的效果；

步骤2：将步骤1中语料中的训练集经过词嵌入得到的特征向量输入CNN卷积神经网络，取消CNN中的的池化层；

步骤3：将步骤2中经词嵌入和无池化卷积过后的特征向量输入注意力机制，对文本中的特征向量进行权重的重新分配从而训练出新闻分类模型；

步骤4：将步骤1中的语料中的测试集的文本向量输入CNN，根据步骤3中已经训练好的模型进行新闻类别分类并计算出新闻分类的准确率。

2、根据权利要求1所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤1：搜集新闻数据集，对于中文新闻，规范化数据集格式，格式为：“标签+‘\t’+新闻”形式，将分词后的新闻文本单词用作word embedding层的输入得到一组词的特征向量x₀,x₁,x₂,...,x_t。该特征向量，即为计算机可以识别的语言。对于文本类别标签，指定了输入语言的大小字母，并且每个字符都使用1-m编码进行编码；然后，将字符序列向量的序列转换为固定长度l₀，超过该长度l₀的所有字符都将被忽略，并且小于l₀的矢量将在后面填充0。

3、根据权利要求2所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤2将步骤1中的语料中的训练集的词向量x₀,x₁,x₂,...,x_n输入CNN，取消字符卷积网络的池化层，具体为：将经过分布式表示的词向量输入到一维卷积网络中，该网络包含输入层，卷积层，输出层，取消卷积神经网络的池化层以最大化保留文本特征，一维卷积计算得到离散函数和离散核函数的卷积之和:

其中τ(x)是离散核函数，输入的离散函数是δ(x)，d是步长，b为偏差项，其中x表示词向量，n表示新闻词向量的数目。

4、根据权利要求3所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述b＝k-d+1，是偏移常数，由一组内核函数τ_ij(x)进行参数化，i＝1,2,…,v，j＝1,2,…,w，每个输入δ_i(x)或输出c_j(y)都称为"features"，m和n代表输入和输出特征的大小，输出c_j(y)是δ_i(x)和τ_ij(x)的卷积之和。

5、根据权利要求4所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤3将步骤2中经词嵌入和无池化卷积过后的特征向量输入注意力机制，对文本中的特征向量进行权重的重新分配从而训练出新闻分类模型，具体为：

对于步骤2得到的特征向量，输入注意力模型，每个单词x₀,x₁,...,x_n都表示为矢量形式，并输入到卷积单元，从而得到输出h₀,h₁,…,h_n，该输出作为注意力机制的输入source＝h₀,h₁,…,h_n，计算文本的最终特征向量。在注意力机制中，隐藏层t时刻状态h_t被随机初始化，并且在训练过程中作为参数被更新，同时给出源侧上下文向量s_t，源侧上下文向量s_t被计算为各个输入的加权和，计算如下：

其中L表示新闻文本长度，a_t(s)表示可变长度对齐向量，

表示编码器的隐藏层状态。

上下文向量s_t应考虑编码器的所有隐藏状态，在注意机制部分，通过将解码器t时刻隐藏状态h_t与编码器的每个源隐藏状态

进行比较来生成可变长度对齐向量a_t(s)：

f_a是一个基于内容的函数，

表示解码器t时刻隐藏状态h_t与编码器的源隐藏状态

的函数，

表示解码器t时刻隐藏状态与编码器的从初始位置s1开始的所有源隐藏状态的内容函数。

f_a的计算具有3个不同的公式：

其中W_a是注意力模型的权重矩阵。

在每个时间步长，模型都会基于当前目标状态和所有源状态来推断可变长度的对齐权重向量，然后根据a_t(s)在所有源状态上将全局上下文向量计算为加权平均值。

隐藏层t时刻状态h_t和上下文向量s_t两个向量的信息被组合以生成以下解码器的注意力隐藏状态：

其中

代表新生成注意力隐藏状态向量，

表示注意力模型权重的全连接矩阵，u表示注意力机制隐藏单元数。

6、根据权利要求5所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，引入注意机制后，按如下方式计算文本的最终表示形式：

u_t＝tanh(W_sh_t+b_s) (6)

v＝∑_tw_th_t (8)

在计算过程中，W_s代表注意力模型的权重系数矩阵，h_t是卷积在t时刻的特征表示，u_t是神经网络的隐藏层表示，并且u_s是随机初始化的上下文向量，也可以称为输入的语义表示，w_t是通过Softmax函数归一化后的重要权重，v是文本的最终特征向量。

7、根据权利要求6所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤4将步骤1中的语料中的测试集的文本向量输入CNN，根据步骤3中已经训练好的模型进行新闻类别分类并计算出新闻分类的准确率，具体包括：

模型使用Leaky_ReLU激活函数，在ReLU的负半部分引入了Leaky值，因此称为Leaky ReLU函数，与ReLU不同，如下公式，LReLU为所有负值分配一个非零的斜率；

a_g是固定的，g表示对应不同的路线a_g；最后，通过Softmax分类器进行多分类以获得结果；

result＝softmax(v) (10)

result是一个向量，其维数为类别数，每个维度的数量在[0,1]范围内，它表示文本落入某个类别的概率，输入句子的预测类别准确率为：

prediction＝argmax(result) (11)

本发明的优点及有益效果如下：

本发明利用特征和权重作为分类过程中的关键因素。其机制是使用嵌入层首先将新闻文本转换为词向量，该组词向量被输入卷积操作从而提取局部特征。根据权利要求2所示，删除传统卷积网络中的池化层以减少信息丢失，这是由于池化层的作用实际是对输入做降采样，常用的池化做法是对每个滤波器的输出求最大值，因此会忽视一些新闻信息。根据权利要求4，经过无池化卷积后得到的局部特征向量被输入全局注意力机制中以重新分配权重，从而获得文本的全局特征。由于负区间神经元失活的风险，选用Leaky_ReLU作为激活函数，最终通过Softmax计算新闻分类的准确率。在传统做法中，由于卷积网络的统一性，进行网络优化时，其内部池化层对信息丢失产生的影响往往被忽视。针对该问题，本专利提出的模型不仅捕获了文本的局部特征，同时减少传统神经网络统一结构内部的信息丢失，还捕获了文本各部分的重要性。因此，结合无池化卷积网络和注意力权重分配来处理文本分类问题可以显著提高新闻分类的准确率。

附图说明

图1是本发明提供优选实施例基于无池化卷积嵌入和注意分布神经网络的新闻分类方法；

图2无池化卷积嵌入和注意分布神经网络模型。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，在本发明中，首先使用一维卷积运算，该卷积网络中，取消池化层以减少信息丢失，从而提取输入序列的语义特征和位置不变特征。然后将语义特征用作注意力机制的输入，以获得用于重新分配权重的全局特征。全局特征向量输入到完全连接的层，并由激活函数Leaky_ReLU和Softmax进行分类。

步骤1：搜集新闻数据集，对于中文新闻，规范化数据集格式，写作：“标签+‘\t’+新闻”形式。并随机切分数据集，划分为训练集，测试集，验证集。训练集用于对新闻分类模型的训练，验证集用来验证模型是否合理，测试集用来测试模型分类的效果。

将分词后的新闻文本单词用作word embedding层的输入得到一组词的特征向量x₀,x₁,x₂,...,x_t。该特征向量，即为计算机可以识别的语言。对于文本类别标签，指定了输入语言的大小字母，并且每个字符都使用1-m编码进行编码；然后，将字符序列向量的序列转换为固定长度l₀，超过该长度l₀的所有字符都将被忽略，并且小于l₀的矢量将在后面填充0。

步骤2：在步骤1之后添加时间卷积模块，它是一维卷积运算。卷积神经网络模型已广泛用于图像识别，但也用于文本分类。CNN是一种深度神经网络，主要由输入层，隐藏层和输出层组成。输入层负责分析输入变量。隐藏层包含卷积层和池化层，用于学习输入信息的特征。输出层由完全连接的层组成。

不同比例的卷积运算可以提取文本的更复杂特征。CNN的实现由以下公式表示。

h＝[h₁,h₂,…,h_n-k+1](3)

其中x代表嵌入词。σ表示过滤器，其功能是通过卷积运算生成新特征。

是非线性函数。h_i代表通过卷积运算获得的特征，并且h是通过卷积运算获得的一组特征中最大的特征。b代表偏差项。

本发明使用一维卷积，因此仅在行方向上卷积。图中的向下箭头表示卷积核从上到下移动。此外，将卷积步长设置为3。h₁,h₂,h₃表示通过提取获得的特征。在h₁,h₂,h₃之后，特征向量H是整个句子的特征表示。即，卷积核k在每个位置与窗口向量卷积以生成输入文本的特征图H∈R^length-m+1。特征图H的每个元素h_j被计算为以下等式。

h_j＝f(σ_j⊙k+b) (4)

⊙是矩阵元素的乘法，b是偏差项，f是激活函数。

当模型输入是离散函数δ(x)∈[1,l]和离散核函数τ(x)∈[1,k]时，其中δ(x),τ(x)∈R，如果步长为d，则δ(x)和τ(x)之间的卷积c(y)∈[1,θ+1](其中

)计算为：

x表示词向量，n表示新闻词向量的数目。b＝k-d+1是偏移常数。类似于计算机视觉中使用的传统卷积神经网络，模块由一组内核函数τ_ij(x)(我们称为"weights"(i＝1,2,…,v，j＝1,2,…,w))进行参数化。每个输入δ_i(x)或输出c_j(y)都称为"features"，m和n代表输入和输出特征的大小。输出c_j(y)是δ_i(x)和τ_ij(x)的卷积之和。

无池化卷积取消了CNN中的最大池化层，因为池操作可能会丢失一些语义信息。然后，将这种新的，连续的高阶特征表示形式并入注意机制。

步骤3：对于步骤2得到的特征向量，输入注意力模型，每个单词x₀,x₁,...,x_n都表示为矢量形式，并输入到卷积单元，从而得到输出h₀,h₁,…,h_n，该输出作为注意力机制的输入source＝h₀,h₁,…,h_n，计算文本的最终特征向量。在注意力机制中，隐藏层t时刻状态h_t被随机初始化，并且在训练过程中作为参数被更新，同时给出源侧上下文向量s_t，源侧上下文向量s_t被计算为各个输入的加权和，计算如下：

其中L表示新闻文本长度，a_t(s)表示可变长度对齐向量，

表示编码器的隐藏层状态。

上下文向量s_t应考虑编码器的所有隐藏状态，在注意机制部分，通过将解码器t时刻隐藏状态h_t与编码器的每个源隐藏状态

进行比较来生成可变长度对齐向量a_t(s)：

f_a是一个基于内容的函数，

表示解码器t时刻隐藏状态h_t与编码器的源隐藏状态

的函数，

表示解码器t时刻隐藏状态与编码器的从初始位置s1开始的所有源隐藏状态的内容函数。

f_a的计算具有3个不同的公式：

其中W_a是注意力模型的权重矩阵。

在每个时间步长，模型都会基于当前目标状态和所有源状态来推断可变长度的对齐权重向量，然后根据a_t(s)在所有源状态上将全局上下文向量计算为加权平均值。

隐藏层t时刻状态h_t和上下文向量s_t两个向量的信息被组合以生成以下解码器的注意力隐藏状态：

其中

代表新生成注意力隐藏状态向量，

表示注意力模型权重的全连接矩阵，u表示注意力机制隐藏单元数。

引入注意机制后，按如下方式计算文本的最终表示形式：

u_t＝tanh(W_sh_t+b_s) (10)

v＝∑_tw_th_t (12)

在计算过程中,W_s代表注意力模型的权重系数矩阵，h_t是卷积在t时刻的特征表示，u_t是神经网络的隐藏层表示，并且u_s是随机初始化的上下文向量，也可以称为输入的语义表示。w_t是通过Softmax函数归一化后的重要权重。v是文本的最终特征向量。

步骤4：在步骤3之后，该模型使用Leaky_ReLU激活函数。整流线性单位(ReLU)是神经网络中最常用的激活函数，可以有效地计算。当输入为正时，导数不为零，从而允许基于梯度的学习。但是，当ReLU的输入值为负时，输出仍为0，并且一阶导数也为0。这种情况将阻止神经元更新参数，因此神经元不会学习。这种现象称为“死亡神经元”。

ReLU还产生了许多变体。在本发明中，为了克服ReLU的缺点，在ReLU的负半部分引入了Leaky值，因此称为Leaky ReLU函数。与ReLU不同，如下公式，LReLU为所有负值分配一个非零的斜率；

a_g是固定的，g表示对应不同的路线a_g；Leaky_ReLU函数是经典(广泛使用)的ReLU激活功能的变体。由于导数始终为非零，因此可以减少静默神经元的数量，从而确保在进入负间隔后继续进行基于梯度的连续学习。

最后，通过Softmax分类器进行多分类以获得结果。

result＝softmax(v) (14)

result是一个向量，其维数为类别数。每个维度的数量在[0,1]范围内，它表示文本落入某个类别的概率。输入句子的预测类别准确率为：

prediction＝argmax(result) (15)

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，包括以下步骤：

步骤1：搜集新闻文本数据集，对新闻文本进行规范化格式处理并分词，利用词嵌入获得新闻的特征向量，对于新闻标签，根据新闻类别和新闻数据对新闻进行随机切分，将语料分为训练集、测试集和验证集，训练集用于对新闻分类模型的训练，验证集用来验证模型是否合理，测试集用来测试模型分类的效果；

步骤2：将步骤1中语料中的训练集经过词嵌入得到的特征向量输入CNN卷积神经网络，取消CNN中的的池化层；

步骤3：将步骤2中经词嵌入和无池化卷积过后的特征向量输入注意力机制，对文本中的特征向量进行权重的重新分配从而训练出新闻分类模型；

步骤4：将步骤1中的语料中的测试集的文本向量输入CNN，根据步骤3中已经训练好的模型进行新闻类别分类并计算出新闻分类的准确率。

2.根据权利要求1所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤1：搜集新闻数据集，对于中文新闻，规范化数据集格式，格式为：“标签+‘\t’+新闻”形式，将分词后的新闻文本单词用作word embedding层的输入得到一组词的特征向量x₀,x₁,x₂,...,x_t。该特征向量，即为计算机可以识别的语言。对于文本类别标签，指定了输入语言的大小字母，并且每个字符都使用1-m编码进行编码；然后，将字符序列向量的序列转换为固定长度l₀，超过该长度l₀的所有字符都将被忽略，并且小于l₀的矢量将在后面填充0。

3.根据权利要求2所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤2将步骤1中的语料中的训练集的词向量x₀,x₁,x₂,...,x_n输入CNN，取消字符卷积网络的池化层，具体为：将经过分布式表示的词向量输入到一维卷积网络中，该网络包含输入层，卷积层，输出层，取消卷积神经网络的池化层以最大化保留文本特征，一维卷积计算得到离散函数和离散核函数的卷积之和：

其中τ(x)是离散核函数，输入的离散函数是δ(x)，d是步长，b为偏差项，其中x表示词向量，n表示新闻词向量的数目。

4.根据权利要求3所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述b＝k-d+1.是偏移常数，由一组内核函数τ_ij(x)进行参数化，i＝1，2，...，v，j＝1，2，...，w，每个输入δ_i(x)或输出c_j(y)都称为″features″，m和n代表输入和输出特征的大小，输出c_j(y)是δ_i(x)和τ_ij(x)的卷积之和。

5.根据权利要求4所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤3将步骤2中经词嵌入和无池化卷积过后的特征向量输入注意力机制，对文本中的特征向量进行权重的重新分配从而训练出新闻分类模型，具体为：

对于步骤2得到的特征向量，输入注意力模型，每个单词x₀，x₁，...，x_n都表示为矢量形式，并输入到卷积单元，从而得到输出h₀，h₁，...，h_n，该输出作为注意力机制的输入source＝h₀，h₁，...，h_n，计算文本的最终特征向量。在注意力机制中，隐藏层t时刻状态h_t被随机初始化，并且在训练过程中作为参数被更新，同时给出源侧上下文向量s_t，源侧上下文向量s_t被计算为各个输入的加权和，计算如下：

其中L表示新闻文本长度，a_t(s)表示可变长度对齐向量，

表示编码器的隐藏层状态。

上下文向量s_t应考虑编码器的所有隐藏状态，在注意机制部分，通过将解码器t时刻隐藏状态h_t与编码器的每个源隐藏状态

进行比较来生成可变长度对齐向量a_t(s)：

f_a是一个基于内容的函数，

表示解码器t时刻隐藏状态h_t与编码器的源隐藏状态

的函数，

表示解码器t时刻隐藏状态与编码器的从初始位置s1开始的所有源隐藏状态的内容函数。

f_a的计算具有3个不同的公式：

其中W_a是注意力模型的权重矩阵。

在每个时间步长，模型都会基于当前目标状态和所有源状态来推断可变长度的对齐权重向量，然后根据a_t(s)在所有源状态上将全局上下文向量计算为加权平均值。

隐藏层t时刻状态h_t和上下文向量s_t两个向量的信息被组合以生成以下解码器的注意力隐藏状态：

其中

代表新生成注意力隐藏状态向量，

表示注意力模型权重的全连接矩阵，u表示注意力机制隐藏单元数。

6.根据权利要求5所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，引入注意机制后，按如下方式计算文本的最终表示形式：

u_t＝tanh(W_sh_t+b_s) (6)

v＝∑_tw_th_t (8)

在计算过程中，W_s代表注意力模型的权重系数矩阵，h_t是卷积在t时刻的特征表示，u_t是神经网络的隐藏层表示，并且u_s是随机初始化的上下文向量，也可以称为输入的语义表示，w_t是通过Softmax函数归一化后的重要权重，v是文本的最终特征向量。

7.根据权利要求6所述的一种基于无池化卷积嵌入和注意分布神经网络的新闻分类方法，其特征在于，所述步骤4将步骤1中的语料中的测试集的文本向量输入CNN，根据步骤3中已经训练好的模型进行新闻类别分类并计算出新闻分类的准确率，具体包括：

模型使用Leaky_ReLU激活函数，在ReLU的负半部分引入了Leaky值，因此称为LeakyReLU函数，与ReLU不同，如下公式，LReLU为所有负值分配一个非零的斜率；

a_g是固定的，g表示对应不同的路线a_g；最后，通过Softmax分类器进行多分类以获得结果；

result＝softmax(v) (10)

result是一个向量，其维数为类别数，每个维度的数量在[0，1]范围内，它表示文本落入某个类别的概率，输入句子的预测类别准确率为：

prediction＝argmax(result) (11) 。

Images