CN113761186A

CN113761186A - 文本情感分类方法和装置

Info

Publication number: CN113761186A
Application number: CN202110071406.9A
Authority: CN
Inventors: 段懿轩
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Wodong Tianjun Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Wodong Tianjun Information Technology Co Ltd
Priority date: 2021-01-19
Filing date: 2021-01-19
Publication date: 2021-12-07

Abstract

本发明公开了一种文本情感分类方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待分类文本；确定所述待分类文本的词语特征、短语特征和句子特征，融合所述词语特征、短语特征和句子特征，得到所述待分类文本的目标特征；根据所述待分类文本的目标特征和预训练的情感分类模型，确定所述待分类文本的情感。该实施方式节约了大量人为标注数据的工作，降低了人力成本；基于三种粒度的分析模型获得的词语特征、短语特征以及句子特征，通过融合三种特征得到了关于文本的多层次情感特征，然后通过多级情感分类模型和该多层次情感特征，确定文本的情感，提高了文本分类的准确性。

Description

文本情感分类方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种文本情感分类方法和装置。

背景技术

目前，常用的文本情感分类方法是通过统计情感词分析情感的方法。这类方法以情感词典为判断情感倾向的主要依据，采用词典进行情感分析，通过对已经评估和标记的情感相关词汇进行计数和加权。但是，情感词典是人工构建的。因此，这一类方法的准确性一方面受限于情感词典的质量，另一方面容易受到局部内容的影响。现有的分析方法，要么将文本情感分为正向和负向两个极性进行分析，要么对文本的情感进行精细划分，构造多元情感分析方法。但是，将文本情感分类为正向和负向两大类仅能够获取文本中的情感正负倾向，不能分析没有强烈情感倾向的文本情感。对文本情感进行精细划分的这类方法的分类结果容易产生混淆，不同的情感类型在文本表示上可能是相似的文本。如质疑和怀疑，在文字特征上非常接近，但是这两种情感包含了不同的情感倾向。质疑偏向于负向情感，而怀疑则偏向于中性情感，传达的情感差异很大，如果直接对短文本进行情感分析容易混淆这两类情感，导致文本情感分类不准确。中文文本不同词语的组合会传递不同的主观情感，因此，如果仅对文本中的词语粒度进行情感分类，不对基于文本中词语粒度中更高粒度进行情感份分类，得到的文本情感分类结果准确性较低。

发明内容

有鉴于此，本发明实施例提供一种文本情感分类方法和装置，节约了大量人为标注数据的工作，降低了人力成本；基于三种粒度的分析模型获得的词语特征、短语特征以及句子特征，通过融合三种特征得到了关于文本的多层次情感特征，然后通过多级情感分类模型和该多层次情感特征，确定文本的情感，提高了文本分类的准确性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种文本情感分类方法，包括：

获取待分类文本；

确定所述待分类文本的词语特征、短语特征和句子特征，融合所述词语特征、短语特征和句子特征，得到所述待分类文本的目标特征；

根据所述待分类文本的目标特征和预训练的情感分类模型，确定所述待分类文本的情感。

可选地，确定所述待分类文本的词语特征、短语特征和句子特征包括：

通过预训练的词语分析模型，确定所述待分类文本的词语特征；

通过预训练的短语分析模型，确定所述待分类文本的短语特征；

通过预训练的句子分析模型，确定所述待分类文本的句子特征。

对所述待分类文本进行分词处理，得到多个待分析词语；

确定所述多个待分析词语的词向量；

根据所述词向量和所述预训练的词语分析模型，确定所述待分类文本的词语特征；

根据所述词向量和所述预训练的短语分析模型，确定所述待分类文本的短语特征；

根据所述词向量和所述预训练的句子分析模型，确定所述待分类文本的句子特征。

可选地，所述预训练的词语分析模型包括第一卷积层和第一注意力模块。

可选地，根据所述词向量和所述预训练的短语分析模型，确定所述待分类文本的短语特征包括：

将任意两个连续的待分析词语的词向量输入所述预训练的短语分析模型，确定所述待分类文本的短语特征。

可选地，所述预训练的短语分析模型包括第四卷积层、第五卷积层、第六卷积层、第二注意力模块、第三注意力模块和全局最大池化层。

将任意两个连续的待分析词语的词向量，输入所述第四卷积层，得到第一卷积特征，将所述第一卷积特征输入所述第二注意力模块，得到第一短语特征；

将所述第一卷积特征输入所述第五卷积层，得到第二卷积特征，将所述第二卷积特征输入所述第三注意力模块，得到第二短语特征；

将所述第二卷积特征输入所述第六卷积层，得到第三卷积特征，将所述第三卷积层特征输入所述全局最大池化层，得到第三短语特征；

融合所述第一短语特征、所述第二短语特征和所述第三短语特征，得到所述待分类文本的短语特征。

可选地，所述预训练的句子分析模型包括第七卷积层和LSTM层。

可选地，在对所述待分类文本进行分词处理之前，所述方法还包括：根据预设的规则，对所述待分类文本进行去噪处理和去停用词处理。

可选地，所述预训练的情感分类模型根据如下过程训练：

获取训练样本数据；

利用预训练的第一分类模型，确定所述训练样本数据的父类情感类别和第一分类损失；

利用预训练的第二分类模型，确定所述训练样本数据的子类情感类别和第二分类损失；

根据所述第一分类损失和所述第二分类损失，构建目标损失函数；

根据所述目标损失函数，训练得到所述预训练的情感分类模型。

可选地，所述父类情感类别包括正向、负向和中性；所述子类情感类别至少包括以下一种或多种：喜欢、幸福、惊喜、生气、害怕、厌恶、悲伤、中性。

可选地，根据所述第一分类损失和所述第二分类损失，构建目标损失函数包括：

确定所述第一分类损失与预设的权重系数的第一乘积；

确定1与所述权重系数之间的差值，确定所述第二分类损失与所述差值的第二乘积；

基于所述第一乘积和所述第二乘积，构建目标损失函数。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种文本情感分类装置，包括：

文本获取模块，用于获取待分类文本；

特征确定模块，用于确定所述待分类文本的词语特征、短语特征和句子特征，融合所述词语特征、短语特征和句子特征，得到所述待分类文本的目标特征；

情感确定模块，用于根据所述待分类文本的目标特征和预训练的情感分类模型，确定所述待分类文本的情感。

可选地，所述特征确定模块还用于：

对所述待分类文本进行分词处理，得到多个待分析词语；

确定所述多个待分析词语的词向量；

可选地，所述特征确定模块还用于：将任意两个连续的待分析词语的词向量输入所述预训练的短语分析模型，确定所述待分类文本的短语特征。

可选地，所述特征确定模块还用于：

可选地，所述特征确定模块还用于：在对所述待分类文本进行分词处理之前，根据预设的规则，对所述待分类文本进行去噪处理和去停用词处理。

可选地，所述装置还包括模型训练模块，用于：

获取训练样本数据；

可选地，所述模型训练模块还用于：确定所述第一分类损失与预设的权重系数的第一乘积；确定1与所述权重系数之间的差值，确定所述第二分类损失与所述差值的第二乘积；基于所述第一乘积和所述第二乘积，构建目标损失函数。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的文本情感分类方法。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的文本情感分类方法。

上述发明中的一个实施例具有如下优点或有益效果：因为通过确定所述待分类文本的词语特征、短语特征和句子特征，融合所述词语特征、短语特征和句子特征，得到所述待分类文本的目标特征；根据所述待分类文本的目标特征和预训练的情感分类模型，确定所述待分类文本的情感的技术手段，所以节约了大量人为标注数据的工作，降低了人力成本；基于三种粒度的分析模型获得的词语特征、短语特征以及句子特征，通过融合三种特征得到了关于文本的多层次情感特征，然后通过多级情感分类模型和该多层次情感特征，确定文本的情感，提高了文本分类的准确性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是本发明实施例的文本情感分类方法的主要流程的示意图；

图2是本发明实施例的文本情感分类方法的词语分析模型的示意图；

图3是本发明实施例的文本情感分类方法的短语分析模型的示意图；

图4是本发明实施例的文本情感分类方法的句子分析模型的示意图；

图5是本发明实施例的文本情感分类方法的子流程的示意图；

图6是本发明实施例的文本情感分类方法中确定训练样本多级情感分类的示意图；

图7是本发明实施例的文本情感分类装置的主要模块的示意图；

图8是本发明实施例可以应用于其中的示例性***架构图；

图9是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是本发明实施例的文本情感分类方法的主要步骤的流程示意图，如图1所示，该方法包括：

步骤S101：获取待分类文本；

步骤S102：确定所述待分类文本的词语特征、短语特征和句子特征，融合所述词语特征、短语特征和句子特征，得到所述待分类文本的目标特征；

步骤S103：根据所述待分类文本的目标特征和预训练的情感分类模型，确定所述待分类文本的情感。

对于步骤S102，词语通常被视为文本中最小组成单元，文本中词语的信息，在进行文本情感分类时具有非常重要的作用，如果能从文本中挖掘带有突出情感色彩的词语，会对文本情感分类有很大的帮助。因此，本实施例需要提取待分类文本的词语特征，以用于分析该待分类文本的情感。

但是，文本中的单词往往不是独立存在的，很多时候需要联系前后的词语才能够更准确地表达作者想要表达的情感。如果仅仅只对句子中的词语进行分析，则有可能无法获取句子中短语所传达的情感。如在句子中包含“没有生气”、“很难开心”等短语时，如果仅仅分析每个单词所传递的情感，那么“没有生气”则会主要根据“生气”所包含的情感类型进行分析，而“很难开心”则会大概率被认为是属于“开心”所包含的情感类型。为了避免上述错误，本实施例在分析待分类文本的情感时，需要考虑待分类文本中连续两个词的短语信息，即需要提取待分类文本的短语特征。本实施例通过对连续的两个词语进行分析，能够获得更加全面，更能够贴近文本实际表达的情感信息。

一个包含着连续多个词语的文本，其前后的内容信息会存在一定的关联性，仅仅针对部分文本挖掘信息难以对整个文本进行描述。为了能够对完整的文本进行描述，本实施例还需要提取待分类文本的句子特征。

在可选的实施例中，该步骤可以通过预训练的词语分析模型，确定所述待分类文本的词语特征；通过预训练的短语分析模型，确定所述待分类文本的短语特征；通过预训练的句子分析模型，确定所述待分类文本的句子特征。其中，词语分析模型和短语分析模型采用了卷积神经网络模型，句子分析模型同时采用了卷积神经网络模型和长短期记忆神经网络模型。在本实施例中，利用卷积神经网络模型构建词语分析模型、短语分析模型和句子分析模型，解决了现有技术中需要人为标注庞大训练数据集的问题，因为卷积神经网络模型不过分依赖先验数据，对人为标注的数据无硬性要求。因此本发明实施例的文本情感分类方法节约了大量人为标注数据的工作。

在可选的实施例中，在获取待分类文本之后、确定待分类文本的词语特征、短语特征和句子特征之前，需要对待分类文本进行预处理。具体的，对待分类文本进行预处理包括去噪处理、分词处理和去停用词处理。

其中，对待分析文本的去噪处理主要指的是从原始的待分类文本中过滤掉无用信息，无意义的字符，从而提取出待分类文本中有意义的信息。作为具体的示例，可以通过人为剖析历史语料，进而建立规则或机制，最后通过建立的规则或机制过滤掉待分类文本中的无用信息和无意义的字符，进而提取出有价值的数据内容。

分词处理主要是将一句话划分为若干个相互不关联的词语。作为具体的示例，本实施例可以使用Python中的jieba库对待分类文本进行分词处理。

经过分词后得到的多个待分析词语中存在停用词等无内容词汇，因此需要去除多个待分析词语中的停用词。

在对待分类文本进行预处理之后，将待分析的词语进行向量化表示，即确定待分析词语的词向量。机器无法直接识别待分类文本中的内容，因此需要选择待分类文本中的特征，然后将其转换成机器可以理解的形式，即利用向量表示文本特征项，又被称为词语向量化表示。在对文本进行去噪、分词以及去停用词等处理后，需要将文本从非结构化的形式转换成结构化的向量形式来进行表示，如此才可以用计算机可以理解的形式对文本进行进一步的分析处理。作为具体的示例，本实施例使用Word2vec工具包对预处理后的待分类文本进行向量化表示。其中，Word2vec是用来产生词向量的相关模型。本实施例采用Word2vec将待分类文本中的各个待分析词语转化为m维的词向量的形式。对于一个包含T个词语的待分类文本A来说，转化为词向量后可以将待分类文本表示为一个T×m的矩阵。待分类文本A表示为：

A＝[a₁,a₂,…a_t…a_T]

其中，a_t是第t个待分析词语对应的词向量，维度为m。

在确定待分析词语的词向量之后，就可以根据所述词向量和所述预训练的词语分析模型，确定所述待分类文本的词语特征；根据所述词向量和所述预训练的短语分析模型，确定所述待分类文本的短语特征；根据所述词向量和所述预训练的句子分析模型，确定所述待分类文本的句子特征。

其中，如图2所示，所述预训练的词语分析模型包括第一卷积层和第一注意力模块。

为了从词向量中获取更加深层次的特征信息，本实施例构建了一个卷积层，通过卷积层的计算，从而获得词向量中相对抽象的信息。该卷积层的表达式如下式(1)所示：

X^c＝relu(w^c0*A+b^c0) (1)

其中，w^c0是卷积层的权重矩阵，b^c0是卷积层的偏置矩阵。通过该式得到了句子中各个词的卷积特征表示X^c。在本实施例中，可以使用MSRA方法初始化权重矩阵和偏置矩阵，通过模型训练，不断更新迭代优化权重矩阵和偏置矩阵。

基于神经网络的分类方法，通常在网络的末层构造一个全连接层作为分类器，通过softmax函数输出各个类别的概率。然而，由于全连接层的权重维度是固定的，所以全连接层输入的特征维数也需要固定下来。为了获取整个句子固定维度的特征表示，现有方法通常采用全局平均池化，将一个句子的特征序列池化为一个维度固定的向量，如下式(2)所示。

其中，

是第t个待分析词语的对应的特征向量，Y^pooling指句子的特征经全局平均池化后的一个固定维度的向量。然而，在一句文本中大部分的词语对于情感分析没有作用，甚至有些可能会带来噪声干扰。但是采用全局平均池化的方法，将一个句子各个部分的特征全部加到一起，这种做法一方面会无法凸显可以代表整句文本情感倾向的词语的价值，另一方面也可能会引入噪声干扰。

为了能够凸显句子带有情感信息词语的价值，本实施例在词语分析模型中构建了一个注意力模块。注意力机制的原理是通过计算不同位置特征的注意力权重，从而区分不同特征的贡献，突出更重要的特征。在本实施例中，注意力权重采用两个卷积运算和一个softmax操作计算得到，如下式(3)所示：

M^c＝softmax(w^c2(w^c1*X^c+b^c1)) (3)

其中，w^c1和b^c1分别是注意力模块中第一个卷积层的权重矩阵和偏置矩阵，w^c2是第二个卷积层的权重矩阵，soft max()表示softmax激活函数，M^c是注意力权重。

通过计算待分析词语的注意力权重，一方面可以突出对文本情感分类任务贡献大的词语的价值，另一方面可以抑制对文本情感分类任务贡献小的词语的价值。

在得到待分析词语的注意力权重之后，根据下式(4)得到待分析词语的词语特征：

Y^c是待分析词语的短语特征，

是第t个待分析词语的注意力权重，

是待分析词语的卷积特征。

如图3所示，所述预训练的短语分析模型包括第四卷积层、第五卷积层、第六卷积层、第二注意力模块、第三注意力模块和全局最大池化层。该预训练的短语分析模型的输入是两个连续的待分析词语的词向量。

为了从待分类文本A中获取深层次的短语信息，本实施例构建了一个卷积层，即第四卷积层，该第四卷积层在进行卷积计算时，每次将连续的两个待分析词语的词向量作为输入，从而获取连续两个待分析词语的短语卷积特征X_d，如下式(5)所示。

X^d＝relu(w^d0*A+b^d0) (5)

句子中不同位置的短语包含的信息不同，重要的情感信息往往只存在于句子中的部分位置。为了能够突出句子中价值贡献更大的短语，本实施例构造了一个注意力模块，包含两个卷积运算和一个softmax操作，如公式(6)所示。

M^d＝softmax(w^d2(w^d1*X^d+b^d1)) (6)

其中，w^d1和b^d1分别是注意力模块中第一个卷积层的权重矩阵和偏置矩阵，w^d2是第二个卷积层的权重矩阵，w^d2×b^d1是第二卷积层的偏置矩阵，M^d是注意力权重。注意力权重体现了短语特征在情感分类任务中的重要性，注意力权重高的短语特征在情感分类中的作用更大。进一步，利用注意力权重对短语卷积特征进行融合，得到短语特征，如公式(7)所示。

通过引入注意力机制，使得短语的注意力特征更能够体现句子中的情感信息。

然而，上述过程仅考虑了连续两个词构成的短语。但是在实际情况下，一方面由于文本的语法种类繁多，从而可能会通过多个词语表示一个完整的短语；另一方面由于分词技术的限制，一个完整的短语可能会被分为多个单词。因此，仅仅考虑连续两个词构成短语的情况，可能会遗漏关键信息。

为了捕获不同层次的特征，本实施例在上述基础上，构建了多层金字塔结构的短语分析模型，如图3所示。在该短语分析模型中，将任意两个连续的待分析词语的词向量，输入所述第四卷积层，得到第一卷积特征，将所述第一卷积特征输入所述第二注意力模块，得到第一短语特征；将所述第一卷积特征输入所述第五卷积层，得到第二卷积特征，将所述第二卷积特征输入所述第三注意力模块，得到第二短语特征；将所述第二卷积特征输入所述第六卷积层，得到第三卷积特征，将所述第三卷积层特征输入所述全局最大池化层，得到第三短语特征；融合所述第一短语特征、所述第二短语特征和所述第三短语特征，得到所述待分类文本的短语特征。

如图4所示，所述预训练的句子分析模型包括第七卷积层和LSTM层。该句子分析模型的输入为待分类文本所有的待分析词语的词向量。

句子分析模型首先将输入的词向量矩阵通过一个捕捉短语信息的第七卷积层，通过第七卷积层的目的是获取词向量的抽象特征。在第七卷积层之后，构建一个LSTM层(LSTM堆叠神经网络)，LSTM层的输入为第七卷积层输出的卷积特征。LSTM层中各个“门”的计算过程如下式所示：

s_t＝f_t*s_t-1+i_t*g_t

o_t＝σ(W_xox_t+W_hoh_t-1+b_o)

h_t＝o_ttanh(s_t)

其中，i_t是输入门的状态，决定当前时刻网络的输入

有多少保存到单元状态s_t，s_t是当前时刻单元状态，由两部分构成：一是通过遗忘门丢弃掉部分长期记忆信息；二是通过输入门添加当前时刻新增加的信息，o_t是输出门，决定了空值状态单元s_t有多少输出到LSTM的当前输出值h_t，h_t是当前时刻LSTM单元的输出，

当前时刻输入的第j层词语的输入，σ表示sigmoid激活函数，h_t-1是上一时刻LSTM单元的输出，W_xi、W_hi和b_i为LSTM层输入门的网络参数；f_t是遗忘门的状态，决定单元状态s_t-1的丢弃程度，W_xf、W_hf和b_f为LSTM层遗忘门的网络参数；g_t是候选信息，用于计算当前输入的候选单元状态，W_xg、W_hg和b_g为LSTM层记忆单元的网络参数，W_xo、W_ho和b_o为LSTM层输出门的网络参数，tanh是双曲正切激活函数，*表示向量中的元素按位相乘。遗忘门用来计算要忘记的信息，输入门用来计算保存到状态单元中的信息，输出门通过sigmoid函数计算需要输出的信息，再乘以当前单元状态通过tanh函数的值，得到输出。为了描述整个句子的信息，本实施例将最后一个LSTM输出的状态特征h作为整个句子的特征Y_j＝h。

在得到待分类文本的词语特征、短语特征和句子特征之后，串联融合该词语特征、短语特征和句子特征，得到待分类文本的目标特征。

中文文本在传递情感时没有固定的格式，因此，不同的文本粒度会传递不同的情感，因此基于不同的文本粒度对中文文本特征进行表示会影响文本的情感分类结果，本发明实施例将中文语句划分为词语、短语以及句子三个粒度。针对不同的文本粒度，本发明实施例分别构建了词语分析模型。短语分析模型和句子分析模型来分别捕获单词、短语以及句子级别的情感信息。通过串接特征方式融合三个不同层次的情感特征，从而得到文本的多层次情感特征表示，对于文本特征的表示更为准确。

对于步骤S103，在获得待分类文本的多级情感特征之后，利用多级情感分类模型即预训练的情感分类模型，确定待分类文本的情感。

具体的，如图5所示，根据如下过程训练预训练的情感分类模型：

步骤S501：获取训练样本数据；

步骤S502：利用预训练的第一分类模型，确定所述训练样本数据的父类情感类别和第一分类损失；

步骤S503：利用预训练的第二分类模型，确定所述训练样本数据的子类情感类别和第二分类损失；

步骤S504：根据所述第一分类损失和所述第二分类损失，构建目标损失函数；

步骤S505：根据所述目标损失函数，训练得到所述预训练的情感分类模型。

对于步骤S502，如图6所示，首先利用第一分类模型(大类情感分类模型)分析训练样本的父类情感类别，然后进一步利用预训练的第二分类模型(小类情感分类模型)，确定训练样本数据的子类情感类别，从而对训练样本进行深层情感分析。在本实施例中，为了更细致地描述文本的情感，将文本情感划分为：正向、负向以及中性三种父类情感类别，和like、happiness、surprise、anger、fear、disgust、sadness、none8个子类情感类别(即喜欢、幸福、惊喜、生气、害怕、厌恶、悲伤、中性)。

在分类过程中，首先利用第一分类模型计算大类情感，如下式(8)所示。

其中，p(c＝dalei|T_n)表示第n个文本属于第dalei个大类情感下的概率，该概率属于第一分类模型的输出值。w_c表示文本属于第c个大类的概率，Y表示目标特征，b表示偏置项，w_cY+b是一个线性文本分类函数，exp(w_cY+b)表示文本属于第c个大类的指数，∑_cexp(w_cY+b)表示文本属于第c个大类的指数和，取指数是为了进行归一化映射。然后，利用父类情感类别结果计算第一分类损失，如下式(9)所示。

L_da＝-y_nlog(p(c＝dalei|T_n)) (9)

其中，y_n代表第n个文本的实际情感特征标签。在可选的实施例中，可以通one-hot编码方式表示文本的实际情感特征标签。

进一步，利用第二分类模型计算对应子类情感类别的概率，如下式(10)所示。

其中，p(c＝xiaolei|T_n)表示第n个文本属于第dalei个大类情感下第xiaolei个小类情感的概率，该概率为第二分类模型的输出值。然后，利用子类情感类别结果计算第二分类损失，如下式(11)所示。

L_xiao＝-y_nlog(p(c＝xiaolei|T_n)) (11)

在得到第一分类损失和第二分类损失之后，根据所述第一分类损失和所述第二分类损失，构建目标损失函数。具体的，构建目标损失函数的过程包括：

确定所述第一分类损失与预设的权重系数的第一乘积；

基于所述第一乘积和所述第二乘积，构建目标损失函数。

更具体的，得到的目标损失函数如下式(12)所示。

L_duoji＝αL_da+(1-α)L_xiao (12)

其中，α是用于平衡第一分类损失和第二分类损失的权重系数。通过优化多级情感损失，实现了在进行子类情感细粒度分类的同时，综合考虑父类情感的信息。从而可以提高情感分类模型区分不同父类情感的能力，能够更加准确地对文本进行情感分析。

作为具体的示例，父类情感类别和子类情感类别都采用one-hot编码方式确定文本的实际情感标签，示例如下：

正向：[1，0，0]；

中性：[0，1，0]；

负向：[0，0，1]；

喜欢：[1，0，0，0，0，0，0，0]；

幸福：[0，1，0，0，0，0，0，0]；

惊喜：[0，0，1，0，0，0，0，0]；

生气：[0，0，0，1，0，0，0，0]；

害怕：[0，0，0，0，1，0，0，0]；

厌恶：[0，0，0，0，0，1，0，0]；

悲伤：[0，0，0，0，0，0，1，0]；

中性：[0，0，0，0，0，0，0，1]。

假设某个样本属于正向文本的概率为0.7，中性文本的概率为0.2，负向文本的概率为0.1，因此该样本的情感属于正向，该样本的第一分类损失L_zhengxiang＝-[1，0，0]*log0.7＝-1*log0.7＝0.15。

假设该样本属于喜欢、幸福、惊喜、生气、害怕、厌恶、悲伤、中性的概率分别为：0.3，0.2，0.1，0.2，0.15，0.02，0.03，因此该样本的情感属于喜欢，该样本的第二分类损失L_xihuan＝-[1，0，0，0，0，0，0，0]*log0.3＝-1*log0.3＝0.52。

假设平衡权重系数为0.6，则该样本的目标损失L_duoji＝0.6*0.15+0.4*0.52＝0.67。

本发明实施例的文本情感分类方法为了更细致地描述文本的情感，将文本情感划分为：正向、负向以及中性三种父类情感类别，和like、happiness、surprise、anger、fear、disgust、sadness、none8个子类情感类别(即喜欢、幸福、惊喜、生气、害怕、厌恶、悲伤、中性)，还针对子类情感类别中所包含的父类情感信息，构建了多级情感分类损失函数(即目标分类损失函数)。进一步，为了对文本情感进行更准确的分类，本发明实施例根据该多级情感分类损失函数构建了一个多级情感分类模型(即预训练的情感分类模型)。

本发明实施例的文本情感分类方法，通过确定所述待分类文本的词语特征、短语特征和句子特征，融合所述词语特征、短语特征和句子特征，得到所述待分类文本的目标特征；根据所述待分类文本的目标特征和预训练的情感分类模型，确定所述待分类文本的情感的技术手段，所以节约了大量人为标注数据的工作，降低了人力成本；基于三种粒度的分析模型获得的词语特征、短语特征以及句子特征，通过融合三种特征得到了关于文本的多层次情感特征，然后通过多级情感分类模型和该多层次情感特征，确定文本的情感，提高了文本分类的准确性。具体的，为了能够更清晰地描述多层次的文本情感，在进行子类情感分类的同时考虑父类情感之间的关系，本发明实施例的方法将文本情感分类细分为父类情感分类和子类情感分类两部分，实现对文本更精准的分类。

图7是本发明实施例的文本情感分类装置700的主要模块的示意图，如图7所示，该装置700包括：

文本获取模块701，用于获取待分类文本；

特征确定模块702，用于确定所述待分类文本的词语特征、短语特征和句子特征，融合所述词语特征、短语特征和句子特征，得到所述待分类文本的目标特征；

情感确定模块703，用于根据所述待分类文本的目标特征和预训练的情感分类模型，确定所述待分类文本的情感。

可选地，所述特征确定模块702还用于：

对所述待分类文本进行分词处理，得到多个待分析词语；

确定所述多个待分析词语的词向量；

可选地，所述特征确定模块702还用于：将任意两个连续的待分析词语的词向量输入所述预训练的短语分析模型，确定所述待分类文本的短语特征。

可选地，所述特征确定模块702还用于：

可选地，所述特征确定模块702还用于：在对所述待分类文本进行分词处理之前，根据预设的规则，对所述待分类文本进行去噪处理和去停用词处理。

可选地，所述装置还包括模型训练模块，用于：

获取训练样本数据；

本发明实施例的文本情感分类装置，通过确定所述待分类文本的词语特征、短语特征和句子特征，融合所述词语特征、短语特征和句子特征，得到所述待分类文本的目标特征；根据所述待分类文本的目标特征和预训练的情感分类模型，确定所述待分类文本的情感的技术手段，所以节约了大量人为标注数据的工作，降低了人力成本；基于三种粒度的分析模型获得的词语特征、短语特征以及句子特征，通过融合三种特征得到了关于文本的多层次情感特征，然后通过多级情感分类模型和该多层次情感特征，确定文本的情感，提高了文本分类的准确性。

上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

图8示出了可以应用本发明实施例的文本情感分类方法或文本情感分类装置的示例性***架构800。

如图8所示，***架构800可以包括终端设备801、802、803，网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的文本情感分类方法一般由服务器805执行，相应地，文本情感分类装置一般设置于服务器805中。

应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图9，其示出了适于用来实现本发明实施例的终端设备的计算机***900的结构示意图。图9示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机***900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分909加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有***900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的***中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

获取待分类文本；

本发明实施例的技术方案，节约了大量人为标注数据的工作，降低了人力成本；基于三种粒度的分析模型获得的词语特征、短语特征以及句子特征，通过融合三种特征得到了关于文本的多层次情感特征，然后通过多级情感分类模型和该多层次情感特征，确定文本的情感，提高了文本分类的准确性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种文本情感分类方法，其特征在于，包括：

获取待分类文本；

2.根据权利要求2所述的方法，其特征在于，确定所述待分类文本的词语特征、短语特征和句子特征包括：

3.根据权利要求2所述的方法，其特征在于，确定所述待分类文本的词语特征、短语特征和句子特征包括：

对所述待分类文本进行分词处理，得到多个待分析词语；

确定所述多个待分析词语的词向量；

4.根据权利要求3所述的方法，其特征在于，所述预训练的词语分析模型包括第一卷积层和第一注意力模块。

5.根据权利要求3所述的方法，其特征在于，根据所述词向量和所述预训练的短语分析模型，确定所述待分类文本的短语特征包括：

6.根据权利要求5所述的方法，其特征在于，所述预训练的短语分析模型包括第四卷积层、第五卷积层、第六卷积层、第二注意力模块、第三注意力模块和全局最大池化层。

7.根据权利要求6所述的方法，其特征在于，根据所述词向量和所述预训练的短语分析模型，确定所述待分类文本的短语特征包括：

8.根据权利要求3所述的方法，其特征在于，所述预训练的句子分析模型包括第七卷积层和LSTM层。

9.根据权利要求3所述的方法，其特征在于，在对所述待分类文本进行分词处理之前，所述方法还包括：根据预设的规则，对所述待分类文本进行去噪处理和去停用词处理。

10.根据权利要求1所述的方法，其特征在于，所述预训练的情感分类模型根据如下过程训练：

获取训练样本数据；

11.根据权利要求10所述的方法，其特征在于，所述父类情感类别包括正向、负向和中性；所述子类情感类别至少包括以下一种或多种：喜欢、幸福、惊喜、生气、害怕、厌恶、悲伤、中性。

12.根据权利要求10所述的方法，其特征在于，根据所述第一分类损失和所述第二分类损失，构建目标损失函数包括：

确定所述第一分类损失与预设的权重系数的第一乘积；

基于所述第一乘积和所述第二乘积，构建目标损失函数。

13.一种文本情感分类装置，其特征在于，包括：

文本获取模块，用于获取待分类文本；

14.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的方法。

15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-12中任一所述的方法。