CN113849646A - 一种文本情感分析方法 - Google Patents

Abstract

本公开实施例是关于一种文本情感分析方法。该方法包括：采用全局向量和单词转换向量分别对目标文本进行向量化并加以训练，得到目标文本的第一文本向量矩阵和第二文本向量矩阵，目标文本为待进行情感分析的文本；采用双路注意力机制分别对第一文本向量矩阵和第二文本向量矩阵中的关键特征信息进行提取，并对其进行加强处理及特征融合；采用激活函数对特征融合后的第一文本向量矩阵和第一文本向量矩阵进行分类处理，得到所述目标文本的情感分析结果。本公开实施例基于提取的关键特征信息及特征融合，实现对情感分类处理，具有更为理想的文本情感分析准确度。

Description

一种文本情感分析方法

技术领域

本公开涉及人工智能领域，尤其涉及一种文本情感分析方法。

背景技术

随着互联网交流平台的兴起，越来越多的用户会在交流平台上发表 个人的信息和看法。与此同时，针对这些主观性言论进行情感分析可以 获得极具价值的信息。目前，文本情感分析业已成为人工智能领域中的 研究热点。然而，采用人工方式对文本进行分析无疑需要投入极大的成 本。

相关技术中，基于神经网络的文本情感分析方法相比传统方法获得 了更好的文本表示以及更强的特征提取能力，取得了良好的处理效果， 但却忽略了关键信息对文本情感倾向的影响因素，影响文本情感分析的 准确度。

因此，有必要提供一种新的技术方案改善上述方案中存在的一个或 者多个问题。

需要注意的是，本部分旨在为权利要求书中陈述的本发明的实施方式 提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技 术。

发明内容

本公开的目的在于提供一种文本情感分析方法，进而至少在一定程 度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开实施例提供的一种文本情感分析方法，该方法包括：

采用全局向量和单词转换向量分别对目标文本进行向量化并加以训 练，得到所述目标文本的第一文本向量矩阵和第二文本向量矩阵，所述 目标文本为待进行情感分析的文本；

采用双路注意力机制分别对所述第一文本向量矩阵和所述第二文本 向量矩阵中的关键特征信息进行提取，并对其进行加强处理及特征融合；

采用激活函数对特征融合后的所述第一文本向量矩阵和所述第一文 本向量矩阵进行分类处理，得到所述目标文本的情感分析结果。

本公开实施例中，所述采用全局向量和单词转换向量分别对目标文 本进行向量化并加以训练，得到所述目标文本的第一文本向量矩阵和第 二文本向量矩阵，所述目标文本为待进行情感分析的文本，包括：

所述全局向量通过对所述目标文件进行构建共现矩阵，并对共现矩 阵加以训练，获得包含所述目标文件的全局信息的所述第一文本向量矩 阵。

本公开实施例中，所述采用全局向量和单词转换向量分别对目标文 本进行向量化并加以训练，得到所述目标文本的第一文本向量矩阵和第 二文本向量矩阵，所述目标文本为待进行情感分析的文本，包括：

所述单词转换向量，基于所述目标文件的局部上下文窗口，对单词 转换向量加以训练，获得对应的所述第二文本向量矩阵。

本公开实施例中，所述采用双路注意力机制分别对所述第一文本向 量矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进 行加强处理及特征融合，包括：

采用双向门控循环单元对所述第一文本向量矩阵进行提取全局特征 和上下文信息。

本公开实施例中，所述采用双路注意力机制分别对所述第一文本向 量矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进 行加强处理及特征融合，包括：

采用卷积神经网络对所述第二文本向量矩阵进行提取局部特征。

本公开实施例中，所述采用双路注意力机制分别对所述第一文本向 量矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进 行加强处理及特征融合，还包括：

分别对所述第一文本向量矩阵提取的所述全局特征、所述第二文本 向量矩阵提取的所述局部特征进行加强处理。

本公开实施例中，所述分别对所述第一文本向量矩阵提取的所述全 局特征、所述第二文本向量矩阵提取的所述局部特征进行加强处理，包 括：

根据所述全局特征和所述局部特征的重要程度差异，分别对所述全 局特征和所述局部特征进行分配不同的第一注意力权重和第二注意力权 重。

本公开实施例中，所述对所述第一文本向量矩阵提取的所述全局特 征、所述第二文本向量矩阵提取的所述局部特征进行加强处理，包括：

对所述第一注意力权重、第二注意力权重进行归一化处理，分别得 到所述第一文本向量矩阵的全局特征和所述第二文本向量矩阵的局部特 征的第一注意力分数、第二注意力分数；

基于所述第一注意力分数和所述第二注意力分数，根据所述目标文 本中每个词的不同重要程度，对提取到的所述全局特征和所述局部特征 计算加权和，得到加强关键特征信息后的所述第一文本向量矩阵的所述 全局特征和所述第二文本向量矩阵的所述局部特征。

本公开实施例中，所述基于所述第一注意力分数和所述第二注意力 分数，根据所述目标文本中每个词的不同重要程度，对提取到的所述全 局特征和所述局部特征计算加权和，得到加强关键特征信息后的所述第 一文本向量矩阵的所述全局特征和所述第二文本向量矩阵的所述局部特 征的步骤之后，还包括：

对加强关键特征信息后的所述第一文本向量矩阵的所述全局特征和 所述第二文本向量矩阵的所述局部特征进行特征融合，得到所述目标文 本的最终特征。

本公开实施例中，所述采用激活函数对特征融合后的所述第一文本 向量矩阵和所述第二文本向量矩阵进行分类处理，得到所述目标文本的 情感分析结果，包括：

将所述目标文本的所述最终特征输入全连接神经网络，并采用所述 激活函数计算文本情感概率，从而对所述目标文本进行情感分类处理。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的一种实施例中，通过上述文本情感分析方法，采用双路注 意力机制对向量化且训练后的第一文本向量矩阵和第二文本向量矩阵的 关键特征信息进行提取，并对其进行加强处理及特征处理，通过提取关 键特征信息及特征融合，实现对情感分类处理。相比传统的经典文本情 感分析方法及目前的主流分析方法，本公开实施例具有更为理想的文本 情感分析准确度。

附图说明

图1示出本公开示例性实施例文本情感分析方法的流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式 能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提 供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构 思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以 任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图 中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描 述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上 独立的实体相对应。

本示例实施方式中提供了一种文本情感分析方法。参考图1中所示， 该方法可以包括：

步骤S101：采用全局向量和单词转换向量分别对目标文本进行向量 化并加以训练，得到所述目标文本的第一文本向量矩阵和第二文本向量 矩阵，所述目标文本为待进行情感分析的文本；

步骤S102：采用双路注意力机制分别对所述第一文本向量矩阵和所 述第二文本向量矩阵中的关键特征信息进行提取，并对其进行加强处理 及特征融合；

步骤S103：采用激活函数对特征融合后的所述第一文本向量矩阵和 所述第一文本向量矩阵进行分类处理，得到所述目标文本的情感分析结 果。

通过上述实施例提供的文本情感分析方法，采用双路注意力机制对 向量化且训练后的第一文本向量矩阵和第二文本向量矩阵的关键特征信 息进行提取，并对其进行加强处理及特征处理，通过提取关键特征信息 及特征融合，实现对情感分类处理。相比传统的经典文本情感分析方法 及目前的主流分析方法，本公开实施例具有更为理想的文本情感分析准 确度。

下面，将参考图1对本示例实施方式中的上述方法的各个步骤进行 更详细的说明。

在步骤S101中，采用全局向量和单词转换向量分别对目标文本进行 向量化并加以训练，得到所述目标文本的第一文本向量矩阵和第二文本 向量矩阵，所述目标文本为待进行情感分析的文本；

具体的，由于文本是一种非结构化的数据，计算机无法直接对其进 行处理，因此，需要对目标文本进行向量化，并对其进行训练，得到目 标文本对应的第一文本向量矩阵，以便后续计算机的处理。全局向量和 单词转换向量分别为采用单词表示的两种词向量，通过此两种词向量对 作为待进行情感分析的文本的目标文本进行向量化，分别得到全局向量 向量化目标文本后的第一文本向量，并对第一文本向量加以训练，得到 第一文本向量矩阵，单词转换向量向量化目标文本后的第二文本向量， 并对第二文本向量进行加以训练，得到第二文本向量矩阵。其中，全局 向量用Global Vectors for WordRepresentation来表示，简写为GloVe；单 词转化向量用Word to Vector来表示，简写为Word2vec。

在步骤S102中，采用双路注意力机制分别对所述第一文本向量矩阵 和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进行加强 处理及特征融合；

具体的，采用双路注意力机制分别对第一文本向量矩阵和第二文本 向量矩阵中的关键特征信息进行提取，并对其进行加强处理及特征融合， 得到特征融合后的第一文本向量矩阵和第二文本向量矩阵。其中，注意 力用Attention来表示。

在步骤S103中，采用激活函数对特征融合后的所述第一文本向量矩 阵和所述第一文本向量矩阵进行分类处理，得到所述目标文本的情感分 析结果。具体的，特征融合后的第一文本向量矩阵和第二文本向量矩阵 经激活函数进行分类，得到目标文本的情感分析结果。其中，激活函数 用softmax来表示。

在一个实施例中，所述采用全局向量和单词转换向量分别对目标文 本进行向量化并加以训练，得到所述目标文本的第一文本向量矩阵和第 二文本向量矩阵，所述目标文本为待进行情感分析的文本，包括：

所述全局向量通过对所述目标文件进行构建共现矩阵，并对共现矩 阵加以训练，获得包含所述目标文件的全局信息的所述第一文本向量矩 阵。具体的，采用GloVe针对语料库的全局统计信息构建词共现矩阵， 再对共现矩阵加以训练获得包含全局信息的词向量，将训练得到的词向 量输入双向门控循环单元。双向门控循环单元用BidirectionalGated Recurrent Unit来表示，简写为BiGRU。

假设每个目标文本S固定长度为n，则每个目标文本可以表示为S＝{w₁， w₂，...，w_n}，长度超出n的部分信息加以舍弃，不足部分则采用<pad>进行 零填充。令x_i∈R^d表示词w_i通过GloVe训练得到的d维词向量，则整个目 标文本信息通过词嵌入可以表示为第一文本向量矩阵A＝{x₁，x₂，...，x_n}，将 第一文本向量矩阵A作为BiGRU的输入。

在一个实施例中，所述采用全局向量和单词转换向量分别对目标文 本进行向量化并加以训练，得到所述目标文本的第一文本向量矩阵和第 二文本向量矩阵，所述目标文本为待进行情感分析的文本，包括：

所述单词转换向量，基于所述目标文件的局部上下文窗口，对单词 转换向量加以训练，获得对应的所述第二文本向量矩阵。

具体的，与卷积神经网络(Convolution Neural Networks，CNN)采用卷 积核窗口提取特征类似，采用Word2vec基于局部上下文窗口针对词向量 加以训练，获得对应的第二文本向量矩阵B，并将其输入CNN。

令y_i∈R^k表示词w_i通过Word2vec训练得到的k维词向量，则整个目 标文本信息通过词嵌入可以表示为第二文本向量矩阵B＝{y₁，y₂，...，y_n}，将 第二文本向量矩阵B作为CNN的输入。

在一个实施例中，所述采用双路注意力机制分别对所述第一文本向 量矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进 行加强处理及特征融合，包括：

采用双向门控循环单元对所述第一文本向量矩阵进行提取全局特征 和上下文信息。

具体的，通过嵌入层GloVe训练得到第一文本向量矩阵A＝{x₁，x₂，...， x_n}。以词向量x_i为例，经过BiGRU模型的前向和后向GRU编码得到的隐 藏层表示分别包含了上文信息和下文信息，则词向量x_i经过BiGRU提取 到的包含上下文信息的全局特征h_i如下：

因此，整个第一文本向量矩阵A经过双向GRU提取到包含上下文语 义信息的全局特征矩阵H如下：

H＝[h₁，h₂，...，h_n] (2)

在一个实施例中，所述采用双路注意力机制分别对所述第一文本向量 矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进行 加强处理及特征融合，包括：

采用卷积神经网络对所述第二文本向量矩阵进行提取局部特征。

具体的，通过嵌入层Word2vec训练得到第二文本向量矩阵B＝{y₁，y₂，...， y_n}。使用卷积核在第二文本向量矩阵B自上向下滑动提取局部特征。对于 窗口大小为r的卷积核通过第j次卷积操作提取到的局部特征c_j的表达式 为：

c_j＝f(w·y_j：j+r-1+b) (3)

其中，f表示非线性激活函数ReLU；w表示卷积核中的参数；b表示 偏置项；y_j：j+r-1表示在第二文本向量矩阵B中的第j行至第j+r-1行，卷积 核一次读取的共计r行的词向量。卷积核在第二文本向量矩阵B中自上向 下滑动共可进行n-r+1次卷积操作，所提取获得的局部特征矩阵C表示为：

C＝[c₁，c₂，...，c_n-r+1] (4)

在一个实施例中，所述采用双路注意力机制分别对所述第一文本向量 矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进行 加强处理及特征融合，还包括：

分别对所述第一文本向量矩阵提取的所述全局特征、所述第二文本 向量矩阵提取的所述局部特征进行加强处理。

具体的，采用注意力Attention机制对第一文本向量矩阵提取的全局 特征、第二文本向量矩阵提取的所述局部特征进行加强处理。

在一个实施例中，所述分别对所述第一文本向量矩阵提取的所述全局 特征、所述第二文本向量矩阵提取的所述局部特征进行加强处理，包括：

根据所述全局特征和所述局部特征的重要程度差异，分别对所述全 局特征和所述局部特征进行分配不同的第一注意力权重和第二注意力权 重。

具体的，按照重要程度的差异对全局特征h_i和局部特征c_j分配不同的 注意力Attention权重，分配的第一注意力权重

和第二注意力权重

分别 如下：

其中，w^h表示第一权重参数矩阵，w^c表示第二权重参数矩阵，bⁿ表 示第一偏置项，b^c表示第二偏置项，tanh表示非线性激活函数，v_i表示经 过激活函数激活后文本的第一权重向量，v_j表示经过激活函数激活后文本 的第二权重向量。

在一个实施例中，所述对所述第一文本向量矩阵提取的所述全局特 征、所述第二文本向量矩阵提取的所述局部特征进行加强处理，包括：

对所述第一注意力权重、第二注意力权重进行归一化处理，分别得 到所述第一文本向量矩阵的全局特征和所述第二文本向量矩阵的局部特 征的第一注意力分数、第二注意力分数；

基于所述第一注意力分数和所述第二注意力分数，根据所述目标文 本中每个词的不同重要程度，对提取到的所述全局特征和所述局部特征 计算加权和，得到加强关键特征信息后的所述第一文本向量矩阵的所述 全局特征和所述第二文本向量矩阵的所述局部特征。

具体的，对第一注意力权重、第二注意力权重进行归一化处理，得 到第一文本向量矩阵的全局特征和第二文本向量矩阵的局部特征的第一 注意力分数a_i、第二注意力分数a_j分别如下：

在一个实施例中，所述基于所述第一注意力分数和所述第二注意力 分数，根据所述目标文本中每个词的不同重要程度，对提取到的所述全 局特征和所述局部特征计算加权和，得到加强关键特征信息后的所述第 一文本向量矩阵的所述全局特征和所述第二文本向量矩阵的所述局部特 征的步骤之后，还包括：

对加强关键特征信息后的所述第一文本向量矩阵的所述全局特征和 所述第二文本向量矩阵的所述局部特征进行特征融合，得到所述目标文 本的最终特征。

具体的，得到的加强关键特征信息后的第一文本向量矩阵的全局特 征z^h和第二文本向量矩阵的局部特征z^c’分别如下：

得到的目标文本的最终特征如下：

t＝[z^h，z^c] (11)

其中，t表示目标文本的最终特征。

在一个实施例中，所述采用激活函数对特征融合后的所述第一文本 向量矩阵和所述第二文本向量矩阵进行分类处理，得到所述目标文本的 情感分析结果，包括：

将所述目标文本的所述最终特征输入全连接神经网络，并采用所述 激活函数计算文本情感概率，从而对所述目标文本进行情感分类处理。

具体的，情感概率如下：

p＝soft max(Wt+b) (12)

其中，W表示权重矩阵，b表示偏置项，p表示最终得到的情感概率， 情感概率即为目标文本的情感分析结果，从而确定整个目标文本的情感极 性，实现对目标文本的分类。

通过上述实施例提供的文本情感分析方法，采用双路注意力机制对 向量化且训练后的第一文本向量矩阵和第二文本向量矩阵的关键特征信 息进行提取，并对其进行加强处理及特征处理，通过提取关键特征信息 及特征融合，实现对情感分类处理。相比传统的经典文本情感分析方法 及目前的主流分析方法，本公开实施例具有更为理想的文本情感分析准 确度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体 特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在 本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示 例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多 个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想 到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或 者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原 理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说 明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权 利要求指出。

Claims (10)

1.一种文本情感分析方法，其特征在于，该方法包括：

采用全局向量和单词转换向量分别对目标文本进行向量化并加以训练，得到所述目标文本的第一文本向量矩阵和第二文本向量矩阵，所述目标文本为待进行情感分析的文本；

采用双路注意力机制分别对所述第一文本向量矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进行加强处理及特征融合；

采用激活函数对特征融合后的所述第一文本向量矩阵和所述第一文本向量矩阵进行分类处理，得到所述目标文本的情感分析结果。

2.根据权利要求1所述文本情感分析方法，其特征在于，所述采用全局向量和单词转换向量分别对目标文本进行向量化并加以训练，得到所述目标文本的第一文本向量矩阵和第二文本向量矩阵，所述目标文本为待进行情感分析的文本，包括：

所述全局向量通过对所述目标文件进行构建共现矩阵，并对共现矩阵加以训练，获得包含所述目标文件的全局信息的所述第一文本向量矩阵。

3.根据权利要求1所述文本情感分析方法，其特征在于，所述采用全局向量和单词转换向量分别对目标文本进行向量化并加以训练，得到所述目标文本的第一文本向量矩阵和第二文本向量矩阵，所述目标文本为待进行情感分析的文本，包括：

所述单词转换向量，基于所述目标文件的局部上下文窗口，对单词转换向量加以训练，获得对应的所述第二文本向量矩阵。

4.根据权利要求1所述文本情感分析方法，其特征在于，所述采用双路注意力机制分别对所述第一文本向量矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进行加强处理及特征融合，包括：

采用双向门控循环单元对所述第一文本向量矩阵进行提取全局特征和上下文信息。

5.根据权利要求4所述文本情感分析方法，其特征在于，所述采用双路注意力机制分别对所述第一文本向量矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进行加强处理及特征融合，包括：

采用卷积神经网络对所述第二文本向量矩阵进行提取局部特征。

6.根据权利要求5所述文本情感分析方法，其特征在于，所述采用双路注意力机制分别对所述第一文本向量矩阵和所述第二文本向量矩阵中的关键特征信息进行提取，并对其进行加强处理及特征融合，还包括：

分别对所述第一文本向量矩阵提取的所述全局特征、所述第二文本向量矩阵提取的所述局部特征进行加强处理。

7.根据权利要求6所述文本情感分析方法，其特征在于，所述分别对所述第一文本向量矩阵提取的所述全局特征、所述第二文本向量矩阵提取的所述局部特征进行加强处理，包括：

根据所述全局特征和所述局部特征的重要程度差异，分别对所述全局特征和所述局部特征进行分配不同的第一注意力权重和第二注意力权重。

8.根据权利要求6所述文本情感分析方法，其特征在于，所述对所述第一文本向量矩阵提取的所述全局特征、所述第二文本向量矩阵提取的所述局部特征进行加强处理，包括：

对所述第一注意力权重、第二注意力权重进行归一化处理，分别得到所述第一文本向量矩阵的全局特征和所述第二文本向量矩阵的局部特征的第一注意力分数、第二注意力分数；

基于所述第一注意力分数和所述第二注意力分数，根据所述目标文本中每个词的不同重要程度，对提取到的所述全局特征和所述局部特征计算加权和，得到加强关键特征信息后的所述第一文本向量矩阵的所述全局特征和所述第二文本向量矩阵的所述局部特征。

9.根据权利要求8所述文本情感分析方法，其特征在于，所述基于所述第一注意力分数和所述第二注意力分数，根据所述目标文本中每个词的不同重要程度，对提取到的所述全局特征和所述局部特征计算加权和，得到加强关键特征信息后的所述第一文本向量矩阵的所述全局特征和所述第二文本向量矩阵的所述局部特征的步骤之后，还包括：

对加强关键特征信息后的所述第一文本向量矩阵的所述全局特征和所述第二文本向量矩阵的所述局部特征进行特征融合，得到所述目标文本的最终特征。

10.根据权利要求9所述文本情感分析方法，其特征在于，所述采用激活函数对特征融合后的所述第一文本向量矩阵和所述第二文本向量矩阵进行分类处理，得到所述目标文本的情感分析结果，包括：

将所述目标文本的所述最终特征输入全连接神经网络，并采用所述激活函数计算文本情感概率，从而对所述目标文本进行情感分类处理。

Images