CN114297390A - 一种长尾分布场景下的方面类别识别方法及*** - Google Patents

Abstract

本发明公开了一种长尾分布场景下的方面类别识别方法及***，属于自然语言处理技术领域。本发明的方法基于一种在长尾分布场景下的的方面类别识别***，该***聚焦数据长尾分布特点，首先得到句子细粒度方面特征向量，提供额外的上下文方面级语义信息；然后加入一种基于长尾分布的融合上下文方面级语义信息的注意力机制，加强模型捕捉与方面类别最相关的信息的能力，同时提出一种改进的分布平衡损失函数缓解长尾多标签文本分类任务中的标签共现以及负类优势的问题，有效地提升了具有长尾分布特点的方面类别识别效果。

Description

一种长尾分布场景下的方面类别识别方法及***

技术领域

本发明涉及一种长尾分布场景下的方面类别识别方法及***，属于自然语言处理技术领域。

背景技术

方面类别识别(Aspect Category Detection,ACD)作为方面级情感分析重要的子任务之一，旨在从一组预先定义的方面类别中检测出句子中包含的方面类别。方面类别识别是整个方面级情感分析的基础任务。情感分析在生活的各个领域有着广泛的应用，例如针对用户在社交媒体、餐厅评价、网上购物等表达的对于各种话题的看法的情感分析，可以帮助用户有更好的消费体验，同时可以帮助商家了解市场需求。

然而在实际研究中，方面类别分布往往呈现不平衡甚至是长尾分布的特点，使得模型无法充分提取尾部方面类别的特征，这为方面类别识别任务带来极大的挑战。

一些现有的工作利用经典机器学习模型或深度学习模型的解决这个问题。例如，Ghadery,E等人(Ghadery,E.,et al.,MNCN:A Multilingual Ngram-Based ConvolutionalNetwork for Aspect Category Detection in Online Reviews.2019.33:p.6441-6448.)以多语言词嵌入作为网络的输入，使用深度卷积神经网络提取特征，然后使用不同的全连接层分别学习和识别不同的方面类别。Hu,M等人(Hu,M.,et al.,CAN:ConstrainedAttention Networks for Multi-Aspect Sentiment Analysis.2018.)引入稀疏正则化和正交正则化来计算多个方面的注意力权重。这使得多个方面的注意力权重集中在不同部分的同时，每个方面的注意力权重只集中在几个词上。Movahedi,S.等人(Movahedi,S.,etal.,Aspect Category Detection via Topic-Attention Network.2019.)提出了一个主题注意网络模型，该模型可以通过关注句子的不同部分来检测给定句子的方面类别。Li,Y.等人(Li,Y.,et al.Multi-Instance Multi-Label Learning Networks for Aspect-Category Sentiment Analysis.in Proceedings of the 2020 Conference onEmpirical Methods in Natural Language Processing(EMNLP).2020.)提出一种多实例多标签学习的方面情感分析的联合模型，其中基于注意力的ACD为不同的方面类别产生有效的注意力权重。

然而，采集自实际场景中的数据分布往往是不平衡的，甚至是呈现长尾分布的特点，即少数的类别(也称为头部类)占据了大部分数据，而大多数的类别(也称为尾部类)样本很少。而上述的现有方法均忽略了在训练模型时这样的样本数量差距。不同类别的训练样本数目差距过大会使模型对于样本数有限的方面类别的识别无法取得很好的效果。方面类别不均衡，甚至造成的长尾分布会对学习过程产生影响，导致识别效果差。

发明内容

为了解决目前存在的长尾分布导致的，不同类别的训练样本数目差距过大会使模型对于样本数有限的方面类别的识别无法取得很好的效果问题，本发明提供了一种长尾分布场景下的方面类别识别方法及***。

本发明第一个目的在于提供一种长尾分布场景下的方面类别识别方法，其特征在于，所述方法对数据集

中的N个句子进行方面类别的识别，其中，S_l＝{w₁,w₂,...,w_n}为所述数据集D中的第l个句子，由n个词组成，w_n表示所述第l个句子S_l中第n个词；

是所述第l个句子S_l对应的方面类别标签；

所述方法包括：

步骤1：预先定义m个方面类别，用A＝{a₁,a₂,…,a_m}表示，其中a_m为描述第m个方面的单词或词组，

步骤2：构建词嵌入矩阵E₁∈R^|V|×d，每个词w_i通过所述词嵌入矩阵E₁中映射为

其中|V|为所述数据集D中所有词的大小，d是词向量的维度；

同时构建方面类别嵌入矩阵E₂∈R^m×d，每个词a_i通过所述方面类别嵌入矩阵E₂中映射为

分别得到文本嵌入向量

和方面嵌入向量

步骤3：将所述文本嵌入向量

与所述方面嵌入向量

输入到长短时记忆网络LSTM中，得到该句子的网络输出隐藏状态

和

步骤4：将所述隐藏状态H_w和H_a输入到IAN-LoT机制中，得到融合长尾分布特点的总的方面向量表示s；

步骤5：将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制；

将所述总的方面向量s与

作为输入，计算融合向量

如公式(1)所示：

其中，W∈R^n×1是每个单词与方面融合的可学习权重参数，

代表融合上下文方面级语义信息的向量，将

输入到所述注意力机制，为每个预定义的方面类别生成注意权重向量；如公式(2)所示，对于第j个方面类别：

其中W_j∈R^d×d,b_j∈R^d以及u_j∈R^d为可学习参数，β∈R^1×m，代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，α_j∈Rⁿ是注意力权重向量；

步骤6：使用向量

作为预测的句子表示，如公式(3)所示，对于第j个方面类别：

其中，W_j∈R^d×1，b_j为一个标量，

为第j个方面类别的预测结果，当大于分类阈值时，认为句子包含第j个方面类别。

可选的，所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括：

步骤41：对于输入的隐藏状态H_w和H_a计算交互注意力权重矩阵I∈R^n×m，如公式(4)所示：

步骤42：对所述交互注意力权重矩阵的每一行进行softmax计算，如公式(5)所示：

其中，k_ij为矩阵k∈R^n×m的第i行第j列元素，k表示文本对方面的注意力权重，I_ij为矩阵I中第i行第j列的元素；

步骤43：然后对于矩阵k引入数据长尾分布特点，如公式(6)所示：

其中，

为引入长尾分布的文本对于每个方面的权重信息，β∈R^1×m代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，m为方面类别的个数；

步骤44：对于

进行最大池化，得到融入长尾分布特点的细粒度的文本对于方面的权重信息I_L，进而将此权重信息与方面类别的嵌入向量表示

相乘，得到最终的总的方面向量表示s，如公式(7)所示：

其中，s∈R^1×d。

可选的，所述方法采用改进的A-DB损失函数训练识别模型，所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数，具体包括：

首先，在不考虑标签共现的情况下，

表示数据集中包含第j个方面类别的样例数；针对第j个方面类别的采样频率期望值为

然后按该实例包含的每个正类重复采样估算出样本采样频率P^I，如公式(8)所示：

其中，

当

时表示第l个句子包含第j个方面类别a_j，

时则不包含；

重平衡权重

计算如公式(9)所示：

其中，γ为协调权重超参数；

所述平滑函数将

映射的公式为：

为了避免负标签的优势导致的少数类过度抑制，引入负类抑制超参数λ以及特定的偏置τ_j，如公式(11)所示：

其中ρ_j为第j个类别与总样本数量之比，η为比例超参数；

所述A-DB损失函数如公式(12)所示：

其中，

为网络输出的概率值。

可选的，所述分类阈值为0.5。

本发明的第二个目的在于提供一种长尾分布场景下的方面类别识别***，其特征在于，所述***包括：输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块；

所述输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块依次连接；

所述输入模块用于输入预先定义的方面类别组合和待识别的文本；所述文本方面嵌入模块用于构建词嵌入矩阵和方面类别嵌入矩阵，并将输入的预先定义的方面类别组合和待识别的文本映射到文本嵌入向量和方面嵌入向量；所述LSTM模块用于输出所述文本嵌入向量和方面嵌入向量的隐藏状态；所述IAN-LOT模块用于根据所述隐藏状态得到融合长尾分布特点的总的方面向量；所述融合模块用于融合上下文方面级语义信息，并生成融合向量；所述注意力机制模块根据所述融合向量为每个预定义的方面类别生成注意权重向量；所述预测模块用于根据所述注意权重向量完成方面类别识别的分类和预测。

可选的，所述***对数据集

中的N个句子进行方面类别的识别的工作过程包括：

其中，S_l＝{w₁,w₂,…,w_n}为所述数据集D中的第l个句子，由n个词组成，w_i表示所述第l个句子S_l中第i个词；

是所述第l个句子S_l对应的方面类别标签；

步骤1：预先定义m个方面类别，用A＝{a₁,a₂,…,a_m}表示，其中a_m为描述第m个方面的单词或词组，

步骤2：构建词嵌入矩阵E₁∈R^|V|×d，每个词w_i通过所述词嵌入矩阵E₁中映射为

其中|V|为所述数据集D中所有词的大小，d是词向量的维度；

同时构建方面类别嵌入矩阵E₂∈R^m×d，每个词a_i通过所述方面类别嵌入矩阵E₂中映射为

分别得到文本嵌入向量

和方面嵌入向量

步骤3：将所述文本嵌入向量

与所述方面嵌入向量

输入到长短时记忆网络LSTM中，得到该句子的网络输出隐藏状态

和

步骤4：将所述隐藏状态H_w和H_a输入到IAN-LoT机制中，得到融合长尾分布特点的总的方面向量表示s；

步骤5：将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制；

将所述总的方面向量s与

作为输入，计算融合向量

如公式(1)所示：

其中，W∈R^n×1是每个单词与方面融合的可学习权重参数，

代表融合上下文方面级语义信息的向量，将

输入到所述注意力机制，为每个预定义的方面类别生成注意权重向量；如公式(2)所示，对于第j个方面类别：

其中W_j∈R^d×d,b_j∈R^d以及u_j∈R^d为可学习参数，β∈R^1×m，代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，α_j∈Rⁿ是注意力权重向量；

步骤6：使用向量

作为预测的句子表示，如公式(3)所示，对于第j个方面类别：

其中，W_j∈R^d×1，b_j为一个标量，

为第j个方面类别的预测结果，当大于分类阈值时，认为句子包含第j个方面类别。

可选的，所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括：

步骤41：对于输入的隐藏状态H_w和H_a计算交互注意力权重矩阵I∈R^n×m，如公式(4)所示：

步骤42：对所述交互注意力权重矩阵的每一行进行softmax计算，如公式(5)所示：

其中，k_ij为矩阵k∈R^n×m的第i行第j列元素，k表示文本对方面的注意力权重，I_ij为矩阵I中第i行第j列的元素；

步骤43：然后对于矩阵k引入数据长尾分布特点，如公式(6)所示：

其中，

为引入长尾分布的文本对于每个方面的权重信息，β∈R^1×m代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，m为方面类别的个数；

步骤44：对于

进行最大池化，得到融入长尾分布特点的细粒度的文本对于方面的权重信息I_L，进而将此权重信息与方面类别的嵌入向量表示

相乘，得到最终的总的方面向量表示s，如公式(7)所示：

其中，s∈R^1×d。

可选的，所述***采用改进的A-DB损失函数训练识别模型，所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数，具体包括：

首先，在不考虑标签共现的情况下，

表示数据集中包含第j个方面类别的样例数；针对第j个方面类别的采样频率期望值为

然后按该实例包含的每个正类重复采样估算出样本采样频率P^I，如公式(8)所示：

其中，

当

时表示第l个句子包含第j个方面类别a_j，

时则不包含；

重平衡权重

计算如公式(9)所示：

其中，γ为协调权重超参数；

所述平滑函数将

映射的公式为：

为了避免负标签的优势导致的少数类过度抑制，引入负类抑制超参数λ以及特定的偏置τ_j，如公式(11)所示：

其中ρ_j为第j个类别与总样本数量之比，η为比例超参数；

所述A-DB损失函数如公式(12)所示：

其中，

为网络输出的概率值。

本发明有益效果是：

本发明针对呈长尾分布数据特点的方面类别识别问题，将方面类别识别建模为多标签分类问题，提出一种基于长尾分布的融合方面向量的方面类别识别模型；

1)通过引入一种适用于多标签长尾分布问题的A-DB损失函数来训练识别模型，能有效适用于具有长尾分布特点的数据，提升具有长尾分布特点的方面类别识别效果；

2)引入具有数据长尾分布特点的交互注意力模块，即IAN-LoT机制，该机制引入数据长尾分布特点，能够得到句子细粒度方面特征向量，提供额外的上下文方面级语义信息，可以有效地提升尾部类别的识别效果；

3)在得到细粒度方面特征向量后，本发明还提出一种融合上下文方面级语义信息的注意力机制，将方面向量与上下文信息融合并可以关注方面相关正确信息，加强模型捕捉与方面类别最相关的信息的能力，在长尾分布的方面类别识别任务上更具有效性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的模型结构图。

图2是本发明的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一：

本实施例提供一种长尾分布场景下的方面类别识别方法，所述方法对数据集

中的N个句子进行方面类别的识别，其中，S_l＝{w₁,w₂,…,w_n}为所述数据集D中的第l个句子，由n个词组成，w_n表示所述第l个句子S_l中第n个词；

是所述第l个句子S_l对应的方面类别标签；

所述方法包括：

步骤1：预先定义m个方面类别，用A＝{a₁,a₂,…,a_m}表示，其中a_m为描述第m个方面的单词或词组，

步骤2：构建词嵌入矩阵E₁∈R^|V|×d，每个词w_i通过所述词嵌入矩阵E₁中映射为

其中|V|为所述数据集D中所有词的大小，d是词向量的维度；

同时构建方面类别嵌入矩阵E₂∈R^m×d，每个词a_i通过所述方面类别嵌入矩阵E₂中映射为

分别得到文本嵌入向量

和方面嵌入向量

步骤3：将所述文本嵌入向量

与所述方面嵌入向量

输入到长短时记忆网络LSTM中，得到该句子的网络输出隐藏状态

和

步骤4：将所述隐藏状态H_w和H_a输入到IAN-LoT机制中，得到融合长尾分布特点的总的方面向量表示s；

步骤5：将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制；

将所述总的方面向量s与

作为输入，计算融合向量

如公式(1)所示：

其中，W∈R^n×1是每个单词与方面融合的可学习权重参数，

代表融合上下文方面级语义信息的向量，将

输入到所述注意力机制，为每个预定义的方面类别生成注意权重向量；如公式(2)所示，对于第j个方面类别：

其中W_j∈R^d×d,b_j∈R^d以及u_j∈R^d为可学习参数，β∈R^1×m，代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，α_j∈Rⁿ是注意力权重向量；

步骤6：使用向量

作为预测的句子表示，如公式(3)所示，对于第j个方面类别：

其中，W_j∈R^d×1，b_j为一个标量，

为第j个方面类别的预测结果，当大于分类阈值时，认为句子包含第j个方面类别。

实施例二：

本实施例提供一种长尾分布场景下的方面类别识别方法，本实施例的方法引入具有数据长尾分布特点的交互注意力模块，即IAN-LoT机制，能够得到句子细粒度方面特征向量，提供额外的上下文方面级语义信息。在得到细粒度方面特征向量后，该模型还加入一种基于长尾分布的融合上下文方面级语义信息的注意力机制，加强模型捕捉与方面类别最相关的信息的能力，并通过使用一种改进的适用于长尾分布的多标签分类损失函数进行训练。

本实施例对数据集

中的N个句子进行方面类别的识别，其中，S_l＝{w₁,w₂,…,w_n}为所述数据集D中的第l个句子，由n个词组成，w_n表示所述第l个句子S_l中第n个词；

是所述第l个句子S_l对应的方面类别标签；

所述方法包括：

步骤1：预先定义m个方面类别，用A＝{a₁,a₂,…,a_m}表示，其中a_m为描述第m个方面的单词或词组，

步骤2：构建词嵌入矩阵E₁∈R^|V|×d，每个词w_i通过所述词嵌入矩阵E₁中映射为

其中|V|为所述数据集D中所有词的大小，d是词向量的维度；

同时构建方面类别嵌入矩阵E₂∈R^m×d，每个词a_i通过所述方面类别嵌入矩阵E₂中映射为

分别得到文本嵌入向量

和方面嵌入向量

步骤3：将所述文本嵌入向量

与所述方面嵌入向量

输入到长短时记忆网络LSTM中，得到该句子的网络输出隐藏状态

和

步骤4：将所述隐藏状态H_w和H_a输入到IAN-LoT机制中，得到融合长尾分布特点的总的方面向量表示s；

步骤41：对于输入的隐藏状态H_w和H_a计算交互注意力权重矩阵I∈R^n×m，如公式(1)所示：

步骤42：对所述交互注意力权重矩阵的每一行进行softmax计算，如公式(2)所示：

其中，k_ij为矩阵k∈R^n×m的第i行第j列元素，k表示文本对方面的注意力权重，I_ij为矩阵I中第i行第j列的元素；

步骤43：然后对于矩阵k引入数据长尾分布特点，如公式(3)所示：

其中，

为引入长尾分布的文本对于每个方面的权重信息，β∈R^1×m代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，m为方面类别的个数；

步骤44：对于

进行最大池化，得到融入长尾分布特点的细粒度的文本对于方面的权重信息I_L，进而将此权重信息与方面类别的嵌入向量表示

相乘，得到最终的总的方面向量表示s，如公式(4)所示：

其中，s∈R^1×d。

步骤5：将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制；

将所述总的方面向量s与

作为输入，计算融合向量

如公式(5)所示：

其中，W∈R^n×1是每个单词与方面融合的可学习权重参数，

代表融合上下文方面级语义信息的向量，将

输入到所述注意力机制，为每个预定义的方面类别生成注意权重向量；如公式(6)所示，对于第j个方面类别：

其中W_j∈R^d×d,b_j∈R^d以及u_j∈R^d为可学习参数，β∈R^1×m，代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，α_j∈Rⁿ是注意力权重向量；

步骤6：使用向量

作为预测的句子表示，如公式(7)所示，对于第j个方面类别：

其中，W_j∈R^d×1，b_j为一个标量，

为第j个方面类别的预测结果，当大于分类阈值0.5时，认为句子包含第j个方面类别。

本实施例的方法采用改进的A-DB损失函数训练识别模型，所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数，具体包括：

首先，在不考虑标签共现的情况下，

表示数据集中包含第j个方面类别的样例数；针对第j个方面类别的采样频率期望值为

然后按该实例包含的每个正类重复采样估算出样本采样频率P^I，如公式(8)所示：

其中，

当

时表示第l个句子包含第j个方面类别a_j，

时则不包含；

重平衡权重

计算如公式(9)所示：

其中，γ为协调权重超参数；

所述平滑函数将

映射的公式为：

为了避免负标签的优势导致的少数类过度抑制，引入负类抑制超参数λ以及特定的偏置τ_j，如公式(11)所示：

其中ρ_j为第j个类别与总样本数量之比，η为比例超参数；

所述A-DB损失函数如公式(12)所示：

其中，

为网络输出的概率值。

实施例三：

本实施例提供一种长尾分布场景下的方面类别识别***，所述***包括：输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块；

所述输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块依次连接；

所述输入模块用于输入预先定义的方面类别组合和待识别的文本；所述文本方面嵌入模块用于构建词嵌入矩阵和方面类别嵌入矩阵，并将输入的预先定义的方面类别组合和待识别的文本映射到文本嵌入向量和方面嵌入向量；所述LSTM模块用于输出所述文本嵌入向量和方面嵌入向量的隐藏状态；所述IAN-LOT模块用于根据所述隐藏状态得到融合长尾分布特点的总的方面向量；所述融合模块用于融合上下文方面级语义信息，并生成融合向量；所述注意力机制模块根据所述融合向量为每个预定义的方面类别生成注意权重向量；所述预测模块用于根据所述注意权重向量完成方面类别识别的分类和预测。

例如一条餐厅评论中“When we sat down,the waiter barely looked in ourdirection and abruptly shoved our menus on the table.”我们将这个句子以及预定义好的一组方面类别：food、staff、miscellaneous、place、service、menu、price、ambience输入到图1所示的模型中，用我们的模型最终可以预测出一组结果，其中1为这句话包含对应方面类别，0则为不包含，如表1所示：

Category	food	staff	miscellaneous	place	service	menu	price	ambience
									label	0	1	0	0	0	1	0	0

为了进一步说明本发明能够达到的有益效果，进行如下实验：

本发明使用6个基线方法作为对比：

(1)方面类别识别模型：

TextCNN[34]：利用卷积神经网络对文本分类的方法，是较为基础的模型；

LSTM[24]：使用一个LSTM网络进行训练，最后一个隐藏状态作为最终形式进行分类；

SVR[35]：将一个句子的词向量组合成一个向量作为输入，用机器学习分类器进行分类的方法；

SCAN[36]：一种基于句子成分感知网络的方面类别情感分析方法。

(2)ACD任务和ACSA任务联合训练模型：

AS-Capsules[37]：通过共享组件来利用方面类别和情感之间的相关性进行方面类别情感分析的方法；

AC-MIMLLN[6]：提出一种多实例多标签学习的方面情感分析的联合模型，其中基于注意力的ACD为不同的方面类别产生有效的注意力权重。我们对于此类模型使用其ACD的预测结果进行比较。

表2为本发明的方法以及其他对比方法在MAMS-LT和SemEval2014-LT数据集上ACD任务的Macro F1实验结果对比。

表2数据对比结果

为了更好的研究对长尾分布问题，本发明参考(Wu,T.,et al.,Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets.2020:Computer Vision–ECCV 2020.)创建满足长尾分布的多标签图像数据集的方法，将现有的SemEval-2014任务4(Pontiki,M.,et al.,SemEval-2014 Task 4:Aspect BasedSentiment Analysis.2014.)和MAMS数据集(Jiang,Q.,et al.A Challenge Dataset andEffective Models for Aspect-Based Sentiment Analysis.in Proceedings of the2019 Conference on Empirical Methods in Natural Language Processing and the9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP).2019.)创建成更加符合长尾分布的情感分析数据集，分别命名为SemEval2014-LT和MAMS-LT。表1给出了基线方法以及本发明方法在MAMS-LT数据集和SemEval2014-LT数据集的Macro F1得分，得分越高，分类效果越好。

根据实验结果，我们可以得出以下结论：

首先，本发明的方法在MAMS-LT数据集和SemEval2014-LT数据集上优于所有基线方法，表明本发明的方法在具有长尾分布特点的数据集上具有更好的方面类别检测能力。

其次，相比于得分最好的基线方法AS-Capsules，本发明的方法在两个数据集上分别高了2.28％和1.92％，表明在MAMS-LT数据集上，本发明方法的Macro F1得分具有明显优势，这证明了本发明的方法对于包含多个方面的句子进行方面类别检测具有更好的效果。

第三，本发明的方法在SemEval2014-LT数据集的效果没有MAMS-LT数据集好的原因可能是前者的数据集句子有多数只包含一个方面类别，这可能使我们针对标签共现问题所设计的重平衡权重的效果减弱，但可以看出在每个句子包含两个方面及以上的MAMS-LT数据集上效果提升明显。

表3为在SemEval2014-LT数据集中，AS-Capsules和本发明的方法对于每个方面的Macro F1得分实验结果。

表3 SemEval2014-LT数据集上AS-Capsules与本发明方法的结果对比

本发明构建的SemEval2014-LT数据集分别包含头部类、中部类和尾部类的1、2和2个类。结果显示：

首先，对于尾部类，比如price和ambience，Macro F1得分分别高5.99％和7.88％，这表明本发明的方法对于尾部类的方面类别的检测效果有明显提高。其中，对于尾部类“price”的预测结果甚至优于头部类“food”，而对于AS-Capsules对于尾部类“price”的预测要比头部类“food”的预测降低了9.83％。因此，这也从实验的角度证明本发明提出的长尾分布工作的有效性。

其次，对于头部类“food”，本发明的方法低于对比方法AS-Capsules，可能的原因有两点，其一是本发明的模型更多在于对尾部类的处理，在细粒度的方面融合时为尾部类分配了更多的权重，因此在使用注意力机制时关注更多的尾部类的信息；其二是重平衡权重的使用：在改进的损失函数中，本发明降低了头部类的权重，头部类的数量占比越大，则抑制效果越明显，因此头部类的预测效果可能因此有一定的减弱。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种长尾分布场景下的方面类别识别方法，其特征在于，所述方法对数据集

中的N个句子进行方面类别的识别，其中，S_l＝{w₁,w₂,…,w_n}为所述数据集D中的第l个句子，由n个词组成，w_n表示所述第l个句子S_l中第n个词；

是所述第l个句子S_l对应的方面类别标签；

所述方法包括：

步骤1：预先定义m个方面类别，用A＝{a₁,a₂,…,a_m}表示，其中a_m为描述第m个方面的单词或词组，

步骤2：构建词嵌入矩阵E₁∈R^|V|×d，每个词w_i通过所述词嵌入矩阵E₁中映射为

其中|V|为所述数据集D中所有词的大小，d是词向量的维度；

同时构建方面类别嵌入矩阵E₂∈R^m×d，每个词a_i通过所述方面类别嵌入矩阵E₂中映射为

分别得到文本嵌入向量

和方面嵌入向量

步骤3：将所述文本嵌入向量

与所述方面嵌入向量

输入到长短时记忆网络LSTM中，得到该句子的网络输出隐藏状态

和

步骤4：将所述隐藏状态H_w和H_a输入到IAN-LoT机制中，得到融合长尾分布特点的总的方面向量表示s；

步骤5：将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制，计算融合向量

步骤6：使用所述融合向量向量

作为预测的句子表示，如公式(1)所示，对于第j个方面类别：

其中，W_j∈R^d×1，b_j为一个标量，

为第j个方面类别的预测结果，当大于分类阈值时，认为句子包含第j个方面类别。

2.根据权利要求1所述的方法，其特征在于，所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括：

步骤41：对于输入的隐藏状态H_w和H_a计算交互注意力权重矩阵I∈R^n×m，如公式(2)所示：

步骤42：对所述交互注意力权重矩阵的每一行进行softmax计算，如公式(3)所示：

其中，k_ij为矩阵k∈R^n×m的第i行第j列元素，k表示文本对方面的注意力权重，I_ij为矩阵I中第i行第j列的元素；

步骤43：然后对于矩阵k引入数据长尾分布特点，如公式(4)所示：

其中，

为引入长尾分布的文本对于每个方面的权重信息，β∈R^1×m代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，m为方面类别的个数；

步骤44：对于

进行最大池化，得到融入长尾分布特点的细粒度的文本对于方面的权重信息I_L，进而将此权重信息与方面类别的嵌入向量表示

相乘，得到最终的总的方面向量表示s，如公式(5)所示：

其中，s∈R^1×d。

3.根据权利要求2所述的方法，其特征在于，所述融合上下文方面级语义信息的融合向量

的计算过程包括：

将所述总的方面向量s与

作为输入，计算融合向量

如公式(6)所示：

其中，W∈R^n×1是每个单词与方面融合的可学习权重参数，

代表融合上下文方面级语义信息的向量，将

输入到所述注意力机制，为每个预定义的方面类别生成注意权重向量；如公式(7)所示，对于第j个方面类别：

其中W_j∈R^d×d,b_j∈R^d以及u_j∈R^d为可学习参数，β∈R^1×m，代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，α_j∈Rⁿ是注意力权重向量。

4.根据权利要求3所述的方法，其特征在于，所述方法采用改进的A-DB损失函数训练识别模型，所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数，具体包括：

首先，在不考虑标签共现的情况下，

表示数据集中包含第j个方面类别的样例数；针对第j个方面类别的采样频率期望值为

然后按该实例包含的每个正类重复采样估算出样本采样频率P^I，如公式(8)所示：

其中，

当

时表示第l个句子包含第j个方面类别a_j，

时则不包含；

重平衡权重

计算如公式(9)所示：

其中，γ为协调权重超参数；

所述平滑函数将

映射的公式为：

为了避免负标签的优势导致的少数类过度抑制，引入负类抑制超参数λ以及特定的偏置τ_j，如公式(11)所示：

其中ρ_j为第j个类别与总样本数量之比，η为比例超参数；

所述A-DB损失函数如公式(12)所示：

其中，

为网络输出的概率值。

5.根据权利要求1所述的方法，其特征在于，所述分类阈值为0.5。

6.一种长尾分布场景下的方面类别识别***，其特征在于，所述***包括：输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块；

所述输入模块、文本方面嵌入模块、LSTM模块、IAN-LOT模块、融合模块、注意力机制模块和预测模块依次连接；

所述输入模块用于输入预先定义的方面类别组合和待识别的文本；所述文本方面嵌入模块用于构建词嵌入矩阵和方面类别嵌入矩阵，并将输入的预先定义的方面类别组合和待识别的文本映射到文本嵌入向量和方面嵌入向量；所述LSTM模块用于输出所述文本嵌入向量和方面嵌入向量的隐藏状态；所述IAN-LOT模块用于根据所述隐藏状态得到融合长尾分布特点的总的方面向量；所述融合模块用于融合上下文方面级语义信息，并生成融合向量；所述注意力机制模块根据所述融合向量为每个预定义的方面类别生成注意权重向量；所述预测模块用于根据所述注意权重向量完成方面类别识别的分类和预测。

7.根据权利要求6所述的***，其特征在于，所述***对数据集

中的N个句子进行方面类别的识别的工作过程包括：

其中，S_l＝{w₁,w₂,…,w_n}为所述数据集D中的第l个句子，由n个词组成，w_i表示所述第l个句子S_l中第i个词；

是所述第l个句子S_l对应的方面类别标签；

步骤1：预先定义m个方面类别，用A＝{a₁,a₂,…,a_m}表示，其中a_m为描述第m个方面的单词或词组，

步骤2：构建词嵌入矩阵E₁∈R^|V|×d，每个词w_i通过所述词嵌入矩阵E₁中映射为

其中|V|为所述数据集D中所有词的大小，d是词向量的维度；

同时构建方面类别嵌入矩阵E₂∈R^m×d，每个词a_i通过所述方面类别嵌入矩阵E₂中映射为

分别得到文本嵌入向量

和方面嵌入向量

步骤3：将所述文本嵌入向量

与所述方面嵌入向量

输入到长短时记忆网络LSTM中，得到该句子的网络输出隐藏状态

和

步骤4：将所述隐藏状态H_w和H_a输入到IAN-LoT机制中，得到融合长尾分布特点的总的方面向量表示s；

步骤5：将所述总的方面向量s输入到融合上下文方面级语义信息的注意力机制，计算融合向量

步骤6：使用向量

作为预测的句子表示，如公式(1)所示，对于第j个方面类别：

其中，W_j∈R^d×1，b_j为一个标量，

为第j个方面类别的预测结果，当大于分类阈值时，认为句子包含第j个方面类别。

8.根据权利要求7所述的***，其特征在于，所述IAN-LoT机制中计算融合长尾分布特点的总的方面向量的步骤包括：

步骤41：对于输入的隐藏状态H_w和H_a计算交互注意力权重矩阵I∈R^n×m，如公式(2)所示：

步骤42：对所述交互注意力权重矩阵的每一行进行softmax计算，如公式(3)所示：

其中，k_ij为矩阵k∈R^n×m的第i行第j列元素，k表示文本对方面的注意力权重，I_ij为矩阵I中第i行第j列的元素；

步骤43：然后对于矩阵k引入数据长尾分布特点，如公式(4)所示：

其中，

为引入长尾分布的文本对于每个方面的权重信息，β∈R^1×m代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，m为方面类别的个数；

步骤44：对于

进行最大池化，得到融入长尾分布特点的细粒度的文本对于方面的权重信息I_L，进而将此权重信息与方面类别的嵌入向量表示

相乘，得到最终的总的方面向量表示s，如公式(5)所示：

其中，s∈R^1×d。

9.根据权利要求8所述的***，其特征在于，所述融合上下文方面级语义信息的向量表示

的计算过程包括：

将所述总的方面向量s与

作为输入，计算融合向量

如公式(6)所示：

其中，W∈R^n×1是每个单词与方面融合的可学习权重参数，

代表融合上下文方面级语义信息的向量，将

输入到所述注意力机制，为每个预定义的方面类别生成注意权重向量；如公式(7)所示，对于第j个方面类别：

其中W_j∈R^d×d,b_j∈R^d以及u_j∈R^d为可学习参数，β∈R^1×m，代表预先学习到的长尾分布特点，为训练集中有效样本的数量倒数，α_j∈Rⁿ是注意力权重向量。

10.根据权利要求9所述的***，其特征在于，所述***采用改进的A-DB损失函数训练识别模型，所述改进的A-DB损失函数改进了重平衡权重的计算方式和平滑函数，具体包括：

首先，在不考虑标签共现的情况下，

表示数据集中包含第j个方面类别的样例数；针对第j个方面类别的采样频率期望值为

然后按该实例包含的每个正类重复采样估算出样本采样频率P^I，如公式(8)所示：

其中，

当

时表示第l个句子包含第j个方面类别a_j，

时则不包含；

重平衡权重

计算如公式(9)所示：

其中，γ为协调权重超参数；

所述平滑函数将

映射的公式为：

为了避免负标签的优势导致的少数类过度抑制，引入负类抑制超参数λ以及特定的偏置τ_j，如公式(11)所示：

其中ρ_j为第j个类别与总样本数量之比，η为比例超参数；

所述A-DB损失函数如公式(12)所示：

其中，

为网络输出的概率值。

Images