CN114757183A - 一种基于对比对齐网络的跨领域情感分类方法 - Google Patents

Abstract

本发明涉及一种基于对比对齐网络的跨领域情感分析方法，属于自然语言处理中的细粒度情感分析技术领域。本发明研究了跨领域情感分类的一个未充分探索的场景，即目标领域是少样本的场景。在此场景下，本发明提出了一种名为对比对齐网络(CAN)的神经网络模型。模型首先从原领域和目标领域中随机抽取两个实例，然后根据组合目标领域和原领域的实例对其进行训练。第一个目标是最小化原领域上的分类错误。第二个是成对对比目标，其中一对中的目标领域实例和原领域实例之间的距离度量，如果它们表达相同的情感，则最小化，否则该度量以恒定的上限最大化。本方法解决了跨领域情感分类任务中目标领域数据资源受限的问题，提高了用户的使用体验。

Description

一种基于对比对齐网络的跨领域情感分类方法

技术领域

本发明涉及一种跨领域情感分类方法，具体涉及一种基于对比对齐网络的跨领域情感分析方法，属于自然语言处理中的细粒度情感分析技术领域。

背景技术

跨领域情感分类(Cross Domain Sentiment Classification，CDSC)是一项重要任务，旨在将学习到的知识从原领域转移到目标领域。CDSC使在具有大量标记数据的原领域中训练的情感分类模型能够在训练样本有限的目标领域数据中良好运行。当目标领域的数据缺少、原领域数据充足时，这种情况在工业界比较常见且具有挑战，主要挑战在于源领域和目标领域之间的领域转移(或分布转移)。领域转移问题主要是任意两个领域之间的分布差异，例如，医学领域中使用的词与餐厅领域中使用的词大不相同。

领域转移是跨领域情感分类中的一个重要问题，可以通过领域适应方法在很大程度上得到缓解。目前，研究人员提出了各种领域适应的模型。这些模型需要来自目标领域的大量未标记数据，以便它们能够学习每个目标实例的良好表示，作为在原领域中训练的分类器的正确输入。

当前，无监督域适应(UDA)技术已被用于解决领域转移问题。从本质上讲，UDA利用目标领域中的其他未标记数据，通过跨领域对齐统计数据来最小化领域偏移。然而，在实际应用中，UDA所需的大量未标记目标领域数据可能无法充分得到，从而限制了UDA的适用性。

同时，跨领域情感分类存在一个目前尚未充分探索的场景，即，目标领域是少样本的场景，这种场景存在于工业界的很多实际应用中。与无监督场景不同，少样本场景不需要额外的未标记目标领域数据，而仅依赖于目标领域中可用的稀缺标记数据。

发明内容

本发明的目的是为了克服现有技术的不足，为了解决目标领域数据资源限制的技术问题，创造性地提出了一种基于对比对齐网络的跨领域情感分类方法。本发明研究了跨领域情感分类的一个未充分探索的场景，即目标领域是少样本的场景。与无监督场景不同，少样本场景不需要额外的未标记目标领域数据，而仅依赖于目标领域中可用的稀缺标记数据。在此场景下，本发明提出了一种名为对比对齐网络(CAN)的神经网络模型。模型首先从原领域和目标领域中随机抽取两个实例，然后根据组合目标领域和原领域的实例对其进行训练。第一个目标是最小化原领域上的分类错误。第二个是成对对比目标，其中一对中的目标领域实例和原领域实例之间的距离度量，如果它们表达相同的情感，则最小化，否则该度量以恒定的上限最大化。

值得注意的是，对比对齐网络的动机不仅仅是解决资源限制问题。事实上，通过推导出本发明所提出的模型拥有更完整的学习界限，为所提出的模型的基本功效提供了理论依据。

跨领域情感分析CDSC需要一个在原领域

中训练的模型，原领域

中包含n^s个实例，对目标领域

执行情感分类。X_i ^s是原领域的第i条样本句子，y_i ^s是原领域中第i条样本对应的标签。换句话说，原领域

中的实例样本分布服从

同样，在目标领域上有

X^t表示目标领域t的样本句子，y^t表示目标领域t的样本句子对应的标签。

和

分别表示源和目标的联合概率之间的域偏移，且

领域适应的概念被强加于缓解领域转移问题。在目标领域没有足够的标记数据的情况下，无监督域适应方法利用了大量额外的未标记目标数据

来对齐两个域，n^t为目标领域为标记数据样本数量。然而，所需的大量未标记数据可能并不总是在目标领域中可用。因此，本方法侧重于跨领域情感分析的一个更实际的案例，即小样本案例，改为使用少量辅助标记目标领域数据

n^t＜＜n^s，n^t为少量辅助标记目标领域数据样本数。

受现有无监督领域适应工作的启发，本发明将学习目标分解为两部分：计算判别性原领域风险和正则化领域转移。为了进一步最小化原领域风险，本发明提出一种以实例级分类信息为条件对比对齐原领域与目标领域的方法。

本发明采用的技术方式如下。

一种基于对比对齐网络的情感分类方法，包括以下步骤：

首先，进行文本数据预处理。

加载评论语料集和预训练语言模型，并对评论语料集中的评论文本数据进行文本预处理和文本数据格式化。其中，预训练语言模型可以采用BERT模型、RoBERTa模型等。

然后，构建基于对比对齐网络的跨领域情感分类模型。

本发明提出的基于对比对齐网络的跨领域情感分类模型f，包括编码器g_θ和分类器h_φ，在该架构基础上，引入原领域分类目标损失函数

和对比目标领域分类目标损失函数

其中，编码器g_θ使用预训练语言模型作为基底，用于编码评论语句的上下文信息。优选地，编码器使用经过预训练语言模型的CLS(句子向量表示)全句表示，作为整个评论语句的上下文隐藏状态表示向量H，H＝{h₁，h₂，...，h_n}，h_n表示第n个token的隐藏状态表示向量。

分类器h_φ由多层感知器MLP和softmax层(软最大化标准化层)组成。其中，多层感知器包括四层，依次为：一层全连接层、一层ReLU(线性整流函数)激活函数层、一层dropout层(随机丢弃层)和一层全连接层。将经过MLP的输出表示送至softmax层(软最大化标准化层)，由此计算相应的损失。

然后，计算判别性原领域风险。

本发明方法中，对于判别性原领域风险，采用原领域的经验分类损失项，将分类目标建模为基于交叉熵的损失

其中，n^s为原领域数据样本数量；y_i为原领域数据第i条样本的标签，

为模型在原领域数据第i条样本上的预测标签。

然后，以实例级分类信息对比对齐原领域与目标领域。

目标是在有限的目标领域数据下最小化领域偏移。尽管在有限的目标数据下很难实现分布级别的对齐，但可以合并实例级别的对齐，并且实例级对齐可以一定概率地实现分布级对齐。

本发明方法中，引入对比损失，以最小化采样对中原领域实例和目标领域实例之间的距离度量(如果它们共享相同的情绪)，否则最大化度量。因此，无论领域如何，都能够准确分配情感标签。虽然原领域与目标领域之间的距离度量可以直接应用于输入x，但是，本发明遵循大多数领域自适应方法对隐藏表示Z进行对齐，这将更加抽象，可以捕捉到更多语义信息。

具体地，给定任意对

特定的对比损失

计算为：

其中，X_i ^s表示原领域s第i条样本评论语句，X_j ^t表示目标领域t第j条样本评论语句，y_i ^s表示原领域s第i条样本评论语句所对应的标签，y_j ^t表示目标领域t第j条样本评论语句所对应的标签；

表示原领域实例和目标领域实例之间的距离度量；

为等式指示函数；m是一个预定义的常量。

对比损失目标将相同情感极性的实例推得更近，排斥不同情感极性的实例。此外，目标不是将不同的集群推向无穷远，而是将排斥范围限制为常数，作为学习算法的松弛。

之后，进行正则化领域转移。

本方法的总体目标包括原领域数据的交叉熵损失函数

对比对齐原领域与目标领域损失函数

并通过

正则化最小化原领域数据的交叉熵损失函数

和对比对齐原领域与目标领域损失函数

其中，总体目标函数为：

其中，α是分类和对比目标之间的权衡项，λ是所有模型参数Θ＝{θ，φ}的正则化系数。

然后，进行模型训练。使用标准批量随机梯度下降算法，对总体目标函数

进行训练。

具体地，对训练集中的所有训练样本进行批量迭代训练，得到训练好的基于对比对齐网络的跨领域情感分类模型。

最后，利用训练好的基于对比对齐网络的跨领域情感分类模型，进行跨领域情感分类。

有益效果

本方法，与现有技术相比，具有以下优点：

1.本方法解决了跨领域情感分类任务中目标领域数据资源受限的问题。本发明研究了跨领域情感分类的一个未充分探索的场景，即目标领域是少样本的场景。与无监督场景不同，少样本场景不需要额外的未标记目标领域数据，而仅依赖于目标领域中可用的稀缺标记数据。

2.本方法提出的对比对齐网络的神经网络模型包括两个目标，第一个目标是最小化原领域上的分类错误。第二个是成对对比目标，其中一对中的目标领域实例和原领域实例之间的距离度量如果它们表达相同的情感，则最小化，否则该度量以恒定的上限最大化。

3.本发明提出的对比对齐网络模型，在跨领域情感分类任务上的表现明显优于相应的基线模型。其它基线模型在跨领域数据集上的性能急剧下降。相比之下，本发明提出的对比对齐神经网络模型比其他基线模型更稳健。

4.本发明提出的对比对齐神经网络模型，不仅解决了目标领域资源受限的问题，同时，该模型拥有更完整的学习界限，为所提出的模型的基本功效提供了理论依据。

5.本方法改进了现有的细粒度情感分析的跨领域情感分类中存在的问题，可以很好地提高用户的使用体验。

附图说明

图1是本发明方法的整体流程图。

图2是跨领域情感分类任务的示例图。

图3是本发明方法的效果可视化表示图。

具体实施方式

下面结合附图和实施例对本发明进一步详细描述。

实施例

如图1所示，一种基于对比对齐网络的跨领域情感分类方法，包括以下步骤：

步骤1：文本预处理。

首先，加载评论语料集和预训练语言模型。其中，预训练语言模型可以是BERT模型，也可以是其他模型(如RoBERTa模型)。

然后，对评论语料集进行文本预处理和文本数据格式化。

具体地，包括以下步骤：

步骤1.1：对每条评论语句抽取出其中的属性词、观点词及其位置信息。

步骤1.2：使用nltk分词器对评论语句预分词，将分好的token词用空格隔开。

步骤1.3：在评论语句分词token序列后增加两个特殊token词：[CLS]、[SEP]，由此构造成通用输入形式：S＝{[CLS]，w₁，w₂...，w_n，[SEP]}，n表示评论语句的token词总个数，w_n表示评论语句的第n个token。

步骤1.4：进行文本数据格式化。

对每条评论语句token词序列做补齐(padding)处理，使其长度均为128。使用预训练语言模型的分词器tokenizer，对评论语句中的每个token词进行tokenize操作。将处理好的数据集分为训练集、验证集和测试集，并构造成批数据形式。

步骤2：构建基于对比对齐网络的跨领域情感分类模型。

基于对比对齐网络的跨领域情感分类模型f，由编码器g_θ和分类器h_φ组成。基于编码器g_θ和分类器h_φ架构，引入原领域分类目标损失函数

和对比目标领域分类目标损失函数

其中，编码器g_θ编码评论语句的上下文信息。对于情感分类任务来说，句子的情感信息蕴含在句子的上下文中，对整个句子进行上下文建模尤为重要。因此，使用经过预训练语言模型的全句CLS表示，作为整个评论语句的上下文隐藏状态表示向量H，H＝{h₁，h₂，...，h_n}，h_n表示第n个token的隐藏状态表示向量。评论语句序列中的每个token词都会被映射为一个编码向量。

分类器h_φ由多层感知器MLP和softmax层(软最大化标准化层)组成。其中，多层感知器包含四层：全连接层、ReLU(线性整流函数)激活函数层、dropout层(随机丢弃层)和全连接层。将经过全连接层的输出表示送至softmax层(软最大化标准化层)，由此预测相应的标签，并计算相应的目标损失。

步骤3：计算判别性原领域风险。

对于判别性原领域风险，本发明采用原领域的经验分类损失项，然后将分类目标建模为基于交叉熵的损失

其中，n^s为原领域数据样本数量，y_i为原领域数据第i条样本的标签，

为模型在原领域数据第i条样本上的预测标签。

步骤4：以实例级分类信息对比对齐原领域与目标领域。

在有限的目标领域数据下最小化领域偏移。尽管在有限的目标数据下很难实现分布级别的对齐，但可以合并实例级别的对齐，并且实例级对齐可以一定概率实现分布级对齐。

因此，本发明引入对比损失，如果原领域实例和目标领域实例共享相同的情绪，则以最小化采样对中原领域实例和目标领域实例之间的距离度量，否则最大化度量。无论领域如何，都能够准确分配情感标签。

虽然原领域与目标领域之间的距离度量可以直接应用于输入x，但是本发明遵循大多数领域自适应方法，对隐藏表示Z进行对齐。这会更为抽象，能够捕捉到更多语义信息。

具体地，给定任意对

特定的对比损失计算为：

其中，

表示原领域实例和目标领域实例之间的距离度量。

为等式指示函数。m是一个预定义的常量。

对比损失目标将相同情感极性的实例推得更近，排斥不同情感极性的实例。此外，目标不是将不同的集群推向无穷远，而是将排斥范围限制为常数，作为学习算法的松弛。

步骤5：正则化领域转移。

本方法的总体目标包括原领域数据的交叉熵损失函数

对比对齐原领域与目标领域损失函数

通过

正则化最小化原领域数据的交叉熵损失函数

和对比对齐原领域与目标领域损失函数

总体目标函数为：

其中，α是分类和对比目标之间的权衡项，λ为所有模型参数Θ＝{θ，φ}的正则化系数，θ表示编码器的参数，φ表示分类器的参数。

步骤6：训练基于对比对齐网络的跨领域情感分类模型。

使用标准批量随机梯度下降算法，对总体目标函数

进行优化训练。

具体地，对训练集中的所有训练样本进行批量迭代训练，得到训练好的基于对比对齐网络的跨领域情感分类模型。

步骤7：利用训练好的基于对比对齐网络的跨领域情感分类模型，进行跨领域情感分类。

进一步地，可以对本方法进行评价。当训练集中完成训练后，在所使用的验证集中进行验证测试。使用的评价指标包括：

对于跨领域情感分类，使用准确率和F1值作为评价指标；

对于每轮验证更新最优模型，并保存。

测试验证

对本方法进行测试。首先加载之前保存的最优模型参数和测试数据，然后将测试数据转换为所需格式输入到最优模型中进行测试。其中，评价指标与验证时使用的评价指标相同。

如图2中所示，对于原领域为笔记本电脑评论领域，有评论语句“这个品牌的笔记本电脑太卡了，使用体验极差”，目标领域为餐厅领域评论句子“他家的炒菜一般，服务也一般”，原领域和目标领域数据存在着细粒度的领域偏差，这使得大多数跨领域情感分类方法以及无监督自适应方法无法很好地进行另一迁移，无法在目标领域上有效地判断出目标领域评论语句的情感极性。

如图3中所示，基于对比对齐网络的情感分类方法的跨领域(笔记本电脑评论领域和餐厅评论领域)效果可视化表示图，左图是未经过对比对齐网络的跨领域效果可视化图，右图是经过对比对齐网络的跨领域效果可视化图。可以看到带有右图带有对比对齐网络的模型效果可视化图比未经过对比对齐网络的效果可视化图具有更优雅的流形，这意味着即使目标数据很少，对比对齐网络也具有泛化能力。

以上所述为本发明的较佳实施例，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (5)

1.一种基于对比对齐网络的跨领域情感分类方法，其特征在于，包括以下步骤：

步骤1：加载评论语料集和预训练语言模型，并对评论语料集中的评论文本数据进行文本预处理和文本数据格式化；

步骤2：构建基于对比对齐网络的跨领域情感分类模型；

其中，基于对比对齐网络的跨领域情感分类模型f，包括编码器g_θ和分类器h_φ，在该架构基础上，引入原领域分类目标损失函数

和对比目标领域分类目标损失函数

编码器g_θ使用预训练语言模型作为基底，用于编码评论语句的上下文信息；分类器h_φ由多层感知器MLP和softmax层组成；将经过多层感知器的输出表示送至softmax层，由此计算相应的损失；

步骤3：计算判别性原领域风险；

对于判别性原领域风险，采用原领域的经验分类损失项，将分类目标建模为基于交叉熵的损失

其中，n^s为原领域数据样本数量；y_i为原领域数据第i条样本的标签，

为模型在原领域数据第i条样本上的预测标签；

步骤4：以实例级分类信息对比对齐原领域与目标领域；

给定任意对

特定的对比损失

计算为：

其中，X_i ^s表示原领域s第i条样本评论语句，X_j ^t表示目标领域t第j条样本评论语句，y_i ^s表示原领域s第i条样本评论语句所对应的标签，y_j ^t表示目标领域t第j条样本评论语句所对应的标签；

表示原领域实例和目标领域实例之间的距离度量；

为等式指示函数；m是一个预定义的常量；

步骤5：进行正则化领域转移；总体目标包括原领域数据的交叉熵损失函数

对比对齐原领域与目标领域损失函数

并通过

正则化最小化原领域数据的交叉熵损失函数

和对比对齐原领域与目标领域损失函数

其中，总体目标函数为：

其中，α是分类和对比目标之间的权衡项，λ是所有模型参数Θ＝{θ，φ}的正则化系数；

步骤6：使用标准批量随机梯度下降算法，对总体目标函数

进行训练，得到训练好的基于对比对齐网络的跨领域情感分类模型；

步骤7：利用训练好的基于对比对齐网络的跨领域情感分类模型，进行跨领域情感分类。

2.一种基于对比对齐网络的跨领域情感分类方法，其特征在于，编码器使用经过预训练语言模型的CLS全句表示，作为整个评论语句的上下文隐藏状态表示向量H，H＝{h₁,h₂,…,h_n}，h_n表示第n个token的隐藏状态表示向量。

3.一种基于对比对齐网络的跨领域情感分类方法，其特征在于，步骤2中，多层感知器包括四层，依次为：一层全连接层、一层ReLU激活函数层、一层dropout层和一层全连接层。

4.一种基于对比对齐网络的跨领域情感分类方法，其特征在于，步骤1包括以下步骤：

步骤1.1：对每条评论语句抽取出其中的属性词、观点词及其位置信息；

步骤1.2：使用nltk分词器对评论语句预分词，将分好的token词用空格隔开；

步骤1.3：在评论语句分词token序列后增加两个特殊token词：[CLS]、[SEP]，由此构造成通用输入形式：S＝{[CLS],w₁,w₂…,w_n,[SEP]}，n表示评论语句的token词总个数，w_n表示评论语句的第n个token；

步骤1.4：进行文本数据格式化；

对每条评论语句token词序列做补齐处理，使其长度均为128；使用预训练语言模型的分词器tokenizer，对评论语句中的每个token词进行tokenize操作；将处理好的数据集分为训练集、验证集和测试集，并构造成批数据形式。

5.一种基于对比对齐网络的跨领域情感分类方法，其特征在于，当训练集中完成训练后，在所使用的验证集中进行验证测试，评价指标包括：

对于跨领域情感分类，使用准确率和F1值作为评价指标；

对于每轮验证更新最优模型并保存。

Images