CN111144126A - 一种语义分析模型的训练方法、语义分析方法及装置 - Google Patents

Abstract

本申请公开了一种语义分析模型的训练方法、语义分析及装置，在本说明书实施例提供的语义分析模型的训练方法中，由于在模型中加入了用于表示不同语义属性之间相关性的自注意力矩阵，通过该自注意力矩阵得到样本文本涉及每个语义属性的第二特征表示向量，再基于第二特征表示向量对样本文本进行分类，最后根据分类结果对语义分析模型进行训练，以使语义分析模型学习到不同语义属性之间的相关性对分类结果的影响，因此，训练后的语义分析模型在对待分析文本进行分类时，会将不同语义属性之间相关性的因素也考虑在内，使得语义分析更加准确。

Description

一种语义分析模型的训练方法、语义分析方法及装置

技术领域

本申请涉及互联网技术领域，尤其涉及一种语义分析模型的训练方法、语义分析及装置。

背景技术

随着互联网技术的发展，使用机器代替人工对文本的语义进行分析已是大势所趋。其中，情感分析作为语义分析中的重要组成部分，已经在诸多领域广为应用。

例如，对于用户针对某家餐馆发表的评论进行情感分析，以分析该评论中所涉及的语义属性以及该语义属性的情感极性。语义属性可包括菜品口味、餐馆环境等。情感极性可包括正面、负面、中性等。假设该评论为“这家餐馆的鱼香肉丝特别好吃，就是座位有点小”，则可分析出该评论涉及菜品口味，情感极性为正面，还涉及餐馆环境，情感极性为负面。

在现有技术中，可采用基于深度学习的语义分析模型对文本进行语义分析，对于上例中的情感分析，基于深度学习的语义分析模型将对本文本的语义分析作为一个多分类问题，即，将不同的语义属性定义为不同的分类，同一语义属性但情感极性不同也定义为不同的分类，语义分析模型可输出对文本进行分类的结果，一个文本可同时属于多个不同的分类。

但是，现有技术中在对上述语义分析模型进行训练时，往往将不同的语义属性完全独立开，而忽略了不同语音属性之间的相关性，导致训练后的语义分析模型在应用时所表现出的语义分析准确性较低。

发明内容

本说明书实施例提供一种语义分析模型的训练方法、语义分析及装置，用于解决现有技术无法训练后的语义分析模型在应用时的语义分析准确性较低的问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种语义分析模型的训练方法，包括：

获取样本文本，并确定所述样本文本中包含的每个分词；

根据待训练的语义分析模型，确定所述每个分词对应的词向量；

针对每个语义属性，根据所述待训练的语义分析模型中包含该语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量；

根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量；

根据所述待训练的语义分析模型以及所述样本文本涉及每个语义属性的第二特征表示向量，确定所述待训练的语义训练模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性；

根据所述分类结果和针对所述样本文本预设的标注，对所述语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

可选地，根据待训练的语义分析模型，确定所述每个分词对应的词向量，具体包括：

将所述每个分词输入所述语义分析模型中的语义表征层，得到所述语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量，所述语义表征层至少包括用于输出双向语义表示向量的子模型，所述子模型包括BERT模型。

可选地，确定所述样本文本涉及该语义属性的第一特征表示向量，具体包括：

将每个分词对应的词向量输入所述语义分析模型中的属性表征层；

通过所述属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权；

根据注意力加权后的每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量。

可选地，确定所述样本文本涉及每个语义属性的第二特征表示向量，具体包括：

将所述样本文本涉及每个语义属性的第一特征表示向量输入所述语音分析模型中的属性相关性表示层；

通过所述属性相关性表示层中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，对所述样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权；

根据自注意力加权后的各第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量。

可选地，确定所述待训练的语义训练模型输出的分类结果，具体包括：

将所述样本文本涉及每个语义属性的第二特征表示向量输入所述语义分析模型中的分类层；

根据每个第二特征表示向量以及所述分类层中包含的与每个语义属性对应的分类参数，对所述样本文本进行分类，得到所述分类层输出的分类结果。

可选地，对所述语义分析模型中的模型参数进行调整，具体包括：

根据所述分类结果和针对所述样本文本预设的标注，确定所述分类结果对应的第一损失；

针对由任意两个语义属性构成的属性组合，确定该属性组合中两个语义属性之间的相关系数，以及所述分类层中包含的与该属性组合中两个语义属性对应的分类参数的差值，根据所述相关系数和所述差值，确定该属性组合对应的第二损失；

根据第一损失以及每个属性组合对应的第二损失，确定综合损失；

以综合损失最小化为训练目标，对所述语义分析模型进行训练。

可选地，确定该属性组合中两个语义属性之间的相关系数，具体包括：

确定所述样本文本所在的训练集；

确定针对所述训练集中每个文本预设的标注；

确定针对所述每个文本预设的标注中包含的在该属性组合中两个语义属性上的情感极性对应的标注值；

根据所述标注值确定该属性组合中两个语义属性之间的相关系数。

本说明书提供的一种语义分析方法，包括：

获取待分析文本；

将所述待分析文本输入采用上述语义分析模型的训练方法训练得到的语义分析模型中；

获得所述语义分析模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性。

本说明书提供的一种语义分析模型的训练装置，包括：

获取模块，用于获取样本文本，并确定所述样本文本中包含的每个分词；

语义表征模块，用于根据待训练的语义分析模型，确定所述每个分词对应的词向量；

属性表征模块，用于针对每个语义属性，根据所述待训练的语义分析模型中包含该语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量；

属性相关性表示模块，用于根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量；

分类模块，用于根据所述待训练的语义分析模型以及所述样本文本涉及每个语义属性的第二特征表示向量，确定所述待训练的语义训练模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性；

训练模块，用于根据所述分类结果和针对所述样本文本预设的标注，对所述语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

本说明书提供的一种语义分析装置，包括：

获取模块，用于获取待分析文本；

输入模块，用于将所述待分析文本输入采用如权利要求1-7任一所述的方法训练得到的语义分析模型中；

分析模块，用于获得所述语义分析模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性。

本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述语义分析模型的训练方法或语义分析方法。

本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述语义分析模型的训练方法或语义分析方法。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书实施例提供的语义分析模型的训练方法中，由于在模型中加入了用于表示不同语义属性之间相关性的自注意力矩阵，通过该自注意力矩阵得到样本文本涉及每个语义属性的第二特征表示向量，再基于第二特征表示向量对样本文本进行分类，最后根据分类结果对语义分析模型进行训练，以使语义分析模型学习到不同语义属性之间的相关性对分类结果的影响，因此，训练后的语义分析模型在对待分析文本进行分类时，会将不同语义属性之间相关性的因素也考虑在内，使得语义分析更加准确。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书实施例提供的语义分析模型的训练过程；

图2为本说明书实施例提供的语义分析模型架构示意图；

图3为本说明书实施例提供的语义分析模型的训练装置结构示意图；

图4为本说明书实施例提供的语义分析装置结构示意图；

图5为本说明书实施例提供的电子设备示意图。

具体实施方式

在实际应用场景中，不同的语义属性之间具有一定的相关性。例如，假设用户的评论为“这家店不太好找”，语义属性包括“位置是否明显”、“是否位于商圈”、“交通是否便利”，则根据现有技术的语义分析方法，会将上述三个语义属性独立开来，对用户的上述评论的分类结果只会是属于“位置是否明显”的语义属性，情感极性则为负面。而实际上，上述评论同样有可能是指这家店不位于商圈(负面情感极性)或者交通不便利(负面情感极性)，可以看出，一个评论在属于一个语义属性时，其也有可能属于其他相关的语义属性，并且情感极性也是类似的。很明显，现有技术中将各语义属性独立开，会导致语义分析的结果不够准确。

本说明书提供的语义分析模型的训练方法旨在挖掘不同语义属性之间的相关性，当一个文本属于一个语义属性时，则增加该文本属于其他相关的语义属性的概率，并体现在最终的分类结果上。

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本说明书实施例提供的语义分析模型的训练过程，具体可包括以下步骤：

S100：获取样本文本，并确定样本文本中包含的每个分词。

在本说明书实施例中，可先从语料库中获取多个文本，确定由获取的多个文本所构成的训练集，则，针对训练集中的每个文本，可将该文本作为样本文本，并针对该样本文本执行图1所示的步骤S100～S110。

具体的，在步骤S100中，针对某个样本文本，确定该样本文本中包含的分词时，可先对该样本文本进行分词处理，以得到该样本文本中包含的每个分词。在对样本文本进行分词处理时，可采用任何分词方法，当然，也可将该样本文本中的每个字符都作为一个分词进行处理，即，单字成词。本说明书对分词处理的方法不作限制。

S102：根据待训练的语义分析模型，确定每个分词对应的词向量。

在本说明书实施例中，所述的语义分析模型可至少包括四层，分别是：语义表征层、属性表征层、属性相关性表示层、分类层。如图2所示。

语义表征层中至少包括用于输出双向语义表示向量的子模型，如BERT(Bidirectional Encoder Representations from Transformers)模型等。则在步骤S102中，可将每个分词输入语义分析模型中的语义表征层，得到语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量。

当然，用于输出双向语义表示向量的模型除了上述的BERT模型以外，还包括其他模型，本说明书对此不作限制。

S104：针对每个语义属性，根据待训练的语义分析模型中包含该语义属性对应的注意力矩阵，以及每个分词对应的词向量，确定样本文本涉及该语义属性的第一特征表示向量。

在图2所示的语义分析模型中，属性表征层中至少包含每个语义属性各自对应的注意力矩阵。

则在步骤S104中，可将每个分词对应的词向量输入语义分析模型中的属性表征层，通过属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权，根据注意力加权后的每个分词对应的词向量，确定样本文本涉及该语义属性的第一特征表示向量。

需要说明的是，上述的第一特征表示向量可以表征该样本文本涉及该语义属性的概率以及在该语义属性上的情感极性。

S106：根据待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及样本文本涉及每个语义属性的第一特征表示向量，确定样本文本涉及每个语义属性的第二特征表示向量。

在本说明书实施例中，语义分析模型中的属性相关性表示层中至少包含自注意力矩阵，该自注意力矩阵用于表示不同语义属性之间的相关性，该自注意力矩阵的形式可以为：矩阵中的元素R_ij表示第i个语义属性与第j个语义属性的相关性，相关性越强，R_ij的值越大，反之越小。

则在步骤S106中，可将样本文本涉及每个语义属性的第一特征表示向量输入语音分析模型中的属性相关性表示层，通过属性相关性表示层中包含的上述自注意力矩阵，对样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权，根据自注意力加权后的各第一特征表示向量，确定样本文本涉及每个语义属性的第二特征表示向量。

需要说明的是，第二特征表示向量同样可以表征该样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性，但与第一特征表示向量不同的是，第一特征表示向量是采用各自独立的每个语义属性对应的注意力矩阵对词向量加权得到的，因此，其表征的样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性并未考虑不同语义属性之间的相关性。而第二特征表示向量是采用用于表示不同语义属性之间相关性的自注意力矩阵对第一特征表示向量加权得到的，相当于由自注意力矩阵引入了不同语义属性之间相关性的因素，因此，其表征的样本文本涉及每个语义属性的概率以及在该语义属性上的情感极性考虑了不同语义属性之间的相关性。

S108：根据待训练的语义分析模型以及样本文本涉及每个语义属性的第二特征表示向量，确定待训练的语义训练模型输出的分类结果。

在图2中，分类层至少包括隐层、全连接层和softmax层(隐层、全连接层和softmax层并未在图2中示出)，则在步骤S108中，可将样本文本涉及每个语义属性的第二特征表示向量依次输入分类层中的隐层、全连接层和softmax层，根据每个第二特征表示向量以及分类层的隐层、全连接层和softmax层中包含的与每个语义属性对应的分类参数，对所述样本文本进行分类，得到分类层输出的分类结果。

本说明书中所述的分类结果至少包括样本文本所属的语义属性以及样本文本在其所属的语义属性上对应的情感极性。

具体的，该情感极性可以采用数值进行量化，例如，数值越接近于1，则表示情感极性越倾向于正面，数值越接近于-1，则表示情感极性越倾向于负面，数值接近于0，则表示情感极性倾向于中性。

S110：根据分类结果和针对样本文本预设的标注，对语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

在本说明书实施例中，需要调整的模型参数至少包括上述的分类参数，还可包括上述的注意力矩阵和自注意力矩阵。可采用传统的训练方法对语义分析模型中的模型参数进行调整。即，直接根据步骤S108得到的分类结果和针对样本文本预设的标注，确定分类结果对应的损失(以下将其称之为第一损失)，并以该第一损失最小化为训练目标对语义分析模型中的模型参数进行调整，以完成对语义分析模型的训练。

由于上述语义分析模型中已经加入了用于表示不同语义属性之间相关性的自注意力矩阵，因此，采用上述传统的训练方法训练得到的语义分析模型可更加准确的对待分析文本的语义进行分析。

进一步的，为了使训练出的语义分析模型的语义分析能力进一步提升，可在确定损失时，除了确定上述的第一损失之外，将不同语义属性之间的相关性也纳入在损失的考量之内。

具体的，针对由任意两个语义属性构成的属性组合，确定该属性组合中两个语义属性之间的相关系数，以及上述分类层中包含的与该属性组合中两个语义属性对应的分类参数的差值，根据所述相关系数和所述差值，确定该属性组合对应的第二损失。最后根据上述的第一损失和每个属性组合对应的第二损失，确定综合损失，并以综合损失最小化为训练目标，对语义分析模型中的模型参数进行调整，以完成对语义分析模型的训练。

上述综合损失的计算公式可以为：L＝L_{classification}+∑r_ts|w_t-w_s|。

其中，L为综合损失，L_{classification}为第一损失，r_ts为第t个语义属性与第s个语义属性之间的相关系数，w_t为分类层中包含的与该第t个语义属性对应的分类参数，w_s为分类层中包含的与该第s个语义属性对应的分类参数。

上述确定第二损失的方法的核心思想在于：如果两个语义属性之间的相关性较强，那么分类层中包含的与这两个语义属性对应的分类参数的值也应当较为接近，反之，与这两个语义属性对应的分类参数的值应当相差较大。由于在语义分析模型的迭代训练过程中，分类层中包含的与每个语义属性对应的分类参数的值也在不断的调整(包括属性表征层中每个语义属性对应的注意力矩阵和属性相关性表示层中的自注意力矩阵同样也在训练的过程中不断调整)，而两个语义属性之间的相关系数r_ts的值则与这两个语义属性之间的相关性呈正相关，因此，采用上述综合损失的计算公式计算综合损失时，只要以最小化综合损失为训练目标，即可达到“两个语义属性之间的相关性较强，则与这两个语义属性对应的分类参数的值较为接近”的目的。

更进一步的，上述在确定两个语义属性之间的相关系数的方法具体可以为：确定所述样本文本所在的训练集，确定针对所述训练集中每个文本预设的标注，确定针对所述每个文本预设的标注中包含的在该属性组合中两个语义属性上的情感极性对应的标注值，根据所述标注值确定该属性组合中两个语义属性之间的相关系数。

具体的，可根据训练集中每个文本的标注中包含的在该属性组合中两个语义属性上的情感极性对应的标注值，确定在两个语义属性上的情感极性对应的标注值之间的皮尔森系数，将该皮尔森系数作为这两个语义属性之间的相关系数。

当然，还可采用其他的方法确定两个语义属性之间的相关系数，只要确定出的相关系数与两个语义属性之间的相关性呈正相关即可。

相应的，本说明书实施例中还提供了一种语义分析方法，该语义分析方法具体可以为：获取待分析文本，将所述待分析文本输入采用上述语义分析模型的训练方法训练得到的语义分析模型中，获得所述语义分析模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性。

基于同样的思路，本说明书实施例还提供了相应的语义分析模型的训练装置和语义分析装置，如图3～4所示。

图3为本说明书实施例提供的语义分析模型的训练装置结构示意图，包括：

获取模块301，用于获取样本文本，并确定所述样本文本中包含的每个分词；

语义表征模块302，用于根据待训练的语义分析模型，确定所述每个分词对应的词向量；

属性表征模块303，用于针对每个语义属性，根据所述待训练的语义分析模型中包含该语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量；

属性相关性表示模块304，用于根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量；

分类模块305，用于根据所述待训练的语义分析模型以及所述样本文本涉及每个语义属性的第二特征表示向量，确定所述待训练的语义训练模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性；

训练模块306，用于根据所述分类结果和针对所述样本文本预设的标注，对所述语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

所述语义表征模块302具体用于，将所述每个分词输入所述语义分析模型中的语义表征层，得到所述语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量，所述语义表征层至少包括用于输出双向语义表示向量的子模型，所述子模型包括BERT模型。

所述属性表征模块303具体用于，将每个分词对应的词向量输入所述语义分析模型中的属性表征层；通过所述属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权；根据注意力加权后的每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量。

所述属性相关性表示模块304具体用于，将所述样本文本涉及每个语义属性的第一特征表示向量输入所述语音分析模型中的属性相关性表示层；通过所述属性相关性表示层中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，对所述样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权；根据自注意力加权后的各第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量。

所述分类模块305具体用于，将所述样本文本涉及每个语义属性的第二特征表示向量输入所述语义分析模型中的分类层；根据每个第二特征表示向量以及所述分类层中包含的与每个语义属性对应的分类参数，对所述样本文本进行分类，得到所述分类层输出的分类结果。

所述训练模块306具体用于，根据所述分类结果和针对所述样本文本预设的标注，确定所述分类结果对应的第一损失；针对由任意两个语义属性构成的属性组合，确定该属性组合中两个语义属性之间的相关系数，以及所述分类层中包含的与该属性组合中两个语义属性对应的分类参数的差值，根据所述相关系数和所述差值，确定该属性组合对应的第二损失；根据第一损失以及每个属性组合对应的第二损失，确定综合损失；以综合损失最小化为训练目标，对所述语义分析模型进行训练。

所述训练模块306具体用于，确定所述样本文本所在的训练集；确定针对所述训练集中每个文本预设的标注；确定针对所述每个文本预设的标注中包含的在该属性组合中两个语义属性上的情感极性对应的标注值；根据所述标注值确定该属性组合中两个语义属性之间的相关系数。

图4为本说明书实施例提供的语义分析装置结构示意图，包括：

获取模块401，用于获取待分析文本；

输入模块402，用于将所述待分析文本输入采用上述语义分析模型的训练方法训练得到的语义分析模型中；

分析模块403，用于获得所述语义分析模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性。

本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的语义分析模型的训练方法或上述的语义分析方法。

本说明书实施例还提出了图5所示的电子设备的示意结构图。如图5，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的语义分析模型的训练方法或上述的语义分析方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种语义分析模型的训练方法，其特征在于，所述方法包括：

根据待训练的语义分析模型，确定样本文本中每个分词对应的词向量；

针对每个语义属性，根据所述待训练的语义分析模型中包含该语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量；

根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量；

根据所述待训练的语义分析模型以及所述样本文本涉及每个语义属性的第二特征表示向量，确定所述待训练的语义训练模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性；

根据所述分类结果和针对所述样本文本预设的标注，对所述语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

2.如权利要求1所述的方法，其特征在于，根据待训练的语义分析模型，确定所述每个分词对应的词向量，具体包括：

将所述每个分词输入所述语义分析模型中的语义表征层，得到所述语义表征层输出的每个分词分别对应的双向语义表示向量，作为每个分词对应的词向量，所述语义表征层至少包括用于输出双向语义表示向量的子模型，所述子模型包括BERT模型。

3.如权利要求1所述的方法，其特征在于，确定所述样本文本涉及该语义属性的第一特征表示向量，具体包括：

将每个分词对应的词向量输入所述语义分析模型中的属性表征层；

通过所述属性表征层中包含的该语义属性对应的注意力矩阵，对每个分词对应的词向量进行注意力加权；

根据注意力加权后的每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量。

4.如权利要求1所述的方法，其特征在于，确定所述样本文本涉及每个语义属性的第二特征表示向量，具体包括：

将所述样本文本涉及每个语义属性的第一特征表示向量输入所述语音分析模型中的属性相关性表示层；

通过所述属性相关性表示层中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，对所述样本文本涉及每个语义属性的第一特征表示向量进行自注意力加权；

根据自注意力加权后的各第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量。

5.如权利要求1所述的方法，其特征在于，确定所述待训练的语义训练模型输出的分类结果，具体包括：

将所述样本文本涉及每个语义属性的第二特征表示向量输入所述语义分析模型中的分类层；

根据每个第二特征表示向量以及所述分类层中包含的与每个语义属性对应的分类参数，对所述样本文本进行分类，得到所述分类层输出的分类结果。

6.如权利要求5所述的方法，其特征在于，对所述语义分析模型中的模型参数进行调整，具体包括：

根据所述分类结果和针对所述样本文本预设的标注，确定所述分类结果对应的第一损失；

针对由任意两个语义属性构成的属性组合，确定该属性组合中两个语义属性之间的相关系数，以及所述分类层中包含的与该属性组合中两个语义属性对应的分类参数的差值，根据所述相关系数和所述差值，确定该属性组合对应的第二损失；

根据第一损失以及每个属性组合对应的第二损失，确定综合损失；

以综合损失最小化为训练目标，对所述语义分析模型中的模型参数进行调整。

7.如权利要求6所述的方法，其特征在于，确定该属性组合中两个语义属性之间的相关系数，具体包括：

确定所述样本文本所在的训练集；

确定针对所述训练集中每个文本预设的标注；

确定针对所述每个文本预设的标注中包含的在该属性组合中两个语义属性上的情感极性对应的标注值；

根据所述标注值确定该属性组合中两个语义属性之间的相关系数。

8.一种语义分析方法，其特征在于，所述方法包括：

获取待分析文本；

将所述待分析文本输入采用如权利要求1-7任一所述的方法训练得到的语义分析模型中；

获得所述语义分析模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性。

9.一种语义分析模型的训练装置，其特征在于，所述装置包括：

获取模块，用于获取样本文本，并确定所述样本文本中包含的每个分词；

语义表征模块，用于根据待训练的语义分析模型，确定所述每个分词对应的词向量；

属性表征模块，用于针对每个语义属性，根据所述待训练的语义分析模型中包含该语义属性对应的注意力矩阵，以及所述每个分词对应的词向量，确定所述样本文本涉及该语义属性的第一特征表示向量；

属性相关性表示模块，用于根据所述待训练的语义分析模型中包含的用于表示不同语义属性之间的相关性的自注意力矩阵，以及所述样本文本涉及每个语义属性的第一特征表示向量，确定所述样本文本涉及每个语义属性的第二特征表示向量；

分类模块，用于根据所述待训练的语义分析模型以及所述样本文本涉及每个语义属性的第二特征表示向量，确定所述待训练的语义训练模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性；

训练模块，用于根据所述分类结果和针对所述样本文本预设的标注，对所述语义分析模型中的模型参数进行调整，以完成对所述语义分析模型的训练。

10.一种语义分析装置，其特征在于，所述装置包括：

获取模块，用于获取待分析文本；

输入模块，用于将所述待分析文本输入采用如权利要求1-7任一所述的方法训练得到的语义分析模型中；

分析模块，用于获得所述语义分析模型输出的分类结果，所述分类结果包括所述样本文本所属的语义属性以及所述样本文本所属的语义属性对应的情感极性。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一所述的方法或实现上述权利要求8所述的方法。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法或实现上述权利要求8所述的方法。

Images