CN111859986A - 基于多任务孪生网络的语义匹配方法、装置、设备和介质 - Google Patents

Abstract

本申请涉及人工智能领域，尤其是一种基于多任务孪生网络的语义匹配方法、装置、设备和介质。该方法包括：获取待处理文本及标准文本；将待处理文本输入至第一特征抽取器中得到待处理文本对应的字量、词向量及字词组合向量，将标准文本输入至第二特征抽取器中得到标准文本对应的字向量、词向量及字词组合向量；第一特征抽取器及第二特征抽取器互为孪生网络；将得到字向量、词向量及字词组合向量输入至预先训练完成的目标语义匹配模型中，以得到待处理文本和标准文本的目标相似度；根据目标相似度输出与待处理文本对应的标准文本。此外，本申请还涉及区块链技术，标准文本和目标语义匹配模型可存储于区块链中。采用本方法能够提高准确性。

Description

基于多任务孪生网络的语义匹配方法、装置、设备和介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于多任务孪生网络的语义匹配方法、装置、设备和介质。

背景技术

随着人工智能技术的发展，出现了自然语言处理技术，其中涉及到语义匹配，即判断两个句子是否为相同的意思，通过语义匹配来完成语义匹配任务，即对用户表达的自然语言进行数据分析处理，识别出用户实际想表达的深层含义，这样能够准确的识别客户想询问的内容、了解客户需要，从而能够帮助企业快速反应，及时解决客户问题，从而提高客户满意度。

传统语义匹配采用one-hot编码或采用预训练词向量的方式。但是one-hot编码在词袋大小的空间中只有少数维度为1，高维稀疏的空间难以代表句子的语义信息。预训练词向量的方式是将词语映射到低维度稠密空间中，词语的语义表示方式更加成熟，但是在语言模型任务中训练出来的语义表征难以适应语义匹配任务的需要，从而导致语义匹配任务的结果不准确。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高准确性的基于多任务孪生网络的语义匹配方法、装置、设备和介质。

一种基于多任务孪生网络的语义匹配方法，所述方法包括：

获取待处理文本以及标准文本；

将所述待处理文本输入至第一特征抽取器中，以得到所述待处理文本对应的字量、词向量以及字词组合向量，将所述标准文本输入至第二特征抽取器中，以得到所述标准文本对应的字向量、词向量以及字词组合向量；所述第一特征抽取器以及所述第二特征抽取器互为孪生网络；

将所述待处理文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；

根据所述目标相似度输出与所述待处理文本对应的标准文本。

在其中一个实施例中，所述获取待处理文本以及标准文本，包括：

获取待处理文本以及初始标准文本；

按照预设规则提取所述待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；

根据所述抽取参数从所述初始标准文本中选取标准文本。

在其中一个实施例中，所述抽取参数为关键字，所述根据所述抽取参数从所述初始标准文本中选取标准文本包括：

将所述关键词与多个业务类型对应的标准关键词进行匹配；

获取关键词匹配成功的个数大于预设个数的业务类型作为所述待处理文本对应的业务类型；

根据所述业务类型从所述初始标准文本中选取标准文本。

在其中一个实施例中，所述将所述待处理文本输入至第一特征抽取器中，以得到所述待处理文本对应的字量、词向量以及字词组合向量，将所述标准文本输入至第二特征抽取器中，以得到所述标准文本对应的字向量、词向量以及字词组合向量，包括：

将所述待处理文本输入至第一特征抽取器中，以通过所述第一特征抽取器对所述待处理文本进行分词处理和分字处理，得到与所述待处理文本对应的子序列和词序列；

根据与所述待处理文本对应的子序列和词序列生成所述待处理文本对应的字量、词向量以及字词组合向量；

将所述标准文本输入至第二特征抽取器中，以通过所述第二特征抽取器对所述标准文本进行分词处理和分字处理，得到与所述标准文本对应的子序列和词序列；

根据与所述标准文本对应的子序列和词序列生成所述标准文本对应的字量、词向量以及字词组合向量。

在其中一个实施例中，所述根据与所述待处理文本对应的子序列和词序列生成所述待处理文本对应的字量、词向量以及字词组合向量，包括：

并行将与所述待处理文本对应的子序列和词序列输入至预设神经网络中得到所述待处理文本对应的字向量、词向量以及字词组合向量；

所述根据与所述标准文本对应的子序列和词序列生成所述标准文本对应的字量、词向量以及字词组合向量，包括：

并行将与所述标准文本对应的子序列和词序列输入至预设神经网络中得到所述标准文本对应的字向量、词向量以及字词组合向量。

在其中一个实施例中，所述获取待处理文本以及标准文本，包括：

接收终端发送的业务处理请求；

提取所述业务处理请求中的初始文本；

根据所述初始文本的句子类型对所述初始文本进行预处理得到待处理文本。

在其中一个实施例中，所述方法还包括：

获取训练文本、标准文本以及预先标注的所述训练文本与所述标准文本之间的对应关系；

将所述训练文本输入至第一特征抽取器中，以得到所述训练文本对应的字量、词向量以及字词组合向量，将和所述标准文本输入至第二特征抽取器中，以得到所述标准文本对应的字向量、词向量以及字词组合向量，所述第一特征抽取器以及所述第二特征抽取器互为孪生网络；

将所述训练文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，分别计算字向量、词向量以及字词组合向量对应的相似度，并根据所计算得到的相似度与预先标注的对应关系计算得到各自对应的损失函数；

根据字向量、词向量以及字词组合向量的损失函数得到目标损失函数，并根据所述目标损失函数通过梯度反向传播，对所述初始语义匹配模型进行参数调整，得到目标语义匹配模型。

一种基于多任务孪生网络的语义匹配装置，所述装置包括：

文本获取模块，用于获取待处理文本以及标准文本；

向量生成模块，用于将所述待处理文本输入至第一特征抽取器中，以得到所述待处理文本对应的字量、词向量以及字词组合向量，将所述标准文本输入至第二特征抽取器中，以得到所述标准文本对应的字向量、词向量以及字词组合向量；所述第一特征抽取器以及所述第二特征抽取器互为孪生网络；

模型处理模块，用于将所述待处理文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；

输出模块，用于根据所述目标相似度输出与所述待处理文本对应的标准文本。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述基于多任务孪生网络的语义匹配方法、装置、设备和介质，其中输入到语义匹配模型中的是字向量、词向量以及字词组合向量，这样通过多种方式，可以避免大量的因为切词而导致的误差，同时拥有字粒度级别的信息，对于单个词语中的错别字或者同义词等有更好的容忍度，提高了准确性。

附图说明

图1为一个实施例中基于多任务孪生网络的语义匹配方法的应用环境图；

图2为一个实施例中基于多任务孪生网络的语义匹配方法的流程示意图；

图3为一个实施例中的孪生网络的结构示意图；

图4为一个实施例中的目标语义匹配模型的训练方法的流程图；

图5为一个实施例中基于多任务孪生网络的语义匹配装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于多任务孪生网络的语义匹配方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102发送待处理文本至服务器104，从而服务器104获取到待处理文本以及标准文本，且服务器104将待处理文本输入至第一特征抽取器中，以得到待处理文本对应的字量、词向量以及字词组合向量，将标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量。此外第一特征抽取器以及第二特征抽取器互为孪生网络，保证了对待处理文本和标准文本进行相同的处理。服务器104将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度，并根据相似度得到与待处理文本匹配的标准文本，这样输入到语义匹配模型中的是字向量、词向量以及字词组合向量，这样通过多种方式，可以避免大量的因为切词而导致的误差，同时拥有字粒度级别的信息，对于单个词语中的错别字或者同义词等有更好的容忍度，提高了准确性。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种基于多任务孪生网络的语义匹配方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202：获取待处理文本以及标准文本。

具体地，该待处理文本是需要判断其含义的文本，该标准文本是已经明确了含义的标准文本，且该标准文本还对应有相应的处理方式，例如在智能问答领域，该待处理文本可以是指用户所提问的问题，该标准文本则是预先存储在数据库中的与用户提问的问题对应的标准表达，且数据库中还存储有与该标准文本对应的标准答案，从而，服务器可以根据最后与待处理文本对应的标准文本来获取到标准答案，并反馈给用户。

S204：将待处理文本输入至第一特征抽取器中，以得到待处理文本对应的字量、词向量以及字词组合向量，将标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量；第一特征抽取器以及第二特征抽取器互为孪生网络。

具体地，第一特征抽取器和第二特征抽取器是互为孪生网络的，即第一特征抽取器和第二特征抽取器是共享权值的，这样保证对待处理文本和标准文本是作相同的处理，从而得到的字向量、词向量以及字词组合向量是具有可比较性的。具体地，该孪生网络可以参见图3所示，其中input1和input2分别为待处理文本和标准文本，Vector1和Vector2为所得到的向量，sim为相似度。

具体地，此处将待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量可以是分开处理的，例如并行处理，这样服务器一个线程来对待处理文本进行处理得到对应的字向量、词向量以及字词组合向量，另一个线程则对标准文本进行处理得到对应的字向量、词向量以及字词组合向量。

S206：将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度。

具体地，该目标语义匹配模型通过字向量、词向量以及字词组合向量来进行预测，通过不同颗粒度的处理综合处理，可以提高准确性，例如该目标语义匹配模型是需要计算待处理文本和标准文本的字向量的相似度、词向量的相似度以及字词组合向量的相似度，然后根据目标语义匹配模型训练得到的参数，将字向量的相似度、词向量的相似度以及字词组合向量的相似度进行计算得到目标相似度，例如目标相似度＝a*字向量的相似度+b*词向量的相似度+c*字词组合向量，其中a、b以及c是目标语义匹配模型训练得到的参数。

S208：根据目标相似度输出与待处理文本对应的标准文本。

具体地，服务器可以选择相似度最大的一个标准文本作为与待处理文本对应的，且服务器输出该标准文本后，以便于服务器根据该标准文本进行其他处理，例如可以获取到与该标准文本对应的问题答案，或者是获取到与该标准文本对应的小程序、购物、查询或者是其他链接、或者是处理流程(跳转或者是其他等)等。

上述基于多任务孪生网络的语义匹配方法，其中输入到语义匹配模型中的是字向量、词向量以及字词组合向量，这样通过多种方式，可以避免大量的因为切词而导致的误差，同时拥有字粒度级别的信息，对于单个词语中的错别字或者同义词等有更好的容忍度，提高了准确性。

在其中一个实施例中，获取待处理文本以及标准文本，包括：获取待处理文本以及初始标准文本；按照预设规则提取待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；根据抽取参数从初始标准文本中选取标准文本。

具体地，为了提高处理效率，标准文本的确定可以是根据待处理文本进行确定，例如可以预先读取待处理文本的预设数量的字符，例如前预设数量，或者是某一预先设置的位置对应的预设数量的字符。服务器根据所提取的预设数量的字符来确定待处理文本对应的分类，例如确定抽取参数，该抽取参数可以是待处理文本对应的业务地区(例如通过语言来确定)或者是业务类型(例如通过关键字来确定)。这样服务器根据所确定的抽取参数从初始标准文本中选取标准文本，这样后续第二特征抽取器的输入数据量则会降低，从而提高了处理的效率。

在实际应用中，服务器可以首先读取待处理文本的前预设数量的字符，例如50个字符，然后根据前预设数量的字符进行文本分类识别，例如文本所采用的语种或关键字，这样根据所采用的语种或关键字对标准文本进行提取，得到对应语种或关键字的标准文本，再将所得到的标准文本输入至第二特征抽取器，这样可以减少标准文本的量，从而提高处理效率。

需要强调的是，为了进一步保证上述初始标准文本以及目标语义分割模型的私密和安全性，上述初始标准文本以及目标语义分割模型还可以存储于一区块链的节点中。

在其中一个实施例中，抽取参数为关键字，根据抽取参数从初始标准文本中选取标准文本包括：将关键词与多个业务类型对应的标准关键词进行匹配；获取关键词匹配成功的个数大于预设个数的业务类型作为待处理文本对应的业务类型；根据业务类型从初始标准文本中选取标准文本。

具体地，服务器可以首先根据待处理文本中的关键字来确定标准文本，这样可以减少标准文本的数量，然后将待处理文本与通过关键字确定的标准文本进行匹配。其中，根据关键字来进行分类，其该关键字的提取可以与业务相关，即预先设置多个业务类型以及其对应的关键词，这样服务器提取待处理文本中的关键词，与业务类型对应的关键词比较，当关键词匹配个数多的业务类型作为待处理文本对应的业务类型，从而可以根据所确定的业务对标准文本进行选择，以减少标准文本的处理量。

上述实施例中，根据待处理文本对标准文本进行筛选，从而可以减少后续目标语义匹配模型的处理量，从而提高处理效率。

在其中一个实施例中，将待处理文本输入至第一特征抽取器中，以得到待处理文本对应的字量、词向量以及字词组合向量，将标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量，包括：将待处理文本输入至第一特征抽取器中，以通过第一特征抽取器对待处理文本进行分词处理和分字处理，得到与待处理文本对应的子序列和词序列；根据与待处理文本对应的子序列和词序列生成待处理文本对应的字量、词向量以及字词组合向量；将标准文本输入至第二特征抽取器中，以通过第二特征抽取器对标准文本进行分词处理和分字处理，得到与标准文本对应的子序列和词序列；根据与标准文本对应的子序列和词序列生成标准文本对应的字量、词向量以及字词组合向量。

具体地，上述对待处理文本和标准文本的分词和分字是通过相同的分词逻辑和分字逻辑进行的，并通过共享权值的特征抽取器Network来抽取字向量、词向量以及字词组合向量。且预先通过相同的分词逻辑和分字逻辑对待处理文本和标准文本进行分字和分词处理，保证所得到的分字和分词是具有可比较性的，进而根据该分字和分词所得到的字量、词向量以及字词组合向量也是具有可比较性的。

在其中一个实施例中，根据与待处理文本对应的子序列和词序列生成待处理文本对应的字量、词向量以及字词组合向量，包括：并行将与待处理文本对应的子序列和词序列输入至预设神经网络中得到待处理文本对应的字向量、词向量以及字词组合向量；根据与标准文本对应的子序列和词序列生成标准文本对应的字量、词向量以及字词组合向量，包括：并行将与标准文本对应的子序列和词序列输入至预设神经网络中得到标准文本对应的字向量、词向量以及字词组合向量。

具体地，计算得到字向量、词向量以及字词组合向量的步骤，则是通过神经网络来进行的，例如输入到特征抽取神经网络中进行计算得到对应的字向量、词向量以及字词组合向量。其中可选地，可以并行将字序列、词序列以及字词组合序列输入到特征抽取网络中进行计算得到字向量、词向量以及字词组合向量，这样可以提高处理的效率。

在其中一个实施例中，获取待处理文本以及标准文本，包括：接收终端发送的业务处理请求；提取业务处理请求中的初始文本；根据初始文本的句子类型对初始文本进行预处理得到待处理文本。

具体地，待处理文本可以是根据终端发送的业务处理请求得到的，这样服务器提取到初始文本，并判断所述初始文本的句子类型，根据初始文本的句子类型对初始文本进行预处理得到待处理文本。例如当句子类型为疑问句时，则滤除所述初始文本中的干扰字，例如疑问词后得到待处理文本。当句子类型为陈述句时，则可以直接作为待处理文本等。

上述实施例中，在处理之前，对初始文本进行预处理，减少了数据量，提高了处理效率。

在其中一个实施例中，参见图4，图4为一个实施例中的目标语义匹配模型的训练方法的流程图，该目标语义匹配模型的训练方法包括：

S402：获取训练文本、标准文本以及预先标注的训练文本与标准文本之间的对应关系。

具体地，训练样本可以是根据日志从***服务器中提取的，标准文本则可以参考上文，训练文本和标准文本的对应关系则可以是预先标注得到的。

S404：将训练文本输入至第一特征抽取器中，以得到训练文本对应的字量、词向量以及字词组合向量，将和标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量，第一特征抽取器以及第二特征抽取器互为孪生网络。

具体地，该步骤中对于训练文本和标准文本的处理可以参见上文，在此不再赘述。

S406：将训练文本和标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，分别计算字向量、词向量以及字词组合向量对应的相似度，并根据所计算得到的相似度与预先标注的对应关系计算得到各自对应的损失函数。

S408：根据字向量、词向量以及字词组合向量的损失函数得到目标损失函数，并根据目标损失函数通过梯度反向传播，对初始语义匹配模型进行参数调整，得到目标语义匹配模型。

在技术方案的模型训练中，输入实际上句子的多种表现形式，具体为词级别、字级别、字词结合级别，传统的方式只考虑词级别的表现形式，会引入切词方面的误差，训练出来的模型会极大受到切词准确率的影响。因此这里引入了字级别与字词联合级别的粒度，字级别的扩充能够有效去除切词环节的影响，同时字词联合级别的训练会使整体的结果更具鲁棒性，最终的目标损失为以下形式：

L＝a_1*L_char+a_2*L_word+a_3*L_(word_char),其中，a1+a2+a3＝1，L_(word_char)为字词组合向量，L_word为词向量，L_char为字向量。

为了便于理解，此处提出一个完整的实施例，具体包括：

首先待处理文本为高血压投保。

其次将待处理文本转换为词粒度：w＝【高血压投保】，假设w＝【w1,w2,w3,…,wn】。

然后将w＝【w1,w2,w3,…,wn】输入模型，查找词表得到每个w对应的向量t＝【v1,v2,v3,…,vn】，那么整体为w＝【t1，t2，t3，…,tn】，其中每个t都是一个维度为m的向量。这样将w＝【t1，t2，t3，…,tn】加和平均，得到对应的语义向量s＝1/n*(t1+t2+t3+…+tn)。

其中其他粒度，如字粒度/词+字粒度参考上述方式，同样得到对应的语义向量，模型中的词表为预设的结构，即每个词都会对应有一个唯一的m维向量。

此外假设有标准文本：糖尿病投保。那么两个句子分别输入模型，得到两个语义向量s1与s2，就可以计算两个向量之间的相似度，即语义相似度。

需要说明的是不同的粒度可以分别计算相似度，根据这个相似度与标签之间的差距，如相似度为0.5，但是标签为1，那么差距为(1-0.5)＝0.5，便是模型进行优化时反向传播的损失，三个粒度损失加和平均即可。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种基于多任务孪生网络的语义匹配装置，包括：文本获取模块100、向量生成模块200、模型处理模块300和输出模块400，其中：

文本获取模块100，用于获取待处理文本以及标准文本；

向量生成模块200，用于将待处理文本输入至第一特征抽取器中，以得到待处理文本对应的字量、词向量以及字词组合向量，将标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量；第一特征抽取器以及第二特征抽取器互为孪生网络；

模型处理模块300，用于将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度；

输出模块400，用于根据目标相似度输出与待处理文本对应的标准文本。

在其中一个实施例中，上述的文本获取模块100可以包括：

文本获取单元，用于获取待处理文本以及初始标准文本；

抽取参数确定单元，用于按照预设规则提取待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；

选取单元，用于根据抽取参数从初始标准文本中选取标准文本。

在其中一个实施例中，上述的抽取参数为关键字，选取单元包括：

匹配子单元，用于将关键词与多个业务类型对应的标准关键词进行匹配；

业务类型获取子单元，用于获取关键词匹配成功的个数大于预设个数的业务类型作为待处理文本对应的业务类型；

选取子单元，用于根据业务类型从初始标准文本中选取标准文本。

在其中一个实施例中，上述的向量生成模块200可以包括：

第一序列生成单元，用于将待处理文本输入至第一特征抽取器中，以通过第一特征抽取器对待处理文本进行分词处理和分字处理，得到与待处理文本对应的子序列和词序列；

第一向量生成单元，用于根据与待处理文本对应的子序列和词序列生成待处理文本对应的字量、词向量以及字词组合向量；

第二序列生成单元，用于将标准文本输入至第二特征抽取器中，以通过第二特征抽取器对标准文本进行分词处理和分字处理，得到与标准文本对应的子序列和词序列；

第二向量生成单元，用于根据与标准文本对应的子序列和词序列生成标准文本对应的字量、词向量以及字词组合向量。

在其中一个实施例中，上述的第一向量生成单元还用于并行将与待处理文本对应的子序列和词序列输入至预设神经网络中得到待处理文本对应的字向量、词向量以及字词组合向量；

上述的第二向量生成单元还用于并行将与标准文本对应的子序列和词序列输入至预设神经网络中得到标准文本对应的字向量、词向量以及字词组合向量。

在其中一个实施例中，上述的文本获取模块100可以包括：

接收单元，用于接收终端发送的业务处理请求；

提取单元，用于提取业务处理请求中的初始文本；

预处理单元，用于根据初始文本的句子类型对初始文本进行预处理得到待处理文本。

在其中一个实施例中，上述的基于多任务孪生网络的语义匹配装置还可以包括：

训练数据获取模块，用于获取训练文本、标准文本以及预先标注的训练文本与标准文本之间的对应关系；

训练向量获取模块，用于将训练文本输入至第一特征抽取器中，以得到训练文本对应的字量、词向量以及字词组合向量，将和标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量，第一特征抽取器以及第二特征抽取器互为孪生网络；

损失函数生成模块，用于将训练文本和标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，分别计算字向量、词向量以及字词组合向量对应的相似度，并根据所计算得到的相似度与预先标注的对应关系计算得到各自对应的损失函数；

训练模块，用于根据字向量、词向量以及字词组合向量的损失函数得到目标损失函数，并根据目标损失函数通过梯度反向传播，对初始语义匹配模型进行参数调整，得到目标语义匹配模型。

关于基于多任务孪生网络的语义匹配装置的具体限定可以参见上文中对于基于多任务孪生网络的语义匹配方法的限定，在此不再赘述。上述基于多任务孪生网络的语义匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储标准文本以及目标语义匹配模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多任务孪生网络的语义匹配方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待处理文本以及标准文本；将待处理文本输入至第一特征抽取器中，以得到待处理文本对应的字量、词向量以及字词组合向量，将标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量；第一特征抽取器以及第二特征抽取器互为孪生网络；将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度；根据目标相似度输出与待处理文本对应的标准文本。

在一个实施例中，处理器执行计算机程序时所实现的获取待处理文本以及标准文本，包括：获取待处理文本以及初始标准文本；按照预设规则提取待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；根据抽取参数从初始标准文本中选取标准文本。

在一个实施例中，处理器执行计算机程序时所实现的抽取参数为关键字，根据抽取参数从初始标准文本中选取标准文本包括：将关键词与多个业务类型对应的标准关键词进行匹配；获取关键词匹配成功的个数大于预设个数的业务类型作为待处理文本对应的业务类型；根据业务类型从初始标准文本中选取标准文本。

在一个实施例中，处理器执行计算机程序时所实现的将待处理文本输入至第一特征抽取器中，以得到待处理文本对应的字量、词向量以及字词组合向量，将标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量，包括：将待处理文本输入至第一特征抽取器中，以通过第一特征抽取器对待处理文本进行分词处理和分字处理，得到与待处理文本对应的子序列和词序列；根据与待处理文本对应的子序列和词序列生成待处理文本对应的字量、词向量以及字词组合向量；将标准文本输入至第二特征抽取器中，以通过第二特征抽取器对标准文本进行分词处理和分字处理，得到与标准文本对应的子序列和词序列；根据与标准文本对应的子序列和词序列生成标准文本对应的字量、词向量以及字词组合向量。

在一个实施例中，处理器执行计算机程序时所实现的根据与待处理文本对应的子序列和词序列生成待处理文本对应的字量、词向量以及字词组合向量，包括：并行将与待处理文本对应的子序列和词序列输入至预设神经网络中得到待处理文本对应的字向量、词向量以及字词组合向量；处理器执行计算机程序时所实现的根据与标准文本对应的子序列和词序列生成标准文本对应的字量、词向量以及字词组合向量，包括：并行将与标准文本对应的子序列和词序列输入至预设神经网络中得到标准文本对应的字向量、词向量以及字词组合向量。

在一个实施例中，处理器执行计算机程序时所实现的获取待处理文本以及标准文本，包括：接收终端发送的业务处理请求；提取业务处理请求中的初始文本；根据初始文本的句子类型对初始文本进行预处理得到待处理文本。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取训练文本、标准文本以及预先标注的训练文本与标准文本之间的对应关系；将训练文本输入至第一特征抽取器中，以得到训练文本对应的字量、词向量以及字词组合向量，将和标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量，第一特征抽取器以及第二特征抽取器互为孪生网络；将训练文本和标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，分别计算字向量、词向量以及字词组合向量对应的相似度，并根据所计算得到的相似度与预先标注的对应关系计算得到各自对应的损失函数；根据字向量、词向量以及字词组合向量的损失函数得到目标损失函数，并根据目标损失函数通过梯度反向传播，对初始语义匹配模型进行参数调整，得到目标语义匹配模型。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤获取待处理文本以及标准文本；将待处理文本输入至第一特征抽取器中，以得到待处理文本对应的字量、词向量以及字词组合向量，将标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量；第一特征抽取器以及第二特征抽取器互为孪生网络；将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度；根据目标相似度输出与待处理文本对应的标准文本。

在一个实施例中，计算机程序被处理器执行时所实现的获取待处理文本以及标准文本，包括：获取待处理文本以及初始标准文本；按照预设规则提取待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；根据抽取参数从初始标准文本中选取标准文本。

在一个实施例中，计算机程序被处理器执行时所实现的抽取参数为关键字，根据抽取参数从初始标准文本中选取标准文本包括：将关键词与多个业务类型对应的标准关键词进行匹配；获取关键词匹配成功的个数大于预设个数的业务类型作为待处理文本对应的业务类型；根据业务类型从初始标准文本中选取标准文本。

在一个实施例中，计算机程序被处理器执行时所实现的将待处理文本输入至第一特征抽取器中，以得到待处理文本对应的字量、词向量以及字词组合向量，将标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量，包括：将待处理文本输入至第一特征抽取器中，以通过第一特征抽取器对待处理文本进行分词处理和分字处理，得到与待处理文本对应的子序列和词序列；根据与待处理文本对应的子序列和词序列生成待处理文本对应的字量、词向量以及字词组合向量；将标准文本输入至第二特征抽取器中，以通过第二特征抽取器对标准文本进行分词处理和分字处理，得到与标准文本对应的子序列和词序列；根据与标准文本对应的子序列和词序列生成标准文本对应的字量、词向量以及字词组合向量。

在一个实施例中，计算机程序被处理器执行时所实现的根据与待处理文本对应的子序列和词序列生成待处理文本对应的字量、词向量以及字词组合向量，包括：并行将与待处理文本对应的子序列和词序列输入至预设神经网络中得到待处理文本对应的字向量、词向量以及字词组合向量；计算机程序被处理器执行时所实现的根据与标准文本对应的子序列和词序列生成标准文本对应的字量、词向量以及字词组合向量，包括：并行将与标准文本对应的子序列和词序列输入至预设神经网络中得到标准文本对应的字向量、词向量以及字词组合向量。

在一个实施例中，计算机程序被处理器执行时所实现的获取待处理文本以及标准文本，包括：接收终端发送的业务处理请求；提取业务处理请求中的初始文本；根据初始文本的句子类型对初始文本进行预处理得到待处理文本。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取训练文本、标准文本以及预先标注的训练文本与标准文本之间的对应关系；将训练文本输入至第一特征抽取器中，以得到训练文本对应的字量、词向量以及字词组合向量，将和标准文本输入至第二特征抽取器中，以得到标准文本对应的字向量、词向量以及字词组合向量，第一特征抽取器以及第二特征抽取器互为孪生网络；将训练文本和标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，分别计算字向量、词向量以及字词组合向量对应的相似度，并根据所计算得到的相似度与预先标注的对应关系计算得到各自对应的损失函数；根据字向量、词向量以及字词组合向量的损失函数得到目标损失函数，并根据目标损失函数通过梯度反向传播，对初始语义匹配模型进行参数调整，得到目标语义匹配模型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多任务孪生网络的语义匹配方法，其特征在于，所述方法包括：

获取待处理文本以及标准文本；

将所述待处理文本输入至第一特征抽取器中，以得到所述待处理文本对应的字量、词向量以及字词组合向量，将所述标准文本输入至第二特征抽取器中，以得到所述标准文本对应的字向量、词向量以及字词组合向量；所述第一特征抽取器以及所述第二特征抽取器互为孪生网络；

将所述待处理文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；

根据所述目标相似度输出与所述待处理文本对应的标准文本。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理文本以及标准文本，包括：

获取待处理文本以及初始标准文本；

按照预设规则提取所述待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；

根据所述抽取参数从所述初始标准文本中选取标准文本。

3.根据权利要求2所述的方法，其特征在于，所述抽取参数为关键字，所述根据所述抽取参数从所述初始标准文本中选取标准文本包括：

将所述关键词与多个业务类型对应的标准关键词进行匹配；

获取关键词匹配成功的个数大于预设个数的业务类型作为所述待处理文本对应的业务类型；

根据所述业务类型从所述初始标准文本中选取标准文本。

4.根据权利要求1所述的方法，其特征在于，所述将所述待处理文本输入至第一特征抽取器中，以得到所述待处理文本对应的字量、词向量以及字词组合向量，将所述标准文本输入至第二特征抽取器中，以得到所述标准文本对应的字向量、词向量以及字词组合向量，包括：

将所述待处理文本输入至第一特征抽取器中，以通过所述第一特征抽取器对所述待处理文本进行分词处理和分字处理，得到与所述待处理文本对应的子序列和词序列；

根据与所述待处理文本对应的子序列和词序列生成所述待处理文本对应的字量、词向量以及字词组合向量；

将所述标准文本输入至第二特征抽取器中，以通过所述第二特征抽取器对所述标准文本进行分词处理和分字处理，得到与所述标准文本对应的子序列和词序列；

根据与所述标准文本对应的子序列和词序列生成所述标准文本对应的字量、词向量以及字词组合向量。

5.根据权利要求4所述的方法，其特征在于，所述根据与所述待处理文本对应的子序列和词序列生成所述待处理文本对应的字量、词向量以及字词组合向量，包括：

并行将与所述待处理文本对应的子序列和词序列输入至预设神经网络中得到所述待处理文本对应的字向量、词向量以及字词组合向量；

所述根据与所述标准文本对应的子序列和词序列生成所述标准文本对应的字量、词向量以及字词组合向量，包括：

并行将与所述标准文本对应的子序列和词序列输入至预设神经网络中得到所述标准文本对应的字向量、词向量以及字词组合向量。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述获取待处理文本以及标准文本，包括：

接收终端发送的业务处理请求；

提取所述业务处理请求中的初始文本；

根据所述初始文本的句子类型对所述初始文本进行预处理得到待处理文本。

7.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：

获取训练文本、标准文本以及预先标注的所述训练文本与所述标准文本之间的对应关系；

将所述训练文本输入至第一特征抽取器中，以得到所述训练文本对应的字量、词向量以及字词组合向量，将和所述标准文本输入至第二特征抽取器中，以得到所述标准文本对应的字向量、词向量以及字词组合向量，所述第一特征抽取器以及所述第二特征抽取器互为孪生网络；

将所述训练文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，分别计算字向量、词向量以及字词组合向量对应的相似度，并根据所计算得到的相似度与预先标注的对应关系计算得到各自对应的损失函数；

根据字向量、词向量以及字词组合向量的损失函数得到目标损失函数，并根据所述目标损失函数通过梯度反向传播，对所述初始语义匹配模型进行参数调整，得到目标语义匹配模型。

8.一种基于多任务孪生网络的语义匹配装置，其特征在于，所述装置包括：

文本获取模块，用于获取待处理文本以及标准文本；

向量生成模块，用于将所述待处理文本输入至第一特征抽取器中，以得到所述待处理文本对应的字量、词向量以及字词组合向量，将所述标准文本输入至第二特征抽取器中，以得到所述标准文本对应的字向量、词向量以及字词组合向量；所述第一特征抽取器以及所述第二特征抽取器互为孪生网络；

模型处理模块，用于将所述待处理文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；

输出模块，用于根据所述目标相似度输出与所述待处理文本对应的标准文本。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images