CN111026840A

CN111026840A - 文本处理方法、装置、服务器和存储介质

Info

Publication number: CN111026840A
Application number: CN201911171807.0A
Authority: CN
Inventors: 王子璇; 王晓利
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2020-04-17
Anticipated expiration: 2039-11-26
Also published as: CN111026840B

Abstract

本发明实施例公开了一种文本处理方法、装置、服务器和存储介质；本发明实施例可以获取目标用户的用户文本；基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本；根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度；当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本；向目标用户发送答复文本。在本发明实施例中，可以通过与用户文本相似的第一、第二文本来判断用户文本是否可由第一文本准确地表达，若是，则向目标用户发送该第一文本对应的答复文本。由此，该方案可以提升文本处理方法所生成的答复文本的准确度。

Description

文本处理方法、装置、服务器和存储介质

技术领域

本发明涉及计算机领域，具体涉及一种文本处理方法、装置、服务器和存储介质。

背景技术

随着计算机发展，人工问答可以由机器替代。目前出现了各种问答***，用于给用户提供技术指导、申报反馈、搜索查询等服务，替代了传统的人工客服。

比如，交互式问答***是一种用户与机器之间使用自然语言进行上下文相关地、连续地对话交互***，例如，语音助手、人工智能客服、各种软件应用的问答中心(Frequently Asked Questions，FAQ)功能，等等。

然而，目前的交互式问答***常常出现答非所问的情况，因此，目前用于交互式问答的文本处理方法所生成的答复文本的准确度低下。

发明内容

本发明实施例提供一种文本处理方法、装置、服务器和存储介质，可以提升文本处理方法所生成的答复文本的准确度。

本发明实施例提供一种文本处理方法，包括：

获取目标用户的用户文本；

基于所述用户文本对预设文本库进行匹配操作，得到所述预设文本库中与用户文本相似的第一文本、第二文本；

根据所述第二文本对所述第一文本进行准确度预测，得到所述第一文本相对于所述用户文本的准确度；

当所述第一文本的准确度处于预设数值范围时，根据所述第一文本确定所述用户文本对应的答复文本；

向所述目标用户发送所述答复文本。

本发明实施例还提供一种文本处理装置，包括：

获取单元，用于获取目标用户的用户文本；

匹配单元，用于基于所述用户文本对预设文本库进行匹配操作，得到所述预设文本库中与所述用户文本相似的第一文本、第二文本；

准确度单元，用于根据所述第二文本对所述第一文本进行准确度预测，得到所述第一文本相对于所述用户文本的准确度；

答案单元，用于当所述第一文本的准确度处于预设数值范围时，根据所述第一文本确定所述用户文本对应的答复文本；

发送单元，用于向所述目标用户发送所述答复文本。

本发明实施例还提供一种服务器，包括存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种文本处理方法中的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种文本处理方法中的步骤。

本发明实施例可以获取目标用户的用户文本；基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本；根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度；当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本；向目标用户发送答复文本。

在本发明中，可以通过与用户文本相似的第一、第二文本来判断用户文本是否可由第一文本准确地表达，若是，则向目标用户发送该第一文本对应的答复文本。由此，该方案可以提升文本处理方法所生成的答复文本的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的文本处理方法的场景示意图；

图1b是本发明实施例提供的文本处理方法的流程示意图；

图1c是本发明实施例提供的文本处理方法的用户语义合成示意图；

图1d是本发明实施例提供的文本处理方法的BERT模型结构示意图；

图2a是本发明实施例提供的文本处理方法应用在FAQ问答***场景中的示意图；

图2b是本发明实施例提供的文本处理方法的具体流程示意图；

图2c是本发明实施例提供的文本处理方法的训练好的BERT模型结构示意图；

图2d是本发明实施例提供的文本处理方法的多头自注意力网络结构示意图；

图3a是本发明实施例提供的文本处理装置的第一种结构示意图；

图3b是本发明实施例提供的文本处理装置的第二种结构示意图；

图3c是本发明实施例提供的文本处理装置的第三种结构示意图；

图4是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种文本处理方法、装置、服务器和存储介质。

其中，该文本处理装置具体可以集成在电子设备中，该电子设备可以为服务器、服务器等设备。其中，服务器可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

在一些实施例中，该文本处理装置还可以集成在多个电子设备中，比如，文本处理装置可以集成在多个服务器中，由多个服务器构成服务器集群来实现本发明的文本处理方法。

参考图1a，该文本处理装置集成在服务器中，该服务器可以获取用户B的用户文本，并基于该用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本；然后，根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度；当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本；最后，向用户B发送答复文本。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

在本实施例中，提供了一种文本处理方法，如图1b所示，该文本处理方法的具体流程可以如下：

101、获取目标用户的用户文本。

其中，用户文本是指待处理的用户的文本信息，比如，用户的提问文本、反馈文本、咨询文本，等等。

该用户文本中可以包括文字、数字、字符等文本信息。

获取目标用户的用户文本的方式具有多种，比如，可以直接获取用户在终端上输入的用户文本，也可以通过网络从数据库中获取用户文本获得，还可以由其它媒体转换获得，等等。

比如，可以获取目标用户的用户音频、视频、图片、动态图像等等不同类型的媒体数据，并将这些媒体数据转换为文本类型的用户文本。

例如，在一些实施例中，可以获得目标用户的提问语音，并对该提问语音进行语音转换处理，得到该提问语音对应的用户文本。

例如，在一些实施例中，可以获得目标用户的用户照片，并采用图像识别的方式提取该用户照片中的关键字信息，从而根据该关键字信息得到该提问语音对应的用户文本。

102、基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本。

其中，预设文本库中可以包括多个预设文本，该预设文本为预先设置的文本，该预设文本可以是用户常常提出的用户文本。

比如，多个用户曾提出反馈文本：“虚拟物品A怎么用不了”，预设文本库中可以包括预设文本：“虚拟物品A无法使用”。

其中，第一文本是指预设文本库中与用户文本最相似的预设文本，第二文本是指预设文本库中与用户文本第二相似的预设文本。

其中，相似可以指语义相似、用词相似、文本字数相似、文本分段相似、关键词相似，等等。

基于用户文本对预设文本库进行匹配操作是指，将用户文本与预设文本库中的所有预设文本进行匹配，从而确定与用户文本最相似的预设文本，以及与用户文本第二相似的预设文本的过程。

比如，在一些实施例中，预设文本库中可以包括多个预设文本，步骤102可以包括如下步骤：

采用预设匹配模型计算用户文本与预设文本库中每个预设文本之间的相似度，其中，预设匹配模型由训练样本训练而成；

将预设文本库中相似度最高的预设文本确定为第一文本；

将除去第一文本后的预设文本库中相似度最高的预设文本确定为第二文本。

其中，预设匹配模型可以为各种用于计算文本相似度的数学算法模型，比如，神经网络模型，例如，BERT模型(Bi-directional Encoder Representations fromTransformer，一种)、长短期记忆网络(Long Short-Term Memory，LSTM)、向量空间模型(Vector Space Model，VSM)，以及各种语言模型等等。

在一些实施例中，为了从语义上辨别第一文本和用户文本之间的区别，可以在预设匹配模型中引入注意力(Attention)机制来加强对特定的语义的关注，从而进一步提高文本处理方法所生成的答复文本的准确度，故步骤“采用预设匹配模型计算用户文本与预设文本库中每个预设文本之间的相似度”具体可以包括如下步骤：

A.对用户文本以及预设文本进行语义提取，得到用户文本的用户语义，以及预设文本的预设文本语义；

B.采用预设匹配模型对用户语义和预设文本语义进行语义增强处理，得到增强后的用户语义和增强后的预设文本语义；

C.根据增强后的用户语义和增强后的预设文本语义进行相似度打分，得到用户文本与预设问题之间的相似度。

具体地，在一些实施例中，步骤A“对用户文本以及预设文本进行语义提取，得到用户文本的用户语义，以及预设文本的预设文本语义”可以包括如下步骤：

提取用户文本的字词向量、字词位置向量和全局向量；

对用户文本的字词向量、字词位置向量和全局向量进行向量融合处理，得到用户文本的用户语义；

提取预设文本的字词向量、字词位置向量和全局向量；

对预设文本的字词向量、字词位置向量和全局向量进行向量融合处理，得到预设文本的预设文本语义。

其中，字词向量是指包含了用户文本的一维向量表示，即，词向量(Wordembedding)、句向量(Sentence Embedding)；字词位置向量是表示用户文本中每个字符在该用户文本中所处的位置的向量；全局向量是指整个用户文本全局的语义向量，其可以与单个字、词的语义向量相融合。

其中，向量融合处理是指多个向量融合为一个向量的处理方法，比如，向量融合处理方式可以是将多个向量进行加权求和，得到一个向量。

比如，参考图1c，可以提取用户文本“虚拟物品A怎么用不了”的字词向量、字词位置向量和全局向量，并将字词向量、字词位置向量和全局向量进行向量相加，得到用户文本的用户语义。

类似地，可以提取预设文本“虚拟物品A怎么用不了”的字词向量、字词位置向量和全局向量，并将字词向量、字词位置向量和全局向量进行向量相加，得到预设文本的用户语义。

具体地，在一些实施例中，为了区分输入的不同部分对输出的影响，基于注意力机制的步骤A可以包括如下步骤：

在预设的多个语义空间对用户语义、预设文本语义进行多头自注意力处理，得到待转换的用户语义、待转换的预设文本语义；

根据用户语义和待转换的用户语义进行残差融合处理，得到待转换的标准化用户语义，以及根据预设文本语义和待转换的预设文本语义进行残差处理，得到待转换的标准化预设文本语义；

分别对待转换的标准化用户语义、待转换的标准化预设文本语义进行线性转换处理，得到增强后的用户语义、增强后的预设文本语义。

其中，残差融合处理是指采用残差块(Residual Block)结构来拟合残差，即误差的观测值，从而优化深度网络模型，解决深度网络模型的退化问题(degradationproblem)。

比如，采用残差网络(ResNets)来拟合残差，该残差网络中可以包括多个残差块结构，以及捷径(shortcut connection)结构。

其中，残差块可以包括两层网络结构，假设残差块的输入为x，第二层网络在激活函数(Rectified Linear Unit，ReLU)之前的输出为F(x)，F(x)＝W₂σ(W₁x)，其中，W₁和W₂表示第一层网络和第二层网络的权重；在省略偏置值(bias)的情况下，残差块的输出为σ(F(x)+x)，其中，σ表示激活函数。

其中，线性转换处理(linear transformation)是指采用线性转换网络来将向量从一个向量空间映射到另一个向量空间，比如，线性转换网络的偏置值为b，权重为a，则向量x经过线性转换网络的线性转换处理后得到Y，其中，Y＝ax+b。

其中，多头自注意力处理是指采用多个线性变换层(Linear)作为输入端的自注意力网络来注意不同的向量信息，比如，该网络可以是3个线性变换层(即3个多头)、注意力层、拼接层构成的多头自注意力网络，其中，线性变换层中的权重可以相同，也可以互不相同。

此时，多头注意力网络的输出如下：

Attention(Q，K，V)＝softmax[(QK^T)/(d_k)^(1/2))V

其中，Q、K、V为3个线性变换层的输出。

例如，参考图1c，BERT模型中可以包括多个编码器，在每个编码器中，可以在预设的多头自注意力网络中对用户语义、预设文本语义进行多头自注意力处理，得到待转换的用户语义、待转换的预设文本语义；然后，根据用户语义和待转换的用户语义进行残差融合处理，并通过标准化网络后得到待转换的标准化用户语义，以及根据预设文本语义和待转换的预设文本语义进行残差融合处理，并通过标准化网络后得到待转换的标准化预设文本语义；最后分别对待转换的标准化用户语义、待转换的标准化预设文本语义进行线性转换处理，得到增强后的用户语义、增强后的预设文本语义。

103、根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度。

其中，准确度是判断文本之间是否表达了同一个语义的参数，可以由多种相似度计算得出，比如，准确度可以与语义相似度、关键词相似度等等有关。

比如，在一些实施例中，为了考虑到文本之间的线性关系和非线性关系，进一步提高文本处理方法所生成的问答文本的准确度，准确度可以包括线性准确度和非线性准确度，准确度预测的步骤可以包括步骤A、步骤B和步骤C，如下：

A.计算用户文本与第一文本之间的相似度，以及第一文本与第二文本之间的相似度；

B.根据用户文本与第一文本之间的相似度、第一文本与第二文本之间的相似度计算第一文本相对于用户文本的线性准确度、非线性准确度；

C.基于线性准确度、非线性准确度确定第一文本相对于用户文本的准确度。

其中，线性准确度是指两个向量之间线性关系的准确度，可以由线性分类模型计算用户文本与第一文本之间的相似度、第一文本与第二文本之间的相似度得出；非线性准确度是指两个向量之间非线性关系的准确度，可以由非线性分类模型计算用户文本与第一文本之间的相似度、第一文本与第二文本之间的相似度得出；第一文本相对于用户文本的准确度可以由线性准确度、非线性准确度决定。

需要注意的是，线性分类模型和非线性分类模型均可以为二分类模型，也可以均为多分类的判别模型。

其中，线性分类模型可以包括逻辑回归(Logstic Regression)模型，等等；非线性分类模型可以包括随机森林(Random Forest)模型，等等。

在一些实施例中，可以基于线性准确度、非线性准确度确定第一文本相对于用户文本的准确度。

比如，线性分类模型为逻辑回归模型，非线性分类模型为随机森林模型时，可以将用户文本与第一文本之间的相似度、第一文本与第二文本之间的相似度输入逻辑回归模型，以及，将用户文本与第一文本之间的相似度、第一文本与第二文本之间的相似度输入随机森林模型，逻辑回归模型和随机森林模型输出的预测值则为第一文本相对于用户文本的准确度。

在一些实施例中，步骤A可以具体包括：

采用预设相似度模型计算所述用户文本与第一文本之间的相似度，以及所述第一文本与第二文本之间的相似度，其中，所述预设相似度模型至少包括字词相似度模型、词法相似度模型、语义相似度模型中的一种。

其中，词相似度模型可以用于处理得到词相似度、词法相似度模型可以用于处理得到词法相似度、语义相似度模型可以用于处理得到语义相似度。

其中，词相似度是指单个字词在向量空间中的一维向量表现，即，词向量之间的相似度；词法相似度是词的构成、组合、词形变化等文法向量之间的相似度；语义相似度是指文本的全局语义向量之间的相似度。

其中，词相似度模型可以为各种词袋模型(Bag-of-words model)，比如，向量空间模型(Vector Space Model，VSM)、Word2vec模型(Word to vector)、独热码(One-HotCode)，等等。

其中，词法相似度模型可以为各种语法解析模型，比如，上下文无关语法(Context-Free Grammer)模型、N-gram模型、编辑距离模型，等等。

其中，语义相似度模型可以包括多种长短期记忆网络(LSTM，LongShort-TermMemory)、循环神经网络(Recurrent Neural Network，RNN)，等等。

在一些实施例中，相似度可以包括局部相似度、全局相似度，全局相似度可以包括绝对全局相似度、相对全局相似度，A可以包括如下步骤：

a₁.计算用户文本与第一文本之间的局部相似度；

a₂.计算用户文本和第一文本之间的绝对全局相似度，以及第一文本与第二文本之间的相对全局相似度。

相似度可以由向量之间的距离、夹角、余弦值等数值决定。

比如，相似度可以由谷本系数(Tanimoto系数)、皮尔逊相关系数、欧几里德距离、余弦值中至少一种构成。

其中，局部相似度是指字与字之间、词与词之间词向量的相似度；全局相似度是指文本与文本之间的全局语义的相似度。

其中，绝对相似度是指第一文本与用户文本之间的相似度，相对是指第一文本与第二文本之间的相似度。

故以对比范围来区分，相似度可以分为局部相似度、全局相似度；以对比对象来区分，相似度可以分为绝对相似度和相对相似度。

具体地，同时从对比范围以及对比对象来区分，相似度可以分为绝对局部相似度、绝对全局相似度、相对局部相似度、相对全局相似度。

即，绝对全局相似度是指用户文本和第一文本之间的全局语义相似度；相对全局相似度是指第一文本与第二文本之间的全局语义相似度。

在一些实施例中，局部相似度还可以包括绝对局部相似度和相对局部相似度；即局部全局相似度是指用户文本和第一文本之间字与字、词与词之间的相似度；相对局部相似度是指第一文本与第二文本之间字与字、词与词之间的相似度。

具体地，在一些实施例中，预设文本库中可以包括多个预设问题组，每个预设问题组中可以包括至少一个预设文本，该预设问题组中的预设文本均表达同一语义，但每个预设文本之间用词、语法等不同。

比如，预设问题组X中包括3个预设文本，分别为“虚拟物品A无法使用”、“虚拟物品A怎么用不了？”、“怎么用虚拟物品A？”。

故步骤a₂可以包括如下具体步骤：

确定第一文本在预设文本库中对应的第一预设问题组，以及第二文本在预设文本库中对应的第二预设问题组；

根据用户文本、第一文本、第一预设问题组进行相似度分析，得到用户文本和第一预设问题组之间的绝对全局相似度；

根据第一预设问题组、第二预设问题组进行相似度分析，得到第一文本与第二文本之间的相对全局相似度。

比如，根据用户文本、第一文本、第一预设问题组进行相似度分析，得到用户文本和第一预设问题组之间的绝对全局相似度可以包括如下步骤：

计算用户文本和第一预设问题组中每个第一预设文本之间的绝对全局相似度，并对这些绝对全局相似度进行均值处理，得到用户文本和第一预设问题组的绝对全局相似度；

分别计算第一预设问题组中的每个第一预设问题和第二预设问题组中每个第二预设文本之间的相对全局相似度，并对这些相对全局相似度进行均值处理，得到第一文本与第二文本之间的相对全局相似度。

104、当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本。

其中，预设数值范围可以由技术人员设置，比如，当第一文本的准确度处于预设数值范围(-∞，0)时，根据第一文本确定用户文本对应的答复文本。

比如，假设线性分类模型为逻辑回归模型，非线性分类模型为随机森林模型时，逻辑回归模型输出的线性准确度和随机森林模型输出的非线性准确度均为正数，则可以获取第一文本对应的答复文本，将其确定为用户文本对应的答复文本。

具体地，根据第一文本确定用户文本对应的答复文本的方法可以包括：

在数据库中查询第一文本对应的答复文本；

将该答复文本确定为用户文本对应的答复文本。

在一些实施例中，根据第一文本确定用户文本对应的答复文本的方法可以包括：

确定第一文本对应的预设问题组；

在数据库中查询该预设问题组对应的答复文本；

将该答复文本确定为用户文本对应的答复文本。

105、向目标用户发送答复文本。

在一些实施例中，为了进一步提高文本处理方法所生成的问答文本的准确度，以及提高用户体验，故当第一文本的准确度不处于预设数值范围时，可以对用户文本进行人工问答处理，得到所述用户文本对应的客服答复文本，并向目标用户发送客服答复文本。

最后，可以通过网络向目标用户发送答复文本。

在一些实施例中，文本处理方法还可以在执行步骤向目标用户发送答复文本时，对答复文本进行语音转换处理，得到该答复文本对应的答复语音，并向目标用户发送该答复语音。

由上可知，本发明实施例可以获取目标用户的用户文本；基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本；根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度；当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本；向目标用户发送答复文本。

在本发明实施例中，可以在通过预设文本库中与提问文本相似的第一、第二问题文本来判断提问文本是否可由第一问题文本准确地表达，若是，则将第一问题文本对应的答复文本视为用户文本对应的答复文本，将该答复文本发送给用户。由此，该方案可以提升基于交互式问答的文本处理方法所生成的问答文本的准确度。

根据上述实施例所描述的方法，以下将作进一步详细说明。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器来模拟或实现人类的学习行为，从而达到感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

自然语言处理(Nature Language processing，NLP)是人工智能领域下研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

本发明实施例具体涉及人工智能领域中的自然语言处理技术，参考图2a所示的FAQ问答***，该FAQ问答***包括用户端和服务器端，用户端和服务器端通过网络连接，该服务器端中可以包括FAQ库(即，问题库)，FAQ库中包括多个预置的FAQ组，每个FAQ组中包括多个FAQ文本，每个FAQ组均与至少一个答案对应。

在本实施例中，用户向FAQ问答***提问时，服务器端可以在FAQ库中找到合适的答案回复用户，若未找到合适的答案，则不回复用户，或者，接入人工客服。

在本实施例中，将以用在电子游戏应用的FAQ问答***为例，对本发明实施例的方法进行详细说明。

如图2b所示，一种文本处理方法具体流程如下：

(一)、获取目标用户的用户问题，并对该用户问题进行文本预处理。

比如，假设目标用户的用户问题为“為什麽、用不了虛擬物品A？”。

在本实施例中，可以对用户问题进行数据预处理，比如，对用户问题进行繁简转换、符号替换、同义词替换、分词、去停用词、核心短句抽取等等。

例如，对目标用户的用户问题为“為什麽、用不了虛擬物品A？”进行繁简转换、符号替换、同义词替换、分词后得到用户问题“为什么用不了虚拟物品A？”。

在一些实施例中，可以根据历史用户问题来进行文本预处理，比如，根据历史用户问题以及预设核心词汇来梳理当前目标用户的用户问题，识别出其中的核心词句，从而起到清洁用户问题、提高对该用户问题的识别效果，从而进一步提升文本处理方法所生成的问答文本的准确度。

(二)、将该用户问题输入至训练好的BERT模型进行匹配操作，得到FAQ库中与用户文本相似的第一FAQ文本、第二FAQ文本。

参考图2c，图2c为训练好的BERT模型。BERT模型中包括多个编码器，分别为编码器1、编码器2…编码器N。其中，参考图1d，编码器中可以包括多头自注意力网络、标准化网络以及线性转换网络和残差融合结构。

其中，多头自注意力网络包括多个不同的自注意力(Self-Attention)模块，多头自注意力网络可以输出文本中每个字词在不同语义空间下的增强语义向量，并将每个字的多个增强语义向量进行线性组合，从而输出一个最终的与原始字向量长度相同的增强语义向量。

其中，参考图2d，多头自注意力网络(Multi-head Self-Attention)可以包括多个自注意力(Self-Attention)模块；每个自注意力网络均可以通过线性变换获得目标字词的Query向量表示、目标字词上下文各字的Key向量表示以及目标字词与上下文各个字的原始Value表示，以及，Query向量与各个Key向量的相似度作为权重，加权融合目标字的Value向量和各个上下文字的Value向量，得到自注意力网络的输出，即，目标字词的增强语义向量。

其中，残差融合结构是一种残差连接(Residual Connection)结构，可以将多头自注意力网络的输出与BERT模型的输入直接相加，作为最后的输出，从而修改输入比，使网络更容易训练。

其中，标准化网络可以对多头自注意力网络的输出作0均值1方差的标准化。

在本实施例中，可以对每个字的增强语义向量再做两次线性变换，以增强整个模型的表达能力，使得变换后的向量与原向量保持长度相同，进而提升文本处理方法所生成的问答文本的准确度。

在本实施例中，可以将用户问题以及FAQ库中的一个FAQ文本输入至上述训练好的BERT模型中，得到BERT模型输出的预测结果，即，用户问题与该FAQ文本之间的相似度。

然后，根据相似度进行排序，得到由大到小或由小到大依次排序的FAQ文本，将相似度最大的FAQ文本确定为第一FAQ文本，将相似度第二大的FAQ文本确定为第二FAQ文本。

通过本排序方法得到的第一FAQ文本和第二FAQ文本相比于其他方法更加精确、有效，相比于其他排序方法的复杂性以及匹配性能，本排序方法可以进一步提升文本处理方法所生成的问答文本的准确度。

(三)、基于第一FAQ文本和第二FAQ文本进行特征抽取，得到相似度特征。

在本实施例中，可以将上述步骤得到的用户问题与第一FAQ文本之间的相似度、与第二FAQ文本之间的相似度均视为特征抽取得到的相似度特征。

此外，相似度特征还可以包括绝对相似度和相对相似度；其中，绝对相似度又可以分为绝对局部相似度、绝对全局相似度，相对相似度又可以分为相对局部相似度、相对全局相似度。

绝对是指第一FAQ文本与用户问题之间的关系，相对是指第一FAQ文本与第二FAQ文本之间的关系。

全局相似度是指文本全局语义相似度，局部相似度是指字词相似度。

其中，绝对局部相似度可以包括第一FAQ文本与用户问题中相同的核心词句的数量，以及核心词句的共现率；相对局部相似度可以包括第一FAQ文本与第二FAQ文本中相同的核心词句的数量，以及核心词句的共现率；。

其中，核心词句的共现率等于第一FAQ文本与用户问题中相同核心词句的数量除以第一FAQ文本与用户问题中非共有的核心词句的数量。

例如，用户问题为“为什么虚拟物品A不能使用？”其中核心词句为“为什么”、“虚拟物品A”、“不能”、“使用”；第一FAQ文本为“虚拟物品A无法使用”，其核心词句为“虚拟物品A”、“无法”、“使用”。可知，第一FAQ文本与用户问题中相同核心词句为“虚拟物品A”、“使用”，第一FAQ文本与用户问题中非共有的核心词句为“为什么”、“不能”。

其中，绝对全局相似度可以包括第一FAQ文本与用户问题之间的全局语义相似度。

例如，将第一FAQ文本简写为Q_1，将第一FAQ文本所属的FAQ组简写为QG_1，将第二FAQ文本简写为Q_2，将第二FAQ文本所属的FAQ组简写为QG_2，则：

绝对全局相似度可以包括Q_1与用户问题之间采用各匹配算法求出的相似度、QG_1中各FAQ文本与用户问题之间采用各匹配算法求出的平均相似度。

相对全局相似度可以包括Q_1与Q_2之间采用各匹配算法求出的相似度、QG_1中各FAQ文本分别与QG_2中各FAQ文本之间采用各匹配算法求出的平均相似度，以及，Q_1分别与QG_1中各FAQ文本之间采用各匹配算法求出的平均相似度。

其中，匹配算法可以包括长短时间记忆网络算法、向量空间模型算法、N-gram算法、编辑距离算法，等等。

其中，编辑距离是指把用户问题转换成FAQ文本所需的最少编辑操作次数，记为L(用户问题，FAQ文本)，编辑距离相似度＝1-L L(用户问题，FAQ文本)/max(len(用户问题)，len(FAQ文本))，其中len函数表示该文本的字符长度。

(四)、将相似度特征输入二分类模型，得到准确度。

然后，分别将上述得到的各个相似度特征输入到二分类模型中，得到准确度。

在本实施例中，二分类模型可以包括逻辑回归模型和随机森林模型，将相似度特征分别输入逻辑回归模型和随机森林模型中后，得到逻辑回归模型和随机森林模型的输出结果，即准确度。

(五)、当准确度大于预设数值范围时，获取第一FAQ文本的FAQ组所对应的答案，并将该答案返回给目标用户。

比如，当逻辑回归模型和随机森林模型的输出结果均为正，即准确度均大于0时，则输出结果均大于预设数值范围(-∞，0)，则将该答案返回给目标用户。

(六)、当准确度小于预设数值范围时，将用户问题发送给人工客服，并将人工客服返回的答案发送给目标用户。

比如，当逻辑回归模型和随机森林模型的输出结果中存在至少一个负数，即准确度没有均大于0时，则输出结果存在属于预设数值范围(-∞，0)，将用户问题发送给人工客服，并将人工客服返回的答案发送给目标用户。

由上可知，本发明实施例可以获取目标用户的用户问题，并对该用户问题进行文本预处理；将该用户问题输入至训练好的BERT模型进行匹配操作，得到FAQ库中与用户文本相似的第一FAQ文本、第二FAQ文本；基于第一FAQ文本和第二FAQ文本进行特征抽取，得到相似度特征；将相似度特征输入二分类模型，得到准确度；当准确度大于预设数值范围时，获取第一FAQ文本的FAQ组所对应的答案，并将该答案返回给目标用户；当准确度小于预设数值范围时，将用户问题发送给人工客服，并将人工客服返回的答案发送给目标用户。

相同条件下，本实施例中文本处理方法生成的答案文本与目前传统方法生成的答案文本的对比结果可以参考表1，如下：

	有效率	准确率
			传统方法	44％	55.52％
本发明	44％	91.23％

表1

可知，在FAQ库中FAQ文本输了相同，即有效率均为44％的情况下，本方案实施例可以大幅度提高答案文本的准确率，此外，相比于传统方法中用户需要从多个类似的FAQ文本中自主选取最接近用户问题的FAQ文本，采用本方案时，用户不会看到与其用户问题无关的答案，由此本方案可以有效提高用户体验，减少用户交互所需时间，提高了问答效率。

由此，本方案可以提升文本处理方法所生成的问答文本的准确度。

为了更好地实施以上方法，本发明实施例还提供一种文本处理装置，该文本处理装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

比如，在本实施例中，将以文本处理装置具体集成在服务器为例，对本发明实施例的方法进行详细说明。

例如，如图3a所示，该文本处理装置可以包括获取单元301、匹配单元302、准确度单元303、答案单元304以及发送单元305，如下：

(一)、获取单元301。

获取单元301可以用于获取目标用户的用户文本。

具体地，在一些实施例中，获取单元301可以用于获得目标用户的提问语音，并对该提问语音进行语音转换处理，得到该提问语音对应的用户文本。

(二)、匹配单元302。

匹配单元302可以用于基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本。

在一些实施例中，预设文本库中可以包括多个预设文本，参考图3b，匹配单元302可以包括相似度子单元3021、第一文本子单元3022以及第二文本子单元3023，如下：

(1)相似度子单元3021。

相似度子单元可以用于采用预设匹配模型计算用户文本与预设文本库中每个预设文本之间的相似度，其中，预设匹配模型由训练样本训练而成。

(2)第一文本子单元3022。

第一文本子单元可以用于将预设文本库中相似度最高的预设文本确定为第一文本。

(3)第二文本子单元3023。

第二文本子单元可以用于将除去第一文本后的预设文本库中相似度最高的预设文本确定为第二文本。

在一些实施例中，相似度子单元3021具体可以包括语义提取子模块、语义增强子模块以及相似度打分子模块，如下：

A.语义提取子模块，可以用于对用户文本以及预设文本进行语义提取，得到用户文本的用户语义，以及预设文本的预设文本语义。

B.语义增强子模块，可以用于采用预设匹配模型对用户语义和预设文本语义进行语义增强处理，得到增强后的用户语义和增强后的预设文本语义。

C.相似度打分子模块，可以用于根据增强后的用户语义和增强后的预设文本语义进行相似度打分，得到用户文本与预设问题之间的相似度。

具体地，在一些实施例中，语义提取子模块具体可以用于：

提取用户文本的字词向量、字词位置向量和全局向量；

提取预设文本的字词向量、字词位置向量和全局向量；

具体地，在一些实施例中，语义提取子模块具体可以用于：

(三)、准确度单元303。

准确度单元303可以用于根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度。

在一些实施例中，参考图3c，准确度单元303可以包括相似度子单元3031、相对子单元3032以及准确度子单元3033，如下：

(1)、相似度子单元3031。

相似度子单元3031可以用于计算用户文本与第一文本之间的相似度，以及第一文本与第二文本之间的相似度；

(2)、相对子单元3032。

相对子单元3032可以用于根据用户文本与第一文本之间的相似度、第一文本与第二文本之间的相似度计算第一文本相对于用户文本的线性准确度、非线性准确度；

(3)、准确度子单元3033。

准确度子单元3033可以用于基于线性准确度、非线性准确度确定第一文本相对于用户文本的准确度。

在一些实施例中，相似度子单元3031可以具体可以用于：

在一些实施例中，相似度可以包括局部相似度、全局相似度，全局相似度可以包括绝对全局相似度、相对全局相似度，相似度子单元3031具体可以包括局部子模块以及，全局子模块如下：

局部子模块，可以用于计算用户文本与第一文本之间的局部相似度；

全局子模块，可以用于计算用户文本和第一文本之间的绝对全局相似度，以及第一文本与第二文本之间的相对全局相似度。

具体地，在一些实施例中，局部相似度可以包括核心字词数量和核心字词共现率，局部子模块具体可以用于：

对用户文本和第一文本进行字词分析，确定用户文本中的核心字词、第一文本中的核心字词；

根据用户文本中的核心字词、第一文本中的核心字词统计用户文本的核心字词数量，以及第一文本的核心字词数量；

基于用户文本中的核心字词、第一文本中的核心字词统计用户文本和第一文本的之间相同的核心字词数量，以及不同的核心字词数量；

根据用户文本和第一文本的之间相同的核心字词数量，以及不同的核心字词数量，计算用户文本和第一文本的之间的核心词共现率。

具体地，在一些实施例中，预设文本库中可以包括多个预设问题组，预设问题组中可以包括至少一个预设文本，全局子模块具体可以用于：

(四)、答案单元304。

答案单元304可以用于当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本。

(五)、发送单元305。

发送单元305可以用于向目标用户发送答复文本。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的文本处理装置由获取单元获取目标用户的用户文本；由匹配单元基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本；由准确度单元根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度；当第一文本的准确度处于预设数值范围时，由答案单元根据第一文本确定用户文本对应的答复文本；由发送单元向目标用户发送答复文本。本方案可以提升文本处理方法所生成的答复文本的准确度。

本发明实施例还提供一种服务器，该服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，等等。

在本实施例中，将以本实施例的服务器是由多个服务器组成的服务器集群为例进行详细描述，比如，如图4所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：

该服务器可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解，图4中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。在一些实施例中，处理器401可包括一个或多个处理核心；在一些实施例中，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

服务器还包括给各个部件供电的电源403，在一些实施例中，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入模块404，该输入模块404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

该服务器还可包括通信模块405，在一些实施例中通信模块405可以包括无线模块，服务器可以通过该通信模块405的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。

尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取目标用户的用户文本；

基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本；

根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度；

当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本；

向目标用户发送答复文本。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，在本方案实施例中，服务器可以获取目标用户的用户文本；基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本；根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度；当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本；向目标用户发送答复文本。由此，本方案实施例可以提升文本处理方法所生成的答复文本的准确度。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种文本处理方法中的步骤。例如，该指令可以执行如下步骤：

获取目标用户的用户文本；

向目标用户发送答复文本。获取单元，用于获取目标用户的用户文本；

匹配单元，用于基于用户文本对预设文本库进行匹配操作，得到预设文本库中与用户文本相似的第一文本、第二文本；

准确度单元，用于根据第二文本对第一文本进行准确度预测，得到第一文本相对于用户文本的准确度；

答案单元，用于当第一文本的准确度处于预设数值范围时，根据第一文本确定用户文本对应的答复文本；

发送单元，用于向目标用户发送答复文本。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种文本处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种文本处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种文本处理方法、装置、服务器和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种文本处理方法，其特征在于，包括：

获取目标用户的用户文本；

向所述目标用户发送所述答复文本。

2.如权利要求1所述的文本处理方法，其特征在于，根据所述第二文本对所述第一文本进行准确度预测，得到所述第一文本相对于所述用户文本的准确度，包括：

计算所述用户文本与第一文本之间的相似度，以及所述第一文本与第二文本之间的相似度；

根据所述用户文本与第一文本之间的相似度、第一文本与第二文本之间的相似度计算所述第一文本相对于所述用户文本的线性准确度、非线性准确度；

基于所述线性准确度、非线性准确度确定所述第一文本相对于所述用户文本的准确度。

3.如权利要求2所述的文本处理方法，其特征在于，所述相似度包括局部相似度、全局相似度，所述全局相似度包括绝对全局相似度、相对全局相似度，计算所述用户文本与第一文本之间的相似度，以及所述第一文本与第二文本之间的相似度，包括：

计算所述用户文本与第一文本之间的局部相似度；

计算所述用户文本和第一文本之间的绝对全局相似度，以及所述第一文本与第二文本之间的相对全局相似度。

4.如权利要求2所述的文本处理方法，其特征在于，计算所述用户文本与第一文本之间的相似度，以及所述第一文本与第二文本之间的相似度，包括：

5.如权利要求3所述的文本处理方法，其特征在于，所述预设文本库中包括多个预设问题组，所述预设问题组中包括至少一个预设文本，计算所述用户文本和第一文本之间的绝对全局相似度，以及所述第一文本与第二文本之间的相对全局相似度，包括：

确定所述第一文本在预设文本库中对应的第一预设问题组，以及第二文本在预设文本库中对应的第二预设问题组；

根据所述用户文本、第一文本、第一预设问题组进行相似度分析，得到所述用户文本和第一预设问题组之间的绝对全局相似度；

根据所述第一预设问题组、第二预设问题组进行相似度分析，得到所述第一文本与第二文本之间的相对全局相似度。

6.如权利要求3所述的文本处理方法，其特征在于，所述局部相似度包括核心字词数量和核心字词共现率，计算所述用户文本与第一文本之间的局部相似度，包括：

对所述用户文本和第一文本进行字词分析，确定所述用户文本中的核心字词、第一文本中的核心字词；

根据所述用户文本中的核心字词、第一文本中的核心字词统计所述用户文本的核心字词数量，以及第一文本的核心字词数量；

基于所述用户文本中的核心字词、第一文本中的核心字词统计所述用户文本和第一文本的之间相同的核心字词数量，以及不同的核心字词数量；

根据所述用户文本和第一文本的之间相同的核心字词数量，以及不同的核心字词数量，计算所述用户文本和第一文本的之间的核心词共现率。

7.如权利要求1所述的文本处理方法，其特征在于，所述预设文本库中包括多个预设文本，基于所述用户文本对预设文本库进行匹配操作，得到所述预设文本库中与所述用户文本相似的第一文本、第二文本，包括：

采用预设匹配模型计算所述用户文本与预设文本库中每个预设文本之间的相似度，其中，所述预设匹配模型由训练样本训练而成；

将预设文本库中相似度最高的预设文本确定为第一文本；

8.如权利要求7所述的文本处理方法，其特征在于，采用预设匹配模型计算所述用户文本与预设文本库中每个预设文本之间的相似度，包括：

对所述用户文本以及预设文本进行语义提取，得到所述用户文本的用户语义，以及预设文本的预设文本语义；

采用预设匹配模型对所述用户语义和预设文本语义进行语义增强处理，得到增强后的用户语义和增强后的预设文本语义；

根据所述增强后的用户语义和增强后的预设文本语义进行相似度打分，得到所述用户文本与预设问题之间的相似度。

9.如权利要求8所述的文本处理方法，其特征在于，对所述用户文本以及预设文本进行语义提取，得到所述用户文本的用户语义，以及预设文本的预设文本语义，包括：

提取所述用户文本的字词向量、字词位置向量和全局向量；

对所述用户文本的字词向量、字词位置向量和全局向量进行向量融合处理，得到所述用户文本的用户语义；

提取所述预设文本的字词向量、字词位置向量和全局向量；

对所述预设文本的字词向量、字词位置向量和全局向量进行向量融合处理，得到所述预设文本的预设文本语义。

10.如权利要求8所述的文本处理方法，其特征在于，采用预设匹配模型对所述用户语义和预设文本语义进行语义增强处理，得到增强后的用户语义和增强后的预设文本语义，包括：

在预设的多个语义空间对所述用户语义、预设文本语义进行多头自注意力处理，得到待转换的用户语义、待转换的预设文本语义；

根据所述用户语义和待转换的用户语义进行残差融合处理，得到待转换的标准化用户语义，以及根据所述预设文本语义和待转换的预设文本语义进行残差处理，得到待转换的标准化预设文本语义；

分别对所述待转换的标准化用户语义、待转换的标准化预设文本语义进行线性转换处理，得到增强后的用户语义、增强后的预设文本语义。

11.如权利要求1所述的文本处理方法，其特征在于，还包括：

当所述第一文本的准确度不处于预设数值范围时，对所述用户文本进行人工问答处理，得到所述用户文本对应的客服答复文本；

向所述目标用户发送所述客服答复文本。

12.如权利要求1所述的文本处理方法，其特征在于，所述获取目标用户的用户文本，包括：

获取目标用户的用户音频；

对所述用户音频进行文字转换处理，得到用户文本；

所述向所述目标用户发送所述答复文本，包括：

对答复文本进行音频转换处理，得到答案音频；

向所述目标用户发送所述答案音频。

13.一种文本处理装置，其特征在于，包括：

获取单元，用于获取目标用户的用户文本；

发送单元，用于向所述目标用户发送所述答复文本。

14.一种服务器，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～12任一项所述的文本处理方法中的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～12任一项所述的文本处理方法中的步骤。