CN109800306A - 意图分析方法、装置、显示终端及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种基于深度学习的意图分析方法、装置、显示终端和计算机可读存储介质，该方法包括：为预设的各意图分类分配预设第一数值的语句样品；从同一意图分类的语句样品中挑选语句配对，生成正样品；从不同意图分类的语句样品中挑选语句配对，生成负样品；基于训练集对预设的意图分析模型进行训练，生成深度网络模型，其中所述正样品和负样品输入至所述深度网络模型所得相似度分别趋向1和0；当接收到待识别文本时，将待识别文本和各意图分类中的应用语句样品作为比对文本输入至意图分析模型中；若存在目标应用语句样品，则确定待识别文本的意图属于目标意图分类。本发明增强了意图分析模型的泛化能力及其面向不同任务需求的可移植性。

Description

意图分析方法、装置、显示终端及计算机可读存储介质

技术领域

本发明涉及深度学习算法的技术领域，尤其涉及一种基于深度学习的意图分析方法、装置、显示终端及计算机可读存储介质。

背景技术

随着科技技术的发展，智能电视得到广泛普及，用户对智能电视输入语音来搜索电影、音乐和聊天，智能电视可通过用户的对话来识别用户的意图，如果用户的意图和智能电视的业务吻合，那么智能电视就可以开展精准的产品推荐，例如在线广告场景中，智能电视可以基于用户对话选出广告页面，以做精准的广告推荐。

意图识别一般会应用短文本匹配，它在信息检索、问答、对话***等自然语言处理任务中起着至关重要的作用。常规的文本匹配方法都依赖于手动定义的模板和规则，调整的意图分析模型缺乏泛化能力及其面向不同任务需求的可移植性。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于深度学习的意图识别分析方法、装置、显示终端及计算机可读存储介质，旨在解决现有的意图识别模块缺乏泛化能力和可移植性的技术问题。

为实现上述目的，本发明提供一种基于深度学习的意图分析方法，所述基于深度学习的意图分析方法包括：

确定用于用户语句的意图分析所涉及的预设意图分类；为预设的各意图分类分配预设第一数值的语句样品；

从同一所述意图分类的语句样品中挑选语句配对，生成正样品；从不同所述意图分类的语句样品中挑选语句配对，生成负样品；所述正样品和负样品共同构成训练集；

基于所述训练集对预设的意图分析模型进行训练，生成深度网络模型，其中所述正样品和负样品输入至所述深度网络模型所得相似度分别趋向1和0；

当接收到待识别文本时，将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中；

若存在与所述待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定所述待识别文本的意图属于相似度最大的所述目标应用语句样品所属的目标意图分类。

可选地，所述从不同所述意图分类的语句样品中挑选语句配对，生成负样品的步骤包括：

从不同所述意图分类的语句样品中挑选语句配对，生成初级负样品；

从所述初级负样品中随机选取与所述正样品个数相等的语句配对，构成负样品。

可选地，所述基于所述训练集对预设的意图分析模型进行训练，生成深度网络模型的步骤包括：

对所述训练集的正样品和负样品进行分词，基于预设词向量算法将分词后的所述正样品和负样品中的词语依次转换为对应的词向量，生成与所述正样品和负样品分别对应的正样品句向量和负样品句向量；

将各所述正样品句向量和负样品句向量输入至预设的意图分析模型进行训练，生成深度网络模型。

可选地，所述将各所述正样品句向量和负样品句向量输入至预设的意图分析模型进行训练，生成深度网络模型的步骤包括：

将各所述正样品句向量和负样品句向量逐个输入至预设的意图分析模型进行训练；

逐个基于各正样品向量的第一测试相似度和负样品向量的第二测试相似度，逐次调整意图分析模型的节点权重，使后续第一测试相似度趋向于1，后续第二测试相似度趋向于0，直至所述正样品句向量和负样品句向量遍历完毕；

将所有所述正样品句向量和负样品句向量训练后的意图分析模型，作为深度网络模型。

可选地，在开始接收待识别文本之前，所述基于深度学习的意图分析方法还包括：

获取在不同测试相似度阈值下，所述深度网络模型对不同意图分类句子判定为相同意图分类的错误接受率；

接收外部输入的意图分析需求，将所述意图分析需求适配的错误接受率所对应的测试相似度阈值，作为所述深度网络模型最终的预设相似度阈值。

可选地，所述将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中的步骤包括：

为每个所述意图分类随机选取预设第二个数的应用语句样品；

基于所述深度网络模型，获取所述待识别文本分别与各所述意图分类的应用语句样品的单元相似度；

将各所述意图分类中各单元相似度的平均值作为对应所述意图分类与待识别文本的相似度。

可选地，在所述将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中的步骤之后包括：

若不存在与所述待识别文本的相似度大于所述相似度阈值的目标应用语句样品，则确定所述待识别文本的意图不属于预设的意图分类。

本发明还提供一种意图分析装置，所述意图分析装置包括：

语句分配模块，用于确定用于用户语句的意图分析所涉及的预设意图分类；为预设的各意图分类分配预设第一数值的语句样品；

样品生成模块，用于从同一所述意图分类的语句样品中挑选语句配对，生成正样品；从不同所述意图分类的语句样品中挑选语句配对，生成负样品；所述正样品和负样品共同构成训练集；

训练模块，用于基于所述训练集对预设的意图分析模型进行训练，生成深度网络模型，其中所述正样品和负样品输入至所述深度网络模型所得相似度分别趋向1和0；

意图识别模块，用于当接收到待识别文本时，将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中；若存在与所述待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定所述待识别文本的意图属于相似度最大的所述目标应用语句样品所属的目标意图分类。

可选地，所述样品生成模块还用于：

从不同所述意图分类的语句样品中挑选语句配对，生成初级负样品；

从所述初级负样品中随机选取与所述正样品个数相等的语句配对，构成负样品。

可选地，所述训练模块包括：

分词单元，用于对所述训练集的正样品和负样品进行分词，基于预设词向量算法将分词后的所述正样品和负样品中的词语依次转换为对应的词向量，生成与所述正样品和负样品分别对应的正样品句向量和负样品句向量；

训练单元，用于将各所述正样品句向量和负样品句向量输入至预设的意图分析模型进行训练，生成深度网络模型。

可选地，所述训练单元还用于：

将各所述正样品句向量和负样品句向量逐个输入至预设的意图分析模型进行训练；

逐个基于各正样品向量的第一测试相似度和负样品向量的第二测试相似度，逐次调整意图分析模型的节点权重，使后续第一测试相似度趋向于1，后续第二测试相似度趋向于0，直至所述正样品句向量和负样品句向量遍历完毕；

将所有所述正样品句向量和负样品句向量训练后的意图分析模型，作为深度网络模型。

可选地，所述训练单元还用于：

在开始接收待识别文本之前，获取在不同测试相似度阈值下，所述深度网络模型对不同意图分类句子判定为相同意图分类的错误接受率；

接收外部输入的意图分析需求，将所述意图分析需求适配的错误接受率所对应的测试相似度阈值，作为所述深度网络模型最终的预设相似度阈值。

可选地，所述意图识别模块还用于：

为每个所述意图分类随机选取预设第二个数的应用语句样品；

基于所述深度网络模型，获取所述待识别文本分别与各所述意图分类的应用语句样品的单元相似度；

将各所述意图分类中各单元相似度的平均值作为对应所述意图分类与待识别文本的相似度。

可选地，所述意图识别模块还用于：

若不存在与所述待识别文本的相似度大于所述相似度阈值的目标应用语句样品，则确定所述待识别文本的意图不属于预设的意图分类。

本发明还提供一种显示终端，所述显示终端包括存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的基于深度学习的意图分析方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述的基于深度学习的意图分析方法的步骤。

本发明通过为预设的各意图分类分配第一数值的语句样品构建原始数据，基于深度学习思想，可自动从原始数据中抽取特征以形成语句配对，免去人工设计特征的开销，并且能够更精细和准确地抽取特征，增强了意图分析模型的泛化能力及其面向不同任务需求的可移植性。再者，基于各意图分配的语句样品挑选语句配对，生成正样品和负样品，形成一种训练集产生机擎，只需要少量的训练数据(即语句样品)，就可以产生大量的训练集(即正样品和负样品)以供意图分析模型训练。再者，在深度学习和训练集产生机擎的支持下，生成深度网络模型，在接收待识别文本后，以句子配对方式将待识别文本和应用语句样品输入深度网络模型，以分析和识别待识别文本的意图分类，提高了意图分类的识别准确性。

附图说明

图1为本发明显示终端一实施例的结构示意图；

图2为本发明基于深度学习的意图分析方法一实施例的流程示意图；

图3为DSSM模型的框架结构图；

图4为本发明意图分析模型一实施例的框架结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在意图识别或文本识别技术领域，过去对于研究文本匹配主要集中在人工定义特征的关系学习，这些方法都依赖于手动定义的模板和规则，因此限制了调整良好的模型的泛化能力及其面向不同人物需求的可移植性。其中，泛化能力(generalization ability)是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

本发明实施例的主要解决方案是：确定用于用户语句的意图分析所涉及的预设意图分类；为预设的各意图分类分配预设第一数值的语句样品；从同一意图分类的语句样品中挑选语句配对，生成正样品；从不同意图分类的语句样品中挑选语句配对，生成负样品；正样品和负样品共同构成训练集；基于训练集对预设的意图分析模型进行训练，生成深度网络模型，其中所述正样品和负样品输入至所述深度网络模型所得相似度分别趋向1和0；当接收到待识别文本时，将待识别文本和各意图分类中任意选取的应用语句样品作为比对文本输入至深度网络模型中；若存在与待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定待识别文本的意图属于相似度最大的目标应用语句样品所属的目标意图分类。

在本申请中，基于深度学习可以自动从作为原始数据的语句样品中抽取特征(形成语句配对)，免去人工设计特征的开销，并且能够更精细和准确地抽取特征。此外，在深度学习算法中，深度学习模型就好像引擎，海量的训练数据就好像燃料，这两者对于机器的人工智能而言同样缺一不可，训练数据在深度学习中是非常关键的。本申请建立一个基于意图分析模型生成深度网络模型，从训练集自动生成方面提升意图识别的准确率。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的随身终端结构示意图。

本发明提供的基于深度学***板电脑、智能手机等具有显示功能的终端设备。

如图1所示，该显示终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括输入单元比如微键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的显示终端结构并不构成对随身终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及实现基于深度学习的意图分析方法的计算机可读指令。

在图1所示的显示终端中，网络接口1004主要用于连接后台服务器(如定位服务器)，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(如关联的主机终端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的计算机可读指令，并执行以下操作：

确定用于用户语句的意图分析所涉及的预设意图分类；为预设的各意图分类分配预设第一数值的语句样品；

从同一所述意图分类的语句样品中挑选语句配对，生成正样品；从不同所述意图分类的语句样品中挑选语句配对，生成负样品；所述正样品和负样品共同构成训练集；

基于所述训练集对预设的意图分析模型进行训练，生成深度网络模型，其中所述正样品和负样品输入至所述深度网络模型所得相似度分别趋向1和0；

当接收到待识别文本时，将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中；

若存在与所述待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定所述待识别文本的意图属于相似度最大的所述目标应用语句样品所属的目标意图分类。

基于上述显示终端，提供一种基于深度学习的意图分析方法，参照图2，基于深度学习的意图分析方法包括：

步骤S10，确定用于用户语句的意图分析所涉及的预设意图分类；为预设的各意图分类分配预设第一数值的语句样品；

本申请适用的用户语句意图分析的意图分类可在显示终端出厂设置或用户对显示终端进行自行设置，设置的意图分类共同构成预设意图分类的集合。可为每个预设意图分类从网上抓取真实的用户问句，直至为预设的各意图分类分配第一数值的语句样品(即真实的用户问句)。当然，语句样品也可包括除真实用户问句之外的人工设计问句。

例如，预设的意图分类包括12类，预设第一数值可为1000，意图分类和语句样品的示例如下表1：

表1

在表1中，12个意图分类分别对应不同语句样品示例，表1中的语句样品已经完成了分词处理。

步骤S20，从同一意图分类的语句样品中挑选语句配对，生成正样品；从不同意图分类的语句样品中挑选语句配对，生成负样品；正样品和负样品共同构成训练集；

可对语句样品进行两两配对以生成训练集，如果两个语句样品在同一个意图分类中标记为1、在不同意图分类中标记为0，可参照下表2：

表2

为了训练有效的意图分析模型，生成的训练集的集合要足够大，至少要千万级别的配对组数(即语句样本配对组的组数)，通过以上的语句样本配对生成训练集的方式，每个意图类型只需要少量的语句样本就可以生成大量的训练数据(即语句样本配对组)。

为了有效训练意图分析模型产生训练集时，选取的语句样本配对组需涵盖所有意图分类。比如，预设的意图分类有12钟，若意图分类之间两两配对(包括同一意图的配对)，则可以产生12的二次方个意图分类配对，即144个意图分类配对，其中12个是同一意图分类的语句样品配对(即正样品)，132个是不同意图分配的语句样品配对(负样品)，为了有效训练意图分析模型，训练集应当包含12个意图分类的正样品和负样品，正样品和负样品共同构成训练集。

可选地，构成训练集的正样品和负样品的数量相对平衡，具体地，步骤S20中从不同意图分类的语句样品中挑选语句配对，生成负样品的步骤包括：

从不同意图分类的语句样品中挑选语句配对，生成初级负样品；从初级负样品中随机选取与正样品个数相等的语句配对，构成负样品。使训练集更加贴合意图分析的真实场景，提供训练集对意图分析模型的训练针对性和准确有效性。

接上一段例子，12个意图分类(即c＝12)，每个意图分类有1000个语句样品(N_s＝1000)，从而可以产生正样品量Pn为：

N_n＝(c-1)*P_n

N_n＝(12-1)*5.994*10⁶＝65.934*10⁶

因此，从而可以产生正样品数量为5.994*10⁶和初级负样品数量为65.934*10⁶，可从初级负样品中随机挑选与正样品个数相同(即5.994*10⁶)的语句配对以构成负样品，从而正样品和负样品共接近1200万个句子对(即语句样本配对)。

从而本申请设计了一个训练集产生机制，以少量训练数据(12个意图分类共计1.2万个语句样品)，产生了至少1200万个句子对以构成海量的训练集以供意图分析模型训练。

步骤S30，基于训练集对预设的意图分析模型进行训练，生成深度网络模型，其中所述正样品和负样品输入至深度网络模型所得相似度分别趋向1和0；

本申请的意图分析模型可基于DSSM(Deep Structured Similarity Model,深度语义相似度模型)改进得出。DSSM主要用途在于计算语义空间的相似度。DSSM基本结构如图3所示，在DSSM的相关论文中，DSSM主要用来建模计算每一个输入句子Q与多个句子D1...Dn之间的相似度，通过原始的文本，经过多层线性投影，每个句子输入都会获得128维的隐语义向量，以进行相似度计算。

在本申请中，步骤S30可包括：

步骤S31，对训练集的正样品和负样品进行分词，基于预设词向量算法将分词后的正样品和负样品中的词语依次转换为对应的词向量，生成与正样品和负样品分别对应的正样品句向量和负样品句向量；

步骤S32，将各正样品句向量和负样品句向量输入至预设的意图分析模型进行训练，生成深度网络模型。

可基于预设分词算法对训练集的正样品和负样品进行分词，预设分词算法可包括字符匹配法、基于语义句法的理解法、统计法等，从而正样品和负样品中的语句样品被拆分为多个词语。然后可基于预设词向量算法(如word2vec词向量算法)将分词后的正样品和负样品中的词语依次转换为对应的词向量。词向量的基本思想是将离散的词表示成连续空间中的向量，将词间的相关性(语义、语法等)表示为向量间的距离。从而将正样品和负样品，即两两配对好的句子(X，Y)，意图分类相同的句子对，希望sim(X,Y)＝1，意图分类不同的句子对，希望sim(X,Y)＝0。sim(X,Y)与两配的句子的相似度成正比。

同一语句样品中的词向量一起构成该语句样品的词向量集合，即该语句样品的句向量，从而生成与正样品和负样品分别对应的正样品句向量和负样品句向量。正样品和负样品中的两两配对好的句子都是词向量集合(即句向量)。

参照图4，将各正样品句向量和负样品句向量输入至预设意图分析模型进行模型训练，例如一负样品句向量包括句子X(w1，w2...，wn)和句子Y(w1，w2，...wn)，将X和Y输入至如图4的DSSM模型(即意图分析模块的一实施例)中，空白框的f(.)和g(.)可以用任何模型替代，例如：全连接FC，卷积神经网络CNN，循环神经网络RNN等，该意图分析模型用于衡量两句子间的语义距离。在生成低维度向量的模型结构上，本申请选CNN卷积神经网络将高维特征向量转化为低维空间的连续向量，因为CNN更适合提取句子的特征，且特征带有时序性。特征降维就是减少特征的数量，这有两个目的，一个是可以加快算法计算的速度，另外可以减少噪音，有效提高意图分类分析的准确率。

在实际任务中，DSSM模块可以搭配不同的损失函数来实现具体的功能，在本申请中，因为需要对两句子X和Y计算语义距离时，可以使用余弦相似度来计算相似度，变成一个回归模型，其中句子为语句样品的简称。具体地，在语义距离计算方面，本发明使用余弦相似性(cosine imilarity)来衡量用户搜索词(即待识别文本)与候选文档(即应用语句样品)间的语义相关性,在模型任务类型上支持[0,1]值域内的回归。为辅助理解，以一具体例子说明，假如句子X和句子Y对应句向量分别是：

x1,x2,...,xn和y1,y2,...,yn

则，句子X和句子Y的语义距离可以用两者之间夹角的余弦值来表示：

当两句子向量夹角余弦值等于1时，这两句子完全重复；当夹角余弦值接近于1时，两句子相似；夹角的余弦值越小，两句子越不相关。在本实施例中，n＝128。从而，在意图分析模型的训练过程中所用的语义距离是Relu(cosθ)。

具体地，步骤S32包括:

步骤S321，将各正样品句向量和负样品句向量逐个输入至预设的意图分析模型进行训练；

步骤S322，逐个基于各正样品向量的第一测试相似度和负样品向量的第二测试相似度，逐次调整意图分析模型的节点权重，使后续第一测试相似度趋向于1，后续第二测试相似度趋向于0，直至所述正样品句向量和负样品句向量遍历完毕；

步骤S323，将所有正样品句向量和负样品句向量训练后的意图分析模型，作为深度网络模型。

在将各正样品句向量和负样品句向量逐个输入至预设意图分析模型进行模型训练，各正样品句向量的两句子的第一测试相似度以及各负样品句向量的两句子的第二测试相似度。由于正样品句向量意图分类相同，则第一测试相似度的标准参考值为1；因此在基于正样品句向量进行意图分析模型训练时，对预设意图分析模型中各节点的权重不断调整，以将第一测试相似度逐渐趋向其标准参数值1。由于负样品句向量意图分类不同，则第二测试相似度的标准参考值为0，因此在基于负样品句向量进行意图分析模型训练时，对预设意图分析模型中各节点的权重不断调整，以将第二测试相似度逐渐趋向其标准参数值0。如此循环输入正样品和负样品至意图分析模型，并同步调整意图分析模型中各节点权重，直至正样品句向量和负样品句向量遍历完毕，在完成所有正样品句向量和负样品句向量对意图分析模型的训练后，训练完成的意图分析模块即为深度网络模型。

步骤S40，当接收到待识别文本时，将待识别文本和各意图分类中任意选取的应用语句样品作为比对文本输入至深度网络模型中；

在意图分析模型训练完成并生成深度网络模型之后，用户对显示终端输入对话时，基于语义识别技术得到待识别文本，从每个预设的意图分类中任意选取一个或多个语句样品作为与待识别文本进行意图分类对比的应用语句样品，对待识别文本和应用语句样品进行分词后分别作为比对文本输入至意图分析模型中，得出待识别文本与各应用语句样品的相似度。

步骤S50，若存在与待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定待识别文本的意图属于相似度最大的目标应用语句样品所属的目标意图分类。

在计算出所有应用语句样品与待识别文本的相似度之后，将计算出的相似度与预设相似度阈值比较，若存在与待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定待识别文本的意图属于相似度最大的目标应用语句样品所属的目标意图分类，可控制显示终端基于目标意图分类进行精准广告推送和页面推送；若不存在与待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定待识别文本的意图不属于预设的意图分类。

例如，预设相似度阈值为0.6，任意选取了与12个意图分类一一对应的12个应用语句样品，得到待识别文本与12个应用语句样品的相似度，若这12个相似度均不大于0.6，则确定待识别文本的意图不属于预设的12个意图分类，若存在0.65、0.7两个相似度大于0.6，则将相似度为0.7的应用语句样品作为与待识别文本意图类型匹配的目标应用语句样品。

在本实施例中，通过为预设的各意图分类分配第一数值的语句样品构建原始数据，基于深度学习思想，可自动从原始数据中抽取特征以形成语句配对，免去人工设计特征的开销，并且能够更精细和准确地抽取特征，增强了意图分析模型的泛化能力及其面向不同任务需求的可移植性。再者，基于各意图分配的语句样品挑选语句配对，生成正样品和负样品，形成一种训练集产生机擎，只需要少量的训练数据(即语句样品)，就可以产生大量的训练集(即正样品和负样品)以供意图分析模型训练。再者，在深度学习和训练集产生机擎的支持下，生成深度网络模型，在接收待识别文本后，以句子配对方式将待识别文本和应用语句样品输入深度网络模型中，以分析和识别待识别文本的意图分类，提高了意图分类的识别准确性。

进一步地，在开始接收待识别文本之前，本发明基于深度学习的意图分析方法还包括：

步骤S61，获取在不同测试相似度阈值下，深度网络模型对不同意图分类句子判定为相同意图分类的错误接受率；

步骤S62，接收外部输入的意图分析需求，将意图分析需求适配的错误接受率所对应的测试相似度阈值，作为深度网络模型最终的预设相似度阈值。

可设置不同的测试相似度阈值，基于事先选取好的测试集对本发明深度网络模型进行测试，获取在不同测试相似度阈值下，深度网络模型对测试集中不同意图分类句子判定为相同意图分类的错误接受率。其中错误接受是指：不同意图分类句子经深度网络模型和测试相似度阈值处理后，判定结果为相同意图。即错误接受情形指：不同意图分类句子经深度网络模型分析后所得相似度大于此时选定的测试相似度阈值。错误接受率等于错误接受个数与不同意图分类句子的总对数之比。

为辅助理解上述错误接受率的概念，以一具体例子辅助说明：假如测试集有100对意图分类不同的句子，测试相似度阈值包括0.6、0.7和0.8，将100对意图分类不同的句子输入深度网络模型，对应得到与100对意图分类不同的句子一一对应的100个相似度，这100个相似度中大于0.6的值有5个、大于0.7的值有3个、大于0.8的值有1个，则测试相似度阈值0.6的错误接受率为5％，测试相似度阈值0.7的错误接受率为3％，测试相似度阈值0.8的错误接受率为1％。

在获取在不同测试相似度阈值下深度网络模型的错误接受率之后，可接收外部输入的意图分析需求，将意图分析需求适配的错误接受率所对应的测试相似度阈值，作为深度网络模型最终的预设相似度阈值。接上一段的例子，例如意图分析需求是专业要求高、解答实时性高的客服转接，若对用户的意图归类错误，则会分配错误专业方向的客服去对接用户咨询，造成客服和用户时间的浪费，例如用户对显示终端询问产品升级服务，此时匹配意图分类为购物服务，则容易造成购物服务的客服无法解决用户的产品升级服务的疑惑，造成时间的浪费。因此，客服转接对于错误接受率容忍度很低，测试相似度阈值应当选取较高值，如选取测试相似度阈值0.8作为客服转接的预设相似度阈值。从而本实施例可根据意图分析需求灵活调整深度网络模型的预设相似度阈值，扩展了本发明深度网络模型的适用场景。

具体地，将待识别文本和各意图分类中任意选取的应用语句样品作为比对文本输入至深度网络模型中的步骤包括：

为每个意图分类随机选取预设第二个数的应用语句样品；

基于深度网络模型，获取待识别文本分别与各意图分类的应用语句样品的单元相似度；

将各意图分类中各单元相似度的平均值作为对应意图分类与待识别文本的相似度。

在接收到待识别文本时，表明一个实际的意图识别任务开始了，意图识别任务可以抽象成一个分类问题，待识别文本为Tx，预设的意图分类包括12类，需要对待识别分析进行分析以确定属于12意图分类的哪一个。首先建立一个意图测试文本列表{T_i ^c}，其中C是意图分类，如C＝12，i是每个意图分类中随机选取语句样品，i＝0，...9。基于深度网络模型，将待识别文本与意图列表中各意图分类的应用语句样品(即{T_i ^c})进行比对，深度网络模型会计算待识别文本Tx和意图测试文本列表{T_i ^c}中每一类意图分类的所有文本(即语句样品)sim(T_x,T_i ^c)的匹配度(即单元相似度)，sim(T_x,T_i ^c)∈(0,1)，sim(T_x,T_i ^c)越接近1，标识两句子的相似度越高，相反，如果sim(T_x,T_i ^c)越接近0，表示两句子的相似度越低。

在待识别文本的意图分析过程中，在每个意图分类中随机各取第二个数的应用语句样品，即在每个意图分类中取m个样品和输入的待识别文本Tx做对比，计算各单元相似度sim(T_x,T_i ^c)的平均值r(x，c)，每个意图分类对应一个相似度平均值r(x，c)，将r(x，c)作为待识别文本与各意图分类的相似度，提高了待识别文本与各意图分类相似度的准确性。r(x，c)可基于以下公式

最后，比较C个意图分类相似度r(x，c)，其中最大的r(x，c)就是待识别文本匹配的意图分类。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度学习的意图分析方法，其特征在于，所述基于深度学习的意图分析方法包括：

确定用于用户语句的意图分析所涉及的预设意图分类；为预设的各意图分类分配预设第一数值的语句样品；

从同一所述意图分类的语句样品中挑选语句配对，生成正样品；从不同所述意图分类的语句样品中挑选语句配对，生成负样品；所述正样品和负样品共同构成训练集；

基于所述训练集对预设的意图分析模型进行训练，生成深度网络模型，其中所述正样品和负样品输入至所述深度网络模型所得相似度分别趋向1和0；

当接收到待识别文本时，将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中；

若存在与所述待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定所述待识别文本的意图属于相似度最大的所述目标应用语句样品所属的目标意图分类。

2.如权利要求1所述的基于深度学习的意图分析方法，其特征在于，所述从不同所述意图分类的语句样品中挑选语句配对，生成负样品的步骤包括：

从不同所述意图分类的语句样品中挑选语句配对，生成初级负样品；

从所述初级负样品中随机选取与所述正样品个数相等的语句配对，构成负样品。

3.如权利要求2所述的基于深度学习的意图分析方法，其特征在于，所述基于所述训练集对预设的意图分析模型进行训练，生成深度网络模型的步骤包括：

对所述训练集的正样品和负样品进行分词，基于预设词向量算法将分词后的所述正样品和负样品中的词语依次转换为对应的词向量，生成与所述正样品和负样品分别对应的正样品句向量和负样品句向量；

将各所述正样品句向量和负样品句向量输入至预设的意图分析模型进行训练，生成深度网络模型。

4.如权利要求3所述的基于深度学习的意图分析方法，其特征在于，所述将各所述正样品句向量和负样品句向量输入至预设的意图分析模型进行训练，生成深度网络模型的步骤包括：

将各所述正样品句向量和负样品句向量逐个输入至预设的意图分析模型进行训练；

逐个基于各正样品向量的第一测试相似度和负样品向量的第二测试相似度，逐次调整意图分析模型的节点权重，使后续第一测试相似度趋向于1，后续第二测试相似度趋向于0，直至所述正样品句向量和负样品句向量遍历完毕；

将所有所述正样品句向量和负样品句向量训练后的意图分析模型，作为深度网络模型。

5.如权利要求1所述的基于深度学习的意图分析方法，其特征在于，在开始接收待识别文本之前，所述基于深度学习的意图分析方法还包括：

获取在不同测试相似度阈值下，所述深度网络模型对不同意图分类句子判定为相同意图分类的错误接受率；

接收外部输入的意图分析需求，将所述意图分析需求适配的错误接受率所对应的测试相似度阈值，作为所述深度网络模型最终的预设相似度阈值。

6.如权利要求1至5任意一项所述的基于深度学习的意图分析方法，其特征在于，所述将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中的步骤包括：

为每个所述意图分类随机选取预设第二个数的应用语句样品；

基于所述深度网络模型，获取所述待识别文本分别与各所述意图分类的应用语句样品的单元相似度；

将各所述意图分类中各单元相似度的平均值作为对应所述意图分类与待识别文本的相似度。

7.如权利要求1至5任意一项所述的基于深度学习的意图分析方法，其特征在于，在所述将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中的步骤之后包括：

若不存在与所述待识别文本的相似度大于所述相似度阈值的目标应用语句样品，则确定所述待识别文本的意图不属于预设的意图分类。

8.一种意图分析装置，其特征在于，所述意图分析装置包括：

语句分配模块，用于确定用于用户语句的意图分析所涉及的预设意图分类；为预设的各意图分类分配预设第一数值的语句样品；

样品生成模块，用于从同一所述意图分类的语句样品中挑选语句配对，生成正样品；从不同所述意图分类的语句样品中挑选语句配对，生成负样品；所述正样品和负样品共同构成训练集；

训练模块，用于基于所述训练集对预设的意图分析模型进行训练，生成深度网络模型，其中所述正样品和负样品输入至所述深度网络模型所得相似度分别趋向1和0；

意图识别模块，用于当接收到待识别文本时，将所述待识别文本和各所述意图分类中任意选取的应用语句样品作为比对文本输入至所述深度网络模型中；若存在与所述待识别文本的相似度大于预设相似度阈值的目标应用语句样品，则确定所述待识别文本的意图属于相似度最大的所述目标应用语句样品所属的目标意图分类。

9.一种显示终端，其特征在于，所述显示终端包括存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至7中任一项所述的基于深度学习的意图分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于深度学习的意图分析方法的步骤。