CN109241255B - 一种基于深度学习的意图识别方法 - Google Patents

Abstract

一种基于深度学习的对话***意图识别方法，从对话语料中通过词频权重抽取关键词作为意图识别的规则，将预进行意图识别的对话D用规则进行匹配得到意图分类结果P_A；用对话语料训练深度学习模型CNN‑BLSTM，所述深度学习模型CNN‑BLSTM融合了卷积神经网络CNN与双向长短期记忆网络BLSTM，然后用训练后的深度学习模型CNN‑BLSTM，识别对话D，得到预意图分类结果P_B；最后，通过将意图分类结果P_A和意图分类结果P_B进行线性融合，得到对话D最终的意图。本发明能有效提高用户意图识别的准确度。

Description

一种基于深度学习的意图识别方法

技术领域

本发明属于人机对话***技术领域，特别涉及一种基于深度学习的意图识别方法。

背景技术

人机对话***是人工智能领域的核心技术之一，它即将成为一种新的人机交互的方式，具有重大的研究价值。人们长期以来都在追求能用自然语言和计算机进行交流，因为这有着重大的意义：人们可以用自己最熟悉最习惯的语言来使用计算机，与计算机进行交互，不需要再去花大量的时间学习和适应计算机语言。随着互联网时代的到来，人机对话***的使用需求大大增加。例如被广泛应用于网购中的智能客服，不仅极大地提高了人和计算机的沟通效率，还方便了人们的生活和工作。各大科技巨头也纷纷加入智能对话***的研究行列并推出相关的产品如：苹果的siri、微软的Cortana、百度的小度等。也许在不久的将来，人们将不再使用目前主流的输入设备，自然语言将会取而代之成为最广泛使用的人机交互方式。人机自然语言的交互的主要步骤包括：语音识别、自然语言理解、对话状态跟踪、自然语言生成、语音合成。

自然语言理解是人机对话***中关键的一个模块，其作用是把用户对计算机说的自然语言转换成计算机能够理解的语义表示，达到理解用户自然语言的目的。要理解用户说的话，就必须知道用户自然语言所涉及的领域或者用户想表达的意图，用户意图识别就是采用分类的方法达到上述目的。用户意图识别准确率的提高，会极大地帮助对话***生成合理的回复。

在人机对话***中，用户意图的正确识别是对话***生成合理回复的基础。如果用户的意图无法判断正确，对话***就会生成答非所问的回复，这样的回复也就没有任何意义。因此对于对话***的性能提升、增加用户体验，准确识别用户的意图显得尤为重要。除此之外，准确地判断用户意图，商用智能对话***能向用户提供有用的消费、娱乐、产品等推荐，具有很大的商业价值。综上所述，用户意图识别具有很重要的研究价值和研究意义。

发明内容

本发明所要解决的问题是，利用深度学习技术和以提高用户意图识别的准确度。

本发明的技术方案提供一种基于深度学习的对话***意图识别方法，首先，从对话语料中通过词频权重抽取关键词作为意图识别的规则，将预进行意图识别的对话D用规则进行匹配得到意图分类结果P_A；用对话语料训练深度学习模型CNN-BLSTM，所述深度学习模型CNN-BLSTM融合了卷积神经网络CNN与双向长短期记忆网络BLSTM，然后用训练后的深度学习模型CNN-BLSTM，识别对话D，得到意图分类结果P_B；最后，通过将意图分类结果P_A和意图分类结果P_B进行线性融合，得到对话D最终的意图。

而且，所述从对话语料中通过词频权重抽取关键词作为意图识别的规则，包括对每个类别进行以下处理，

进行分词处理，并统计得到该类别下所有词条的数目N，将所有的词条组成一个词表，并统计出该类别中，第i个词出现的次数W_i、句子的总条数M以及第j条句子的长度L_j，i＝1,2,3…N，j＝1,2,3…M；

计算出该类别下句子的平均长度AveL，计算公式如下，

计算出第i个词的词频权重F_i如下，

其中，∑S表示对该类别中所有出现第i个词的句子的长度S累加求和；

对该类别下的每一个词求得词频权重后，将词表中的每个词条按词频权重从大到小排序，提出选取排名在前的若干词条作为关键词，作为该类别的规则。

而且，所述用对话语料训练深度学习模型CNN-BLSTM，实现方式如下，

将训练语料进行分词处理后，将分词后所得的每句话中的每个词的向量表示x_b组合成该句话的向量表示X＝[x₁，x₂，x₃，…x_l]，l为向量的序列长度，b＝1,2,3…l；

将句子的向量X输入卷积神经网络的卷积层计算，将得到的所有特征图s_a组合起来得到输出结果S＝[s₁,s₂,s₃…s_n]，n表示特征图的总个数，a＝1,2,3…n；

对S的结构进行重新排列，将重排列后所得向量V输入BLSTM神经网络模型中，BLSTM是双向长短期记忆神经网络，由一个前向的长短期记忆神经网络和一个后向的长短期记忆神经网络构成；对于每一个时间步t，前向的长短期记忆神经网络输出隐层状态

后向的长短期记忆神经网络输出隐层状态

组合两个隐层状态的向量得到向量h_t；根据所有时间步的向量表示，得到整个句子相应的向量H，H中隐含上下文语义信息；

对S进行最大池化操作后得到向量O，O中包含句子中最重要的语义特征和类别特征信息；

将向量H和向量O拼接起来作为向量T，

将T作为最终对话句子特征向量表示，连接所有的句子特征T得到中间量y_c，根据y_c得到每个类别的概率，选取概率最大的意图类别作为意图识别结果P_B。

而且，设将意图分类结果P_A和意图分类结果P_B进行线性融合后得到最终的意图类别概率分布P，在P中选取概率最大所对应的意图类别作为最终意图识别的结果。

本发明提供了一种基于深度学习的意图识别方法，一方面，从对话语料中通过词频权重抽取关键词作为意图识别的规则，将预进行意图识别的对话D用这些规则进行匹配得到预意图分类结果P_A，另一方面用对话语料训练融合了卷积神经网络(CNN)与双向长短期记忆网络(BLSTM)的深度学习模型(CNN-BLSTM)，用训练后的模型对对话D进行识别得到预意图分类结果P_B，最后，通过将意图分类结果P_A和意图分类结果P_B进行线性融合，得到对话D最终的意图。依照本发明所提供的基于组合深度学习模型CNN-BLSTM模型的意图识别方法，能够有效地克服基础深度学习模型在意图识别中只考虑了时序信息而忽略了局部重要信息的不足。此外，将句子长度融入词频权重计算中得到规则，能够有效地衡量词的重要程度，选出更具有代表性的词作为规则。最后，通过结合CNN-BLSTM模型的分类结果与规则匹配的分类结果，就能准确地得到用户的意图。在多个官方意图识别的数据集上的与国际上最好的多个模型的对比试验结果表明，依照本发明提供的结合了组合深度学习模型与融入句子长度信息的规则匹配的意图识别方法，在识别精度上实现了显著的提升。本发明能有效提高用户意图识别的准确度，用户意图的正确识别是智能对话***生成合理回复的基础，准确识别用户的意图，能对话***的性能提升、增加用户体验，具有很大的价值与研究意义。

附图说明

图1为本发明实施例中意图识别的流程图。

具体实施方法

本发明提出一种把卷积神经网络(CNN)融入双向长短期记忆神经网络(LSTM)中的组合深度学习模型来实现意图分类，并将语料中的句子长度信息作为影响因素融入规则提取中，通过结合规则匹配的分类结果，进一步提高意图识别的准确度。

本发明提出的组合深度学习模型称为CNN-BLSTM模型，用于意图识别。传统的深度学习模型在意图识别任务中通常采用循环神经网络(RNN)及其变种长短期记忆神经网络(LSTM)等，这种神经网络能很好的把握句子的时序信息，但是缺乏局部重要信息。在此基础上，本发明在传统的模型上融入卷积神经网络(CNN)来获取句子中的局部重要语义信息。该组合模型能利用更多的信息来捕获用户意图。

本发明针对经典规则匹配方法中不尽合理的规则提取方法，提出将语料中的句子长度信息作为影响因子考虑到词频权重计算中，得到更为合理的关键词词作为规则。一般来说，同样一个词在短句子里的重要程度要比长句子里的重要程度大(比如“我想听歌”，“现在放歌恐怕会打扰室友睡觉”中的“歌”一词在前者的重要性要大于后者)，有效利用句子的长度信息，可以更好地捕捉用户的真实意图。

本发明结合了规则匹配方法与组合深度学习模型方法的结果，传统方法与深度学习方法互相补充，进一步提高用户意图识别的准确度。首先，从对话语料中通过词频权重抽取关键词作为意图识别的规则，将预进行意图识别的对话D用这些规则进行匹配得到意图分类结果P_A，接着用对话语料训练融合了卷积神经网络(CNN)与双向长短期记忆网络(BLSTM)的深度学习模型(CNN-BLSTM)，用训练后的模型对对话D进行识别得到意图分类结果P_B，最后，通过将意图分类结果P_A和意图分类结果P_B进行线性融合，得到对话D最终的意图。

参见图1，实施例的具体实现过程如下：

步骤1，对已经标注好类别的对话语料(训练语料)，对每个类别，分别进行以下处理，获得每个类别的规则：

用Jieba分词工具包进行分词处理，并统计得到该类别下所有词条的数目N，将所有的词条组成一个词表。并统计出该类别中，第i个词出现的次数W_i(i＝1,2,3…N)、句子的总条数M以及第j条句子的长度L_j(j＝1,2,3…M)。Jieba分词工具包是现有软件工具，本发明不予赘述。

计算出该类别下句子的平均长度，对该类别所有句子的长度进行累加求和然后再除以句子的总条数，得到类别句子的平均长度为AveL，计算公式如下，

依照公式(1)可计算出第i个词的词频权重F_i，如公式(2)所示：

在上述公式中，F_i表示该类别第i个词的词频权重，W_i表示该类别词i出现的次数，N表示该类别下所有词条的数目，AveL为该类别中句子的平均长度，S表示该类别中包含第i个词的某个句子的长度，∑S即对该类别中所有出现第i个词的句子的长度累加求和；

对该类别下的每一个词按照公式(2)求得其词频权重，将词表中的每个词条按词频权重从大到小排序，实施例提出选取前排名1％的词条作为关键词，这些关键词就作为该类别的规则。具体实施时，用户可预设选取比例，实施例采用了优选的比例1％。

步骤2，基于步骤1所获得的每个类别的规则，并删除不同类别中重复的规则，最后得到的规则作为最终规则抽取的结果。

步骤3，将预进行意图识别的对话D用步骤2得到的规则逐一进行匹配(一旦成功匹配到某一条规则，则终止匹配)，若D中包含某个规则，则把该规则对应的意图类别的概率标记为1，其他意图类别的概率都标记为0，得到D对应所有意图类别的概率分布P_A＝[p₁,p₂,p₃,…p_d]，d表示总共的意图类别数目，p₁,p₂,p₃,…p_d分别为第1～第d意图类别的概率。为了方便理解，以下将举例说明：若“歌曲”一词为音乐意图类别的规则，当对话语句D为“你喜欢听什么类型的歌曲”这句话时，D中包含“歌曲”这个规则，则判断D的音乐意图类别概率为1，其他意图类别概率为0。

步骤4，本发明实施例通过word2vec工具，在中文***大规模语料上进行训练得到词向量集合。该词向量集合中包含大量的词的向量表示。word2vec工具是一个将单词转换成向量形式的现有软件工具，本发明不予赘述。

步骤5，将训练语料用Jieba分词工具包分词后，将分词后所得的每句话中的每个词的向量表示x_b(可在步骤4得到的词向量集合中找到)组合成该句话的向量表示X＝[x₁，x₂，x₃，…x_l]，l为向量的序列长度(本发明实施例根据训练语料中句子的长度统计和分析选择l＝40)，当长度超过l时截取不超过l的长度部分，不足时补零，b＝1,2,3…l。具体实施时，用户可预设选取l的取值。

将句子的向量X输入卷积神经网络的卷积层计算，在卷积过程中，滑动窗口按照句子顺序维度方向卷积，滑动窗口长度即卷积核的尺寸分别设置为2,3,5。每种卷积核数量设置为128个。每个卷积核滑动对句子向量做卷积操作，得到不同程度的特征图s_a(每一种尺寸的卷积核会产生128个特征图feature map)，将所有的s_a(a＝1,2,3…n)组合起来得到输出结果S＝[s₁,s₂,s₃…s_n]，n表示特征图的总个数(例如，在本实施例中n＝3×128)。

为保持句子的相对顺序，将S的结构进行重新排列得到结果V，重排列方式如下：

S＝[s₁,s₂,…s_n] 公式(3)

在上述公式(3)中，S是得到的卷积结果，由若干个特征图组成，s_a(a＝1,2,3…n)表示卷积操作后得到的第a个特征图，每个特征图都是一个向量，在公式(4)和公式(5)中

表示卷积结果中第a个特征图第b(b＝1,2,3…l)维对应的元素的数值。v_b是将s_a重新排列后对应的向量，将v_b组合起来得到最终的重排列结果V。

V＝[v₁,v₂,…v_l] 公式(6)

将重排列后的向量V输入BLSTM神经网络模型中，BLSTM是双向长短期记忆神经网络，由一个前向的长短期记忆神经网络和一个后向的长短期记忆神经网络构成。对于每一个时间步t(t＝1,2,3…l)(一句话中一个词的输入作为一个时间步)，前向的长短期记忆神经网络输出隐层状态

后向的长短期记忆神经网络输出隐层状态

组合两个隐层状态的向量得到向量h_t；

H＝[h₁,h₂,h₃…h_l] 公式(8)

其中，H表示所有时间步的向量表示，即整个句子的向量表示，H中隐含上下文语义信息。

步骤6，将步骤5中得到的卷积结果S进行池化操作，池化操作对卷积层的输出进行特征采样，能够合并各种尺寸卷积窗口提取的特征。本发明采用最大池化(max-pooling)方法，该方法保留最大的特征向量提取最显著的特征。最大池化的输出被定义为，

s_max＝max s_a,a∈[1,n] 公式(9)

O＝h(W·s_max+b) 公式(10)

上述公式(9)中的s_a表示卷积层输出的特征图，s_max表示选取s_a中最大的特征。在公式(10)中，运算h(·)是非线性激活函数，本发明采用LeakyReLU函数作为激活函数，W和b是卷积网络中的参数,初始值在0到1之间随机取值。通过最大池化操作后得到向量O，O中包含句子中最重要的语义特征和类别特征信息；

步骤7，将步骤5得到的向量H和步骤6得到的向量O拼接起来作为新的向量T，拼接向量H和向量O的方法为：

T＝[O,H] 公式(11)

将T作为最终对话句子特征向量表示，通过全连接层，连接所有的句子特征T得到y_c，连接方式如下，

y_c＝h(W_c×T+b_c) 公式(12)

将y_c输入到softmax函数中得到每个类别的概率，计算公式如下，

在公式(12)和公式(13)中，c(c＝1,2,3…,d)表示第c类意图类别，y_c是中间量，W_c是卷积神经网络全连接层的参数，b_c是偏置项参数，d表示总共的意图类别数目，运算h(·)是非线性激活函数，本发明实施例采用tanh函数作为激活函数，e是自然对数的底数，p_c表示该用户语句属于第c类意图类别的概率。计算出所有意图类别的概率P_B＝[p₁,p₂,p₃,…p_d]，p₁,p₂,p₃,…p_d分别为第1～第d意图类别的概率。

步骤8，对训练语料中的每一句话重复步骤5-7得到其意图类别的概率分布，选取概率最大的意图类别作为预测意图类别，通过与其真实意图(语料对话提供每句话的真实意图)进行比对，以此来训练CNN-BLSTM模型并不断迭代优化模型中的参数，用已经训练好的CNN-BLSTM模型来计算预进行意图识别的对话D(通过步骤5-7相应的方式进行计算)，得到D对应所有意图类别的概率分布P_B。

步骤9，针对预进行意图识别的对话D，将步骤3得到的意图类别概率分布P_A与步骤8得到的意图类别概率分布P_B进行线性融合得到最终的意图类别概率分布P，融合方式如下，

P＝α×P_A+β×P_B 公式(14)

在公式(14)中，α+β＝1，可以取α，β∈(0.0，0.1，0.2…1.0)，根据需要预设α，β的取值，例如α＝0.5，β＝0.5。

最后，在P中选取概率最大所对应的意图类别作为最终意图识别的结果。

步骤1～3是实现基于规则匹配的分类，步骤4～8是实现基于CNN-BLSTM模型的分类，步骤9进行两者的结合。

具体实施时，本领域技术人员可采用软件技术实现以上流程的自动运行。相应地，如果提供一种基于深度学习技术的意图识别方法，包括计算机或服务器，在计算机或服务器上执行以上流程用结合规则匹配的CNN-BLSTM模型实现意图识别，也应当在本发明的保护范围内。

Claims (3)

1.一种基于深度学习的对话***意图识别方法，其特征在于：首先，从对话语料中通过词频权重抽取关键词作为意图识别的规则，将预进行意图识别的对话D用规则进行匹配得到意图分类结果P_A；用对话语料训练深度学习模型CNN-BLSTM，所述深度学习模型CNN-BLSTM融合了卷积神经网络CNN与双向长短期记忆网络BLSTM，然后用训练后的深度学习模型CNN-BLSTM，识别对话D，得到意图分类结果P_B；最后，通过将意图分类结果P_A和意图分类结果P_B进行线性融合，得到对话D最终的意图；

所述用对话语料训练深度学习模型CNN-BLSTM，实现方式如下，

将训练语料进行分词处理后，将分词后所得的每句话中的每个词的向量表示x_b组合成该句话的向量表示X＝[x₁，x₂，x₃，…x_l]，l为向量的序列长度，b＝1，2，3...l；

将句子的向量X输入卷积神经网络的卷积层计算，将得到的所有特征图s_a组合起来得到输出结果S＝[s₁，s₂，s₃...s_n]，n表示特征图的总个数，a＝1，2，3…n；

对S的结构进行重新排列，将重排列后所得向量V输入BLSTM神经网络模型中，BLSTM是双向长短期记忆神经网络，由一个前向的长短期记忆神经网络和一个后向的长短期记忆神经网络构成；对于每一个时间步t，前向的长短期记忆神经网络输出隐层状态

后向的长短期记忆神经网络输出隐层状态

组合两个隐层状态的向量得到向量h_t；根据所有时间步的向量表示，得到整个句子相应的向量H，H中隐含上下文语义信息；

对S进行最大池化操作后得到向量O，O中包含句子中最重要的语义特征和类别特征信息；

将向量H和向量O拼接起来作为向量T，

将T作为最终对话句子特征向量表示，连接所有的句子特征T得到中间量y_c，根据y_c得到每个类别的概率，选取概率最大的意图类别作为意图识别结果P_B。

2.根据权利要求1所述基于深度学习的对话***意图识别方法，其特征在于：所述从对话语料中通过词频权重抽取关键词作为意图识别的规则，包括对每个类别进行以下处理，

进行分词处理，并统计得到该类别下所有词条的数目N，将所有的词条组成一个词表，并统计出该类别中，第i个词出现的次数W_i、句子的总条数M以及第j条句子的长度L_j，i＝1，2，3…N，j＝1，2，3…M；

计算出该类别下句子的平均长度AveL，计算公式如下，

计算出第i个词的词频权重F_i如下，

其中，∑S表示对该类别中所有出现第i个词的句子的长度S累加求和；

对该类别下的每一个词求得词频权重后，将词表中的每个词条按词频权重从大到小排序，提出选取排名在前的若干词条作为关键词，作为该类别的规则。

3.根据权利要求1或2所述基于深度学习的对话***意图识别方法，其特征在于：设将意图分类结果P_A和意图分类结果P_B进行线性融合后得到最终的意图类别概率分布P，在P中选取概率最大所对应的意图类别作为最终意图识别的结果。

Images