CN111259625A - 意图识别方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，提供一种意图识别方法、装置、设备及计算机可读存储介质，该方法包括：通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；基于第二语言模型和所述标注训练文本构造注意力神经网络模型；获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。本发明通过神经网络的方式进行特征提取，可以更全面的考虑文本特点，提高了意图识别的准确性。

Description

意图识别方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种意图识别方法、装置、设备及计算机可读存储介质。

背景技术

自然语言处理(Natural Language Processing，简写NLP)是计算机接受用户自然语言形式的输入，并在内部通过人类所定义的算法进行加工、计算等系列操作，以模拟人类对自然语言的理解，并返回用户所期望的结果的过程。其中意图识别为NLP中常见的任务，常见的意图识别场景是由终端对两个(或多个)文本进行比对分析，判断这两个文本是否表达相同的意思；在意图识别过程中，需要进行句子要素对齐，并根据对齐情况分析文本意图的相似性。传统的句子要素对齐是通过分词工具对句子进行分词，然后再将分词后的片段与另一个句子分词之后的片段进行匹配，并根据匹配结果来确定是否这两个片段能否对应得上；这些传统方法对分词工具较大的依赖性，且这些分词工具往往是通过人工特征工程的方式构建，因此传统方法容易受到已有经验的限制，导致对齐处理的准确性较差，进而影响后续意图识别的准确性。

发明内容

本发明的主要目的在于提供一种意图识别方法、装置、设备及计算机可读存储介质，旨在解决文本对齐准确性差、进而影响意图识别结果的技术问题。

为实现上述目的，本发明实施例提供一种意图识别方法，所述意图识别方法包括：

通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；

基于第二语言模型和所述标注训练文本构造注意力神经网络模型；

获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；

根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。

此外，为实现上述目的，本发明实施例还提供一种意图识别装置，所述意图识别装置包括：

文本标注模块，用于通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；

模型构造模块，用于基于第二语言模型和所述标注训练文本构造注意力神经网络模型；

特征提取模块，用于获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；

意图识别模块，用于根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。

此外，为实现上述目的，本发明实施例还提供一种意图识别设备，所述意图识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的意图识别方法的步骤。

此外，为实现上述目的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的意图识别方法的步骤。

本发明实施例先通过语言模型标注的方式获得标注训练文本，并用以构建注意力神经网络模型；而在获得标注训练文本的过程是基于字向量的方式进行，有利于提高特征提取和特征存储的效率，同时还有利于节约存储空间，此外，由于字向量的细粒度较词向量而言更高，因而可提高后续文本标注(分类)及意图识别的准确性；然后通过注意力神经网络模型的方式对待识别(对齐)文本进行特征提取，并根据提取的特征对待识别文本进行要素对齐，分析待识别文本之间的匹配性，从而判断待识别文本是否对应同一表达意图；与现有方法相比，本实施例通过神经网络的方式进行特征提取具有更强的特征提取能力，从而可以更全面的考虑文本特点，避免了人为经验带来的误差，提高了意图识别的准确性，此外还有利于提高意图识别的效率。

附图说明

图1为本发明实施例方案中涉及的意图识别设备的硬件结构示意图；

图2为本发明意图识别方法第一实施例的流程示意图；

图3为本发明意图识别方法第二实施例的流程示意图；

图4为本发明意图识别方法第三实施例涉及的识别结果显示示意图；

图5为本发明意图识别装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例涉及的意图识别方法主要应用于意图识别设备，该意图识别设备可以是服务器、个人计算机(personal computer，PC)、笔记本电脑等具有数据处理功能的设备。

参照图1，图1为本发明实施例方案中涉及的意图识别设备的硬件结构示意图。本发明实施例中，该意图识别设备可以包括处理器1001(例如中央处理器CentralProcessing Unit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(random access memory，RAM)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作***、网络通信模块以及计算机程序。在图1中，网络通信模块可用于连接预设数据库，与数据库进行数据通信；而处理器1001可以调用存储器1005中存储的计算机程序，并执行本发明实施例提供的意图识别方法。

基于上述的硬件架构，提出本发明意图识别方法的各实施例。

本发明实施例提供了一种意图识别方法。

参照图2，图2为本发明意图识别方法第一实施例的流程示意图。

本实施例中，所述意图识别方法包括以下步骤：

步骤S10，通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；

意图识别为自然语言处理(Natural Language Processing，简写NLP)中常见的任务，常见的意图识别场景是由终端对两个(或多个)文本进行比对分析，判断这两个文本是否表达相同的意思；在意图识别过程中，需要进行句子要素对齐，并根据对齐情况分析文本意图的相似性。传统的句子要素对齐是通过分词工具对句子进行分词，然后再将分词后的片段与另一个句子分词之后的片段进行匹配，并根据匹配结果来确定是否这两个片段能否对应得上；这些传统方法对分词工具较大的依赖性，且这些分词工具往往是通过人工特征工程的方式构建，因此传统方法容易受到已有经验的限制，导致对齐处理的准确性较差，进而影响后续意图识别的准确性。对此，本实施例提出一种意图识别方法，先通过模型标注的方式获得标注训练文本，并用以构建注意力神经网络模型，然后通过注意力神经网络模型的方式对待识别(对齐)文本进行特征提取，并根据提取的特征对待识别文本进行要素对齐，分析待识别文本之间的匹配性，从而判断待识别文本是否对应同一表达意图；与现有方法相比，本实施例通过神经网络的方式进行特征提取具有更强的特征提取能力，从而可以更全面的考虑文本特点，避免了人为经验带来的误差，提高了意图识别的准确性，此外还有利于提高意图识别的效率。

本实施例中的意图识别方法是由意图识别设备实现的，该意图识别设备可以是服务器、个人计算机、笔记本电脑等设备，本实施例中以服务器为例进行说明。本实施例在进行意图前，首先需要获取(构建)一个用以进行要素对齐的注意力神经网络模型；而训练该注意力神经网络模型需要使用一定的训练文本。传统的训练文本是通过人工标注的方式对大量无标记文本进行标注得到，本实施例中为了减少人力成本、提高标注效率，将采用语言模型标注的方式获得标注训练文本。其中，语言模型的就是根据上下文去预测下一个词是什么，能够从无限制的大规模单语语料中，学习到丰富的语义知识。本实施例中所采用的用以进行文本标注的第一语言模型，可以是基于Bert语言模型(Bidirectional EncoderRepresentations from Transformers)实现的；Bert语言模型包括Transformer编码器，由于self-attention机制，所以模型上下层直接全部互相连接的，可认为模型的所有层中是双向的，模型的输入包括token embedding、segmentation embedding、和positionembedding共同构成；而Bert在进行预训练时，包括两个Masked LM和Next SentencePrediction任务，而其预训练所用的样本，则可以是使用无标记语料，如从网络爬取的语料文本等内容。当然，在实际中，也可以是通过其它的方式构建第一语言模型。

在得到第一语言模型时，服务器可获取将要进行标注的无标记文本，然后通过第一语言模型对无标记文本进行特征提取。例如，首先可将无标记文本以词袋或者映射的方式转换为对应的原始文本向量，并通过第一语言模型的卷积层和池化层对原始文本向量进行处理，得到文本特征向量，该文本特征向量即可认为是无标记文本的无标记特征；当然对于文本特征向量的具体形式(如向量维度、各维度的数值范围)可以根据实际情况进行定义。值得说明的是，本实施例中在通过第一语言模型(Bert语言模型)提取文本特征向量时，是基于字向量的方式进行，字向量的存储空间要远远小于词向量，因此可提高特征提取的效率和存储效率，同时还有利于节约存储空间，此外，由于字向量的细粒度较词向量而言更高，因而可提高后续文本标注(分类)及意图识别的准确性。在得到无标记文本的无标记特征时，即可根据该无标记特征对无标记文本进行标注，得到模型标注结果，该模型标注结果与无标记文本共同形成标注训练文本。具体标注过程，也即计算无标记特征与样本特征(已知语料)之间的空间距离，然后根据将空间距离最小的样本特征作为目标样本特征，再根据目标样本特征所对应的目标标注对无标记文本进行标注。值得说明的是，本实施例中是利用语言模型进行特征提取处理，而语言模型在一定程度属于网络模型的一种，由于网络模型强大的数据分析能力，因此所提取得到的特征信息量通常要高于人工特征工程所提取的特征信息，进而能够在一定程度上保证文本标注质量和准确性。

步骤S20，基于第二语言模型和所述标注训练文本构造注意力神经网络模型；

服务器在得到标注训练文本时，即可通过标注训练文本和第二语言模型构造用以进行要素对齐的注意力神经网络模型。对于该注意力神经网络模型模型的构造过程，本实施例中是采用了无监督语言模型和任务微调(Finetune)的迁移学习方式进行，从而保证在有限数据集的情况下也能获得较好的效果，有利于减小训练样本不足所带来的负面影响；其中，为了说明方便，该用以构造注意力神经网络模型的无监督语言模型可称为第二语言模型，该第二语言模型也可以是采用Bert语言模型，而任务微调(Finetune)则是在Bert语言模型(第二语言模型)已有的参数基础上，通过标注训练文本对其进行迁移学习(训练)，从而对部分参数进行微调，得到符合实际使用需求的模型；通过任务微调的方式进行模型构造，有利于在保证模型处理结果准确性的同时、降低模型构造成本，同时还可提高模型构造的效率。

由于第二语言模型(Bert语言模型)中的自注意力self-attention机制，第二语言模型上下层(以及基于第二语言模型构造的注意力神经网络模型)直接全部互相连接的，可认为第二语言模型的所有层中是双向的，因此在对标注训练文本进行学习时，可以学习到句子中字与字组合信息，以及词与词的组合信息。此外，还可在self-attention基础上添加了两个句子之间的交叉注意力cross-attention处理，并且通过交叉注意力cross-attention来获得两个句子交互特征，进而用以进行两个句子关系判断，该句子关系判断准确程度使用句子分类损失loss(sentence)进行表征，而对于该分类损失可采用一般的交叉熵损失函数cross entropy loss表示。具体的，该cross-attention处理的过程可以为:

假设句子A:[h1,h2,…,hm]和句子B:[H1,H2,…,Hn],其中句子A的表示为Embedding(A)，句子B表示为Embedding(B)；

对于句子A和B，可计算EAB：

其中，

b为大于零的常数；

同理可计算得到EBA；

在得到EAB、EBA之后执行数组连接concat操作，即可得到cross-attention处理之后的结果。

进一步的，本实施例中的注意力神经网络模型的总损失可设置为多任务损失的形式，例如包括主要的对齐损失、句子分类损失，并加入了注意力attention正则化，引导输出稀疏注意力attention值操作。具体的，注意力神经网络模型的损失函数为：

loss(t)＝loss(attention)+λ*loss(sentence)+γ*L1_norm(attention_p)在上式中，loss(t)为所述第一语言模型的总损失；

loss(attention)为对齐损失，该对齐损失主要用于表征句子要素对齐准确性，该对齐损失可采用均方误差MSE规则，也即

其中power为平方函数，attention(prediction)为注意力神经网络模型对标注训练样本的预测结果，attention(true)为标注训练样本的标注结果；

loss(sentence)为句子分类损失(即上述的交叉熵损失)；

attention_p为注意力神经网络模型中的注意力attention的预测值；

λ、γ为预设参数，且均大于零且小于1；其中γ可认为是调注意力值attention正则化与主损失函数之间的超参数。

在训练过程中，也通过初始的第二语言模型对若干的标注训练文本进行特征提取，然后根据提取的特征对判断这些标准训练文本是否属于同一类，然后根据判断情况计算对应的模型总损失；若总损失大于一定阈值，则可调整模型参数后继续训练，直至总损失低于或等于该阈值时即可认为训练完成，得到注意力神经网络模型。

通过上述设置多任务损失函数的方式进行模型训练，综合考虑了文本(句子)片段之间对齐的监督信息以及文本分类(标签)信息，从而使得模型能够同时学习到句子中不同片段对应关系和两个句子关系，提高了模型的处理能力，并且能够达到模型可解释的效果。

步骤S30，获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；

本实施例中，在得到注意力神经网络模型时，即通过注意力神经网络模型进行文本特征提取和意图识别等处理。服务器首先获取需要进行识别的待识别文本；该待对齐文本可以由用户进行输入，也可以是从数据库中获取得到，该待识别文本可以是两个或两个以上的句子。得到待对识别文本时，服务器可通过注意力神经网络模型对待识别文本进行特征提取，得到若干的候选特征，这些候选特征形成了候选特征集。值得说明的是，对于不同的句子(文本)是分别进行特征提取，得到对应的候选特征集；例如，待识别文本包括句子A和句子B，句子A对应候选特征集X，句子B对应候选特征集Y。当然，由于注意力神经网络模型是基于Bert构建，因此在进行特征提取时，可以是基于字向量的方式，较词向量而言其细粒度更高，因而可提高后续意图识别的准确性。

步骤S40，根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。

本实施例中，在得到候选特征集时，即可根据该候选特征集对待识别文本进行对齐处理，该对齐情况可以通过文本相似度来表征，也即两个文本(句子)要素越相近，两者对齐情况越好，表现为两者的文本相似度越高；而在计算文本相似度时，可以通过基于两者特征的空间距离(即各种距离公式)进行表征。当得到待识别文本相似度时，可将该相似度与一预设阈值进行比较，若该相似度小于该预设阈值，即可认为两者要素较相近，两者对应同一表达意图；反之即两者对应不同的表达意图。例如，待识别文本包括句子A和句子B，通过注意力神经网络模型对句子A进行特征提取得到候选特征集X，通过注意力神经网络模型对句子B进行特征提取得到候选特征集Y，然后计算候选特征集X和候选特征集Y的空间距离，该空间距离即可认为是表征句子A和句子B的相似度，当该相似度(空间距离)小于某一阈值时，即可认为句子A和句子B两者要素较相近，两者对应同一表达意图；当该相似度(空间距离)大于或等于该阈值时，即认为两者对应不同的表达意图。

本实施例中，通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；基于第二语言模型和所述标注训练文本构造注意力神经网络模型；获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。通过以上方式，本实施例先通过语言模型标注的方式获得标注训练文本，并用以构建注意力神经网络模型；而在获得标注训练文本的过程是基于字向量的方式进行，有利于提高特征提取和特征存储的效率，同时还有利于节约存储空间，此外，由于字向量的细粒度较词向量而言更高，因而可提高后续文本标注(分类)及意图识别的准确性；然后通过注意力神经网络模型的方式对待识别(对齐)文本进行特征提取，并根据提取的特征对待识别文本进行要素对齐，分析待识别文本之间的匹配性，从而判断待识别文本是否对应同一表达意图；与现有方法相比，本实施例通过神经网络的方式进行特征提取具有更强的特征提取能力，从而可以更全面的考虑文本特点，避免了人为经验带来的误差，提高了意图识别的准确性，此外还有利于提高意图识别的效率。

基于上述图2所示实施例，提出本发明意图识别方法第二实施例。

参照图3，图3为本发明意图识别方法第二实施例的流程示意图。

本实施例中，所述步骤S10之后，还包括：

步骤S50，基于复合决策规则对所述标注训练文本进行投票决策，以判断所述标注训练文本是否有效；

本实施例中，为了提高文本标注的质量，在通过第一语言模型进行标注后，还可通过相关规则来对模型标注结果进行判断，以确定标准训练文本是否有效；若有效，则可将该模型标注结果作为无标记文本的文本标注结果，并进行后续的模型训练；若无效，则需要通过人工的方式对无标记文本重新进行人工标注。值得说的是，本实施例在进行判断时，是通过多种规则复合决策分别对模型标注结果进行判断，然后通过投票决策的方式确定。具体的，本实施例中是通过复合决策规则对步骤S10所得的标注训练文本进行投票决策，以判断标注训练文本是否有效；其中，该复合决策规则可根据实际情况选用两种以上(此处“以上”包括本数，下同)的规则，例如，本实施例中的复合决策规则可以包括熵entropy最大规则、最小置信度规则、基于采样的贝叶斯不确定性bayesian uncertainty规则、归一化log对数值(MNLP)规则；对于不同规则，均可单独用以评价标注训练文本的有效性，该评价分布用一分值进行表征，也即根据不同的规则可分别得出针对标注训练文本有效性的认可分值，分值越高，则认为该规则下对标注训练文本有效的认可度越高；然后可通过加权的方式综合这些规则的分值，得到综合评分，具体可表示为：

P＝w1*p1+w2*p2+w3*p3+w4*p4

上式中，P为投票决策的综合评分，p1为根据entropy最大规则对标注训练文本的认可分值，p2为根据最小置信度规则对标注训练文本的认可分值，p3为根据采样的贝叶斯不确定性规则对标注训练文本的认可分值，p4为根据MNLP规则对标注训练文本的认可分值；w1、w2、w3、w4为大于零的参数，且w1+w2+w3+w4＝1。

在得到综合评分时，可将该综合评分与预设分值阈值比较，若该综合评分高于该分值阈值，则可认为模型标注结果有效，也即标注训练文本有效；若该综合评分低于或等于该分值阈值，则认为标注训练文本无效。值得说明的是，除了上述加权的方式对各规则的认可分进行综合外，还可以采用其它的方式对多规则进行集成，例如计算平均分等。

所述步骤S20包括：

步骤S21，若所述标注训练文本有效，则基于第二语言模型和所述标注训练文本构造注意力神经网络模型。

本实施例中，若判断标注训练文本有效，则可根据基于第二语言模型和标注训练文本构造注意力神经网络模型。具体构造过程此处不再赘述。

进一步的，若判断标注训练文本无效(综合分值低于或等于该分值阈值)，则需要对标准训练文本进行相应的校正处理，避免模型标注的不准确对后续构造注意力神经网络模型造成不利影响；此时将会输出对应的人工标注提示，以提示相关人员对模型标注结果进行检视，该人工标注提示可以是语音、文字等方式；相关人员可根据该人工标注提示就标注训练文本输入对应的人工标注；服务器在接收到输入的人工标注时，即可根据该人工标注对标准训练文本进行校正；在校正后，即可基于第二语言模型和校正后的标注训练文本构造注意力神经网络模型。

再进一步的，在对标注训练文本进行校正后时，还可以根据校正后的标注训练文本对第一语言模型进行迁移训练，从而对第一语言模型进行更新，从而提高第一语言模型的适用性，后续可用更新的第一语言模型进行其它的文本标注任务。

本实施例在得到模型标注的标注训练文本时，可采用多准则判断的方法来判断标注训练文本是否有效，并在有效时才用以进行模型构造，若无效则可通过人工标注的方式对标注训练文本进行校正，从而保证了构造注意力神经网络模型所用训练文本的标注质量，避免模型标注的不准确对后续构造注意力神经网络模型造成不利影响。

基于上述图2所示实施例，提出本发明意图识别方法第三实施例。

本实施例中，所述步骤S30之后，还包括：

在所述待识别文本中确定所述候选特征集中各候选特征对应的特征文本；

本实施例中，在通过注意力神经网络模型进行特征提取，得到候选特征集后，还将会确定各候选特征在待识别文本中对于的特征文本。例如，待识别文本包括句子A，句子A具体可表示为“h1、h2、…、hm”，其中h1、h2、...、hm为各个字，句子A的候选特征包括x1、x2、x3、x4，其中x1和x2对应的特征文本为h1，x3对应的特征文本为h2和hm，x4对应的特征文本为hm。值得说明的是，在实际中，一个候选特征可能对应多个特征文本。

所述步骤S40之后，还包括：

显示所述待识别文本和意图识别结果，并根据预设显示规则显示所述候选特征和特征文本。

本实施例中，在得到对待识别文本的意图识别完成，得到意图识别结果后，可以是将意图识别结果与相关候选特征一同显示，从而方便用户获知意图识别的处理过程，实现结果可解释。具体的，可显示待识别文本和意图识别结果，同时根据预设显示规则显示候选特征和特征文本；例如，待识别文本包括句子A和句子B，句子A可表示为“h1、h2、…、hm”，句子B可表示为“H1、H2、…、Hn”，其中h1、h2、...、hm和H1、H2、...、Hn为各个字；句子A的候选特征包括x1、x2、x3、x4，其中x1和x2对应的特征文本为h1，x3对应的特征文本为h2和hm，x4对应的特征文本为hm；句子B的候选特征包括x1、x2、x3、x5，其中x1和x2对应的特征文本为H1，x3对应的特征文本为H2和Hm，x5对应的特征文本为Hm；在显示时，参照图4，图4为本实施例中的识别结果显示示意图，句子A和句子B分别显示为两行，而各句子的候选特征则显示在对应特征文本的附近(图4是显示在下方)，并用线连接，而对于不同特征的文本则用方框的方式标注(即hm和Hn)，意图识别结果则显示在最下方(句子A和句子B对应不同的表达意图)。当然，除了上述举例外，还可以是设置其它的显示规则，例如可以是以不同的颜色显示具有不同特征的文本，又或者是以不同的颜色显示相同的特征等。

通过以上方式，在得到对待识别文本的意图识别完成，得到意图识别结果后，可以是将意图识别结果与相关候选特征一同显示，从而方便用户获知意图识别的处理过程，实现结果可解释。

基于上述图2所示实施例，提出本发明意图识别方法第四实施例。

本实施例中，所述步骤S30包括：

采集用户的用户语音，并将所述用户语音转换为对应的语音文本；

本实施例中，该意图识别方法可以是应用在自助服务流程中，例如某一自助服务终端的自助服务，某一手机软件的自助服务。当用户需要使用自助服务时，可以通过终端或手机的语音采集装置进行语音输入，以获取相应的服务。服务器则采集用户的用户语音，然后将该用户语音转换为对应的语音文本。

从预设文本库中获取标准文本；

本实施例中，在得到语音文本时，可从预设文本库中获取标准文本。其中，预设文本库所存储的标准文本可认为是触发某一服务功能的条件，当获取的语音文本与标准文本对应同一表达意图时，即可认为触发了对应服务功能。

所述语音文本和所述标准文本作为待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集。

在得到标准文本时，可将该语音文本和标准文本作为待识别文本(可认为是上述第一实施例中的句子A和句子B)，并通过注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集，并进行后续的意图识别处理，以判断语音文本和标准文本是否对应同一表达意图。

进一步的，所述步骤S40之后还包括：

若所述意图识别结果为所述待识别文本对应同一表达意图，则获取所述标准文本对应的处理策略，并基于所述处理策略进行意图反馈处理。

本实施例中，若意图识别结果为语音文本和标准文本对应同一表达意图，则可认为当前用户正在请求标准文本所对应的服务功能。此时服务器可查询该标准文本对应的处理策略，并基于该处理策略进行意图反馈处理。

本实施例中的意图识别方法可以应用在自助服务流程中，用户可通过语音的方式触发对应的服务功能，服务器则通过对用户的语音进行意图识别，并根据意图识别结果执行对应的意图反馈处理，从而为用户提供自助服务，有利于实现服务的智能化，提高用户的服务体验。

此外，本发明实施例还提供一种意图识别装置。

参照图5，图5为本发明意图识别装置第一实施例的功能模块示意图。

本实施例中，所述意图识别装置包括：

文本标注模块10，用于通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；

模型构造模块20，用于基于第二语言模型和所述标注训练文本构造注意力神经网络模型；

特征提取模块30，用于获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；

意图识别模块40，用于根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。

其中，上述意图识别装置的各虚拟功能模块存储于图1所示意图识别设备的存储器1005中，用于实现计算机程序的所有功能；各模块被处理器1001执行时，可实现意图识别的功能。

进一步的，所述意图识别装置还包括：

投票决策模块，用于基于复合决策规则对所述标注训练文本进行投票决策，以判断所述标注训练文本是否有效；

所述模型构造模块20，还用于若所述标注训练文本有效，则基于第二语言模型和所述标注训练文本构造注意力神经网络模型。

进一步的，所述意图识别装置还包括：

提示输出模块，用于若所述标注训练文本无效，则输出对应的人工标注提示；

文本校正模块，用于在接收到基于所述人工标注提示输入的人工标注时，根据所述人工标注对所述标注训练文本进行校正；

所述模型构造模块20，还用于基于第二语言模型和校正后的标注训练文本构造注意力神经网络模型。

进一步的，所述注意力神经网络模型的损失函数为:

loss(t)＝loss(attention)+λ*loss(sentence)+γ*L1_norm(attention_p)

其中，loss(t)为所述第一语言模型的总损失；

loss(attention)为对齐损失；

loss(sentence)为句子分类损失；

attention_p为所述注意力神经网络模型中的注意力attention的预测值；

λ、γ为预设参数，且均大于零并小于1。

进一步的，所述意图识别装置还包括：

文本确定模块，用于在所述待识别文本中确定所述候选特征集中各候选特征对应的特征文本；

结果显示模块，用于显示所述待识别文本和意图识别结果，并根据预设显示规则显示所述候选特征和特征文本。

进一步的，所述模型构造模块20包括：

语音采集单元，用于采集用户的用户语音，并将所述用户语音转换为对应的语音文本；

文本获取单元，用于从预设文本库中获取标准文本；

特征提取单元，用于将所述语音文本和所述标准文本作为待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集。

进一步的，所述意图识别装置还包括：

反馈处理模块，用于若所述意图识别结果为所述待识别文本对应同一表达意图，则获取所述标准文本对应的处理策略，并基于所述处理策略进行意图反馈处理。

其中，上述意图识别装置中各个模块的功能实现与上述意图识别方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

此外，本发明实施例还提供一种计算机可读存储介质。

本发明计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的意图识别方法的步骤。

其中，计算机程序被执行时所实现的方法可参照本发明意图识别方法的各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种意图识别方法，其特征在于，所述意图识别方法包括：

通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；

基于第二语言模型和所述标注训练文本构造注意力神经网络模型；

获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；

根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。

2.如权利要求1所述的意图识别方法，其特征在于，所述通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本的步骤之后，还包括：

基于复合决策规则对所述标注训练文本进行投票决策，以判断所述标注训练文本是否有效；

所述基于第二语言模型和所述标注训练文本构造注意力神经网络模型的步骤包括：

若所述标注训练文本有效，则基于第二语言模型和所述标注训练文本构造注意力神经网络模型。

3.如权利要求2所述的意图识别方法，其特征在于，所述基于复合决策规则对所述标注训练文本进行投票决策，以判断所述标注训练文本是否有效的步骤之后，还包括：

若所述标注训练文本无效，则输出对应的人工标注提示；

在接收到基于所述人工标注提示输入的人工标注时，根据所述人工标注对所述标注训练文本进行校正；

所述基于第二语言模型和所述标注训练文本构造注意力神经网络模型的步骤还包括：

基于第二语言模型和校正后的标注训练文本构造注意力神经网络模型。

4.如权利要求1所述的意图识别方法，其特征在于，所述注意力神经网络模型的损失函数为:

loss(t)＝loss(attention)+λ*loss(sentence)+γ*L1_norm(attention_p)

其中，loss(t)为所述第一语言模型的总损失；

loss(attention)为对齐损失；

loss(sentence)为句子分类损失；

attention_p为所述注意力神经网络模型中的注意力attention的预测值；

λ、γ为预设参数，且均大于零并小于1。

5.如权利要求1所述的意图识别方法，其特征在于，所述获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集的步骤之后，还包括：

在所述待识别文本中确定所述候选特征集中各候选特征对应的特征文本；

所述根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果的步骤之后，还包括：

显示所述待识别文本和意图识别结果，并根据预设显示规则显示所述候选特征和特征文本。

6.如权利要求1至5中任一项所述的意图识别方法，其特征在于，所述获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集的步骤包括：

采集用户的用户语音，并将所述用户语音转换为对应的语音文本；

从预设文本库中获取标准文本；

将所述语音文本和所述标准文本作为待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集。

7.如权利要求1至6中任一项所述的意图识别方法，其特征在于，所述根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果的步骤之后，还包括：

若所述意图识别结果为所述待识别文本对应同一表达意图，则获取所述标准文本对应的处理策略，并基于所述处理策略进行意图反馈处理。

8.一种意图识别装置，其特征在于，所述意图识别装置包括：

文本标注模块，用于通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；

模型构造模块，用于基于第二语言模型和所述标注训练文本构造注意力神经网络模型；

特征提取模块，用于获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；

意图识别模块，用于根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。

9.一种意图识别设备，其特征在于，所述意图识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的意图识别方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的意图识别方法的步骤。

Images