CN113792818A - 意图分类方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例提供了一种意图分类方法、装置、电子设备及计算机可读存储介质，属于人工智能技术领域。该方法包括：获取请求文本；对请求文本进行实体特征提取，得到包含目标查询参数的第一文本；将第一文本输入至预先训练的对比模型与对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量；利用预先训练的意图分类模型对目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值；利用预先训练的意图匹配模型对第一文本进行匹配处理，得到意图匹配值；根据意图匹配值和意图分类概率值，得到意图分类数据。本申请实施例能够实现对用户意图的准确分类，提高意图分类的准确性。

Description

意图分类方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种意图分类方法、装置、电子设备及计算机可读存储介质。

背景技术

在自然语言理解中，需要对用户意图进行分类。目前，通常基于模板或者模型进行意图分类，其中，基于模型的意图分类易受到意图的发生频率以及数据量的影响，往往无法很好地解决真实场景下的意图分类，影响意图分类的准确性。因此，如何提供一种意图分类方法，提高意图分类的准确性，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种意图分类方法、装置、电子设备及计算机可读存储介质，旨在实现对用户意图的准确分类，提高意图分类的准确性。

为实现上述目的，本申请实施例的第一方面提出了一种意图分类方法，所述方法包括：

获取请求文本；

对所述请求文本进行实体特征提取，得到包含目标查询参数的第一文本；

将所述第一文本输入至预先训练的对比模型与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量；

利用预先训练的意图分类模型对所述目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值；

利用预先训练的意图匹配模型对所述第一文本进行匹配处理，得到意图匹配值；

根据所述意图匹配值和所述意图分类概率值，得到意图分类数据。

在一些实施例，所述第一文本包括字符文本和语义文本，所述对所述请求文本进行实体特征提取，得到包含目标查询参数的第一文本的步骤，包括：

根据基于前缀树的特征提取模型对所述请求文本进行实体特征提取，得到字符文本；

利用预先训练的词法分析模型对所述请求文本进行识别处理，得到语义文本。

在一些实施例，所述将所述第一文本输入至预先训练的对比模型与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量的步骤，包括：

对第一文本进行分词处理和编码处理，得到多个查询词段向量；

将多个所述查询词段向量输入到预先训练的对比模型中，以使所述查询词段向量与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个基本词嵌入向量；

对所述基本词嵌入向量进行映射处理，得到目标词嵌入向量。

在一些实施例，在所述将所述第一文本输入至预先训练的对比模型与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量的步骤之前，所述方法还包括训练对比模型，具体包括：

获取样本数据；

对所述样本数据进行数据增强处理，得到正例对；

将所述正例对输入到所述对比学习模型；

通过所述对比学习模型的损失函数计算出所述正例对的第一相似度和负例对的第二相似度；

根据所述第一相似度和所述第二相似度对所述对比学习模型的损失函数进行优化，以更新所述对比学习模型。

在一些实施例，所述利用预先训练的意图分类模型对所述目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值的步骤，包括：

利用预先训练的意图分类模型和预设的意图类别对所述词嵌入向量进行分类处理，得到包含意图类别标签的词嵌入向量和每一意图类别对应的意图概率值；

根据所述意图概率值，得到意图分类概率值。

在一些实施例，所述利用预先训练的意图匹配模型对所述第一文本进行匹配处理，得到意图匹配值的步骤，包括：

将所述第一文本输入到预设的意图匹配模型中，以使所述第一文本与预设的句式模板进行字符匹配，生成匹配数据；

根据预设的参考匹配分数对所述匹配数据进行分数统计，得到意图匹配值。

在一些实施例，所述根据所述意图匹配值和所述意图分类概率值，得到意图分类数据的步骤，包括：

根据预设的权重比例，对所述意图匹配值和所述意图分类概率值进行加权计算，得到综合意向值；

根据所述综合意向值，得到意图分类数据。

为实现上述目的，本申请实施例的第二方面提出了一种意图分类装置，所述装置包括：

文本获取模块，用于获取请求文本；

特征提取模块，用于对所述请求文本进行实体特征提取，得到包含目标查询参数的第一文本；

对比模块，用于将所述第一文本输入至预先训练的对比模型与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量；

分类模块，用于利用预先训练的意图分类模型对所述目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值；

匹配模块，用于利用预先训练的意图匹配模型对所述第一文本进行匹配处理，得到意图匹配值；

计算模块，用于根据所述意图匹配值和所述意图分类概率值，得到意图分类数据。

为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，用于计算机可读存储，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。

本申请提出的意图分类方法、装置、电子设备及计算机可读存储介质，其通过获取请求文本，对请求文本进行实体特征提取，得到包含目标查询参数的第一文本，这一方式能够实现对请求文本的特征抽取，缩小请求文本的数据空间，使得更为方便提取到所需要的包含目标查询参数的第一文本。进而将第一文本输入至预先训练的对比模型与对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量，利用预先训练的意图分类模型对目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值，通过对比模型能够较好地解决目标词嵌入向量分布不均匀的问题，同时，通过对比模型和意图分类模型能够进行意图分类概率的深度学习，提高意图分类概率值的准确性。另外，本申请还可以利用预先训练的意图匹配模型对第一文本进行匹配处理，得到意图匹配值，通过意图匹配模型能够基于规则匹配对用户的意图匹配值进行计算，提高意图匹配的准确性。最后根据意图匹配值和意图分类概率值，得到意图分类数据。本申请通过对比模型、意图分类模型以及意图匹配模型能够综合意图分类概率以及意图匹配性两方面来识别用户的对话意图，使得最终得到的意图分类数据能够呈现出更为准确的意图分类结果，实现了对用户意图的准确分类，提高了意图分类的准确性。

附图说明

图1是本申请实施例提供的意图分类方法的流程图；

图2是图1中的步骤S102的流程图；

图3是图1中的步骤S103的流程图；

图4是本申请实施例提供的意图分类方法的另一流程图；

图5是图1中的步骤S104的流程图；

图6是图1中的步骤S105的流程图；

图7是图1中的步骤S106的流程图；

图8是本申请实施例提供的意图分类装置的结构示意图；

图9是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

自然语言处理(natural language processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。

信息抽取(Information Extraction，NER)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。

实体：指具有可区别性且独立存在的某种事物。如某一个人、某一个城市、某一种植物等、某一种商品等等。世界万物有具体事物组成，此指实体。实体是知识图谱中的最基本元素，不同的实体间存在不同的关系。

概念：某一类实体的集合。

语义类(概念)：具有同种特性的实体构成的集合，如国家、民族、书籍、电脑等。概念主要指集合、类别、对象类型、事物的种类，例如人物、地理等。

自监督学习：自监督学习主要是利用辅助任务(pretext)从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。也就是说自监督学习的监督信息不是人工标注，而是算法在大规模无监督数据中自动构造监督信息，来进行监督学习或训练。

对比学习(Contrastive Learning)是自监督学习的一种，不需要依赖人工标注的类别标签信息，直接利用数据本身作为监督信息。对比学习是一种为深度学习模型描述相似和不同事物的任务的方法。利用对比学习方法，可以训练机器学习模型来区分相似和不同的图像。在图像领域的自监督学习分为两种类型：生成式自监督学习、判别式自监督学习。对比学习应用的是典型的判别式自监督学习。对比学习的核心要点是：通过自动构造相似实例和不相似实例，也就是正样本和负样本，学习将正样本和负样本在特征空间进行对比，使得相似的实例在特征空间中距离拉近，而不相似的实例在特征空间中的距离拉远，差异性变大，通过这样的学习过程得到的模型表征就可以去执行下游任务，在较小的标记数据集上进行微调，从而实现无监督的模型学习过程。对比学习的指导原则是：通过自动构造相似实例和不相似实例，通过学习得到一个学习模型，利用这个模型，使得相似的实例在投影空间中比较接近，而可不相似的实例在投影空间中距离比较远。

嵌入(embedding)：embedding是一种向量表征，是指用一个低维的向量表示一个物体，该物体可以是一个词，或是一个商品，或是一个电影等等；这个embedding向量的性质是能使距离相近的向量对应的物体有相近的含义，embedding实质是一种映射，从语义空间到向量空间的映射，同时尽可能在向量空间保持原样本在语义空间的关系，如语义接近的两个词汇在向量空间中的位置也比较接近。embedding能够用低维向量对物体进行编码还能保留其含义，常应用于机器学习，在机器学习模型构建过程中，通过把物体编码为一个低维稠密向量再传给DNN，以提高效率。

批量(Batch)：Batch大小(即批量大小)是一个超参数，用于定义在更新内部模型参数之前要处理的样本数，也就是在模型的内部参数更新之前控制训练样本的数量。训练数据集可以分为一个或多个Batch，其中，当所有训练样本用于创建一个Batch时，学习算法称为批量梯度下降；当批量是一个样本的大小时，学习算法称为随机梯度下降；当批量大小超过一个样本且小于训练数据集的大小时，学习算法称为小批量梯度下降。Batch大小是在更新模型之前处理的多个样本。

数据增强：数据增强主要用来防止过拟合，用于dataset(数据集)较小时对数据集进行优化，通过数据增强，可以增加训练的数据量，提高模型的泛化能力，增加噪声数据，提升模型的鲁棒性。数据增强可以分为两类，离线增强和在线增强；其中，离线增强是直接对数据集进行处理，数据的数目会变成增强因子x原数据集的数目，离线增强常常用于数据集很小时；在线增强，主要用于获得batch数据之后，对这个batch的数据进行增强，如旋转、平移、翻折等相应的变化，由于有些数据集不能接受线性级别的增长，在线增强常用于较大数据集，很多机器学习框架已经支持了在线增强方式，并且可以使用GPU优化计算。

dropout(丢弃)：dropout是一种防止模型过拟合的技术，是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，从而可以让模型更鲁棒，因为它不会太依赖某些局部的特征(因为局部特征有可能被丢弃)。

mask(掩码、掩膜)：mask是深度学习中的常见操作；简单而言，mask相当于在原始张量上盖上一层掩膜，从而屏蔽或选择一些特定元素，因此常用于构建张量的过滤器。线性激活函数Relu(根据输出的正负区间进行简单粗暴的二分)、dropout机制(根据概率进行二分)都可以理解为泛化的mask操作。

encoder:编码，就是将输入序列转化成一个固定长度的向量；解码(decoder)，就是将之前生成的固定向量再转化成输出序列；其中，输入序列可以是文字、语音、图像、视频；输出序列可以是文字、图像。

反向传播：反向传播的大致原理为：将训练集数据输入到神经网络的输入层，经过神经网络的隐藏层，最后达到神经网络的输出层并输出结果；由于神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。

随着人工智能技术的飞速发展，各类基于对话***的应用产品逐渐增多，语音交互需求也日益扩增。对话***是一种基于自然语言的人机交互***。通过对话***，用户可以使用自然语言和计算机进行多轮交互来完成特定的任务。当前，对话***广泛应用于不同领域，如搜索领域、智能问答领域、情感分析领域等，其中，自然语言理解是对话***中的核心模块。自然语言理解的目标是将自然语言的文本信息转换为可被计算机处理的语义表示，即用一种结构化的数据来表示一句话所表达的含义。也就是说，自然语言理解的目标是根据待解析的文本信息确定用户想表达的意图以及满足用户意图的条件。

在自然语言理解中，需要对用户意图进行分类。目前，通常基于模板或者模型进行意图分类，而基于模板的意图分类严重依赖于模板的覆盖程度，易受到数据规模以及数据质量的影响；基于模型的意图分类易受到意图的发生频率以及数据量的影响，往往无法很好地解决真实场景下的意图分类，影响意图分类结果的准确性。因此，如何提供一种意图分类方法，实现对用户意图的准确分类，提高意图分类的准确性，成为了亟待解决的技术问题。

基于此，本申请实施例提供一种意图分类方法、装置、电子设备及存储介质，可以实现对用户意图的准确分类，提高意图分类结果的准确性。

本申请实施例提供的意图分类方法、装置、电子设备及计算机可读存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的意图分类方法。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的意图分类方法，涉及人工智能技术领域。本申请实施例提供的意图分类方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式***，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现意图分类方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

图1是本申请实施例提供的意图分类方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S101至步骤S106。

步骤S101，获取请求文本；

步骤S102，对请求文本进行实体特征提取，得到包含目标查询参数的第一文本；

步骤S103，将第一文本输入至预先训练的对比模型与对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量；

步骤S104，利用预先训练的意图分类模型对目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值；

步骤S105，利用预先训练的意图匹配模型对第一文本进行匹配处理，得到意图匹配值；

步骤S106，根据意图匹配值和意图分类概率值，得到意图分类数据。

在一些实施例的步骤S101中，可以通过编写网络爬虫,设置好数据源之后进行有目标性的爬取数据，得到请求文本。需要说明的是，该请求文本为自然语言文本。

请参阅图2，在一些实施例中，第一文本包括字符文本和语义文本，步骤S102可以包括但不限于包括步骤S201至步骤S202：

步骤S201，根据基于前缀树的特征提取模型对请求文本进行实体特征提取，得到字符文本；

步骤S202，利用预先训练的词法分析模型对请求文本进行识别处理，得到语义文本。

在一些实施例的步骤S201中，可以根据各种类型的知识数据库构建基于前缀树的特征提取模型。例如，基于前缀树的特征提取模型中，包含根据音乐知识数据库构建的多个前缀树，这些前缀树由音乐知识库包含的歌曲名称、歌手名、专辑名称等预存数据构建。该特征提取模型中的每一颗树的根节点都代表着每一个预存数据的第一个字符。通过将请求文本中的实体特征的字符数据与每一预存数据的第一个字符进行对比，可以方便地确定出当前请求文本中的实体特征，进而对实体特征进行信息抽取，得到字符文本。

在一些实施例的步骤S202中，需要预先构建请求数据词库，该请求数据词库可以包括各类查询管理相关的专有名词、术语、非专有名称等等。通过这一请求数据词库，预设的词法分析模型可以将特定查询管理名称进行列举，例如，用户主诉、查询类别等等。将请求文本输入至预设的词法分析模型中，通过预设的词法分析模型中包含的特定查询管理以及预设的词性类别，对请求文本中的实体特征进行识别，该实体特征可以包括上述与查询管理相关的专有名词、术语、非专有名称、修饰词、时间信息等多个维度的实体词汇。

为了更准确地提取语义文本，还可以通过预先训练的序列分类器对请求文本中的实体特征进行标记，使得这些实体特征都能够带上预设的标签，以便提高分类效率。

需要说明的是，在一些具体实施例中，预先训练的序列分类器可以是最大熵马尔科夫模型(MEMM模型)或者基于条件随机场算法(CRF)的模型或者是基于双向长短时记忆算法(bi-LSTM)的模型。例如，可以基于bi-LSTM算法构建序列分类器，在基于bi-LSTM算法的模型中,输入单词wi和字符嵌入，通过左到右的长短记忆和右向左的长短时记忆,使得在输出被连接的位置生成单一的输出层。序列分类器通过这一输出层可以将输入的实体特征直接传递到softmax分类器上,通过softmax分类器在预设的词性类别标签上创建一个概率分布，从而根据概率分布对实体特征数据进行标记分类。最后对包含类别标签的实体特征数据进行特征提取，得到所需要的语义文本。

另外，为了实现数据存储，还可以采用BERT编码器，通过预设的编码函数将语义文本由文本形式转化为编码形式，以实现对语义文本的存储。该方法能够实现对请求文本的语义识别处理和特征抽取，缩小数据总量，使得更为方便提取到所需要的语义文本。

请参阅图3，在一些实施例中，步骤S103可以包括但不限于包括步骤S301至步骤S303：

步骤S301，对第一文本进行分词处理和编码处理，得到多个查询词段向量；

步骤S302，将多个查询词段向量输入到预先训练的对比模型中，以使查询词段向量与对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个基本词嵌入向量；

步骤S303，对基本词嵌入向量进行映射处理，得到目标词嵌入向量。

在一些实施例的步骤S301中，可以包括但不限于包括以下步骤：

利用预先训练的文本分词模型对第一文本进行分词处理，得到多个文本词段。

在一些实施例的步骤S301中，可以利用预先训练的Jieba分词器对原始文本进行分词处理，得到文本词段；具体地，在利用Jieba分词器进行分词时，首先通过对照Jieba分词器内的词典生成该原始文本对应的有向无环图，再根据预设的选择模式和词典寻找有向无环图上的最短路径，根据最短路径对该原始文本进行截取，或者直接对该原始文本进行截取，得到文本词段。进一步地，对于不在词典中的文本词段，可以使用HMM(隐马尔科夫模型)进行新词发现。具体地，将字符在文本词段中的位置B、M、E、S作为隐藏状态，字符是观测状态，其中，B/M/E/S分别代表出现在词头、词中、词尾以及单字成词。使用词典文件分别存储字符之间的表现概率矩阵、初始概率向量和转移概率矩阵。再利用维特比算法对最大可能的隐藏状态进行求解，从而得到文本字段。

在另一些实施例的步骤S301中，还需要对文本词段进行词性标注处理，即根据预设的词性类别对文本词段进行词性标注，得到包含词性类别标签的文本词段，其中，预设的词性类别包括名称、动词、修饰词、形容词等等。

通过上述步骤能够实现对第一文本的分词处理，使得更为方便提取到所需要的文本词段。

进一步地，在另一些实施例的步骤S301中，可以包括但不限于包括以下步骤：

利用目标词库模型中的index函数对每一文本词段进行元素提取，得到每一文本词段的元素值；

根据元素值对文本词段进行位置识别，得到文本词段的目标位置。

由于index函数可以返回表格或数组中的元素值。因此通过数组形式的index函数对每一文本词段的元素值进行提取，得到文本词段的元素值。其中，文本词段的元素值包括文本词段的行号和列号的索引值。因而，通过index函数对文本词段的行号和列号进行搜索，能够对指定位置的文本词段进行获取。通过index函数对文本词段的行号和列号进行搜索，遍历原始文本中的每一文本字段，生成文本词段的位置序列表，该位置序列表能够反映出文本字段与行号、列号(元素值)的对应关系。即实现了根据元素值确定文本词段的目标位置，从而能够较为准确地对每一文本词段进行位置识别。

进一步地，在另一些实施例的步骤S301中，可以包括但不限于包括以下步骤：

根据目标位置，对每一文本词段进行归一化处理，得到标准词段；

对标准词段进行独热编码，得到文本词段向量。

具体地，目标位置为文本词段的index位置。根据每一文本词段的index位置，从第一文本中分别提取每一文本词段，将每一文本词段进行线性缩放至[-1,1]，或者将每一文本词段都放缩至均值为0，方差为1，以实现对每一文本词段的归一化处理，得到标准词段。

需要说明的是，独热编码即One-Hot编码，又称一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。

通过独热编码可以将标准词段的长度表示为向量形式，得到多个文本词段向量。例如，假设某个原始文本由3个文本词段组成，通过前述步骤可以获得这3个文本词段的index位置。One-hot编码就是对每一文本词段使用长度为V的向量表示，这个V就是目标词库模型中与文本词段对应的字典词的个数。向量把原始文本中出现了文本词段的index位置标记为1，其他都为0，假设某个句子由3个文本词段组成，那么这个向量里就有3个1，这个1的位置可以和文本词段的index位置对应。

通过上述步骤能够较为方便地根据目标位置对每一文本词段进行编码处理，得到查询词段向量，以通过该查询词段向量得到目标词嵌入向量。

进而，执行步骤S302，通过训练对比模型可以使得对比模型内的参考词嵌入矩阵的数值将被完全固定下来，对比模型的其他模型参数也被固定。因而，将查询词段向量输入到对比模型中，可以利用固定的参考词嵌入矩阵与每一查询词段向量进行矩阵相乘，得到基本词嵌入向量。

最后，执行步骤S303，利用对比模型中固定的MLP网络对基本词嵌入向量进行映射处理，得到目标词嵌入向量。其中，MLP网络包括linear层、ReLu激活函数以及linear层。

请参阅图4，在一些实施例中，在步骤S103之前，该方法还包括训练对比模型，具体可以包括但不限于包括步骤S401至步骤S405：

步骤S401，获取样本数据；

步骤S402，对样本数据进行数据增强处理，得到正例对；

步骤S403，将正例对输入到对比学习模型；

步骤S404，通过对比学习模型的损失函数计算出正例对的第一相似度和负例对的第二相似度；

步骤S405，根据第一相似度和第二相似度对对比学习模型的损失函数进行优化，以更新对比学习模型。

具体地，首先将样本数据映射至嵌入空间、并对样本数据进行向量表示，从而可以得到初始嵌入数据(即初始embedding数据)，该初始嵌入数据包括正样本数据和负样本数据。

在一些实施例的步骤S402中，通过dropout mask机制对初始嵌入数据进行数据增强处理；本申请实施例通过dropout mask机制替换了传统的数据增强方法，即将同一个样本数据两次输入dropout编码器得到的两个向量作为对比学习的正例对，效果就足够好了，因为比如BERT内部每次dropout都随机会生成一个不同的dropout mask，所以只需要将同一个样本数据(即本实施例的初始嵌入数据)输入至simCSE模型两次，得到的两个向量就是应用两次不同dropout mask的结果了。可以理解的是，dropout mask是一种网络模型的随机，是对模型参数W的mask，起到防止过拟合的作用。

在一个batch中，经过数据增强处理得到的数据(即第一向量和第二向量)是正例对，未经过数据增强的其他数据为负例对。本申请实施例中，可以将一个batch中的其中一部分初始嵌入数据经过数据增强处理得到正例对，另一部分初始嵌入数据作为负例对。

在一些实施例中，通过随机采样dropout mask来生成正例对。

在一些具体应用场景中，在进行对比学习的阶段，采用典型的batch内的对比学习方法，在batch内部进行数据增强处理，即将上述得到的完整的初始embedding数据进行数据增强处理，让正例的两个样本有所差异。本申请实施例直接把dropout当作数据增强，即通过随机采样dropout mask来生成正例对即相同的第一样本数据和第二样本数据分别输入至dropout编码器进行数据增强处理，从而可以得到两个不同的表示向量x(第一向量)和x′(第二向量)，将第一向量与第二向量作为一个正例对<x,x′>。

在一些实施例的步骤S404中，第一相似度和第二相似度均为余弦相似度，根据第一相似度和第二相似度对对比学习模型的损失函数进行优化，可以包括但不限于包括：

将第一相似度最大化为第一数值和将第二相似度最小化为第一数值，以对损失函数进行优化；其中，第一相似度为损失函数的分子，第一相似度和第二相似度为损失函数的分母，第一数值取值为1，第二数值取值为0。该损失函数中，分子是对应正例对的第一相似度，分母是第一相似度以及所有负例对的第二相似度，然后将分子和分母构成的分子式值包装在-log()中，这样最大化分子且最小化分母，就能实现最小化损失函数。本申请实施例中，最小化损失函数infoNCE loss，就是最大化分子且最小化分母，也就是最大化正例对的第一相似度且最小化负例对的第二相似度，并对该损失函数进行最小化，实现对损失函数的优化。更具体地，损失函数为公式(1)所示:

其中，f(x)^T是f(x)的转置，f(x)是原样本，f(x⁺)是正例样本，f(x_j)是单个负例样本，然后把负例样本全部累加起来，分母项包括一个正例样本，和N-1个负例样本；

该损失函数表示的是样本N的损失(loss)；该损失函数中，分子是正例对的相似度，分母是正例对以及所有负例对的相似度，然后将该值包装在-log()中，这样最大化分子且最小化分母，就能实现最小化损失函数。

需要说明的是，正例对的相似度(第一相似度)与负例对的相似度(第二相似度)满足条件：

Score(f(x)，f(x⁺))＞＞Score(f(x)，f(x^-)) 公式(2)

通过上式可知，该方法需要满足：正例对的相似度大于或等于负例对的相似度，这里x+指的是与x相似的数据，即正样本对数据；这里x-指的是与x不相似的数据，即负样本对数据，f(x⁺)是正例样本，f(x^-)是负例样本。

进一步地，预设的度量函数为：

Score(f(x)，f(x⁺))＝f(x)^Tf(x⁺) 公式(3)

Score(f(x)，f(x^-))＝f(x)^Tf(x^-) 公式(4)

其中，Score是一个度量函数，用于评价两个特征之间的相似性。预设的度量函数为使用点积作为分数函数的函数。

在一些实施例的步骤S405中，根据第一相似度和第二相似度对对比学习模型的损失函数进行优化，可以包括但不限于包括：

根据损失函数进行反向传播，更新损失函数的损失参数，以对损失函数进行优化。

本申请实施例，根据损失函数进行反向传播，以通过优化损失函数更新对比学习模型，更新对比学习模型的内部参数(也即损失参数)。可以理解的是，反向传播原理可以应用常规的反向传播原理，本申请实施例不做限定。

请参阅图5，在一些实施例中，步骤S104还可以包括但不限于包括步骤S501至步骤S502：

步骤S501，利用预先训练的意图分类模型和预设的意图类别对词嵌入向量进行分类处理，得到包含意图类别标签的词嵌入向量和每一意图类别对应的意图概率值；

步骤S502，根据意图概率值，得到意图分类概率值。

具体地，在步骤S501中，该意图分类模型包括softmax多类别分类器，其中，softmax多类别分类器包括输入层、第一特征层和第二特征层。将词嵌入向量输入至意图分类模型中，通过输入层、第一特征层和第二特征层依次对词嵌入向量进行编码处理、池化处理，得到特征向量，该softmax多类别分类器可以在预设的意图类别标签上创建一个概率分布，从而根据概率分布对特征向量进行标记分类，得到包含意图类别标签的词嵌入向量和每一意图类别对应的意图概率值。

进而，执行步骤S502，根据意图概率值，将多个意图概率值进行降序排列，选取最高的意图概率值作为意图分类概率值，将该意图概率值对应的意图类别作为参考意图类别。

上述步骤通过对比模型和意图分类模型能够进行意图分类概率的深度学习，从而提高意图分类的准确性。

请参阅图6，在一些实施例的步骤S105可以包括但不限于包括步骤S601至步骤S602：

步骤S601，将第一文本输入到预设的意图匹配模型中，以使第一文本与预设的句式模板进行字符匹配，生成匹配数据；

步骤S602，根据预设的参考匹配分数对匹配数据进行分数统计，得到意图匹配值。

具体地，执行步骤S601，预设的意图匹配模型包括多个预设的句式模板，将第一文本输入到预设的意图匹配模型中，使第一文本(具体为包含目标查询参数的字符文本)与句式模板进行字符匹配，若某一句式模板包括了该字符文本，则认为该句式模板是与该字符文本匹配。同时，通过对比字符文本和句式模板的文本内容，也可以得到每一句式模板的匹配数据，匹配数据包括目标查询参数是否匹配，句式字符是否匹配，是否有字符交叉，字符文本与句式模板是否完全一致等等。

进而，执行步骤S602，根据预设的参考匹配分数来对不同的匹配数据进行分数计算，可以得到每一句式模板对应的意图匹配值，例如，预设的参考匹配分数包括：目标查询参数匹配加2分，句式字符匹配得1分，字符交叉-0.5分，字符文本与句式模板是否完全一致得100分等。根据预设的参考匹配分数，遍历每一句式模板的匹配数据，实现对每一句式模板的分数计算，得到每一句式模板的意图匹配值。通过比较每一句式模板的意图匹配值，选取其中意图匹配值最高的作为最终的句式模板和意图匹配值。

请参阅图7，在一些实施例中，步骤S106可以包括但不限于包括步骤S701至步骤S702：

步骤S701，根据预设的权重比例，对意图匹配值和意图分类概率值进行加权计算，得到综合意向值；

步骤S702，根据综合意向值，得到意图分类数据。

具体地，预设的权重比例可以为意图匹配值：意图分类概率值为3:2，则根据这一比例对意图匹配值和意图分类概率值进行加权计算，得到综合意向值。根据综合意向值的大小，查询综合意向值与意图类别的对照表，从而确定对应的意图类别。根据这一意图类别，获取意图分类数据，该意图分类数据即为该意图类别下的意图数据。

本申请实施例通过获取请求文本，对请求文本进行实体特征提取，得到包含目标查询参数的第一文本，这一方式能够实现对请求文本的特征抽取，缩小请求文本的数据空间，使得更为方便提取到所需要的包含目标查询参数的第一文本。进而将第一文本输入至预先训练的对比模型与对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量，利用预先训练的意图分类模型对目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值，通过对比模型能够较好地解决目标词嵌入向量分布不均匀的问题，同时，通过对比模型和意图分类模型能够进行意图分类概率的深度学习，提高意图分类概率值的准确性。另外，本申请还可以利用预先训练的意图匹配模型对第一文本进行匹配处理，得到意图匹配值，通过意图匹配模型能够基于规则匹配对用户的意图匹配值进行计算，提高意图匹配的准确性。最后根据意图匹配值和意图分类概率值，得到意图分类数据。本申请通过对比模型、意图分类模型以及意图匹配模型能够综合意图分类概率以及意图匹配性两方面来识别用户的对话意图，使得最终得到的意图分类数据能够呈现出更为准确的意图分类结果，实现了对用户意图的准确分类，提高了意图分类的准确性。

请参阅图8，本申请实施例还提供一种意图分类装置，可以实现上述意图分类方法，该装置包括：

文本获取模块801，用于获取请求文本；

特征提取模块802，用于对请求文本进行实体特征提取，得到包含目标查询参数的第一文本；

对比模块803，用于将第一文本输入至预先训练的对比模型与对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量；

分类模块804，用于利用预先训练的意图分类模型对目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值；

匹配模块805，用于利用预先训练的意图匹配模型对第一文本进行匹配处理，得到意图匹配值；

计算模块806，用于根据意图匹配值和意图分类概率值，得到意图分类数据。

该意图分类装置的具体实施方式与上述意图分类方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述意图分类方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器901，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器902，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器902可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的意图分类方法；

输入/输出接口903，用于实现信息输入及输出；

通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和

总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；

其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，用于计算机可读存储，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述意图分类方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种意图分类方法，其特征在于，所述方法包括：

获取请求文本；

对所述请求文本进行实体特征提取，得到包含目标查询参数的第一文本；

将所述第一文本输入至预先训练的对比模型与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量；

利用预先训练的意图分类模型对所述目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值；

利用预先训练的意图匹配模型对所述第一文本进行匹配处理，得到意图匹配值；

根据所述意图匹配值和所述意图分类概率值，得到意图分类数据。

2.根据权利要求1所述的意图分类方法，其特征在于，所述第一文本包括字符文本和语义文本，所述对所述请求文本进行实体特征提取，得到包含目标查询参数的第一文本的步骤，包括：

根据基于前缀树的特征提取模型对所述请求文本进行实体特征提取，得到字符文本；

利用预先训练的词法分析模型对所述请求文本进行识别处理，得到语义文本。

3.根据权利要求1所述的意图分类方法，其特征在于，所述将所述第一文本输入至预先训练的对比模型与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量的步骤，包括：

对第一文本进行分词处理和编码处理，得到多个查询词段向量；

将多个所述查询词段向量输入到预先训练的对比模型中，以使所述查询词段向量与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个基本词嵌入向量；

对所述基本词嵌入向量进行映射处理，得到目标词嵌入向量。

4.根据权利要求1所述的意图分类方法，其特征在于，在所述将所述第一文本输入至预先训练的对比模型与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量的步骤之前，所述方法还包括训练对比模型，具体包括：

获取样本数据；

对所述样本数据进行数据增强处理，得到正例对；

将所述正例对输入到所述对比学习模型；

通过所述对比学习模型的损失函数计算出所述正例对的第一相似度和负例对的第二相似度；

根据所述第一相似度和所述第二相似度对所述对比学习模型的损失函数进行优化，以更新所述对比学习模型。

5.根据权利要求1所述的意图分类方法，其特征在于，所述利用预先训练的意图分类模型对所述目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值的步骤，包括：

利用预先训练的意图分类模型和预设的意图类别对所述词嵌入向量进行分类处理，得到包含意图类别标签的词嵌入向量和每一意图类别对应的意图概率值；

根据所述意图概率值，得到意图分类概率值。

6.根据权利要求1所述的意图分类方法，其特征在于，所述利用预先训练的意图匹配模型对所述第一文本进行匹配处理，得到意图匹配值的步骤，包括：

将所述第一文本输入到预设的意图匹配模型中，以使所述第一文本与预设的句式模板进行字符匹配，生成匹配数据；

根据预设的参考匹配分数对所述匹配数据进行分数统计，得到意图匹配值。

7.根据权利要求1至6任一项所述的意图分类方法，其特征在于，所述根据所述意图匹配值和所述意图分类概率值，得到意图分类数据的步骤，包括：

根据预设的权重比例，对所述意图匹配值和所述意图分类概率值进行加权计算，得到综合意向值；

根据所述综合意向值，得到意图分类数据。

8.一种意图分类装置，其特征在于，所述装置包括：

文本获取模块，用于获取请求文本；

特征提取模块，用于对所述请求文本进行实体特征提取，得到包含目标查询参数的第一文本；

对比模块，用于将所述第一文本输入至预先训练的对比模型与所述对比模型中的参考词嵌入矩阵进行矩阵相乘，得到多个目标词嵌入向量；

分类模块，用于利用预先训练的意图分类模型对所述目标词嵌入向量进行分类处理，得到包含意图类别标签的目标词嵌入向量和意图分类概率值；

匹配模块，用于利用预先训练的意图匹配模型对所述第一文本进行匹配处理，得到意图匹配值；

计算模块，用于根据所述意图匹配值和所述意图分类概率值，得到意图分类数据。

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7任一项所述的意图分类方法的步骤。

10.一种计算机可读存储介质，用于计算机可读存储，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至7中任一项所述的意图分类方法的步骤。

Images