CN117235629A - 一种基于知识域检测的意图识别方法、***及计算机设备 - Google Patents
一种基于知识域检测的意图识别方法、***及计算机设备 Download PDFInfo
- Publication number
- CN117235629A CN117235629A CN202311515015.7A CN202311515015A CN117235629A CN 117235629 A CN117235629 A CN 117235629A CN 202311515015 A CN202311515015 A CN 202311515015A CN 117235629 A CN117235629 A CN 117235629A
- Authority
- CN
- China
- Prior art keywords
- intention
- corpus
- knowledge
- semantic
- user input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000013145 classification model Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims description 253
- 238000012545 processing Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 23
- 238000013500 data storage Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005352 clarification Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
本发明涉及意图识别技术领域，并具体公开了一种基于知识域检测的意图识别方法、***及计算机设备，可以在进入意图分类模型之前，先基于近邻关系对用户输入语料进行知识域的检测，区分知识域内意图和知识域外意图，在被判断为知识域外意图时，则停止对其进行意图分类，以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。
Description
技术领域
本发明涉及意图识别技术领域，特别涉及一种基于知识域检测的意图识别方法、***及计算机设备。
背景技术
意图识别是指通过分析用户的语言，识别出用户的需求，以便提供精准的服务和支持。这项技术随着人工智能和自然语言处理技术的进步而不断发展。目前，意图识别技术已经广泛应用于各种场景，包括智能客服、虚拟助手、智能家居等。意图识别技术的重要性在于它能够提升用户体验和企业效率。对于用户而言，意图识别技术能够提供更具个性化的服务，从而提升用户满意度和忠诚度。对于企业而言，意图识别技术能够更好地了解用户需求和行为，制定更有效的营销和销售策略，提升销售效率和企业效益。
随着业务场景的不断丰富，业务知识的不断更新，用户表达的意图也变得种类繁多，分类模型常常会将知识域外的新意图误判，导致用户体验不佳。
发明内容
本发明旨在解决现有技术中存在的***无法精准判断用户表达的意图是否为知识域内意图而导致用户体验不佳的技术问题，提供一种基于知识域检测的意图识别方法、***及计算机设备，精准判断用户表达的意图是知识域内意图还是知识域外意图，以提升用户体验感。
为解决上述技术问题，本发明提供了以下技术方案：
本发明所述的一种基于知识域检测的意图识别方法，包括如下步骤：
S1、构建知识库；
S2、基于语义嵌入模型将知识库中语料映射至高维语义空间，得到知识库中语料的语义向量，并将这些语义向量存储至向量数据库中；
S3、基于知识库训练意图分类模型；
S4、接收用户输入语料，并基于语义嵌入模型将用户输入语料映射至高维语义空间，得到用户输入语料的语义向量；
S5、计算用户输入语料的语义向量与知识库的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图；
S6、若属于知识域外意图则停止意图识别，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库；
S7、若属于知识域内意图则进入意图分类模型，对用户输入内容进行分类，基于得分判断意图。
本发明所述的一种基于知识域检测的意图识别方法，在进入意图分类模型之前，先基于近邻关系对用户输入语料进行知识域的检测，区分知识域内意图和知识域外意图，在被判断为知识域外意图时，则停止对其进行意图分类，以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。
进一步的，步骤S2中，基于语义嵌入模型将知识库中语料映射至高维语义空间，得到知识库中语料的语义向量，并将这些语义向量存储至向量数据库中，具体为：
将知识库中语料分批输入Roformer-sm模型、SimCSE 模型或者Sentence-BERT 模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量，并将[语料:向量]键值对存入向量数据库中;
或者步骤 S4 中，基于语义嵌入模型将用户输入语料映射至高维语义空间，得到用户输入语料的语义向量，具体为:
将用户输入语料分批输入 Roformer-smi 模型、SimCSE 模型或者Sentence-BERT模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量。
进一步的，步骤 S2 或步骤 S4 中，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量，具体为:
采用 CLS 向量方法，即选取开始标记[CLS]向量，作为语料的语义向量；
或者采用均值池化方法，即将语料中所有字的字向量进行求均值操作，最终将均值向量作为语料的语义向量；
或者采用最大值池化方法,即将语料中所有字的字向量进行求最大值操作，最终将最大值向量作为语料的语义向量。
进一步的，步骤S3中，基于知识库训练意图分类模型，具体为：
知识库经过整理得到{语料：意图}训练数据，将得到的训练数据分批进行token编码、segment编码、position编码后送入嵌入层得到token嵌入向量、segment嵌入向量、position嵌入向量，并将三种向量相加输入多层Transformer-encoder，将最后一层编码器输出的带有[CLS]符号的位置向量输入线性分类头，降维至标签维度，采用交叉熵计算损失并进行梯度回传。
进一步的，步骤S5中，计算用户输入语料的语义向量与知识库的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图，具体为：
计算用户输入语料的语义向量与向量数据库中所有语义向量的余弦距离，当余弦距离小于预设阈值时，认为两者相邻，当用户输入语料的语义向量与向量数据库中的所有语义向量被认为两者相邻的数量超过预设数量时，则认为该条用户输入语料的意图属于知识域内意图，否则，属于知识域外意图。
进一步的，步骤S6中，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库，具体为：
S61、将被判断为知识域外意图的用户输入内容存储至知识域外意图库中，并采用重复询问、澄清询问、兜底回复的策略进行处理；
S62、待知识域外意图库中的语料满足一定条件时，由该知识领域的专家对知识域外意图库中的语料进行整理、归纳，并将整理、归纳后的知识域外意图添加到当前知识库中，以更新知识库；
S63、基于语义嵌入模型将更新后的知识库中语料映射至高维语义空间，得到更新后的知识库中语料的语义向量，并将这些语义向量存储至向量数据库中，以更新向量数据库。
进一步的，步骤S7中，若属于知识域内意图则进入意图分类模型，对用户输入内容进行分类，基于得分判断意图，具体为：
将被判断为知识域内意图的用户输入语料输入意图分类模型，得到每个意图的概率值，选取概率值最大的标签作为该用户输入语料的意图。
进一步的，步骤 S7 中，得到每个意图的概率值，具体为:
先经过多层编码器编码，选取[CLS]头部位置的隐层向量输入线性层，通过线性层对该隐层向量进行降维处理得到降维向量，接着使用 sotmax层对该降维向量进行归一化处理，得到每个意图的概率值。
本发明所述的一种基于知识域检测的意图识别***，包括一种基于知识域检测的意图识别***，包括知识域检测判断模块、语料采集模块、知识存储模块、向量数据处理模块、向量数据存储模块、意图识别模块、知识域外意图存储模块；
所述语料采集模块用于采集用户输入语料，并将采集到的用户输入语料发送至向量数据处理模块；
所述知识存储模块用于存储领域内知识的语料，并将存储的领域内知识的语料发送至向量数据处理模块和意图识别模块；
所述向量数据处理模块接收知识存储模块发送的领域内知识的语料以及语料采集模块采集的用户输入语料，并基于语义嵌入模型将领域内知识的语料或者用户输入语料映射至高维语义空间，得到领域内知识的语料的语义向量或者用户输入语料的语义向量，其中，将领域内知识的语料的语义向量存储至向量数据存储模块中，将用户输入语料的语义向量发送至知识域检测判断模块；
向量数据存储模块用于接收并存储领域内知识的语料的语义向量；
知识域检测判断模块用于接收用户输入语料的语义向量，并将用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量进行比对，计算用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图；若为知识域外意图，则将用户输入语料发送至知识域外意图存储模块，若为知识域内意图，则将用户输入语料发送至意图识别模块；
所述意图识别模块用于接收知识存储模块发送的领域内知识的语料，以训练意图分类模型，同时，用于接收知识域检测判断模块发送的被判断为知识域内意图的用户输入语料，将该用户输入语料输入至训练好的意图分类模型中，并基于得分判断意图；
所述知识域外意图存储模块用于接收并存储由知识域检测判断模块发送来被判断为知识域外意图的用户输入语料。
本发明所述的一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于知识域检测的意图识别方法。
本发明中的计算机设备因可以实现上述基于知识域检测的意图识别方法，因而同样可以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。
附图说明
通过附图中所示的本发明优选实施例更具体说明，本发明上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1为本发明的流程框图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术领域的技术人员通常理解的含义相同。本文中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明中提供了一种基于知识域检测的意图识别方法的具体实施方式，通过该意图识别方法，可以在进入意图分类模型之前，先基于近邻关系对用户输入语料进行知识域的检测，区分知识域内意图和知识域外意图，在被判断为知识域外意图时，则停止对其进行意图分类，以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。
参见图1，具体包括如下步骤：
步骤S1、构建知识库。知识库是一个存储和管理知识的***，包括各种信息、数据和文档，具体的，通过相关领域的专家从各种来源中抽取相关领域的知识，将抽取的相关领域的知识进行整理和分类(即：通过相关领域的专家对知识语料数据进行标注，并将每个样本与其对应的语义和意图进行关联，从而得到{语料：意图}格式数据的过程），并将整理和分类的知识转化为形式化的模型或图表（如知识图谱等），以便更好地理解其关系和特征，便于后续对知识库中的{语料：意图}格式数据进行处理。
步骤S2、基于语义嵌入模型将知识库中语料映射至高维语义空间，得到知识库中语料的语义向量，并将这些语义向量存储至向量数据库中。具体的，将知识库中语料分批输入Roformer-smi模型（即语义理解模型）、SimCSE模型或者 Sentence-BERT模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量，并将{语料：向量}键值对存入向量数据库中。Roformer-smi模型、SimCSE模型以及 Sentence-BERT模型均为语义嵌入模型，其中，Roformer-smi是以Roformer为网络结构，结合自然语言理解与自然语言生成两类预训练任务，采用对比学***均的方式，Sentence-BERT能够更准确地捕获句子的语义信息，此外，它还通过基于BERT微调的方式，获得了更高质量的语义向量。
步骤S2中，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量；具体为：采用CLS向量方法，即选取开始标记[CLS]向量，作为语料的语义向量；或者采用均值池化方法，即将语料中所有字的字向量进行求均值操作，最终将均值向量作为语料的语义向量；或者采用最大值池化方法，即将语料中所有字的字向量进行求最大值操作，最终将最大值向量作为语料的语义向量。
步骤S3、基于知识库训练意图分类模型。通过预训练模型结合分类头的方式进行意图分类模型的训练，其中，编码器加载自预训练语言模型，其参数可以参与微调或者冻结，而分类头可以选择线性分类器、CNN、LSTM/GRU、Transformer等；具体的，例如：知识库经过整理得到{语料：意图}训练数据，将得到的训练数据分批进行token编码、segment编码、position编码后送入嵌入层得到token嵌入向量、segment嵌入向量、position嵌入向量，并将三种向量相加输入多层Transformer-encoder，将最后一层编码器输出的[CLS]位置向量输入线性分类头，降维至标签维度，采用交叉熵计算损失并进行梯度回传。其中，知识库经过整理得到{语料：意图}训练数据，具体为，对于知识库中的{语料：意图}格式数据进行清洗和预处理来确保数据的质量和准确性，包括去除噪声、纠正拼写错误、处理标点符号等。另外，交叉熵计算损失的公式为
，
其中，x表示随机变量的取值，p（x）和q（x）分别代表真实标签和预测结果在x处的概率；在采用交叉熵计算损失后，采用梯度回传过程中，可以使用优化算法（如随机梯度下降SGD、Adam等）来更新模型参数，使其朝着损失函数最小化的方向前进。
步骤S4、接收用户输入语料，并基于语义嵌入模型将用户输入语料映射至高维语义空间，得到用户输入语料的语义向量。具体的，将用户输入语料分批输入Roformer-smi模型、SimCSE 模型或者 Sentence-BERT 模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量。Roformer-smi模型、SimCSE 模型以及 Sentence-BERT 模型均为语义嵌入模型，其中，Roformer-smi模型是以Roformer为网络结构，结合自然语言理解与自然语言生成两类预训练任务，采用对比学***均的方式，Sentence-BERT 能够更准确地捕获句子的语义信息，此外，它还通过基于 BERT 微调的方式，获得了更高质量的语义向量。
步骤S4中，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量；具体为：采用CLS向量方法，即选取开始标记[CLS]向量，作为语料的语义向量；或者采用均值池化方法，即将语料中所有字的字向量进行求均值操作，最终将均值向量作为语料的语义向量；或者采用最大值池化方法，即将语料中所有字的字向量进行求最大值操作，最终将最大值向量作为语料的语义向量。
步骤S5、计算用户输入语料的语义向量与知识库的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图。近邻关系地计算具有多种实施方式，第一种实施方式：计算用户输入语料的语义向量与向量数据库中所有语义向量的余弦距离，当余弦距离小于预设阈值时，认为两者相邻，当用户输入语料的语义向量与向量数据库中的所有语义向量被认为两者相邻的数量超过预设数量时，则认为该条用户输入语料的意图属于知识域内意图，否则，属于知识域外意图；其中余弦距离的计算公式为，A和B表示两个向量，||A||2和||B||2分别表示向量A和向量B的模长。第二种实施方式：计算用户输入语料的语义向量与向量数据库中所有语义向量的欧式距离，当欧式距离小于预设阈值时，认为两者相邻，当用户输入语料的语义向量与向量数据库中的所有语义向量被认为两者相邻的数量超过预设数量时，则认为该条用户输入语料的意图属于知识域内意图，否则，属于知识域外意图；其中欧式距离的计算公式为
，
其中，d（x，y）为点（x1，x2……xn）与点（y1，y2……yn）之间的欧氏距离。
步骤S6、若属于知识域外意图则停止意图识别，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库。具体的，S61、将被判断为知识域外意图的用户输入内容存储至知识域外意图库中，并采用重复询问、澄清询问、兜底回复的策略进行处理，避免由于错误回答而影响用户体验；S62、待知识域外意图库中的语料满足一定条件（如累积特定时间段，或者累积特定数量，或者采用数据聚类算法进行数据挖掘，当某一类别的语料达到预定数量时）时，由该知识领域的专家对知识域外意图库中的语料进行整理、归纳，并将整理、归纳后的知识域外意图添加到当前知识库中，以更新知识库，更新知识库的处理方法可以参见步骤S1中构建知识库的处理方法；S63、基于语义嵌入模型将更新后的知识库中语料映射至高维语义空间，得到更新后的知识库中语料的语义向量，并将这些语义向量存储至向量数据库中，以更新向量数据库。
步骤S7、若属于知识域内意图则进入意图分类模型，对用户输入内容进行分类，基于得分判断意图。具体的，将被判断为知识域内意图的用户输入语料输入意图分类模型，得到每个意图的概率值，选取概率值最大的标签作为该用户输入语料的意图，并基于该意图推进后续对话流程。其中，得到每个意图的概率值的方法为：先经过多层编码器编码，选取[CLS]头部位置的隐层向量输入线性层，通过线性层对该隐层向量进行降维处理得到降维向量，以减少计算量和模型参数，并且保留主要的语义信息；接着使用softmax层对该降维向量进行归一化处理，得到每个意图的概率值；softmax函数可以将向量的每个元素转化为0到1之间的概率值，并且所有概率值的总和为1；通过这个处理，可以得到每个意图的概率分布，从而可以判断用户输入语料所述的意图。
通过以下示例对上述实施例中的意图识别方法如何进行知识域内意图和知识域外意图进行判断及处理的具体示范：
步骤S1、构建知识库，使其内部存储有语料{<我投诉，投诉>,<你们服务太差了，我很生气，投诉>……}；
步骤S2、基于Roformer-smi模型，将步骤S1中的知识库中的语料映射到高维语义空间中，得到语料“我投诉”的语义向量[0.99,....0.99]，以及“你们服务太差了”的语义向量[0.97,...,0.97]，并存入向量数据库中；
步骤S3、基于知识库中的语料{<我投诉，投诉>,<你们服务太差了，我很生气，投诉>……}训练意图分类模型；
步骤S4、若接收到用户输入语料“我要投诉”，基于Roformer-smi模型，将用户输入语料“我要投诉”映射到高维语义空间中，得到语料“我要投诉”的语义向量[0.98,....0.98]；
步骤S5、计算用户输入语料的语义向量分别与向量数据库中的语义向量[0.99,....0.99]和[0.97,...,0.97]的余弦相似度分别为0.99、0.99，则余弦距离为0.01、0.01，预设置的阈值为0.1，同时，预设置用户输入语料的语义向量与向量数据库中的语义向量为近邻关系的数量需超过一个，此时，两个余弦距离均小于阈值，且用户输入语料的语义向量与向量数据库中的语义向量为近邻关系的数量有2个（大于1），满足条件，判断用户输入语料的意图属于知识域内意图；
步骤S7、基于步骤S3中得到的意图分类模型，输出用户输入语料“我要投诉”的标签概率值[0.01,0.02,......], 其中投诉意图的概率值最大为0.9，则判断用户输入语料“我要投诉”的意图为投诉。
而步骤S4、若接收到用户输入语料“我要学习”，基于Roformer-smi模型，将用户输入语料“我要学习”映射到高维语义空间中，得到语料“我要学习”的语义向量[0.01,....0.01]；
步骤S5、计算用户输入语料的语义向量分别与向量数据库中的语义向量[0.99,....0.99]和[0.97,...,0.97]的余弦相似度分别为0.01、0.01，则余弦距离为0.99、0.99，预设置的阈值为0.1，同时，预设置用户输入语料的语义向量与向量数据库中的语义向量为近邻关系的数量需超过一个，此时，两个余弦距离均大于阈值，且用户输入语料的语义向量与向量数据库中的语义向量为近邻关系的数量有0个，不满足条件，判断用户输入语料的意图属于知识域外意图；
步骤S6、停止进入意图分类模型进行识别，输出知识域外意图，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库。
本发明还提供了一种基于知识域检测的意图识别***的具体实施方法，包括知识域检测判断模块、语料采集模块、知识存储模块、向量数据处理模块、向量数据存储模块、意图识别模块、知识域外意图存储模块。
所述语料采集模块用于采集用户输入语料，并将采集到的用户输入语料发送至向量数据处理模块；所述知识存储模块用于存储领域内知识的语料，并将存储的领域内知识的语料发送至向量数据处理模块和意图识别模块。
所述向量数据处理模块接收知识存储模块发送的领域内知识的语料以及语料采集模块采集的用户输入语料，并基于语义嵌入模型将领域内知识的语料或者用户输入语料映射至高维语义空间，得到领域内知识的语料的语义向量或者用户输入语料的语义向量，其中，将领域内知识的语料的语义向量存储至向量数据存储模块中，将用户输入语料的语义向量发送至知识域检测判断模块。
向量数据存储模块用于接收并存储领域内知识的语料的语义向量；知识域检测判断模块用于接收用户输入语料的语义向量，并将用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量进行比对，计算用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图；若为知识域外意图，则将用户输入语料发送至知识域外意图存储模块，若为知识域内意图，则将用户输入语料发送至意图识别模块。
所述意图识别模块用于接收知识存储模块发送的领域内知识的语料，以训练意图分类模型，同时，用于接收知识域检测判断模块发送的被判断为知识域内意图的用户输入语料，将该用户输入语料输入至训练好的意图分类模型中，并基于得分判断意图。
所述知识域外意图存储模块用于接收并存储由知识域检测判断模块发送来被判断为知识域外意图的用户输入语料。
本发明还提供了一种计算机设备的具体实施方式，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于知识域检测的意图识别方法。该计算机设备可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器（包括独立的服务器，或者多个服务器所组成的服务器集群）等。本实施例的计算机设备至少包括但不限于：可通过***总线相互通信连接的存储器、处理器。
本实施例中，存储器（即可读存储介质）包括闪存、硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、带电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD），闪存卡（Flash Card）等。当然，存储器还可以既包括计算机设备的内部存储单元，也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作***和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现上述实施例的基于知识域检测的意图识别方法。
本发明实施例中的基于知识域检测的意图识别方法、***及计算机设备，可以在进入意图分类模型之前，先基于近邻关系对用户输入语料进行知识域的检测，区分知识域内意图和知识域外意图，在被判断为知识域外意图时，则停止对其进行意图分类，以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。
在本说明书的描述中，参考术语“优选实施例”、“再一实施例”、“其他实施例”或“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于知识域检测的意图识别方法，其特征在于，包括如下步骤：
S1、构建知识库；
S2、基于语义嵌入模型将知识库中语料映射至高维语义空间，得到知识库中语料的语义向量，并将这些语义向量存储至向量数据库中；
S3、基于知识库训练意图分类模型；
S4、接收用户输入语料，并基于语义嵌入模型将用户输入语料映射至高维语义空间，得到用户输入语料的语义向量；
S5、计算用户输入语料的语义向量与知识库的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图；
S6、若属于知识域外意图则停止意图识别，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库；
S7、若属于知识域内意图则进入意图分类模型，对用户输入内容进行分类，基于得分判断意图。
2.根据权利要求1所述的一种基于知识域检测的意图识别方法，其特征在于，步骤S2中，基于语义嵌入模型将知识库中语料映射至高维语义空间，得到知识库中语料的语义向量，并将这些语义向量存储至向量数据库中，具体为：
将知识库中语料分批输入Roformer-smi模型、SimCSE 模型或者 Sentence-BERT 模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量，并将[语料:向量]键值对存入向量数据库中；
或者步骤S4中，基于语义嵌入模型将用户输入语料映射至高维语义空间，得到用户输入语料的语义向量，具体为：
将用户输入语料分批输入Roformer-smi模型、SimCSE 模型或者 Sentence-BERT 模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量。
3.根据权利要求2所述的一种基于知识域检测的意图识别方法，其特征在于，步骤S2或步骤S4中，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量，具体为:
采用 CLS 向量方法，即选取开始标记[CLS]向量，作为语料的语义向量；
或者采用均值池化方法，即将语料中所有字的字向量进行求均值操作，最终将均值向量作为语料的语义向量;
或者采用最大值池化方法,即将语料中所有字的字向量进行求最大值操作，最终将最大值向量作为语料的语义向量。
4.根据权利要求1所述的一种基于知识域检测的意图识别方法，其特征在于，步骤S3中，基于知识库训练意图分类模型，具体为：
知识库经过整理得到{语料：意图}训练数据，将得到的训练数据分批进行token编码、segment编码、position编码后送入嵌入层得到token嵌入向量、segment嵌入向量、position嵌入向量，并将三种向量相加输入多层Transformer-encoder，将最后一层编码器输出的带有[CLS]符号的位置向量输入线性分类头，降维至标签维度，采用交叉熵计算损失并进行梯度回传。
5.根据权利要求1所述的一种基于知识域检测的意图识别方法，其特征在于，步骤S5中，计算用户输入语料的语义向量与知识库的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图，具体为：
计算用户输入语料的语义向量与向量数据库中所有语义向量的余弦距离，当余弦距离小于预设阈值时，认为两者相邻，当用户输入语料的语义向量与向量数据库中的所有语义向量被认为两者相邻的数量超过预设数量时，则认为用户输入语料的意图属于知识域内意图，否则，属于知识域外意图。
6.根据权利要求1所述的一种基于知识域检测的意图识别方法，其特征在于，步骤S6中，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库，具体为：
S61、将被判断为知识域外意图的用户输入内容存储至知识域外意图库中，并采用重复询问、澄清询问、兜底回复的策略进行处理；
S62、待知识域外意图库中的语料满足一定条件时，由知识领域的专家对知识域外意图库中的语料进行整理、归纳，并将整理、归纳后的知识域外意图添加到当前知识库中，以更新知识库；
S63、基于语义嵌入模型将更新后的知识库中语料映射至高维语义空间，得到更新后的知识库中语料的语义向量，并将这些语义向量存储至向量数据库中，以更新向量数据库。
7.根据权利要求1所述的一种基于知识域检测的意图识别方法，其特征在于，步骤S7中，若属于知识域内意图则进入意图分类模型，对用户输入内容进行分类，基于得分判断意图，具体为：
将被判断为知识域内意图的用户输入语料输入意图分类模型，得到每个意图的概率值，选取概率值最大的标签作为用户输入语料的意图。
8.根据权利要求7所述的一种基于知识域检测的意图识别方法，其特征在于，步骤S7中，得到每个意图的概率值，具体为:先经过多层编码器编码，选取[CLS]头部位置的隐层向量输入线性层，通过线性层对该隐层向量进行降维处理得到降维向量，接着使用 sotmax层对该降维向量进行归一化处理，得到每个意图的概率值。
9.一种用于实现权利要求1-8中任一项所述的基于知识域检测的意图识别方法的意图识别***，其特征在于：包括知识域检测判断模块、语料采集模块、知识存储模块、向量数据处理模块、向量数据存储模块、意图识别模块、知识域外意图存储模块；
所述语料采集模块用于采集用户输入语料，并将采集到的用户输入语料发送至向量数据处理模块；
所述知识存储模块用于存储领域内知识的语料，并将存储的领域内知识的语料发送至向量数据处理模块和意图识别模块；
所述向量数据处理模块接收知识存储模块发送的领域内知识的语料以及语料采集模块采集的用户输入语料，并基于语义嵌入模型将领域内知识的语料或者用户输入语料映射至高维语义空间，得到领域内知识的语料的语义向量或者用户输入语料的语义向量，其中，将领域内知识的语料的语义向量存储至向量数据存储模块中，将用户输入语料的语义向量发送至知识域检测判断模块；
向量数据存储模块用于接收并存储领域内知识的语料的语义向量；
知识域检测判断模块用于接收用户输入语料的语义向量，并将用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量进行比对，计算用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图；若为知识域外意图，则将用户输入语料发送至知识域外意图存储模块，若为知识域内意图，则将用户输入语料发送至意图识别模块；
所述意图识别模块用于接收知识存储模块发送的领域内知识的语料，以训练意图分类模型，同时，用于接收知识域检测判断模块发送的被判断为知识域内意图的用户输入语料，将该用户输入语料输入至训练好的意图分类模型中，并基于得分判断意图；
所述知识域外意图存储模块用于接收并存储由知识域检测判断模块发送来被判断为知识域外意图的用户输入语料。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的基于知识域检测的意图识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311515015.7A CN117235629B (zh) | 2023-11-15 | 2023-11-15 | 一种基于知识域检测的意图识别方法、***及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311515015.7A CN117235629B (zh) | 2023-11-15 | 2023-11-15 | 一种基于知识域检测的意图识别方法、***及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117235629A true CN117235629A (zh) | 2023-12-15 |
| CN117235629B CN117235629B (zh) | 2024-04-12 |
Family
ID=89084659
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311515015.7A Active CN117235629B (zh) | 2023-11-15 | 2023-11-15 | 一种基于知识域检测的意图识别方法、***及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117235629B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150227845A1 (en) * | 2014-02-13 | 2015-08-13 | Microsoft Corporation | Techniques for Inferring the Unknown Intents of Linguistic Items |
| WO2020163627A1 (en) * | 2019-02-07 | 2020-08-13 | Clinc, Inc. | Systems and methods for machine learning-based multi-intent segmentation and classification |
| CN111625641A (zh) * | 2020-07-30 | 2020-09-04 | 浙江大学 | 一种基于多维度语义交互表征模型的对话意图识别方法及*** |
| CN114077666A (zh) * | 2020-08-21 | 2022-02-22 | 丰田自动车株式会社 | 对话意图分类方法、装置和非易失性计算机存储介质 |
| CN114528844A (zh) * | 2022-01-14 | 2022-05-24 | 中国平安人寿保险股份有限公司 | 意图识别方法、装置、计算机设备及存储介质 |
| CN114564964A (zh) * | 2022-02-24 | 2022-05-31 | 杭州中软安人网络通信股份有限公司 | 一种基于k近邻对比学习的未知意图检测方法 |
| CN114925163A (zh) * | 2022-04-29 | 2022-08-19 | 海信电子科技(武汉)有限公司 | 一种智能设备及意图识别的模型训练方法 |
| CN115098681A (zh) * | 2022-06-29 | 2022-09-23 | 浙江工业大学 | 一种基于有监督对比学习的开放服务意图检测方法 |
| US20230086302A1 (en) * | 2021-09-20 | 2023-03-23 | Salesforce.Com, Inc. | Multi-lingual intent model with out-of-domain detection |
-
2023
- 2023-11-15 CN CN202311515015.7A patent/CN117235629B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150227845A1 (en) * | 2014-02-13 | 2015-08-13 | Microsoft Corporation | Techniques for Inferring the Unknown Intents of Linguistic Items |
| WO2020163627A1 (en) * | 2019-02-07 | 2020-08-13 | Clinc, Inc. | Systems and methods for machine learning-based multi-intent segmentation and classification |
| CN111625641A (zh) * | 2020-07-30 | 2020-09-04 | 浙江大学 | 一种基于多维度语义交互表征模型的对话意图识别方法及*** |
| CN114077666A (zh) * | 2020-08-21 | 2022-02-22 | 丰田自动车株式会社 | 对话意图分类方法、装置和非易失性计算机存储介质 |
| US20230086302A1 (en) * | 2021-09-20 | 2023-03-23 | Salesforce.Com, Inc. | Multi-lingual intent model with out-of-domain detection |
| CN114528844A (zh) * | 2022-01-14 | 2022-05-24 | 中国平安人寿保险股份有限公司 | 意图识别方法、装置、计算机设备及存储介质 |
| CN114564964A (zh) * | 2022-02-24 | 2022-05-31 | 杭州中软安人网络通信股份有限公司 | 一种基于k近邻对比学习的未知意图检测方法 |
| CN114925163A (zh) * | 2022-04-29 | 2022-08-19 | 海信电子科技(武汉)有限公司 | 一种智能设备及意图识别的模型训练方法 |
| CN115098681A (zh) * | 2022-06-29 | 2022-09-23 | 浙江工业大学 | 一种基于有监督对比学习的开放服务意图检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 贾苏元;徐金钰;王钰;: "基于自适应神经网络模糊***(ANFIS)的空中目标意图分类", 电子测量技术, no. 12, 15 December 2016 (2016-12-15), pages 62 - 66 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117235629B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753060B (zh) | 信息检索方法、装置、设备及计算机可读存储介质 | |
| CN108304372B (zh) | 实体提取方法和装置、计算机设备和存储介质 | |
| CN112084337A (zh) | 文本分类模型的训练方法、文本分类方法及设备 | |
| CN112800170A (zh) | 问题的匹配方法及装置、问题的回复方法及装置 | |
| CN113392209B (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| CN112633003A (zh) | 一种地址识别方法、装置、计算机设备及存储介质 | |
| CN111221936B (zh) | 一种信息匹配方法、装置、电子设备及存储介质 | |
| CN109918647A (zh) | 一种安全领域命名实体识别方法及神经网络模型 | |
| CN114647741A (zh) | 工艺自动决策和推理方法、装置、计算机设备及存储介质 | |
| CN116089873A (zh) | 模型训练方法、数据分类分级方法、装置、设备及介质 | |
| CN112418291B (zh) | 一种应用于bert模型的蒸馏方法、装置、设备及存储介质 | |
| CN116991875B (zh) | 一种基于大模型的sql语句生成、别名映射方法及设备 | |
| CN115827819A (zh) | 一种智能问答处理方法、装置、电子设备及存储介质 | |
| CN112446209A (zh) | 一种意图标签的设置方法、设备、装置及存储介质 | |
| CN115730597A (zh) | 多级语义意图识别方法及其相关设备 | |
| CN114691866A (zh) | 面向多级标签的文本分类方法、装置、设备及存储介质 | |
| CN112966088A (zh) | 未知意图的识别方法、装置、设备及存储介质 | |
| CN117217277A (zh) | 语言模型的预训练方法、装置、设备、存储介质及产品 | |
| CN117807482B (zh) | 海关报关单的分类方法、装置、设备及存储介质 | |
| CN117828024A (zh) | 一种插件检索方法、装置、存储介质及设备 | |
| CN113837307A (zh) | 数据相似度计算方法、装置、可读介质及电子设备 | |
| CN110633468B (zh) | 一种关于对象特征提取的信息处理方法及装置 | |
| CN117235629B (zh) | 一种基于知识域检测的意图识别方法、***及计算机设备 | |
| CN113177164B (zh) | 基于大数据的多平台协同新媒体内容监控管理*** | |
| CN114513578A (zh) | 外呼方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |