CN113722492A - 一种意图识别方法及装置 - Google Patents
一种意图识别方法及装置 Download PDFInfo
- Publication number
- CN113722492A CN113722492A CN202111054974.4A CN202111054974A CN113722492A CN 113722492 A CN113722492 A CN 113722492A CN 202111054974 A CN202111054974 A CN 202111054974A CN 113722492 A CN113722492 A CN 113722492A
- Authority
- CN
- China
- Prior art keywords
- text
- word
- preprocessing
- subunit
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000007781 pre-processing Methods 0.000 claims abstract description 78
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 238000003062 neural network model Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 53
- 230000011218 segmentation Effects 0.000 claims description 33
- 239000013604 expression vector Substances 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 3
- 238000004220 aggregation Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 15
- 238000013135 deep learning Methods 0.000 abstract description 10
- 238000010801 machine learning Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 14
- 238000003058 natural language processing Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种意图识别方法及装置，包括：获取待识别文本；对所述待识别文本进行预处理，得到预处理结果；对所述预处理结果进行特征提取，得到文本特征；将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
Description
技术领域
本发明涉及信息处理技术领域，特别是涉及一种意图识别方法及装置。
背景技术
意图识别的本质是文本分类，文本分类问题作为一种监督学习的应用问题，与机器学习领域的分类问题并没有本质的区别，其方法可以归结为利用待分类数据的特征与类别进行匹配，选择最优的匹配结果作为分类结果，可以通过机器学习的框架进行描述文本分类问题。文本分类分为两个过程：学习过程、分类过程。
学习过程需要对样本进行学习，但是现有的学习过程中由于输入数据少、样本不规范、意图多，使得最终的识别结果并不准确。
发明内容
针对于上述问题，本发明提供一种意图识别方法及装置，实现了提升识别的精准度和可靠性。
为了实现上述目的，本发明提供了如下技术方案：
一种意图识别方法，包括：
获取待识别文本；
对所述待识别文本进行预处理，得到预处理结果；
对所述预处理结果进行特征提取，得到文本特征；
将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。
可选地，所述对所述待识别文本进行处理，得到预处理结果，包括：
对所述待识别文本进行分词处理；
对分词后的文本进行去停用词处理，得到预处理结果。
可选地，所述对所述预处理结果进行特征提取，得到文本特征，包括：
利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
或，
统计预处理结果中各个词语的出现频率以及逆文本频率指数；
基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
或，
对所述预处理结果进行词向量特征提取，获得文本特征。
可选地，所述方法还包括：
从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
将所有特征点向量进行聚合，获得单词表；
统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
基于所述数值向量，生成词袋模型。
可选地，所述方法还包括：
获取训练样本，所述训练样本为标注有意图标签的文本信息；
对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
一种意图识别装置，包括：
获取单元，用于获取待识别文本；
预处理单元，用于对所述待识别文本进行预处理，得到预处理结果；
特征提取单元，用于对所述预处理结果进行特征提取，得到文本特征；
识别单元，用于将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。
可选地，所述预处理单元包括：
分词子单元，用于对所述待识别文本进行分词处理；
去除子单元，用于对分词后的文本进行去停用词处理，得到预处理结果。
可选地，所述特征提取单元包括：
第一提取子单元，用于利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
或，
统计子单元，用于统计预处理结果中各个词语的出现频率以及逆文本频率指数；
第一确定子单元，用于基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
或，
第二提取子单元，用于对所述预处理结果进行词向量特征提取，获得文本特征。
可选地，所述装置还包括：
向量提取子单元，用于从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
聚合子单元，用于将所有特征点向量进行聚合，获得单词表；
次数统计子单元，用于统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
生成子单元，用于基于所述数值向量，生成词袋模型。
可选地，所述装置还包括：
样本获取子单元，用于获取训练样本，所述训练样本为标注有意图标签的文本信息；
样本处理子单元，用于对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
模型训练子单元，用于对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
相较于现有技术，本发明提供了一种意图识别方法及装置，包括：获取待识别文本；对所述待识别文本进行预处理，得到预处理结果；对所述预处理结果进行特征提取，得到文本特征；将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种意图识别方法的流程示意图；
图2为本发明实施例提供的一种文本分类器训练的流程示意图；
图3为本发明实施例提供的一种意图识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在本发明实施例中提供了一种意图识别方法，主要是用于电商用户行为意图识别的文本分类，涉及电商用户行为自然语言处理领域。首先从web服务器中收集海量样本，利用大数据技术进行深入挖掘和分析，通过生成文本意图分类器的方法，确定与用户匹配的个性化化对话模式，并基于机器学习和深度学习算法，准确预测用户消息所表达的意图信息，从而可以获得对应的质变参数，增强对相关反馈信息的控制。当只需要很少意图范围的功能，也可识别最符合的意图。
参见图1，为本发明实施例提供的一种意图识别方法的流程示意图，该方法可以包括以下步骤：
S101、获取待识别文本。
本发明实施例要实现的是意图识别，该意图是指目标对象的意图，例如，目标对象在与智能客服进行对话时的询问意图，或者是目标对象在浏览相关信息的浏览意图等。对应的，待识别文本是能够进行意图识别的文本基础，如，用户输入的咨询文本，用户浏览的网页文本信息等。
S102、对所述待识别文本进行预处理，得到预处理结果。
S103、对所述预处理结果进行特征提取，得到文本特征。
S104、将所述文本特征输入至目标意图识别模型，获得意图识别结果。
在本发明实施例中是通过目标意图识别模型对相关信息进行自动识别，来获得意图识别结果的。其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。对应的，并不是将待识别文本直接输入到目标意图识别模型中的，而是需要先对文本进行预处理，即对文本进行规范化处理，如剔除掉停用词、重复词以及错误输入词等，还需要对文本进行分词处理，然后进行对应的特征提取，得到文本特征，该文本特征以向量的模式进行表示，将其输入到目标意图识别模型后，会得出对应的意图识别结果。
为了能够清楚地对本发明实施例进行说明，现将相关术语进行解释。
意图识别：意图识别就是从一个句子中抽取它所表达的意图，本质上是一个文本多分类问题，将句子或者我们常说的query分到相应的意图种类。
文本分类：文本分类是一种监督机器学习方法，用于将句子或文本文档归类为一个或多个已定义好的类别。它是一个被广泛应用的自然语言处理方法，在垃圾邮件过滤、情感分析、新闻稿件分类以及与许多其它业务相关的问题中发挥着重要作用。
自然语言处理：自然语言处理(Natural Language Processing，NLP)是一门集语言学，数学及计算机科学于一体的科学。它的核心目标就是把人的自然语言转换为计算机可以阅读的指令，简单来说就是让机器读懂人的语言。
文本预处理：用来解决特征空间高维性、语义相关性和特征分布稀疏的一种手段。
停用词：主要包括一些副词、形容词及其一些连接词。
词袋模型：词袋模型(Bow，Bag of Words)不考虑文本中词与词之间的上下文关系，仅仅只考虑所有词的权重(与词在文本中出现的频率有关)，类似于将所有词语装进一个袋子里，每个词都是独立的，不含语义信息。
TF-IDF：TF-IDF(termfrequency–inversedocumentfrequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相关程度的度量或评级。
词频(TF)：TF(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。
逆文档频率(IDF)：是指如果包含词条的文档越少，那么IDF反文档频率(InverseDocument Frequency)越大，说明词条具有很好的类别区分能力。
意图识别就是从一个句子中抽取它表达的意图，因此意图识别本质上也是一个多分类问题，其方法和分类模型的方法类似。电商用户行为文本分类训练文本分类器参见图2。首先获得训练集，然后通过特征工程处理实现对文本预处理、特征提取以及文本表示，再通过分类器输出对应的意图分类结果。
需要说明的是，在本发明实施例中的对待识别文本的处理过程，与目标意图识别模型训练过程中的对训练文本的处理过程是一致的。在本发明实施例中，生成目标意图识别模型的过程包括：
获取训练样本，所述训练样本为标注有意图标签的文本信息；
对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
对应的，对输入到目标识别模型的文本进行处理的过程也包括：预处理和特征提取。
在一种可能的实现方式中，所述对所述待识别文本进行处理，得到预处理结果，包括：
对所述待识别文本进行分词处理；
对分词后的文本进行去停用词处理，得到预处理结果。
在本发明实施例中主要是针对中文文本的进行预处理。特征粒度为词粒度远远优于字粒度，其大部分分类算法不考虑词序信息，基于字粒度的损失了过多的n-gram信息。因此，需要进行分词处理，具体的，中文分词主要分为两类：基于词典的中文分词和基于统计的中文分词。
基于词典的中文分词核心是首先建立统一的词典表，当需要对一个句子进行分词时，首先将句子拆分成多个部分，将每一个部分与字典一一对应，如果该词语在词典中，分词成功，否则继续拆分匹配直到成功。因此，字典切分规则和匹配顺序是核心。
基于统计的中文分词方法：统计学认为分词是一个概率最大化问题，即拆分句子，基于语料库，统计相邻的字组成的词语出现的概率，相邻的词出现的次数多，就出现的概率大，按照概率值进行分词，所以一个完整的语料库很重要。
基于理解的分词方法：基于理解的分词方法是通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子***、句法语义子***、总控部分。在总控部分的协调下，分词子***可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。
去除停用词的处理过程主要包括：建立停用词字典，停用词主要包括一些副词、形容词及其一些连接词。通过维护一个停用词表，实际上是一个特征提取的过程，本质上是特征选择的一部分。
在本发明的一种实施例中，对预处理结果进行特征提取，得到文本特征时，可以通过三种方式实现，包括：
利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
或，
统计预处理结果中各个词语的出现频率以及逆文本频率指数；
基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
或，
对所述预处理结果进行词向量特征提取，获得文本特征。
其中，词袋模型的创建过程包括：
从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
将所有特征点向量进行聚合，获得单词表；
统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
基于所述数值向量，生成词袋模型。
具体的，建立一个词典库，该词典库包含训练语料库的所有词语，每个词语对应一个唯一识别的编号，利用one-hot文本表示。
文档的词向量维度与单词向量的维度相同，每个位置的值是对应位置词语在文档中出现的次数，即词袋模型(BOW))。
词袋模型的创建过程包括：
(1)利用SIFT算法从不同类别的图像中提取视觉词汇向量，这些向量代表的是图像中局部不变的特征点；
(2)将所有特征点向量集合到一块，利用K-Means算法合并词义相近的视觉词汇，构造一个包含K个词汇的单词表；
(3)统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个K维数值向量。
在一种可能的实现方式中，还可以基于TF-IDF文本特征提取，其中，词频(TF)：TF(Term Frequency)指的是某一个给定的词语在该文件中出现的次数。逆文档频率(IDF)：是指如果包含词条的文档越少，那么IDF反文档频率(Inverse Document Frequency)越大，说明词条具有很好的类别区分能力。
利用TF和IDF两个参数来表示词语在文本中的重要程度。TF指的是一个词语在一个文档中出现的频率，一般情况下，每一个文档中出现的词语的次数越多词语的重要性更大，例如BOW模型一样用出现次数来表示特征值，即出现文档中的词语次数越多，其权重就越大，问题就是在长文档中的词语次数普遍比短文档中的次数多，导致特征值偏向差异情况。TF体现的是词语在文档内部的重要性。IDF是体现词语在文档间的重要性，即如果某个词语出现在极少数的文档中，说明该词语对于文档的区别性强，对应的特征值高，IDF值高，IDFi＝log(|D|/Ni)，D指的是文档总数，Ni指的是出现词语i的文档个数，很明显Ni越小，IDF的值越大。
在另一种可能的实现方式中还可以基于词向量的特征提取模型进行文本特征提取。
若基于大量的文本语料库，通过类似神经网络模型训练，将每个词语映射成一个定维度的向量，维度在几十到化百维之间，每个向量就代表着这个词语，词语的语义和语法相似性和通过向量之间的相似度来判断。
常用的word2vec主要是CBOW和skip-gram两种模型，由于这两个模型实际上就是一个三层的深度神经网络，其实NNLM的升级，去掉了隐藏层，由输入层、投影层、输出层三层构成，简化了模型和提升了模型的训练速度，其在时间效率上、语法语义表达上效果明显都变好。word2vec通过训练大量的语料最终用定维度的向量来表示每个词语，词语之间语义和语法相似度都可以通过向量的相似度来表示。
在本发明实施例中目标意图识别模型输出意图类别后，可以为后续进行强化学习算法的实现提供基础。
文本分类是NLP中一类十分典型的问题处理技术，传统的机器学习算法可以得到初步的电商用户行为的文本分类，但是不够准确，误差较明显，运用深度学习算法对电商用户行为的文本进行分类可以较为有效的进行意图分类，而且通过本步骤的不同种类的深度学习算法的实施，可以得到初步的意图分类，为后续实施强化学习算法奠定基础。
常用的能用来分类的模型，有：NB模型，随机森林模型(RF)，SVM分类模型，KNN分类模型模型。
深度学习分类模型常见的有fastText模型、TextCNN、TextRNN。
fastText原理：句子中所有的词向量进行平均(某种意义上可以理解为只有一个avg pooling特殊CNN)，然后直接连接一个softmax层进行分类。
TextCNN：利用CNN来提取句子中类似n-gram的关键信息。
TextRNN：Bi-directional RNN(实际使用的是双向LSTM)从某种意义上可以理解为可以捕获变长且双向的“n-gram”信息。
TextRNN+Attention：注意力(Attention)机制是自然语言处理领域一个常用的建模长时间记忆机制，能够很直观的给出每个词对结果的贡献，基本成了Seq2Seq模型的标配了。实际上文本分类从某种意义上也可以理解为一种特殊的Seq2Seq，所以考虑把Attention机制引入进来。
意图识别在不同的应用场景有不同的处理需求。例如：
基于词典以及模版的规则方法：
不同的意图会有的不同的领域词典，比如书名，歌曲名，商品名等等。当一个用户的意图来了以后我们根据意图和词典的匹配程度或者重合程度来进行判断，最简单一个规则是哪个domain的词典重合程度高，就将该query判别给这个领域。
基于查询点击日志：如果是搜索引擎等类型业务场景，那么我们可以通过点击日志得到用户的意图。
基于分类模型来对用户的意图进行判别：因为意图识别本身也是一个分类问题，其实方法和分类模型的方法大同小异。
本发明提供了一种意图识别方法及装置，包括：获取待识别文本；对所述待识别文本进行预处理，得到预处理结果；对所述预处理结果进行特征提取，得到文本特征；将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
在本发明实施例，意图识别是为电商平台中的用户行为提供服务的一种方式。***上线运行一段时间后，可以收集到大量的用户行为数据，本发明通过web服务器读取海量数据，利用大数据技术进行深入挖掘和分析，通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息，得到感兴趣的商业指标并增强对风险的控制。
本发明提供了一种意图识别方法，包括：获取待识别文本；对所述待识别文本进行预处理，得到预处理结果；对所述预处理结果进行特征提取，得到文本特征；将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
基于前述实施例，在本发明实施例中还提供了一种意图识别装置，参见图3，包括：
获取单元10，用于获取待识别文本；
预处理单元20，用于对所述待识别文本进行预处理，得到预处理结果；
特征提取单元30，用于对所述预处理结果进行特征提取，得到文本特征；
识别单元40，用于将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。
可选地，所述预处理单元包括：
分词子单元，用于对所述待识别文本进行分词处理；
去除子单元，用于对分词后的文本进行去停用词处理，得到预处理结果。
可选地，所述特征提取单元包括：
第一提取子单元，用于利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
或，
统计子单元，用于统计预处理结果中各个词语的出现频率以及逆文本频率指数；
第一确定子单元，用于基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
或，
第二提取子单元，用于对所述预处理结果进行词向量特征提取，获得文本特征。
可选地，所述装置还包括：
向量提取子单元，用于从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
聚合子单元，用于将所有特征点向量进行聚合，获得单词表；
次数统计子单元，用于统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
生成子单元，用于基于所述数值向量，生成词袋模型。
可选地，所述装置还包括：
样本获取子单元，用于获取训练样本，所述训练样本为标注有意图标签的文本信息；
样本处理子单元，用于对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
模型训练子单元，用于对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
本发明提供了一种意图识别装置，包括：获取单元获取待识别文本；预处理单元对所述待识别文本进行预处理，得到预处理结果；特征提取单元对所述预处理结果进行特征提取，得到文本特征；识别单元将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种意图识别方法，其特征在于，包括：
获取待识别文本；
对所述待识别文本进行预处理，得到预处理结果；
对所述预处理结果进行特征提取，得到文本特征；
将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述待识别文本进行处理，得到预处理结果，包括：
对所述待识别文本进行分词处理；
对分词后的文本进行去停用词处理，得到预处理结果。
3.根据权利要求1所述的方法，其特征在于，所述对所述预处理结果进行特征提取，得到文本特征，包括：
利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
或，
统计预处理结果中各个词语的出现频率以及逆文本频率指数；
基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
或，
对所述预处理结果进行词向量特征提取，获得文本特征。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
将所有特征点向量进行聚合，获得单词表；
统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
基于所述数值向量，生成词袋模型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取训练样本，所述训练样本为标注有意图标签的文本信息；
对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
6.一种意图识别装置，其特征在于，包括：
获取单元，用于获取待识别文本；
预处理单元，用于对所述待识别文本进行预处理，得到预处理结果；
特征提取单元，用于对所述预处理结果进行特征提取，得到文本特征；
识别单元，用于将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。
7.根据权利要求6所述的装置，其特征在于，所述预处理单元包括：
分词子单元，用于对所述待识别文本进行分词处理；
去除子单元，用于对分词后的文本进行去停用词处理，得到预处理结果。
8.根据权利要求6所述的装置，其特征在于，所述特征提取单元包括：
第一提取子单元，用于利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
或，
统计子单元，用于统计预处理结果中各个词语的出现频率以及逆文本频率指数；
第一确定子单元，用于基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
或，
第二提取子单元，用于对所述预处理结果进行词向量特征提取，获得文本特征。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
向量提取子单元，用于从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
聚合子单元，用于将所有特征点向量进行聚合，获得单词表；
次数统计子单元，用于统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
生成子单元，用于基于所述数值向量，生成词袋模型。
10.根据权利要求6述的装置，其特征在于，所述装置还包括：
样本获取子单元，用于获取训练样本，所述训练样本为标注有意图标签的文本信息；
样本处理子单元，用于对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
模型训练子单元，用于对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111054974.4A CN113722492A (zh) | 2021-09-09 | 2021-09-09 | 一种意图识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111054974.4A CN113722492A (zh) | 2021-09-09 | 2021-09-09 | 一种意图识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113722492A true CN113722492A (zh) | 2021-11-30 |
Family
ID=78682968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111054974.4A Pending CN113722492A (zh) | 2021-09-09 | 2021-09-09 | 一种意图识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113722492A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114357994A (zh) * | 2022-01-06 | 2022-04-15 | 京东科技信息技术有限公司 | 意图识别处理和置信度判断模型的生成方法及装置 |
| CN114860905A (zh) * | 2022-04-24 | 2022-08-05 | 支付宝(杭州)信息技术有限公司 | 意图识别方法、装置及设备 |
| CN116205601A (zh) * | 2023-02-27 | 2023-06-02 | 开元数智工程咨询集团有限公司 | 基于互联网的工程清单复核及数据统计方法与*** |
| CN117932043A (zh) * | 2024-03-22 | 2024-04-26 | 杭州食方科技有限公司 | 对话风格迁移答复信息显示方法、装置、设备和可读介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334605A (zh) * | 2018-02-01 | 2018-07-27 | 腾讯科技（深圳）有限公司 | 文本分类方法、装置、计算机设备及存储介质 |
| CN110147445A (zh) * | 2019-04-09 | 2019-08-20 | 平安科技（深圳）有限公司 | 基于文本分类的意图识别方法、装置、设备及存储介质 |
| CN111259625A (zh) * | 2020-01-16 | 2020-06-09 | 平安科技（深圳）有限公司 | 意图识别方法、装置、设备及计算机可读存储介质 |
| CN112287672A (zh) * | 2019-11-28 | 2021-01-29 | 北京京东尚科信息技术有限公司 | 文本意图识别方法及装置、电子设备、存储介质 |
| CN112347232A (zh) * | 2020-11-18 | 2021-02-09 | 武汉贝多多网络科技有限公司 | 一种基于云计算对客体进行意图识别的方法 |
-
2021
- 2021-09-09 CN CN202111054974.4A patent/CN113722492A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334605A (zh) * | 2018-02-01 | 2018-07-27 | 腾讯科技（深圳）有限公司 | 文本分类方法、装置、计算机设备及存储介质 |
| CN110147445A (zh) * | 2019-04-09 | 2019-08-20 | 平安科技（深圳）有限公司 | 基于文本分类的意图识别方法、装置、设备及存储介质 |
| CN112287672A (zh) * | 2019-11-28 | 2021-01-29 | 北京京东尚科信息技术有限公司 | 文本意图识别方法及装置、电子设备、存储介质 |
| CN111259625A (zh) * | 2020-01-16 | 2020-06-09 | 平安科技（深圳）有限公司 | 意图识别方法、装置、设备及计算机可读存储介质 |
| CN112347232A (zh) * | 2020-11-18 | 2021-02-09 | 武汉贝多多网络科技有限公司 | 一种基于云计算对客体进行意图识别的方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114357994A (zh) * | 2022-01-06 | 2022-04-15 | 京东科技信息技术有限公司 | 意图识别处理和置信度判断模型的生成方法及装置 |
| CN114860905A (zh) * | 2022-04-24 | 2022-08-05 | 支付宝(杭州)信息技术有限公司 | 意图识别方法、装置及设备 |
| CN116205601A (zh) * | 2023-02-27 | 2023-06-02 | 开元数智工程咨询集团有限公司 | 基于互联网的工程清单复核及数据统计方法与*** |
| CN116205601B (zh) * | 2023-02-27 | 2024-04-05 | 开元数智工程咨询集团有限公司 | 基于互联网的工程清单复核及数据统计方法与*** |
| CN117932043A (zh) * | 2024-03-22 | 2024-04-26 | 杭州食方科技有限公司 | 对话风格迁移答复信息显示方法、装置、设备和可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108304468B (zh) | 一种文本分类方法以及文本分类装置 | |
| CN113722492A (zh) | 一种意图识别方法及装置 | |
| KR20180011254A (ko) | 웹페이지 트레이닝 방법 및 기기, 그리고 검색 의도 식별 방법 및 기기 | |
| CN112131350A (zh) | 文本标签确定方法、装置、终端及可读存储介质 | |
| CN112732916A (zh) | 一种基于bert的多特征融合模糊文本分类模型 | |
| CN111190997A (zh) | 一种使用神经网络和机器学习排序算法的问答***实现方法 | |
| CN113961685A (zh) | 信息抽取方法及装置 | |
| CN109271624B (zh) | 一种目标词确定方法、装置及存储介质 | |
| CN111782793A (zh) | 智能客服处理方法和***及设备 | |
| Gao et al. | Automatic image annotation through multi-topic text categorization | |
| KR20160149050A (ko) | 텍스트 마이닝을 활용한 순수 기업 선정 장치 및 방법 | |
| CN115203421A (zh) | 一种长文本的标签生成方法、装置、设备及存储介质 | |
| CN112395421A (zh) | 课程标签的生成方法、装置、计算机设备及介质 | |
| CN112069312A (zh) | 一种基于实体识别的文本分类方法及电子装置 | |
| CN114756675A (zh) | 文本分类方法、相关设备及可读存储介质 | |
| CN115859980A (zh) | 一种半监督式命名实体识别方法、***及电子设备 | |
| CN112667815A (zh) | 文本处理方法、装置、计算机可读存储介质及处理器 | |
| CN114942994A (zh) | 文本分类方法、文本分类装置、电子设备及存储介质 | |
| CN111414471A (zh) | 用于输出信息的方法和装置 | |
| TW202034207A (zh) | 使用意圖偵測集成學習之對話系統及其方法 | |
| CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 | |
| CN109871429B (zh) | 融合Wikipedia分类及显式语义特征的短文本检索方法 | |
| CN115510269A (zh) | 视频推荐的方法、装置、设备和存储介质 | |
| CN110874408A (zh) | 模型训练方法、文本识别方法、装置及计算设备 | |
| CN111061939B (zh) | 基于深度学习的科研学术新闻关键字匹配推荐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |