CN110069709A - 意图识别方法、装置、计算机可读介质及电子设备 - Google Patents
意图识别方法、装置、计算机可读介质及电子设备 Download PDFInfo
- Publication number
- CN110069709A CN110069709A CN201910284684.5A CN201910284684A CN110069709A CN 110069709 A CN110069709 A CN 110069709A CN 201910284684 A CN201910284684 A CN 201910284684A CN 110069709 A CN110069709 A CN 110069709A
- Authority
- CN
- China
- Prior art keywords
- inquiry language
- intention
- feature
- language
- inquiry
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请的实施例提供了一种意图识别方法、装置、计算机可读介质及电子设备。该意图识别方法包括:获取用户输入的查询语;根据所述查询语获取所述查询语的词向量特征,并获取与所述查询语相关联的离散型特征;根据所述词向量特征和所述离散型特征生成所述查询语的多通道特征向量;将所述多通道特征向量输入至意图识别模型,得到所述意图识别模型输出的意图信息。本申请实施例的技术方案能够通过多通道特征向量来确保意图识别的准确率。
Description
技术领域
本申请涉及计算机及通信技术领域,具体而言,涉及一种意图识别方法、装置、计算机可读介质及电子设备。
背景技术
意图识别是指对用户输入的query(查询)检索串进行分析理解,解析出用户的意图从而有助于满足用户搜索需求的过程。意图识别的准确性影响了对query响应的结果,然而相关技术中提出的意图识别方案往往存在意图识别准确率较低的问题。
发明内容
本申请的实施例提供了一种意图识别方法、装置、计算机可读介质及电子设备,进而至少在一定程度上可以提高意图识别的准确率。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供了一种意图识别方法,包括:获取用户输入的查询语;根据所述查询语获取所述查询语的词向量特征,并获取与所述查询语相关联的离散型特征;根据所述词向量特征和所述离散型特征生成所述查询语的多通道特征向量;将所述多通道特征向量输入至意图识别模型,得到所述意图识别模型输出的意图信息。
根据本申请实施例的一个方面,提供了一种意图识别装置,包括:第一获取单元,用于获取用户输入的查询语;第二获取单元,用于根据所述查询语获取所述查询语的词向量特征,并获取与所述查询语相关联的离散型特征;第一生成单元,用于根据所述词向量特征和所述离散型特征生成所述查询语的多通道特征向量;处理单元,用于将所述多通道特征向量输入至意图识别模型,得到所述意图识别模型输出的意图信息。
在本申请的一些实施例中,基于前述方案,所述第二获取单元配置为:获取与所述查询语相关联的历史用户反馈信息;根据所述历史用户反馈信息,统计与所述查询语相关联的各个历史用户反馈信息的分布情况;根据所述各个历史用户反馈信息的分布情况,生成所述离散型特征。
在本申请的一些实施例中,基于前述方案,所述第二获取单元配置为:识别所述查询语的意图是精准意图还是模糊意图;根据所述查询语的意图是精准意图还是模糊意图生成所述查询语的离散型特征。
在本申请的一些实施例中,基于前述方案,所述第二获取单元配置为根据以下因素中的至少一个因素识别所述查询语的意图是精准意图还是模糊意图:所述查询语与预定的意图信息之间的文本相似度、所述查询语与预定的意图信息之间的语义相似度、与所述查询语相关联的历史用户反馈信息的分布情况。
在本申请的一些实施例中,基于前述方案,所述第二获取单元配置为:对所述查询语进行分词处理得到至少一个目标词语;对所述至少一个目标词语进行重要性分析,得到各个所述目标词语的重要性得分;根据各个所述目标词语的重要性得分生成所述查询语的离散型特征。
在本申请的一些实施例中,基于前述方案,所述第二获取单元配置为通过以下因素中的至少一个因素对各个所述目标词语进行重要性分析:各个目标词语的词性分析结果、各个目标词语与所述查询语中的其它目标词语之间的依存句法分析结果、各个目标词语的紧密度分析结果、各个目标词语逆向文件频率、各个目标词语是否是设定的实体词、各个目标词语是否是停用词。
在本申请的一些实施例中,基于前述方案,所述第二获取单元配置为:将所述查询语输入至预训练的词向量抽取模型,以获取所述词向量抽取模型输出的词向量特征。
在本申请的一些实施例中,基于前述方案,所述第二获取单元配置为:通过特征提取网络抽取所述查询语的词向量特征,其中,所述特征提取网络通过多种不同大小的卷积核分别抽取所述查询语的词向量特征。
在本申请的一些实施例中,基于前述方案,所述的意图识别装置还包括:第三获取单元,用于获取查询语样本;第四获取单元,用于根据所述查询语样本获取所述查询语样本的词向量特征和所述查询语样本相关联的离散型特征;第二生成单元,用于根据所述查询语样本的词向量特征和所述查询语样本相关联的离散型特征,生成训练样本;训练单元,用于基于所述训练样本对所述意图识别模型进行训练。
在本申请的一些实施例中,基于前述方案,所述意图识别模型包括多任务机器学习模型,所述多任务机器学习模型用于输出多级意图,所述多任务机器学习模型包括与各级意图相对应的全连接层和输出层,其中,所述多级意图信息中的第一意图所对应的输出层连接至第二意图所对应的全连接层,所述第一意图的层级高于所述第二意图的层级。
在本申请的一些实施例中,基于前述方案,所述意图识别模型包括多任务机器学习模型,所述多任务机器学习模型的损失函数为:
Loss=∑(ci×lossi)+λ
其中,Loss表示所述多任务机器学习模型的损失函数;lossi表示第i级意图对应的损失函数;ci为超参数,用于表示第i级意图对应的损失函数的重要性;λ表示正则化项。
在本申请的一些实施例中,基于前述方案,所述意图识别模型包括多任务机器学习模型,所述意图识别装置还包括:响应单元,用于在得到所述意图识别模型输出的意图信息之后,通过所述意图信息中的最低层级的意图响应所述查询语,得到响应结果;若所述响应结果不能满足响应要求,则依次通过更上一层的意图响应所述查询语,直至得到的响应结果满足所述响应要求。
根据本申请实施例的一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中所述的意图识别方法。
根据本申请实施例的一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的意图识别方法。
在本申请的一些实施例所提供的技术方案中,通过获取查询语的词向量特征和与查询语相关联的离散型特征,根据词向量特征和离散型特征生成查询语的多通道特征向量,并将该多通道特征向量输入至意图识别模型来得到意图信息,使得在识别查询语的意图时不仅考虑了查询语的词向量特征,而且能够考虑到与查询语相关联的离散型特征,进而能够通过多通道特征向量来确保意图识别的准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本申请实施例的技术方案的示例性***架构的示意图;
图2示出了根据本申请的一个实施例的意图识别方法的流程图;
图3示出了根据本申请的一个实施例的获取与查询语相关联的离散型特征的流程图;
图4示出了根据本申请的一个实施例的获取与查询语相关联的离散型特征的流程图;
图5示出了根据本申请的一个实施例的获取与查询语相关联的离散型特征的流程图;
图6示出了根据本申请的一个实施例的意图识别模型的训练流程图;
图7示出了根据本申请的一个实施例的意图识别模型的结构示意图;
图8示出了根据本申请的一个实施例的意图识别过程的流程图;
图9示出了相关技术中基于意图识别的搜索结果示意图;
图10示出了根据本申请的一个实施例的意图识别结果示意图;
图11示出了根据本申请的一个实施例的基于意图识别的搜索结果示意图;
图12示出了相关技术识别出的意图与本申请技术方案识别出的意图之间的对比效果示意图;
图13示出了根据本申请的一个实施例的意图识别装置的框图;
图14示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本申请实施例的技术方案的示例性***架构的示意图。
如图1所示,***架构100可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种,当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线通信链路、无线通信链路等等。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
在本申请的一个实施例中,用户可以通过终端设备输入查询语,该查询语比如可以是搜索某个对象(如应用程序、人物名称等)的语句。服务器105在获取到用户输入的查询语之后,可以根据该查询语获取查询语的词向量特征,并获取与查询语相关联的离散型特征(如其他用户的搜索行为反馈特征、查询语分词后每个词语的重要性得分等),进而根据该词向量特征和该离散型特征生成查询语的多通道特征向量,并将该多通道特征向量输入至意图识别模型,得到意图识别模型输出的意图信息。可见,本申请实施例中在识别查询语的意图时不仅考虑了查询语的词向量特征,而且能够考虑到与查询语相关联的离散型特征,进而能够通过多通道特征向量来确保意图识别的准确率。
在本申请的一个实施例中,服务器105在识别出查询语的意图信息之后,可以根据该意图信息响应用户的查询语,进而将响应结果返回给终端设备,以便于终端设备反馈给用户。
需要说明的是,本申请实施例所提供的意图识别方法一般由服务器105执行,相应地,意图识别装置一般设置于服务器105中。但是,在本申请的其它实施例中,终端设备也可以与服务器具有相似的功能,从而执行本申请实施例所提供的意图识别方法。
以下对本申请实施例的技术方案的实现细节进行详细阐述:
图2示出了根据本申请的一个实施例的意图识别方法的流程图,该意图识别方法可以由服务器来执行,该服务器可以是图1中所示的服务器。参照图2所示,该意图识别方法至少包括步骤S210至步骤S240,详细介绍如下:
在步骤S210中,获取用户输入的查询语。
在本申请的一个实施例中,查询语可以指能够作为信息查询、检索或搜索的参照的任何内容,查询语可以是文本内容,其可以包括一个或多个单词、符号或它们的组合。比如,查询语可以是搜索某个对象(如应用程序、人物名称等)的语句。用户输入的查询语可以是通过语音输入的,也可以是通过键盘、触摸屏等输入设备输入的。
在步骤S220中,根据所述查询语获取所述查询语的词向量特征,并获取与所述查询语相关联的离散型特征。
在本申请的一个实施例中,可以将查询语输入至预训练的词向量抽取模型中,进而获取到词向量抽取模型输出的词向量特征。其中,预训练的词向量抽取模型可以是fasttext(一个开源的词向量与文本分类工具)模型、word2vec(用于产生词向量的模型)模型、GloVe(Global Vectors for Word Representation)模型等。GloVe模型是一个基于全局词频统计的词表征工具,它可以把一个单词表达成一个由实数组成的向量,这些向量捕捉到了单词之间一些语义特性,比如相似性、类比性等。
在本申请的一个实施例中,可以通过特征提取网络抽取查询语的词向量特征,其中,特征提取网络通过多种不同大小的卷积核分别抽取查询语的词向量特征。具体而言,特征提取网络可以采用不同大小的卷积核同时抽取查询语的词向量特征,这样可以得到通过不同大小的卷积核抽取到的词向量特征,比如可以采用1×1、2×2、3×3、4×4的卷积核分别抽取查询语的词向量特征。特征提取网络可以是卷积神经网络。
在本申请的一个实施例中,如图3所示,获取与查询语相关联的离散型特征的过程,可以包括如下步骤S310至步骤S330:
在步骤S310中,获取与查询语相关联的历史用户反馈信息。
在本申请的一个实施例中,与查询语相关联的历史用户反馈信息用于表示历史用户对查询语响应信息的反馈情况。比如,查询语是搜索应用程序的语句,那么与查询语相关联的历史用户反馈信息可以是用户基于该查询语响应信息下载的应用程序的信息。更具体地,假设查询语是“女生适合玩的游戏”,在根据该查询语搜索之后用户可能会下载游戏1、游戏2、游戏3等,其中,用户下载的具体游戏即为查询语“女生适合玩的游戏”的反馈信息。
在步骤S320中,根据所述历史用户反馈信息,统计与所述查询语相关联的各个历史用户反馈信息的分布情况。
在本申请的一个实施例中,统计与查询语相关联的各个历史用户反馈信息的分布情况即是统计用户针对查询语响应信息的反馈信息的分布情况。比如,查询语是搜索应用程序的语句,那么统计与查询语相关联的各个历史用户反馈信息的分布情况可以是统计用户基于该查询语响应信息下载的应用程序的分布信息。更具体地,假设查询语是“女生适合玩的游戏”,在根据该查询语搜索之后用户可能会下载游戏1、游戏2、游戏3等,那么可以统计游戏1的下载占比、游戏2的下载占比、游戏3的下载占比等。
在步骤S330中,根据所述各个历史用户反馈信息的分布情况,生成所述离散型特征。
在本申请的一个实施例中,可以根据各个历史用户反馈信息的分布情况来生成特征向量,以作为离散型特征。
在本申请的一个实施例中,如图4所示,获取与查询语相关联的离散型特征的过程,可以包括如下步骤S410和步骤S420:
在步骤S410中,识别查询语的意图是精准意图还是模糊意图。
在本申请的一个实施例中,精准意图表示具有明确的对象,模糊意图则表示没有明确的对象。比如查询语为“女生适合玩的游戏”,由于该查询语没有明确要下载的游戏,因此该查询语的意图可以是模糊意图;而查询语“王者荣耀”由于是针对具体的游戏而言的,因此该查询语的意图可以是精准意图。
在本申请的一个实施例中,可以根据以下因素中的至少一个因素识别查询语的意图是精准意图还是模糊意图:查询语与预定的意图信息之间的文本相似度、查询语与预定的意图信息之间的语义相似度、与查询语相关联的历史用户反馈信息的分布情况。
在本申请的一个实施例中,若根据查询语与预定的意图信息之间的文本相似度来识别查询语的意图是精准意图还是模糊意图,则可以在该文本相似度高于设定阈值时,确定该查询语的意图是精准意图。比如,查询语是“下载王者荣耀”,由于该查询语与预定的意图信息“王者荣耀”之间的文本相似度较高,那么可以确定该查询语的意图是精准意图。
在本申请的一个实施例中,若根据查询语与预定的意图信息之间的语义相似度来识别查询语的意图是精准意图还是模糊意图,则可以在该语义相似度高于设定阈值时,确定该查询语的意图是精准意图。比如,查询语是“下载扣扣”,由于该查询语与预定的意图信息“QQ”之间的语义相似度较高,那么可以确定该查询语的意图是精准意图。
在本申请的一个实施例中,若根据与查询语相关联的历史用户反馈信息的分布情况来识别查询语的意图是精准意图还是模糊意图,则在某个历史用户反馈信息的占比较高时,可以确定该查询语的意图是精准意图;若各个历史用户反馈信息的占比相差不大,则可以确定该查询语的意图是模糊意图。比如,查询语是“王者荣耀”,如果根据该查询语搜索之后用户下载“王者荣耀”app的比例为80%、下载“王者荣耀助手”app的比例是11%、下载其它应用程序的比例是9%,那么由于用户下载游戏“王者荣耀”app的比例较高,则可以认为该查询语是针对下载“王者荣耀”app的精准意图。
在本申请的一个实施例中,若根据查询语与预定的意图信息之间的文本相似度、查询语与预定的意图信息之间的语义相似度、与查询语相关联的历史用户反馈信息的分布情况中的两个因素来识别查询语的意图是精准意图还是模糊意图,则可以综合这两个因素的识别结果来确定,比如若这两个因素的识别结果都是精准意图,则确定该查询语的意图是精准意图;若这两个因素的识别结果都是模糊意图,则确定该查询语的意图是模糊意图;若这两个因素的识别结果不相同,则可以根据这两个因素对应的识别结果的可能性大小来确定查询语的意图。比如若根据查询语与预定的意图信息之间的文本相似度确定查询语的意图是精准意图,而根据查询语与预定的意图信息之间的语义相似度确定查询语的意图是模糊意图,那么如果该查询语与预定的意图信息之间的文本相似度接近1,那么可以确定该查询语的意图是精准意图。
在本申请的一个实施例中,若根据查询语与预定的意图信息之间的文本相似度、查询语与预定的意图信息之间的语义相似度、与查询语相关联的历史用户反馈信息的分布情况中的全部因素来识别查询语的意图是精准意图还是模糊意图,则可以综合全部因素的识别结果来确定,比如若有一半以上因素的识别结果都是精准意图,则确定该查询语的意图是精准意图;若有一半以上因素的识别结果都是模糊意图,则确定该查询语的意图是模糊意图。
继续参照图4所示,在步骤S420中,根据所述查询语的意图是精准意图还是模糊意图生成所述查询语的离散型特征。
在本申请的一个实施例中,可以将查询语的意图是精准意图还是模糊意图作为一个特征向量,以得到离散型特征。
在本申请的一个实施例中,如图5所示,获取与查询语相关联的离散型特征的过程,可以包括如下步骤S510至步骤S530:
在步骤S510中,对查询语进行分词处理得到至少一个目标词语。
在本申请的一个实施例中,可以基于字符串匹配的分词方法、基于理解的分词方法或基于统计的分词方法来对查询语进行分词处理。
在步骤S520中,对所述至少一个目标词语进行重要性分析,得到各个所述目标词语的重要性得分。
在本申请的一个实施例中,由于一个句子中不同词语的重要程度不同,因此可以通过对查询语分词后得到的词语进行重要性分析,以确定各个词语对理解查询语的重要性得分。
在本申请的一个实施例中,可以通过以下因素中的至少一个因素对各个目标词语进行重要性分析:各个目标词语的词性分析结果、各个目标词语与所述查询语中的其它目标词语之间的依存句法分析结果、各个目标词语的紧密度分析结果、各个目标词语逆向文件频率、各个目标词语是否是设定的实体词、各个目标词语是否是停用词。
在本申请的一个实施例中,可以将上述的各个因素作为特征来生成特征向量,然后对机器学习模型进行训练,进而可以通过训练后的机器学习模型来确定各个词语的重要性得分。
在本申请的一个实施例中,也可以对上述的各个因素进行量化,并设置各个因素的权重,进而基于各个因素的权重和各个因素的量化结果来确定各个词语的重要性得分。
在步骤S530中,根据各个所述目标词语的重要性得分生成所述查询语的离散型特征。
在本申请的一个实施例中,可以根据各个目标词语的重要性得分生成特征向量,以作为离散型特征。
继续参照图2所示,在步骤S230中,根据所述词向量特征和所述离散型特征生成所述查询语的多通道特征向量。
在本申请的一个实施例中,可以将每个词向量特征作为一个通道的特征,并将每个离散型特征作为一个通道的特征来生成多个通道特征向量。
在步骤S240中,将所述多通道特征向量输入至意图识别模型,得到所述意图识别模型输出的意图信息。
在本申请的一个实施例中,意图识别模型事先是经过训练的,其训练过程可以如图6所示,包括如下步骤:
步骤S610,获取查询语样本。
步骤S620,根据所述查询语样本获取所述查询语样本的词向量特征和所述查询语样本相关联的离散型特征。
在本申请的一个实施例中,获取查询语样本的词向量特征和查询语样本相关联的离散型特征的过程与上述获取查询语的词向量特征和查询语相关联的离散型特征的过程相同,不再赘述。
步骤S630,根据所述查询语样本的词向量特征和所述查询语样本相关联的离散型特征,生成训练样本。
在本申请的一个实施例中,可以将查询语样本的每个词向量特征作为一个通道的特征,并将查询语样本的每个离散型特征作为一个通道的特征来生成多个通道特征向量,然后将查询语样本的意图信息作为标签来生成训练样本。
步骤S640,基于所述训练样本对所述意图识别模型进行训练。
在本申请的一个实施例中,意图识别模型可以是多任务机器学习模型,该多任务机器学习模型用于输出多级意图,该多任务机器学习模型包括与各级意图相对应的全连接层和输出层,其中,该多级意图信息中的第一意图所对应的输出层连接至第二意图所对应的全连接层,且该第一意图的层级高于该第二意图的层级。该实施例的技术方案通过使较高层级的意图所对应的输出层连接至较低层级的意图所对应的全连接层,使得较高层级的意图标签的监督信息可以很好地辅助较低层级的意图标签的拟合学习,进而可以提高意图识别的准确率。比如,若查询语是搜索应用程序的语句“下载王者荣耀”,那么一级意图可以是“游戏”、二级意图可以是“游戏-竞技类”、三级意图可以是具体的应用程序名称。
在本申请的一个实施例中,意图识别模型包括多任务机器学习模型,该多任务机器学习模型的损失函数为:
Loss=∑(ci×lossi)+λ
其中,Loss表示多任务机器学习模型的损失函数;lossi表示第i级意图对应的损失函数;ci为超参数,用于表示第i级意图对应的损失函数的重要性;λ表示正则化项。
该实施例中构建的损失函数为多标签分类损失函数,这种方式可以更好地捕捉用户的多意图分布,提高意图识别的准确性。
在本申请的一个实施例中,在意图识别模型包括多任务机器学习模型的情况下,当得到意图识别模型输出的意图信息之后,可以通过意图信息中的最低层级的意图响应查询语,得到响应结果;若响应结果不能满足响应要求,则依次通过更上一层的意图响应查询语,直至得到的响应结果满足响应要求。
在本申请的一个实施例中,由于最低层级的意图是最精细的意图,因此可以优先采用最低层级的意图来响应用户输入的查询语。其中,响应要求可以是根据查询语召回的响应结果数量、用户对根据查询语召回的响应结果的满意度等。比如,若根据查询语输出的一级意图是“游戏”、二级意图是“游戏-竞技类”、三级意图是具体的应用程序名称,那么如果根据三级意图召回的应用程序数量较少或者不能满足用户的要求,则可以通过二级意图“游戏-竞技类”继续进行召回,如果召回的应用程序数量依然较少或者不能满足用户的要求,则再通过以及意图“游戏”进行召回。
本申请上述实施例的技术方案使得在识别查询语的意图时不仅考虑了查询语的词向量特征,而且能够考虑到与查询语相关联的离散型特征,进而能够通过多通道特征向量来确保意图识别的准确率。
以下以用户输入搜索应用程序的查询语(query)为例,对本申请实施例的技术方案进行详细阐述:
在本申请的一个实施例中,意图识别的过程主要是意图多分类的过程,在获取用户输入的query之后,通过对query进行处理得到识别出的意图标签。具体地,本申请实施例的技术方案主要包括多通道特征融合、模型训练和模型预测几个部分,以下分别进行详细说明。
1、多通道特征融合:
在本申请的一个实施例中,多通道特征融合主要融合了Embedding(嵌入)向量特征、用户侧搜索行为反馈特征和query侧相关特征。
在本申请的一个实施例中,Embedding向量特征可以通过以下方式来获取:
(1)采用预训练的fasttext模型抽取的词向量,fasttext模型的CBOW(continuousbag-of-words,连续词袋)模型是一种有监督学习的模型,目标是通过有监督预训练得到更合理的query向量表征从而使得意图标签分类的准确率更高。
在本申请的一个实施例中,fasttext模型采用的参数可以如下:最小词频可以为5;词向量维度可以为128;迭代周期数可以为150;训练窗口大小可以为5;n-gram(n元语法)可以设置为4;并且可以采用negative sampling(负采样)算法来构造损失函数,以确保得到的预训练词向量能更好地表示query的term(表示词语、术语),加速训练网络的收敛。
(2)随机初始化的词向量,并随着卷积神经网络的训练进行fine-tune(调整),通过同时采用不同大小(比如可以采用1×1、2×2、3×3、4×4)的卷积核可以捕获query中多个不同n-gram的局部信息,同时不同于一般的浅层神经网络,卷积神经网络的训练可以进一步抽象出字—>词—>句子的高阶向量表示。
此外,在本申请的一个实施例中,还可以使用word2vec、GloVe等词袋模型来获取query的词向量。
在本申请的一个实施例中,用户侧搜索行为反馈特征主要包括query对应的下载分布情况。具体地,每个query针对所有app_id(应用程序名称)有不同的下载分布,并且可以将对各个app的下载量归一化到下载占比,因此可以构造query-app下载分布multi-hot(多热)特征。比如,query“王者荣耀”的下载占比分布为:“王者荣耀:0.8496”、“王者荣耀助手:0.1297”、“英魂之刃:0.0025”。
在本申请的一个实施例中,query侧相关特征可以包括:query精准和模糊标识、query分词后的term重要度等特征。
在本申请的一个实施例中,query精准和模糊标识用于表示query的意图是精准意图还是模糊意图。其中,精准query是指的是用户有明确下载某个app的意图,模糊query表示用户没有明确下载具体app的需求,可能只是想下载某一类app,具体下载哪个app是不确定的。在确定query是精准query还是模糊query时,可以综合考虑用户下载熵(即与query相关的app下载分布)、query与app名称的文本相似度、query与app名称的语义相似度等多个因子进行决策判断。如果确定query是精准query,则模型应该给精准query对应的意图更多的倾向;如果确定query是模糊query,则可以更多地关注模糊query对应的多意图分布。这里构造的特征是:若query是精准query,则特征值可以为1,否则可以设为0。
在本申请的一个实施例中,query分词后term重要度特征是通过词性分析、依存句法分析、term紧密度分析、IDF(Inverse Document Frequency,逆向文件频率)、是否是app名称词、是否是停用词等多个维度构造特征训练term分级模型来对query分词后的term进行重要性分析,给出每个term对应的一个权重分值。比如用户输入的query为“下载适合女生玩的游戏”,那么最后得到的term重要性分析结果可以是:“下载:0.126;适合:0.135;女生:0.452;玩:0.03;的:0.01;游戏:0.504”。
2、模型训练
在本申请的一个实施例中,意图识别模型可以采用Multi-TextCNN(多通道的TextCNN)模型,其中,TextCNN模型是用于进行文本分类的卷积神经网络模型。如图7所示,在本申请的一个实施例中,Multi-TextCNN模型主要包括:多通道输入层、卷积层、最大池化层、全连接层、多任务softmax(归一化指数函数)概率输出层。其中,多通道输入层包括query的静态通道特征(如Embedding向量特征)和非静态通道特征(如用户侧搜索行为反馈特征和query侧相关特征)。
在本申请的一个实施例中,为进一步减少Multi-TextCNN模型训练时出现过拟合的概率,模型中还引入了batch normalize(批量归一化)层,并且还可以在全连接层引入dropout(随机失活)机制。
在本申请的一个实施例中,如图7所示,假设Multi-TextCNN模型输出的是三级意图(如一级意图为“游戏”、二级意图为“游戏_棋牌中心”、三级意图为“游戏_棋牌中心_斗地主”),那么可以将Multi-TextCNN模型中一级意图的概率输出向量层级连接到二级和三级意图的全连接层,并将二级意图的概率输出向量层级连接到三级意图的全连接层,进而使得一级意图的监督信息可以反馈给二级、三级意图的训练,二级意图的监督信息可以反馈给三级意图的训练,从而进一步提升意图预测的准确率。
在本申请的一个实施例中,由于本申请实施例中涉及到层级意图的分类问题,因此可以构建MultiLabel&MultiTask(多标签&多任务)的损失函数,比如损失函数的公式可以如下:
Loss=α×loss1+β×loss2+γ×loss3+λ||Θ||2
其中,α、β、γ表示模型超参数,分别用于衡量一级标签、二级标签及三级标签的相对重要性,比如α=0.5,β=0.3,γ=0.2;λ||Θ||2表示正则化项。
在本申请的一个实施例中,loss1、loss2及loss3可以是二分类交叉熵损失函数,比如可以是其中n表示训练样本数,x表示一条样本,y表示该样本的真实标签,σ()函数表示sigmoid激活函数,logits表示网络输出层的前馈输出值:logits=Wx+b,W为输出层权重参数,b为输出层偏置参数。
3、模型预测
在本申请的一个实施例中,在对模型训练完成之后,若接收到用户输入的query,则可以提取query的多通道特征,该多通道特征同样融合了Embedding向量特征、用户侧搜索行为反馈特征和query侧相关特征,然后将query的多通道特征输入至训练后的模型中,得到模型输出的意图信息。在本申请的一个实施例中,如图8所示,意图识别过程可以包括如下步骤:
预处理:主要是对用户输入的query进行大小写转换、全角转半角、繁简体转换、特殊符号过滤等归一化处理。
槽位解析:主要是通过预设的规则模板对query进行意图解析的过程,目标是从query中提取出对应的意图槽位以及槽位值。比如用户输入的query为“下载适合女生玩的游戏”,经过槽位解析可以得到“[D:user]:女生”和“[D:type]:游戏”两个意图槽位。
query纠错:主要是对用户输入的错误query进行错误检测及纠正。
query分词:主要是对用户输入的query句子序列进行词语级别的切分过程。在query分词处理之后,还可以再次进行query纠错处理。
query扩展:主要是对用户输入的query进行语义相关的query推荐的处理,如:“王者荣耀”扩展出“王者荣耀助手”、“moba游戏”等相关的query,从而帮助用户进行兴趣探索及扩大召回数量。
Term重要性分析:主要是对query分词后的每个term进行重要性衡量,query中不同term在进行文本召回时的重要贡献度是不一样的,应该加以区分。
意图识别:主要是基于term重要性分析结果和query的其他特征(如Embedding向量特征、用户侧搜索行为反馈特征和query侧相关特征,通过意图识别模型来识别query的意图。
在意图识别之后还可以进行黄反识别,即识别出涉黄等违规意图,并且也可以进行人工干预调整。
在本申请的一个实施例中,当识别出query的意图信息之后,可以基于识别出的意图信息响应用户的query。
在本申请的一个实施例中,如图9所示,当用户在app搜索栏901中输入query“大叔帮帮忙”之后,根据相关技术的方案识别出意图并响应query得到的结果与用户输入的query的相关性比较差。而通过本申请实施例的技术方案对该query的意图识别结果如图10所示,其中,该query的精准模糊判断结果为精准query;细粒度分词得到的“大叔”的重要性得分为0.5556,“帮帮忙”的重要性得分为0.4444;粗粒度分词的结果为“大叔帮帮忙”;识别到该query的意图为“社交_婚恋_相亲/约会”的概率是0.4256,意图为“社交_聊天交友_聊天工具”的概率是0.1863。进而通过识别出的意图召回的相关联app结果如图11所示,可见采用本申请实施例的技术方案能够识别出较为准确的意图,进而能够召回更符合用户意图的APP,有利于提升用户的搜索体验。
在本申请的另一个实施例中,如图12所示,对于query:上海大众行车记录仪客户端,相关技术中识别出的意图为“视频_在线视频_综合视频”的概率是0.6094,意图为“生活_买车_资讯/攻略”的概率是0.1992;而采用本申请实施例的技术方案识别出的意图为“出行_出行服务_行车记录”的概率是0.9540。对于query:后羿怎么出装?游戏攻略就问它,相关技术中识别出的意图为“游戏_动作冒险_跑酷”的概率是0.1699;而采用本申请实施例的技术方案识别出的意图为“游戏_游戏周边_游戏社区”的概率是0.5001,意图为“游戏_游戏周边_游戏攻略”的概率是0.1289。对于query:可以让模糊图片变清晰的软件,相关技术中识别出的意图为“摄影_图片分享_美图”的概率是0.5645;而采用本申请实施例的技术方案识别出的意图为“摄影_编辑美化_编辑美化”的概率是0.8348。对于query:***股票代码是多少,相关技术中识别出的意图为“通讯_营业厅_联通营业厅”的概率是0.2671,意图为“购物_购物支付_缴费”的概率是0.2599;而采用本申请实施例的技术方案识别出的意图为“理财_投资_股票”的概率是0.2452,意图为“通讯_营业厅_综合业务”的概率是0.2377。可见,采用本申请实施例的技术方案识别出的意图更加准确。
综上,本申请实施例的技术方案具有如下优点:
1、端到端学习:
本申请实施例的技术方案提出的多融合特征并不需要经过太复杂的特征工程。
2、多通道输入:
本申请实施例的技术方案除了采用随机初始化并进行fine-tune的词向量特征之外,还考虑了其他通道特征:(1)使用预训练的fasttext抽取到的词向量,模型通过从query输入及其对应的意图标签监督信息中能学习到更合理的term向量表征。(2)使用一些离散特征作为输入,包括用户侧的用户搜索行为反馈特征(如query对应的app下载分布信息等),以及query侧的精准模糊判断标识、term重要性、关键词等特征。本申请实施例的技术方案采用多个通道融合的特征进行训练。
3、Multi-label多标签分类:
由于用户输入query背后的意图可能是多种多样的,比如:“楚留香”可能对应“仙侠类游戏”、“小说类”、“视频类”等多种意图,因此采用一般的Multi-classes多分类方法对意图的预测是排他性的,不能很好地捕捉用户的多意图分布。因此本申请实施例的技术方案提出来基于multi-label的多标签分类损失函数。
4、多任务学习:
由于不同的三级意图标签所覆盖的样本数量存在一定的差异,比如三级意图标签的样本数量较少,因此可能会导致一些三级意图学习不够充分而导致预测不准确。在本申请的实施例中通过引入多任务学习框架,并且使一、二级意图标签学习的监督信号可以很好地辅助三级意图标签的拟合学习,因此可以提升意图识别的准确率。
需要说明的是,本申请实施例的技术方案除了适用于搜索应用程序的场景,还适用于其它任何需要识别用户意图的场景中,比如网页搜索、人机智能对话、语音控制等应用场景。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的意图识别方法。对于本申请装置实施例中未披露的细节,请参照本申请上述的意图识别方法的实施例。
图13示出了根据本申请的一个实施例的意图识别装置的框图。
参照图13所示,根据本申请的一个实施例的意图识别装置1300,包括:第一获取单元1302、第二获取单元1304、第一生成单元1306和处理单元1308。
其中,第一获取单元1302用于获取用户输入的查询语;第二获取单元1304用于根据所述查询语获取所述查询语的词向量特征,并获取与所述查询语相关联的离散型特征;第一生成单元1306用于根据所述词向量特征和所述离散型特征生成所述查询语的多通道特征向量;处理单元1308用于将所述多通道特征向量输入至意图识别模型,得到所述意图识别模型输出的意图信息。
在本申请的一些实施例中,基于前述方案,第二获取单元1304配置为:获取与所述查询语相关联的历史用户反馈信息;根据所述历史用户反馈信息,统计与所述查询语相关联的各个历史用户反馈信息的分布情况;根据所述各个历史用户反馈信息的分布情况,生成所述离散型特征。
在本申请的一些实施例中,基于前述方案,第二获取单元1304配置为:识别所述查询语的意图是精准意图还是模糊意图;根据所述查询语的意图是精准意图还是模糊意图生成所述查询语的离散型特征。
在本申请的一些实施例中,基于前述方案,第二获取单元1304配置为根据以下因素中的至少一个因素识别所述查询语的意图是精准意图还是模糊意图:所述查询语与预定的意图信息之间的文本相似度、所述查询语与预定的意图信息之间的语义相似度、与所述查询语相关联的历史用户反馈信息的分布情况。
在本申请的一些实施例中,基于前述方案,第二获取单元1304配置为:对所述查询语进行分词处理得到至少一个目标词语;对所述至少一个目标词语进行重要性分析,得到各个所述目标词语的重要性得分;根据各个所述目标词语的重要性得分生成所述查询语的离散型特征。
在本申请的一些实施例中,基于前述方案,第二获取单元1304配置为通过以下因素中的至少一个因素对各个所述目标词语进行重要性分析:各个目标词语的词性分析结果、各个目标词语与所述查询语中的其它目标词语之间的依存句法分析结果、各个目标词语的紧密度分析结果、各个目标词语逆向文件频率、各个目标词语是否是设定的实体词、各个目标词语是否是停用词。
在本申请的一些实施例中,基于前述方案,第二获取单元1304配置为:将所述查询语输入至预训练的词向量抽取模型,以获取所述词向量抽取模型输出的词向量特征。
在本申请的一些实施例中,基于前述方案,第二获取单元1304配置为:通过特征提取网络抽取所述查询语的词向量特征,其中,所述特征提取网络通过多种不同大小的卷积核分别抽取所述查询语的词向量特征。
在本申请的一些实施例中,基于前述方案,所述的意图识别装置1300还包括:第三获取单元,用于获取查询语样本;第四获取单元,用于根据所述查询语样本获取所述查询语样本的词向量特征和所述查询语样本相关联的离散型特征;第二生成单元,用于根据所述查询语样本的词向量特征和所述查询语样本相关联的离散型特征,生成训练样本;训练单元,用于基于所述训练样本对所述意图识别模型进行训练。
在本申请的一些实施例中,基于前述方案,所述意图识别模型包括多任务机器学习模型,所述多任务机器学习模型用于输出多级意图,所述多任务机器学习模型包括与各级意图相对应的全连接层和输出层,其中,所述多级意图信息中的第一意图所对应的输出层连接至第二意图所对应的全连接层,所述第一意图的层级高于所述第二意图的层级。
在本申请的一些实施例中,基于前述方案,所述意图识别模型包括多任务机器学习模型,所述多任务机器学习模型的损失函数为:
Loss=∑(ci×lossi)+λ
其中,Loss表示所述多任务机器学习模型的损失函数;lossi表示第i级意图对应的损失函数;ci为超参数,用于表示第i级意图对应的损失函数的重要性;λ表示正则化项。
在本申请的一些实施例中,基于前述方案,所述意图识别模型包括多任务机器学习模型,所述意图识别装置1300还包括:响应单元,用于在得到所述意图识别模型输出的意图信息之后,通过所述意图信息中的最低层级的意图响应所述查询语,得到响应结果;若所述响应结果不能满足响应要求,则依次通过更上一层的意图响应所述查询语,直至得到的响应结果满足所述响应要求。
图14示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
需要说明的是,图14示出的电子设备的计算机***1400仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图14所示,计算机***1400包括中央处理单元(Central Processing Unit,CPU)1401,其可以根据存储在只读存储器(Read-Only Memory,ROM)1402中的程序或者从存储部分1408加载到随机访问存储器(Random Access Memory,RAM)1403中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM 1403中,还存储有***操作所需的各种程序和数据。CPU 1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(Input/Output,I/O)接口1405也连接至总线1404。
以下部件连接至I/O接口1405:包括键盘、鼠标等的输入部分1406;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分1407;包括硬盘等的存储部分1408;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分1409。通信部分1409经由诸如因特网的网络执行通信处理。驱动器1410也根据需要连接至I/O接口1405。可拆卸介质1411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1410上,以便于从其上读出的计算机程序根据需要被安装入存储部分1408。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1409从网络上被下载和安装,和/或从可拆卸介质1411被安装。在该计算机程序被中央处理单元(CPU)1401执行时,执行本申请的***中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现上述实施例中所述的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (15)
1.一种意图识别方法,其特征在于,包括:
获取用户输入的查询语;
根据所述查询语获取所述查询语的词向量特征,并获取与所述查询语相关联的离散型特征;
根据所述词向量特征和所述离散型特征生成所述查询语的多通道特征向量;
将所述多通道特征向量输入至意图识别模型,得到所述意图识别模型输出的意图信息。
2.根据权利要求1所述的意图识别方法,其特征在于,获取与所述查询语相关联的离散型特征,包括:
获取与所述查询语相关联的历史用户反馈信息;
根据所述历史用户反馈信息,统计与所述查询语相关联的各个历史用户反馈信息的分布情况;
根据所述各个历史用户反馈信息的分布情况,生成所述离散型特征。
3.根据权利要求1所述的意图识别方法,其特征在于,获取与所述查询语相关联的离散型特征,包括:
识别所述查询语的意图是精准意图还是模糊意图;
根据所述查询语的意图是精准意图还是模糊意图生成所述查询语的离散型特征。
4.根据权利要求3所述的意图识别方法,其特征在于,根据以下因素中的至少一个因素识别所述查询语的意图是精准意图还是模糊意图:
所述查询语与预定的意图信息之间的文本相似度、所述查询语与预定的意图信息之间的语义相似度、与所述查询语相关联的历史用户反馈信息的分布情况。
5.根据权利要求1所述的意图识别方法,其特征在于,获取与所述查询语相关联的离散型特征,包括:
对所述查询语进行分词处理得到至少一个目标词语;
对所述至少一个目标词语进行重要性分析,得到各个所述目标词语的重要性得分;
根据各个所述目标词语的重要性得分生成所述查询语的离散型特征。
6.根据权利要求5所述的意图识别方法,其特征在于,通过以下因素中的至少一个因素对各个所述目标词语进行重要性分析:
各个目标词语的词性分析结果、各个目标词语与所述查询语中的其它目标词语之间的依存句法分析结果、各个目标词语的紧密度分析结果、各个目标词语逆向文件频率、各个目标词语是否是设定的实体词、各个目标词语是否是停用词。
7.根据权利要求1所述的意图识别方法,其特征在于,根据所述查询语获取所述查询语的词向量特征,包括:
将所述查询语输入至预训练的词向量抽取模型,以获取所述词向量抽取模型输出的词向量特征。
8.根据权利要求1所述的意图识别方法,其特征在于,根据所述查询语获取所述查询语的词向量特征,包括:
通过特征提取网络抽取所述查询语的词向量特征,其中,所述特征提取网络通过多种不同大小的卷积核分别抽取所述查询语的词向量特征。
9.根据权利要求1所述的意图识别方法,其特征在于,还包括:
获取查询语样本;
根据所述查询语样本获取所述查询语样本的词向量特征和所述查询语样本相关联的离散型特征;
根据所述查询语样本的词向量特征和所述查询语样本相关联的离散型特征,生成训练样本;
基于所述训练样本对所述意图识别模型进行训练。
10.根据权利要求9所述的意图识别方法,其特征在于,所述意图识别模型包括多任务机器学习模型,所述多任务机器学习模型用于输出多级意图,所述多任务机器学习模型包括与各级意图相对应的全连接层和输出层,其中,所述多级意图信息中的第一意图所对应的输出层连接至第二意图所对应的全连接层,所述第一意图的层级高于所述第二意图的层级。
11.根据权利要求9所述的意图识别方法,其特征在于,所述意图识别模型包括多任务机器学习模型,所述多任务机器学习模型的损失函数为:
Loss=∑(ci×lossi)+λ
其中,Loss表示所述多任务机器学习模型的损失函数;lossi表示第i级意图对应的损失函数;ci为超参数,用于表示第i级意图对应的损失函数的重要性;λ表示正则化项。
12.根据权利要求1至11中任一项所述的意图识别方法,其特征在于,所述意图识别模型包括多任务机器学习模型,所述意图识别方法还包括:
在得到所述意图识别模型输出的意图信息之后,通过所述意图信息中的最低层级的意图响应所述查询语,得到响应结果;
若所述响应结果不能满足响应要求,则依次通过更上一层的意图响应所述查询语,直至得到的响应结果满足所述响应要求。
13.一种意图识别装置,其特征在于,包括:
第一获取单元,用于获取用户输入的查询语;
第二获取单元,用于根据所述查询语获取所述查询语的词向量特征,并获取与所述查询语相关联的离散型特征;
生成单元,用于根据所述词向量特征和所述离散型特征生成所述查询语的多通道特征向量;
处理单元,用于将所述多通道特征向量输入至意图识别模型,得到所述意图识别模型输出的意图信息。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的意图识别方法。
15.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至12中任一项所述的意图识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910284684.5A CN110069709B (zh) | 2019-04-10 | 2019-04-10 | 意图识别方法、装置、计算机可读介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910284684.5A CN110069709B (zh) | 2019-04-10 | 2019-04-10 | 意图识别方法、装置、计算机可读介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110069709A true CN110069709A (zh) | 2019-07-30 |
CN110069709B CN110069709B (zh) | 2023-10-20 |
Family
ID=67367356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910284684.5A Active CN110069709B (zh) | 2019-04-10 | 2019-04-10 | 意图识别方法、装置、计算机可读介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110069709B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110503143A (zh) * | 2019-08-14 | 2019-11-26 | 平安科技(深圳)有限公司 | 基于意图识别的阈值选取方法、设备、存储介质及装置 |
CN110543592A (zh) * | 2019-08-27 | 2019-12-06 | 北京百度网讯科技有限公司 | 信息搜索方法、装置以及计算机设备 |
CN111008309A (zh) * | 2019-12-06 | 2020-04-14 | 北京百度网讯科技有限公司 | 查询方法及装置 |
CN111062200A (zh) * | 2019-12-12 | 2020-04-24 | 北京声智科技有限公司 | 一种话术泛化方法、话术识别方法、装置及电子设备 |
CN111813532A (zh) * | 2020-09-04 | 2020-10-23 | 腾讯科技(深圳)有限公司 | 一种基于多任务机器学习模型的图像管理方法及装置 |
CN112182176A (zh) * | 2020-09-25 | 2021-01-05 | 北京字节跳动网络技术有限公司 | 智能问答方法、装置、设备及可读存储介质 |
CN112256864A (zh) * | 2020-09-23 | 2021-01-22 | 北京捷通华声科技股份有限公司 | 多意图识别的方法、装置、电子设备及可读存储介质 |
CN113011503A (zh) * | 2021-03-17 | 2021-06-22 | 彭黎文 | 一种电子设备的数据取证方法、存储介质及终端 |
US11308944B2 (en) * | 2020-03-12 | 2022-04-19 | International Business Machines Corporation | Intent boundary segmentation for multi-intent utterances |
CN114385933A (zh) * | 2022-03-22 | 2022-04-22 | 武汉大学 | 一种顾及语义的地理信息资源检索意图识别方法 |
CN114818703A (zh) * | 2022-06-28 | 2022-07-29 | 珠海金智维信息科技有限公司 | 基于BERT语言模型和TextCNN模型的多意图识别方法及*** |
CN115423485A (zh) * | 2022-11-03 | 2022-12-02 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN117725209A (zh) * | 2023-09-27 | 2024-03-19 | 书行科技(北京)有限公司 | 意图识别方法、装置、存储介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017024884A1 (zh) * | 2015-08-07 | 2017-02-16 | 广州神马移动信息科技有限公司 | 一种搜索意图识别方法及装置 |
CN109522393A (zh) * | 2018-10-11 | 2019-03-26 | 平安科技(深圳)有限公司 | 智能问答方法、装置、计算机设备和存储介质 |
-
2019
- 2019-04-10 CN CN201910284684.5A patent/CN110069709B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017024884A1 (zh) * | 2015-08-07 | 2017-02-16 | 广州神马移动信息科技有限公司 | 一种搜索意图识别方法及装置 |
CN109522393A (zh) * | 2018-10-11 | 2019-03-26 | 平安科技(深圳)有限公司 | 智能问答方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
TONGBO LI: "《A New Directional Intention Identification Approach for Intelligent Wheelchair Based on Fusion of EOG Signal and Eye Movement Signal》", 《2018 IEEE INTERNATIONAL CONFERENCE ON INTELLIGENCE AND SAFETY FOR ROBOTICS (ISR)》 * |
刘新星 等: "《基于神经网络模型的产品属性情感分析》", 《计算机应用》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110503143A (zh) * | 2019-08-14 | 2019-11-26 | 平安科技(深圳)有限公司 | 基于意图识别的阈值选取方法、设备、存储介质及装置 |
CN110503143B (zh) * | 2019-08-14 | 2024-03-19 | 平安科技(深圳)有限公司 | 基于意图识别的阈值选取方法、设备、存储介质及装置 |
CN110543592A (zh) * | 2019-08-27 | 2019-12-06 | 北京百度网讯科技有限公司 | 信息搜索方法、装置以及计算机设备 |
CN110543592B (zh) * | 2019-08-27 | 2022-04-01 | 北京百度网讯科技有限公司 | 信息搜索方法、装置以及计算机设备 |
CN111008309A (zh) * | 2019-12-06 | 2020-04-14 | 北京百度网讯科技有限公司 | 查询方法及装置 |
CN111008309B (zh) * | 2019-12-06 | 2023-08-08 | 北京百度网讯科技有限公司 | 查询方法及装置 |
CN111062200A (zh) * | 2019-12-12 | 2020-04-24 | 北京声智科技有限公司 | 一种话术泛化方法、话术识别方法、装置及电子设备 |
CN111062200B (zh) * | 2019-12-12 | 2024-03-05 | 北京声智科技有限公司 | 一种话术泛化方法、话术识别方法、装置及电子设备 |
US11308944B2 (en) * | 2020-03-12 | 2022-04-19 | International Business Machines Corporation | Intent boundary segmentation for multi-intent utterances |
CN111813532A (zh) * | 2020-09-04 | 2020-10-23 | 腾讯科技(深圳)有限公司 | 一种基于多任务机器学习模型的图像管理方法及装置 |
CN112256864A (zh) * | 2020-09-23 | 2021-01-22 | 北京捷通华声科技股份有限公司 | 多意图识别的方法、装置、电子设备及可读存储介质 |
CN112256864B (zh) * | 2020-09-23 | 2024-05-14 | 北京捷通华声科技股份有限公司 | 多意图识别的方法、装置、电子设备及可读存储介质 |
CN112182176A (zh) * | 2020-09-25 | 2021-01-05 | 北京字节跳动网络技术有限公司 | 智能问答方法、装置、设备及可读存储介质 |
CN113011503A (zh) * | 2021-03-17 | 2021-06-22 | 彭黎文 | 一种电子设备的数据取证方法、存储介质及终端 |
CN114385933A (zh) * | 2022-03-22 | 2022-04-22 | 武汉大学 | 一种顾及语义的地理信息资源检索意图识别方法 |
CN114385933B (zh) * | 2022-03-22 | 2022-06-07 | 武汉大学 | 一种顾及语义的地理信息资源检索意图识别方法 |
CN114818703A (zh) * | 2022-06-28 | 2022-07-29 | 珠海金智维信息科技有限公司 | 基于BERT语言模型和TextCNN模型的多意图识别方法及*** |
CN115423485A (zh) * | 2022-11-03 | 2022-12-02 | 支付宝(杭州)信息技术有限公司 | 数据处理方法、装置及设备 |
CN117725209A (zh) * | 2023-09-27 | 2024-03-19 | 书行科技(北京)有限公司 | 意图识别方法、装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110069709B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110069709A (zh) | 意图识别方法、装置、计算机可读介质及电子设备 | |
CN109101537B (zh) | 基于深度学习的多轮对话数据分类方法、装置和电子设备 | |
CN111444428A (zh) | 基于人工智能的信息推荐方法、装置、电子设备及存储介质 | |
CN109241524A (zh) | 语义解析方法及装置、计算机可读存储介质、电子设备 | |
CN111368548A (zh) | 语义识别方法及装置、电子设备和计算机可读存储介质 | |
CN110121706A (zh) | 提供会话中的响应 | |
CN111353091A (zh) | 信息处理方法、装置、电子设备及可读存储介质 | |
CN106030571A (zh) | 基于知识图动态地修改用户界面的元素 | |
CN116720004B (zh) | 推荐理由生成方法、装置、设备及存储介质 | |
US20220237386A1 (en) | Aspect-aware sentiment analysis of user reviews | |
CN109543012A (zh) | 一种基于Word2Vec和RNN的用户意图识别方法及装置 | |
CN113688951B (zh) | 视频数据处理方法以及装置 | |
CN109582788A (zh) | 垃圾评论训练、识别方法、装置、设备及可读存储介质 | |
US12039424B2 (en) | Systems and methods for managing, distributing and deploying a recursive decisioning system based on continuously updating machine learning models | |
CN109582869A (zh) | 一种数据处理方法、装置和用于数据处理的装置 | |
CN110162597A (zh) | 文章数据处理方法、装置、计算机可读介质及电子设备 | |
CN110188158A (zh) | 关键词及话题标签生成方法、装置、介质及电子设备 | |
Huang et al. | C-Rnn: a fine-grained language model for image captioning | |
CN112989208A (zh) | 一种信息推荐方法、装置、电子设备及存储介质 | |
CN111461757B (zh) | 信息处理方法及装置、计算机存储介质、电子设备 | |
Hao et al. | How do Mainland Chinese tourists perceive Hong Kong in turbulence? A deep learning approach to sentiment analytics | |
CN113032676B (zh) | 基于微反馈的推荐方法和*** | |
Sun et al. | Ta4rec: Recurrent neural networks with time attention factors for session-based recommendations | |
CN116861913A (zh) | 基于gpt大模型的立场检测方法及相关设备 | |
CN110399617A (zh) | 审计数据处理方法、***和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |