CN111813899A - 基于多轮会话的意图识别方法及装置 - Google Patents

基于多轮会话的意图识别方法及装置 Download PDF

Info

Publication number
CN111813899A
CN111813899A CN202010892094.3A CN202010892094A CN111813899A CN 111813899 A CN111813899 A CN 111813899A CN 202010892094 A CN202010892094 A CN 202010892094A CN 111813899 A CN111813899 A CN 111813899A
Authority
CN
China
Prior art keywords
vector
vectors
information
sentence
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010892094.3A
Other languages
English (en)
Inventor
吴俊江
雷植程
童丽霞
杨念民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010892094.3A priority Critical patent/CN111813899A/zh
Publication of CN111813899A publication Critical patent/CN111813899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于多轮会话的意图识别方法及装置。其中，该方法包括：将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量；根据预先确定的标签矩阵对M个句向量进行注意力编码操作，得到第一会话向量；对M个句向量进行门控循环单元GRU编码，得到第二会话向量；根据预设的多个卷积核对M个句向量进行卷积操作，得到第三会话向量；根据第一会话向量、第二会话向量以及第三会话向量，确定多轮会话的意图信息。本发明解决了多轮问题的用户意图识别准确率低的技术问题。

Description

基于多轮会话的意图识别方法及装置
技术领域
本发明涉及计算机领域，具体而言，涉及一种基于多轮会话的意图识别方法及装置。
背景技术
在智能客服实践中发现用户描述通常会有表述模糊、分句描述、涉及多意图、意图随会话进行而改变等诸多问题。
目前对于多轮意图识别应用方面通常是多轮会话拼接后的单轮文本分类以及单一的特征提取编码方式，通过单层的文本分类算法如传LSTM、CNN识别用户意图。然而在多轮分类任务中，每轮的问题间存在关联性，并且每轮的问题有着不同的重要程度。单层的结构无法学习每轮问题间的关联性特征和重要性，并不适合于多轮分类任务。从而导致给用户推送错误答案，导致用户体验较差的问题。
针对相关技术中，多轮问题的用户意图识别准确率低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于多轮会话的意图识别方法及装置，以至少解决多轮问题的用户意图识别准确率低的技术问题。
根据本发明实施例的一个方面，提供了一种基于多轮会话的意图识别方法，包括：将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，所述M为大于1的自然数；根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，其中，所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。
根据本发明实施例的另一方面，还提供了一种基于多轮会话的意图识别装置，包括：转换模块，用于将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，所述M为大于1的自然数；操作模块，用于根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，其中，所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；编码模块，用于对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；卷积模块，用于根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；确定模块，用于根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述基于多轮会话的意图识别方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的基于多轮会话的意图识别方法。
在本发明实施例中，通过将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，根据预先确定的标签矩阵对M个句向量进行注意力编码操作，得到第一会话向量，第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；对M个句向量进行门控循环单元GRU编码，得到第二会话向量，第二会话向量用于表示所述多轮会话的全局会话信息；根据预设的多个卷积核对M个句向量进行卷积操作，得到第三会话向量，第三会话向量用于表示多轮会话的局部会话信息，根据第一会话向量、第二会话向量以及第三会话向量，确定多轮会话的意图信息。由于在本申请中结合了多轮会话中每轮会话的意图信息，多轮会话的全局会话信息和局部会话信息，达到了综合考虑多虑会话间的关联性和重要性的目的，从而实现了提高多轮问题的用户意图识别准确率的技术效果，进而解决了多轮问题的用户意图识别准确率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的基于多轮会话的意图识别方法的应用环境的示意图；
图2是根据本发明实施例的基于多轮会话的意图识别方法的流程图；
图3是根据本发明实施例的一种可选的客户端获取多轮问题的示意图；
图4是根据本发明实施例的一种可选的多轮意图识别模型结构示意图；
图5是根据本发明实施例的一种可选的字词联合结构示意图；
图6是根据本发明实施例的一种可选的LEAM结构示意图；
图7是根据本发明实施例的一种可选的点选界面示意图；
图8是根据本发明实施例的一种可选的基于多轮会话的意图识别装置的结构示意图；
图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种基于多轮会话的意图识别方法，可选地，作为一种可选的实施方式，上述基于多轮会话的意图识别方法可以但不限于应用于如图1所示的环境中。
可选地，在本实施例中，上述用户设备可以是配置有目标客户端的终端设备，可以包括但不限于以下至少之一：手机（如Android手机、iOS手机等）、笔记本电脑、平板电脑、掌上电脑、MID（Mobile Internet Devices，移动互联网设备）、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端、购物客户端等。上述网络可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
可选地，作为一种可选的实施方式，如图2所示，上述基于多轮会话的意图识别方法包括：
步骤S202，将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，所述M为大于1的自然数；
步骤S204，根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量；
步骤S206，对所述M个句向量进行GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；
步骤S208，根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；
步骤S210，根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。
作为一个可选的实施方式，可以通过客户端获取M轮问题信息，客户端可以是购物客户端、教育客户端等。图3是根据本发明实施例的一种可选的客户端获取多轮问题的示意图，用户可以在客户端会话界面与客服进行会话，会话的内容可以是多轮会话，每轮会话中可以包括一个问题，也可以包括多个问题。在本实施例中，用户可以通过账号登陆客户端进行会话，会话的对象可以是客户端智能助手或客服人员。意图可以用于表示问题主要表达的主题，用户所要咨询的主要内容。例如，对于问题“身高170体重55公斤，这件衣服需要拍哪个号”，该问题的主要意图是咨询码数。对于“什么时候可以发货”，该问题的主要意图是发货时间。在实际的生活场景中，同一个用户可能一次性会咨询多个问题，多个问题可能分别表示不同的意图，也有可能多个问题均表示同一种意图，多个问题之间可能存在一定的关联性。例如“这个订单发货了吗”“没发货的话可以换个颜色吗”“要红色吧”，这几个问题单独的意图分别表示发货、换货、颜色。多轮问题之间是存在一定关联性的，单独的分析结果并不准确，由此为用户推送的答案可能并不是用户想要咨询的答案。在本申请中，可以将这三个问题作为全局进行分析，不但可以分析出每个问题单独的意图，还将多轮问题作为整体进行分析，将多轮问题的全局信息和局部信息作为依据，可以提高意图识别的准确性，使得推送的答案更加准确，满足用户的需求。
作为一个可选的实施方式，异质图神经网络（Hierarchical AttentionNetworks，简称HAN），是一种层次化的篇章文本分类模型，通过文本的结构进行分析，可以在词级别和句级别上使用双向门控循环单元GRU和Attention机制，分别对单词在句子中和句子在文档中的重要性进行建模。本申请通过HAN的分层架构，可以对用户会话这种层次结构的数据进行编码。同时模型采取了三种编码器，具有更好的全局、局部特征捕获能力。并且利用LEAM中的标签矩阵将单轮意图识别结构标签化，增强模型识别能力。
作为一个可选的实施方式，图4是根据本发明实施例的一种可选的多轮意图识别 模型结构示意图。在本实施例中，多轮意图识别模型中包括句编码层和会话编码层。句编码 层用于将获取到的多轮问题转化成句向量句编码层中用于将M轮问题信息中的每轮问题信 息的词向量转换为句向量。对输入的字和词进行向量化得到词向量输入特征
Figure 791043DEST_PATH_IMAGE001
，其中，M表示会话的轮数，n表示每轮问题中包括的词 语的数量。
为了缓解未登陆词向量问题（Out of vocabulary，简称OOV），以及获得部分字粒 度的优势，模型采取字词联合的结构。图5是根据本发明实施例的一种可选的字词联合结构 示意图。在字词联合结构中，将每轮问题出现的字组成字组，假设字组为
Figure 442604DEST_PATH_IMAGE002
。 其中，每个字组
Figure 956762DEST_PATH_IMAGE003
，其中，
Figure 820812DEST_PATH_IMAGE004
，
Figure 369605DEST_PATH_IMAGE005
是每个为每个字组中字的个数，
Figure 926489DEST_PATH_IMAGE005
是 大于或等于1的整数，
Figure 927943DEST_PATH_IMAGE005
的具体取值可以根据实际情况而定，例如可以是2、3、4、5等，总共有 n个字组，n为每句中词的个数。依次输入字组中的每个字对每个字进行维度为d的随机向量 化，d是自然数，可以根据实际情况而定。随后进行2层的Transformer编码器进行字向量编 码以及Mean-pool组合得到最终的字组向量
Figure 611996DEST_PATH_IMAGE006
。
对每轮问题中出现的词向量
Figure DEST_PATH_IMAGE007
进行维度为d的随机向量化或者预训练词向量向量 化，预训练词向量可以采用ngram2vec方式对领域语料进行训练得到对应的词向量，该词向 量在训练时考虑到了ngram特征，效果比基准的CBOW和Skip-gram模型效果更好。随后将该 词向量与字组向量
Figure 749716DEST_PATH_IMAGE008
进行加和操作，得到最终的输入词向量
Figure 477501DEST_PATH_IMAGE009
。假设多轮问 题的句子组为
Figure 966251DEST_PATH_IMAGE010
，其中，M为轮数，使用四层的 堆叠的Transformer编码器以及self-attention模块，得到句子编码层的句子输出向量
Figure 695490DEST_PATH_IMAGE013
。
会话编码层用于对得到的m个句向量
Figure 843443DEST_PATH_IMAGE014
进行三个编码器的多种特征提取 操作：一是基于LEAM的标签-句向量Attention操作；二是双向的GRU操作，用于获取全局信 息；三是提取局部特征的多种卷积核CNN编码器。
其中，基于LEAM的标签-句向量Attention操作可以将句向量转化成第一会话向量，第一会话向量可以表示多轮问题中每个单轮问题的意图信息。句编码层可以得到单轮问题中用户所表达的意图。结合单论问题的意图信息可以得到多轮问题中的局部特征，基于局部特征得到的用户意图更加准确。
其中，双向的GRU操作将多轮问题作为一个整体进行分析，GRU编码可以结合多轮问题中每个问题之间的上下文关联性，通过双向的GRU可以得到多轮问题的全局会话信息。由于第二会话向量中结合了多轮问题之间的关联性，可以得到问题之间的外部信息，通过得到的关联信息可以避免用户在多轮问题中由于问题的重复、模糊带来的用户意图识别准确率低的问题。在本实施例中，由于通过GRU编码将多轮会话作为一个整体，考虑了多轮会话之间的关联性，可以提高多轮会话意图识别的准确性。
其中，提取局部特征的多种卷积核CNN编码器卷，可以通过不同卷积核大小对多轮问题进行卷积操作，获取到多轮问题的局部特征，由于第三会话向量中包括了多轮会话的局部信息，可以通过局部信息准确的定位出用户的真实意图。
作为一个可选的实施方式，多轮意图识别模型中的句编码层可以将获取到的多轮问题转化成句向量。会话编码层可以基于LEAM的标签-句向量Attention操作得到每轮问题的会话意图，双向的GRU操作将多轮问题作为一个会话整体，可以获取到多轮会话之间的上下文关联性。通过多种卷积核CNN编码器可以获取多轮会话中的局部信息。结合多轮会话中每轮会话的会话意图，以及多轮会话的全局信息和局部信息，通过多轮意图识别模型中的全连接层可以得到多轮问题所表示的用户的真实意图。通过上述步骤，由于在本是申请中，同时考虑了多轮问题中每轮问题的意图信息，以及多轮问题的全局信息和局部信息。综合考虑了单轮问题的意图，以及会话的全局和局部信息。具有全局、局部特征捕获能力，增强模型识别能力。达到了提高多轮会话意图识别准确率的技术效果。
可选地，所述根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，包括：对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作，得到M个注意力取值；对所述M个注意力取值进行归一化操作，得到M个归一化取值；根据所述M个句向量与所述M个归一化取值，确定所述第一会话向量。
作为一个可选的实施方式，会话编码层可以通过如下方式实现，基于LEAM的标签- 句向量Attention操作。如图6所示是根据本发明一个可选实施例的LEAM结构示意图。在 LEAM结构中对标签组
Figure 819490DEST_PATH_IMAGE015
进行随机向量化，得到标签矩阵
Figure 829034DEST_PATH_IMAGE016
，其中 L为标签个数，d为标签向量维度，d可以与句子向量维度一致。在本实施例中标签矩阵中的 每个标签向量对应的标签用于表示一种意图类别，例如，“退货”“包邮”“发货时间”等意图。 对标签矩阵和句向量组做乘积、Relu激活函数以及max-pooling操作，得到一个长度为M的 句向量组的注意力取值attention score，最后对该注意力取值attention score做 softmax归一化操作得到归一化取值
Figure 206926DEST_PATH_IMAGE017
，最后
Figure 276513DEST_PATH_IMAGE018
与句向量组分别乘法得 到第一会话向量。
可选地，所述对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作，得到M个注意力取值，包括：使用目标激活函数对所述标签矩阵与所述M个句向量的乘积执行目标激活操作，得到M个激活向量，其中，所述M个激活向量中的每个激活向量用于表示所述M个句向量中的一个句向量与所述标签矩阵中的每个标签的匹配概率，所述标签矩阵中的每个标签用于表示多个意图类别中的一个意图类别；对所述M个激活向量执行目标池化操作，得到所述M个注意力取值，其中，所述目标池化操作用于在所述M个激活向量中的每个激活向量中选取最大的匹配概率，所述M个注意力取值中的每个注意力取值为所述M个激活向量中对应的激活向量中最大的匹配概率。
作为一个可选的实施方式，目标激活函数可以是Relu激活函数，使用激活函数对句向量进行激活得到M个激活向量，每个激活向量用于表示句向量与标签的匹配概率。在本实施例中，假设M个句子向量中的一个句向量为句向量1，标签矩阵为[a，b，c，d]，其中，a，b，c，d用于表示标签对应的向量值。a，b，c，d对应于a，b，c，d四种意图，通过激活函数对标签举着与句向量的乘积进行激活，可以得到句向量中每个句向量对应的句子与a，b，c，d四种意图之间的匹配概率。
作为一个可选的实施方式，目标池化操作可以是max-pooling操作，在对句向量执行激活操作后，得到句向量中每个句向量对应的句子与a，b，c，d四种意图类别之间的匹配概率。通过max-pooling操作可以选取出匹配概率最大的标签作为该句向量所表示的意图。在本实施例中，假设向量1与标签矩阵为[a，b，c，d]执行激活操作后得到的激活向量为[0.4，0.3，0.1，0.8]，其中，0.4，0.3，0.1，0.8分别表示句向量1与a，b，c，d标签的匹配概率。由于0.8为最大值，则确定0.8为句向量1对应的注意力取值attention score。在本实施例中，通过对标签矩阵和句向量的乘积执行激活操作和池化操作，可以得到每个句向量的意图信息，由于本申请考虑的每轮问题的意图，可以增加对多轮问题意图识别的准确性，达到提高意图识别准确率的技术效果。
可选地，所述根据所述M个句向量与所述M个归一化取值，确定所述第一会话向量，包括：将所述第一会话向量确定为：
Figure 739855DEST_PATH_IMAGE019
其中，
Figure 553090DEST_PATH_IMAGE020
表示所述第一会话向量，表示所述M个归一化取值中的第i 个归一化取值，
Figure 39359DEST_PATH_IMAGE023
表示所述M个句向量中的第i个句向量。
作为一个可选的实施方式，可以通过公式
Figure 724418DEST_PATH_IMAGE024
得到第一会 话向量，例如，用户的多轮问题中包括“这件衣服码数准吗，我要拍什么码”“这都几天了，怎 么还没有物流信息，什么时候发货”、“客服人去哪了，怎么还不发货”。在本实施例中得到的 第一会话向量可以综合考虑上述问题中的每个用户意图。例如，“这件衣服码数准吗，我要 拍什么码”，用户的意图是咨询号码。“这都几天了，怎么还没有物流信息，什么时候发货”， 用户的意图是咨询发货时间。在本实施例中，由于第一会话向量中考虑了多轮问题中每轮 问题的意图信息，可以更准确的确定出用户在每轮问题的意图，达到精准确定用户在多轮 问题中每轮问题的意图。
可选地，所述对所述M个注意力取值进行归一化操作，得到M个归一化取值，包括： 对所述M个注意力取值进行Softmax归一化操作，得到所述M个归一化取值
Figure 341344DEST_PATH_IMAGE018
，
Figure 428249DEST_PATH_IMAGE025
。
作为一个可选的实施方式，Softmax函数是归一化指数函数，Softmax函数可以将任意实数映射到0到1的区间内，可以表示句向量对应意图类别的概率。
可选地，所述对所述M个句向量进行GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息，包括：对所述M个句向量进行GRU编码，得到M个目标编码向量；将所述M个目标编码向量输入自注意self-attention层，通过所述self-attention层为所述M个句向量中的每个句向量分配权重，并将分配权重的M个句向量执行求和操作，得到所述第二会话向量。
作为一个可选的实施方式，为获取全局的会话信息，可以构建一个双向的GRU层对 句向量组
Figure 839639DEST_PATH_IMAGE026
，
Figure 11994DEST_PATH_IMAGE027
进GRU编码，得到M个目标编码向量。在本实施例中，由于 双向的GRU可以结合多轮问题中每轮问题之间的关联性，可以得到问题之间的关联特征，结 合多轮问题之间的关联特征可以得到多轮问题的全局信息，例如，“这都几天了，怎么还没 有物流信息，什么时候发货”、“客服人去哪了，怎么还不发货”是用户询问的前后两个问题， 这两个问题之间是具有关联性的，用户的意图是咨询发货时间，这两个问题关联的特征为 希望客服即时回复。
作为一个可选的实施方式，在得到M个目标编码向量后，将M个目标编码向量输入 自注意self-attention层，self-attention层自带权重，可以为每个目标编码向量分配权 重
Figure 167032DEST_PATH_IMAGE028
。在本实施例中，权重可以对会话中点选进行权重限制。例如可以对点选 的问题进行权重限制，也可以对重复问题进行权重限制。
作为一个可选的实施方式，如图7所示是根据本发明一个可选实施例的点选界面 示意图。其中，用户可以在“我想”后的“服务评价”“订单查询”“优惠券”中点选想要咨询的 问题。由于终端屏幕的尺寸限制，只能显示部分点选标识，用于可以通过左右滑动点选区域 在界面中显示其他点选标识，进而选取用户想要咨询的问题。在本实施例中，可以将点选的 attention 权重限制在0.5以下，经self-attention层后得到第二会话向量
Figure 623290DEST_PATH_IMAGE029
。
作为一个可选的实施方式，用户可能将同一个问题输入多遍，出现重复问题的情况。例如用户连续输入同一个问题，同一个问题所表达的意图是相同的，并且同一个问题之间并不存在关联信息。可以将重复问题的权重限制在0.5以下。例如，用户连续输入“什么时候发货”多遍，形成多轮问题信息，但是这多轮问题信息均是同一个问题，多轮问题之间并不存在关联性，仅分析一个问题信息的意图即可。因此，可以将重复的问题的权重值进行限制。
可选地，所述根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，包括：使用P个不同大小的卷积核分别对所述M个句向量执行卷积操作，得到P组特征图；通过self-attention层，将所述P组特征图转化成P组特征向量，并获取与所述P组特征向量一一对应的权重值；在所述P组特征向量中选取出权重值大于预设阈值的多个目标特征向量；将所述多个目标特征向量的组合确定为所述第三会话向量。
作为一个可选的实施方式，为获取局部的会话信息，可以构建一个多卷积核的CNN 特征提取层，使用不同大小的卷积核对M个句向量进行卷积操作。在本实施例中，可以使用 卷积核大小分别为
Figure 471160DEST_PATH_IMAGE030
四种卷积核对M个句向量进行卷积操作可以 得到多张特征图。每个卷积核对应得到一组特征图。将得到的特征图输入self-attention 层，可以将特征图转化成特征向量，并为每个特征向量分配权重。选取出权重值大于预设阈 值的特征向量，进行组合得到第三会话向量
Figure 130812DEST_PATH_IMAGE031
。
可选地，所述根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息，包括：将所述第一会话向量、所述第二会话向量以及所述第三会话向量拼接为目标分类向量；将所述目标分类向量输入到目标全连接层，得到目标分类结果；根据所述目标分类结果确定所述多轮会话的意图信息。
作为一个可选的实施方式，在得到三种会话向量后，将向量进行拼接得到分类向 量
Figure 89540DEST_PATH_IMAGE032
随后经全连接层得到分类的logit，
Figure 885458DEST_PATH_IMAGE033
，其中，
Figure 904230DEST_PATH_IMAGE034
Figure 51177DEST_PATH_IMAGE035
。对
Figure 813597DEST_PATH_IMAGE036
和真实会话意图标签经交叉熵损失函数得到的 分类损失值
Figure 214754DEST_PATH_IMAGE037
。将
Figure DEST_PATH_IMAGE038
看做一个输出向量，做一层如
Figure 873268DEST_PATH_IMAGE036
操作的全连接层，得到标签loss的类别值
Figure 507512DEST_PATH_IMAGE039
，然后与标签的one-hot 编码做交叉熵得到标签的损失值
Figure 808043DEST_PATH_IMAGE040
。将
Figure 844132DEST_PATH_IMAGE041
和
Figure 939127DEST_PATH_IMAGE042
进行加和 得到最终的loss值，并根据loss值进行梯度优化，更新模型参数。
可选地，所述根据所述目标分类结果确定所述多轮会话的意图信息，包括：对所述目标分类结果进行Softmax归一化操作，得到多个意图类别中的每个意图类别的概率，其中，所述目标分类结果用于表示在所述多个意图类别中的每个意图类别上的类别取值；将所述多轮会话的意图信息确定为包括所述多个意图类别中的目标意图类别，其中，所述目标意图类别是所述多个意图类别中所述概率最大的意图类别。
作为一个可选的实施方式，在模型预测会话意图时，输入时整个会话的问题列表， 输出时将
Figure 309934DEST_PATH_IMAGE036
进行Softmax归一化操作，得到当前会话对应的每个意图类别的概率，选 择最大概率的意图为当前会话的会话意图。通过本申请能够实现多轮意图识别，确定会话 意图，为智能客服上下文问答提供支撑。本申请中层次化编码器的多轮意图识别模型，能够 提取每轮问题的意图信息，多轮问题的全局信息和局部信息等多种特征信息，从而提升多 轮意图识别准确率。
可选地，在所述将M轮问题信息中的每轮问题信息的词向量转换为句向量之前，所述方法包括：对所述M轮问题信息中的每轮问题信息执行以下操作，得到每轮问题信息的词向量，其中，在执行以下操作的过程中，所述每轮问题信息被视为当前问题信息：在所述当前问题信息为所述M轮问题信息中的第i轮问题信息时，对所述当前问题信息进行分词处理，得到Ni个词语，其中，Ni为自然数；对所述Ni个词语中的每个词语进行向量化操作，得到Ni个第一词向量；对所述Ni个词语中的每个词语进行拆字操作，得到Ni组字；对所述Ni组字中的每个字进行向量化操作，得到Ni组字向量；对所述Ni组字向量中的每组字向量进行组合，得到Ni个第二词向量；将所述Ni个第一词向量和所述Ni个第二词向量分别进行加和，得到所述Ni个词语对应的Ni个词向量，其中，所述当前问题信息的词向量包括所述Ni个词向量。
作为一个可选的实施方式，多轮问题中的每轮问题进行分词处理，对于M轮问题中 的每轮问题：
Figure 414157DEST_PATH_IMAGE043
，其中n为句子中词的个数，M为 会话轮数。WE用于表示每轮问题中的词语，将每轮问题进行词语拆分，拆分成
Figure 773594DEST_PATH_IMAGE044
个词语，对词
Figure 305069DEST_PATH_IMAGE045
进行维度为d的随机向量化,或者预训练词向量向量化， 预训练词向量采用ngram2vec方式对领域语料进行训练得到对应的词向量，该词向量在训 练时考虑到了ngram特征，效果比基准的CBOW和Skip-gram模型效果更好，以此得到每轮问 题中包括的每个词语的第一词向量。为了缓解OOV问题以及获得部分字粒度的优势，模型采 取字词联合的结构。具体地，可以将每轮问题拆分出的每个词语进一步进行字拆分，通过维 度为d的随机向量化得到每个词语对应的每个字的字向量；随后进行2层的Transformer编 码器进行字向量编码以及Mean-pool组合得到最终的字组向量第二词向量，将该词语的第 一词向量和第二词向量进行加和操作，可以得到该词语的词向量。
作为一个可选的实施方式，假设对于M轮问题信息中的一轮问题信息是“什么时候发货”分词处理后得到“什么”“时候”“发货”这三组词语，通过随机向量化或者预训练词向量向量化可以得到这三个词语每个词语的第一词向量。以这三个词语中的“发货”为例，假设通过随机向量化得到“发货”的第一词向量为“01”。将词语“发货”进行字拆分操作，拆分成“发”和“货”两个字，通过随机向量化分别得到“发”的字向量为“1”，“货”的字向量为“0”，将两个字向量进行组合得到“发货”的第二词向量为“10”。将第一词向量“01”和第二词向量“10”进行加和，得到“发货”的词向量为“11”。在本实施例中，通过词向量和字组向量的联合，可以体现字粒度的优势，使得意图识别准确率更高。
可选地，所述将M轮问题信息中的每轮问题信息的词向量转换为句向量，包括：对所述M轮问题信息中的每轮问题信息执行以下操作，得到每轮问题信息的词向量，其中，在执行以下操作的过程中，所述每轮问题信息被视为当前问题信息：在所述当前问题信息为所述M轮问题信息中的第i轮问题信息时，将所述当前问题信息的词向量中包括的所述Ni个词向量进行加权求和，得到所述当前问题信息的句向量。
作为一个可选的实施方式，对于M轮问题信息中的每轮问题信息得到词向量之后，通过加权求和可以得到每轮问题信息对应的句向量。在本实施例中，假设对于问题信息“什么时候发货”中“什么”“时候”“发货”分别对应的词向量为“01”“11”“10”可以直接将三个词向量求和得到该问题信息的句向量“110”。或者为三个词向量分配权重，权重的大小可以根据词语的重要程度确定，例如，对于“发货”的重要程度较高，所分配的权重更大，“什么”的重要程度较低，可以分配更小的权重。假设，“什么”分配的权重为0，“11”“10”分配的权重均为1，则得到该问题信息得到句向量为“101”。在本实施例中，通过为每轮问题信息中的词向量分配权重后得到对应的句向量，可以去除问题信息中冗余的信息，保留重要的信息，提高意图识别的准确率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述基于多轮会话的意图识别方法的基于多轮会话的意图识别装置。如图8所示，该装置包括：转换模块82，用于将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，所述M为大于1的自然数；操作模块84，用于根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，其中，所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；编码模块86，用于对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；卷积模块88，用于根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；确定模块810，用于根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。
可选地，所述操作模块，包括：第一操作单元，用于对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作，得到M个注意力取值；第二操作单元，用于对所述M个注意力取值进行归一化操作，得到M个归一化取值；确定单元，用于根据所述M个句向量与所述M个归一化取值，确定所述第一会话向量。
可选地，上述装置用于通过如下方式实现所述对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作，得到M个注意力取值：使用目标激活函数对所述标签矩阵与所述M个句向量的乘积执行目标激活操作，得到M个激活向量，其中，所述M个激活向量中的每个激活向量用于表示所述M个句向量中的一个句向量与所述标签矩阵中的每个标签的匹配概率，所述标签矩阵中的每个标签用于表示多个意图类别中的一个意图类别；对所述M个激活向量执行目标池化操作，得到所述M个注意力取值，其中，所述目标池化操作用于在所述M个激活向量中的每个激活向量中选取最大的匹配概率，所述M个注意力取值中的每个注意力取值为所述M个激活向量中对应的激活向量中最大的匹配概率。
可选地，上述装置用于通过如下方式实现所述根据所述M个句向量与所述M个归一化取值，确定所述第一会话向量：将所述第一会话向量确定为：
Figure 648326DEST_PATH_IMAGE046
其中，
Figure 556239DEST_PATH_IMAGE020
表示所述第一会话向量，
Figure 301341DEST_PATH_IMAGE047
表示所述M个归一化取值中的第i 个归一化取值，
Figure 751521DEST_PATH_IMAGE023
表示所述M个句向量中的第i个句向量。
可选地，上述装置用于通过如下方式实现所述对所述M个注意力取值进行归一化 操作，得到M个归一化取值：对所述M个注意力取值进行Softmax归一化操作，得到所述M个归 一化取值
Figure 582074DEST_PATH_IMAGE018
，
Figure 28098DEST_PATH_IMAGE025
。
可选地，上述装置用于通过如下方式实现所述对所述M个句向量进行GRU编码，得到第二会话向量：对所述M个句向量进行GRU编码，得到M个目标编码向量；将所述M个目标编码向量输入自注意self-attention层，通过所述self-attention层为所述M个句向量中的每个句向量分配权重，并将分配权重的M个句向量执行求和操作，得到所述第二会话向量。
可选地，上述装置用于通过如下方式实现所述根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量：使用P个不同大小的卷积核分别对所述M个句向量执行卷积操作，得到P组特征图；通过self-attention层，将所述P组特征图转化成P组特征向量，并获取与所述P组特征向量一一对应的权重值；在所述P组特征向量中选取出权重值大于预设阈值的多个目标特征向量；将所述多个目标特征向量的组合确定为所述第三会话向量。
可选地，上述装置用于通过如下方式实现所述根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息：将所述第一会话向量、所述第二会话向量以及所述第三会话向量拼接为目标分类向量；将所述目标分类向量输入到目标全连接层，得到目标分类结果；根据所述目标分类结果确定所述多轮会话的意图信息。
可选地，上述装置用于通过如下方式实现所述根据所述目标分类结果确定所述多轮会话的意图信息：对所述目标分类结果进行Softmax归一化操作，得到多个意图类别中的每个意图类别的概率，其中，所述目标分类结果用于表示在所述多个意图类别中的每个意图类别上的类别取值；将所述多轮会话的意图信息确定为包括所述多个意图类别中的目标意图类别，其中，所述目标意图类别是所述多个意图类别中所述概率最大的意图类别。
可选地，上述装置还用于在所述将M轮问题信息中的每轮问题信息的词向量转换为句向量之前，对所述M轮问题信息中的每轮问题信息执行以下操作，得到每轮问题信息的词向量，其中，在执行以下操作的过程中，所述每轮问题信息被视为当前问题信息：在所述当前问题信息为所述M轮问题信息中的第i轮问题信息时，对所述当前问题信息进行分词处理，得到Ni个词语，其中，Ni为自然数；对所述Ni个词语中的每个词语进行向量化操作，得到Ni个第一词向量；对所述Ni个词语中的每个词语进行拆字操作，得到Ni组字；对所述Ni组字中的每个字进行向量化操作，得到Ni组字向量；对所述Ni组字向量中的每组字向量进行组合，得到Ni个第二词向量；将所述Ni个第一词向量和所述Ni个第二词向量分别进行加和，得到所述Ni个词语对应的Ni个词向量，其中，所述当前问题信息的词向量包括所述Ni个词向量。
可选地，上述装置还用于通过如下方式实现所述将M轮问题信息中的每轮问题信息的词向量转换为句向量：对所述M轮问题信息中的每轮问题信息执行以下操作，得到每轮问题信息的词向量，其中，在执行以下操作的过程中，所述每轮问题信息被视为当前问题信息：在所述当前问题信息为所述M轮问题信息中的第i轮问题信息时，将所述当前问题信息的词向量中包括的所述Ni个词向量进行加权求和，得到所述当前问题信息的句向量。
根据本发明实施例的又一个方面，还提供了一种用于实施上述基于多轮会话的意图识别方法的电子设备，该电子设备可以是图1所示的终端设备或服务器。本实施例以该电子设备为服务器为例来说明。如图9所示，该电子设备包括存储器902和处理器904，该存储器902中存储有计算机程序，该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，所述M为大于1的自然数；
S2，根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，其中，所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；
S3，对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；
S4，根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；
S5，根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图9其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图9中所示更多或者更少的组件（如网络接口等），或者具有与图9所示不同的配置。
其中，存储器902可用于存储软件程序以及模块，如本发明实施例中的基于多轮会话的意图识别方法和装置对应的程序指令/模块，处理器904通过运行存储在存储器902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的基于多轮会话的意图识别方法。存储器902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器902可进一步包括相对于处理器904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器902具体可以但不限于用于存储M轮问题信息等信息。作为一种示例，如图9所示，上述存储器902中可以但不限于包括上述基于多轮会话的意图识别装置中的转换模块82、操作模块84、编码模块86、卷积模块88及确定模块810。此外，还可以包括但不限于上述基于多轮会话的意图识别装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置906包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置906为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器908，用于显示上述M轮问题信息；和连接总线910，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式***中的一个节点，其中，该分布式***可以为区块链***，该区块链***可以是由该多个节点通过网络通信的形式连接形成的分布式***。其中，节点之间可以组成点对点（P2P，Peer To Peer）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链***中的一个节点。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，所述M为大于1的自然数；
S2，根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，其中，所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；
S3，对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；
S4，根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；
S5，根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种基于多轮会话的意图识别方法，其特征在于，包括：
将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，M为大于1的自然数；
根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，其中，所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；
对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；
根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；
根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。
2.根据权利要求1所述的方法，其特征在于，所述根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，包括：
对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作，得到M个注意力取值；
对所述M个注意力取值进行归一化操作，得到M个归一化取值；
根据所述M个句向量与所述M个归一化取值，确定所述第一会话向量。
3.根据权利要求2所述的方法，其特征在于，所述对所述标签矩阵与所述M个句向量的乘积进行第一注意力编码操作，得到M个注意力取值，包括：
使用目标激活函数对所述标签矩阵与所述M个句向量的乘积执行目标激活操作，得到M个激活向量，其中，所述M个激活向量中的每个激活向量用于表示所述M个句向量中的一个句向量与所述标签矩阵中的每个标签的匹配概率，所述标签矩阵中的每个标签用于表示多个意图类别中的一个意图类别；
对所述M个激活向量执行目标池化操作，得到所述M个注意力取值，其中，所述目标池化操作用于在所述M个激活向量中的每个激活向量中选取最大的匹配概率，所述M个注意力取值中的每个注意力取值为所述M个激活向量中对应的激活向量中最大的匹配概率。
4.根据权利要求2所述的方法，其特征在于，所述根据所述M个句向量与所述M个归一化取值，确定所述第一会话向量，包括：
将所述第一会话向量确定为：
Figure 380413DEST_PATH_IMAGE001
其中，
Figure 31974DEST_PATH_IMAGE002
表示所述第一会话向量，表示所述M个归一化取值中的第i个 归一化取值，
Figure 675762DEST_PATH_IMAGE004
表示所述M个句向量中的第i个句向量。
5.根据权利要求2所述的方法，其特征在于，所述对所述M个注意力取值进行归一化操作，得到M个归一化取值，包括：
对所述M个注意力取值进行Softmax归一化操作，得到所述M个归一化取值
Figure 224555DEST_PATH_IMAGE005
，
Figure 30706DEST_PATH_IMAGE006
。
6.根据权利要求1所述的方法，其特征在于，所述对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息，包括：
对所述M个句向量进行门控循环单元GRU编码，得到M个目标编码向量；
将所述M个目标编码向量输入自注意self-attention层，通过所述self-attention层为所述M个句向量中的每个句向量分配权重，并将分配权重的M个句向量执行求和操作，得到所述第二会话向量。
7.根据权利要求1所述的方法，其特征在于，所述根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，包括：
使用P个不同大小的卷积核分别对所述M个句向量执行卷积操作，得到P组特征图；
通过self-attention层，将所述P组特征图转化成P组特征向量，并获取与所述P组特征向量一一对应的权重值；
在所述P组特征向量中选取出权重值大于预设阈值的多个目标特征向量；
将所述多个目标特征向量的组合确定为所述第三会话向量。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息，包括：
将所述第一会话向量、所述第二会话向量以及所述第三会话向量拼接为目标分类向量；
将所述目标分类向量输入到目标全连接层，得到目标分类结果；
根据所述目标分类结果确定所述多轮会话的意图信息。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标分类结果确定所述多轮会话的意图信息，包括：
对所述目标分类结果进行Softmax归一化操作，得到多个意图类别中的每个意图类别的概率，其中，所述目标分类结果用于表示在所述多个意图类别中的每个意图类别上的类别取值；
将所述多轮会话的意图信息确定为包括所述多个意图类别中的目标意图类别，其中，所述目标意图类别是所述多个意图类别中概率最大的意图类别。
10.根据权利要求1所述的方法，其特征在于，在所述将M轮问题信息中的每轮问题信息的词向量转换为句向量之前，所述方法包括：
对所述M轮问题信息中的每轮问题信息执行以下操作，得到每轮问题信息的词向量，其中，在执行以下操作的过程中，所述每轮问题信息被视为当前问题信息：
在所述当前问题信息为所述M轮问题信息中的第i轮问题信息时，对所述当前问题信息进行分词处理，得到Ni个词语，其中，Ni为自然数；
对所述Ni个词语中的每个词语进行向量化操作，得到Ni个第一词向量；
对所述Ni个词语中的每个词语进行拆字操作，得到Ni组字；对所述Ni组字中的每个字进行向量化操作，得到Ni组字向量；对所述Ni组字向量中的每组字向量进行组合，得到Ni个第二词向量；
将所述Ni个第一词向量和所述Ni个第二词向量分别进行加和，得到所述Ni个词语对应的Ni个词向量，其中，所述当前问题信息的词向量包括所述Ni个词向量。
11.根据权利要求10所述的方法，其特征在于，所述将M轮问题信息中的每轮问题信息的词向量转换为句向量，包括：
对所述M轮问题信息中的每轮问题信息执行以下操作，得到每轮问题信息的词向量，其中，在执行以下操作的过程中，所述每轮问题信息被视为当前问题信息：
在所述当前问题信息为所述M轮问题信息中的第i轮问题信息时，将所述当前问题信息的词向量中包括的所述Ni个词向量进行加权求和，得到所述当前问题信息的句向量。
12.一种基于多轮会话的意图识别装置，其特征在于，包括：
转换模块，用于将M轮问题信息中的每轮问题信息的词向量转换为句向量，得到M个句向量，其中，所述M轮问题信息为多轮会话中由用户帐号产生的问题信息，M为大于1的自然数；
操作模块，用于根据预先确定的标签矩阵对所述M个句向量进行注意力编码操作，得到第一会话向量，其中，所述第一会话向量用于表示所述M个句向量中的每个句向量的意图信息；
编码模块，用于对所述M个句向量进行门控循环单元GRU编码，得到第二会话向量，其中，所述第二会话向量用于表示所述多轮会话的全局会话信息；
卷积模块，用于根据预设的多个卷积核对所述M个句向量进行卷积操作，得到第三会话向量，其中，所述第三会话向量用于表示所述多轮会话的局部会话信息；
确定模块，用于根据所述第一会话向量、所述第二会话向量以及所述第三会话向量，确定所述多轮会话的意图信息。
13.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序可被终端设备或计算机运行时执行所述权利要求1至11任一项中所述的方法。
14.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至11任一项中所述的方法。
CN202010892094.3A 2020-08-31 2020-08-31 基于多轮会话的意图识别方法及装置 Pending CN111813899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010892094.3A CN111813899A (zh) 2020-08-31 2020-08-31 基于多轮会话的意图识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010892094.3A CN111813899A (zh) 2020-08-31 2020-08-31 基于多轮会话的意图识别方法及装置

Publications (1)

Publication Number Publication Date
CN111813899A true CN111813899A (zh) 2020-10-23

Family

ID=72859887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010892094.3A Pending CN111813899A (zh) 2020-08-31 2020-08-31 基于多轮会话的意图识别方法及装置

Country Status (1)

Country Link
CN (1) CN111813899A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949317A (zh) * 2021-02-26 2021-06-11 平安普惠企业管理有限公司 文本语义识别方法、装置、计算机设备及存储介质
CN113377933A (zh) * 2021-04-27 2021-09-10 中国联合网络通信集团有限公司 多轮对话的意图分类方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063035A (zh) * 2018-07-16 2018-12-21 哈尔滨工业大学 一种面向出行领域的人机多轮对话方法
CN110717514A (zh) * 2019-09-06 2020-01-21 平安国际智慧城市科技股份有限公司 会话意图识别方法、装置、计算机设备和存储介质
CN111553162A (zh) * 2020-04-28 2020-08-18 腾讯科技（深圳）有限公司 一种意图识别的方法以及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063035A (zh) * 2018-07-16 2018-12-21 哈尔滨工业大学 一种面向出行领域的人机多轮对话方法
CN110717514A (zh) * 2019-09-06 2020-01-21 平安国际智慧城市科技股份有限公司 会话意图识别方法、装置、计算机设备和存储介质
CN111553162A (zh) * 2020-04-28 2020-08-18 腾讯科技（深圳）有限公司 一种意图识别的方法以及相关装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUOYIN WANG 等: "Joint Embedding ofWords and Labels for Text Classification", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/325118252》 *
任萍萍: "《智能客服机器人》", 31 August 2017 *
雷植程 等: "腾讯智能客服人机协同实践", 《人工智能》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949317A (zh) * 2021-02-26 2021-06-11 平安普惠企业管理有限公司 文本语义识别方法、装置、计算机设备及存储介质
CN113377933A (zh) * 2021-04-27 2021-09-10 中国联合网络通信集团有限公司 多轮对话的意图分类方法及装置
CN113377933B (zh) * 2021-04-27 2023-05-30 中国联合网络通信集团有限公司 多轮对话的意图分类方法及装置

Similar Documents

Publication Publication Date Title
US20200301954A1 (en) Reply information obtaining method and apparatus
CN110162749B (zh) 信息提取方法、装置、计算机设备及计算机可读存储介质
WO2018121380A1 (zh) 基于社区问答的物品推荐方法、***及用户设备
US20180174037A1 (en) Suggesting resources using context hashing
CN112164391A (zh) 语句处理方法、装置、电子设备及存储介质
CN111914179B (zh) 基于语义的模糊搜索方法和装置、存储介质及电子设备
US11030405B2 (en) Method and device for generating statement
CN111460783B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112231347A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN115062134B (zh) 知识问答模型训练及知识问答方法、装置和计算机设备
CN111813899A (zh) 基于多轮会话的意图识别方法及装置
CN111639162A (zh) 信息交互方法和装置、电子设备和存储介质
CN113761220A (zh) 信息获取方法、装置、设备及存储介质
CN115689672A (zh) 聊天式商品导购方法及其装置、设备、介质
CN110532562B (zh) 神经网络训练方法、成语误用检测方法、装置和电子设备
CN110222144B (zh) 文本内容提取方法、装置、电子设备及存储介质
CN114372454A (zh) 文本信息抽取方法、模型训练方法、装置及存储介质
CN116958738A (zh) 图片识别模型的训练方法和装置、存储介质及电子设备
CN116414964A (zh) 智能客服问答知识库构建方法、装置、设备及介质
CN114580354B (zh) 基于同义词的信息编码方法、装置、设备和存储介质
CN116244442A (zh) 文本分类方法、装置、存储介质及电子设备
CN114398903B (zh) 意图识别方法、装置、电子设备及存储介质
CN116957128A (zh) 业务指标预测方法、装置、设备和存储介质
CN113010664B (zh) 一种数据处理方法、装置及计算机设备
CN114330701A (zh) 模型训练方法、装置、计算机设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030112

Country of ref document: HK