CN111738018A - 一种意图理解方法、装置、设备及存储介质 - Google Patents

一种意图理解方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111738018A
CN111738018A CN202010591965.8A CN202010591965A CN111738018A CN 111738018 A CN111738018 A CN 111738018A CN 202010591965 A CN202010591965 A CN 202010591965A CN 111738018 A CN111738018 A CN 111738018A
Authority
CN
China
Prior art keywords
sentence
understood
determining
intention
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010591965.8A
Other languages
English (en)
Inventor
周楠楠
汤耀华
杨海军
徐倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010591965.8A priority Critical patent/CN111738018A/zh
Publication of CN111738018A publication Critical patent/CN111738018A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种意图理解方法、装置、设备及存储介质，该方法包括获取待意图理解的句子，确定待意图理解的句子是否存在成分缺失，若是，则确定出待意图理解的句子缺失的成分，并根据待意图理解的句子缺失的成分确定待意图理解的句子的成分对应的词性，根据词性确定出与词性对应的备选词集，并根据备选词集以及待意图理解的句子，确定出补全后的句子，对补全后的句子进行意图理解，确定出待意图理解的句子的意图。由于通过词性识别确定出备选词集，可以使得该备选词集的词语明确丰富，并根据备选词集对待意图理解的句子进行填充，如此可以使得补全后的待意图理解的句子的结构、语义更加完整，从而提高意图理解的准确性。

Description

一种意图理解方法、装置、设备及存储介质
技术领域
本发明涉及金融科技(Fintech)领域，尤其涉及一种意图理解方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。在金融领域的客服服务中，快速准确地理解人机交互中用户的意图成为客服面临的巨大挑战，若能及时理解用户在对话中的意图，对提升整个对话的质量以及提升用户的体验，具有重大的意义。
现有的意图理解方法一般是直接对用户的输入进行理解，然而直接对用户的输入进行理解会存在输入信息不充分，导致意图理解不明确的问题。
综上，目前亟需一种意图理解方法，用以解决现有技术中直接对用户的输入进行理解会存在输入信息不充分，导致意图理解不明确的问题。
发明内容
本发明提供了一种意图理解方法、装置、设备及存储介质，用以解决现有技术中存在输入信息不充分，导致意图理解不明确的问题。
第一方面，本发明提供了一种意图理解方法，包括：
获取待意图理解的句子；
确定所述待意图理解的句子是否存在成分缺失；
若是，则确定出所述待意图理解的句子缺失的成分，并根据所述待意图理解的句子缺失的成分确定所述待意图理解的句子缺失的成分对应的词性；
根据所述词性确定出与所述词性对应的备选词集，并根据所述备选词集以及所述待意图理解的句子，确定出补全后的句子；
对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图。
上述技术方案中，通过根据待意图理解的句子缺失的成分，可以及时准确地确定出待意图理解的句子缺失的成分对应的词性，并根据词性确定出与词性对应的备选词集，可以使得该备选词集的词语明确丰富，再将备选词集中每一词填充到缺失成分的待意图理解的句子中，确定出补全后的句子，并对补全后的句子进行意图理解，可以准确地确定出待意图理解的句子的意图。由于通过词性识别确定出与词性对应的备选词集，可以使得该备选词集的词语明确丰富，并根据备选词集对待意图理解的句子缺失的成分进行填充，如此可以使得补全后的待意图理解的句子的结构、语义更加完整，从而提高意图理解的准确性，进而可以解决现有技术中直接对用户的输入进行理解会存在输入信息不充分，导致意图理解不明确的问题。
可选地，所述根据所述词性确定出与所述词性对应的备选词集，包括：
根据所述词性，从位于所述待意图理解的句子之前的句子中确定出与所述词性对应的词，得到所述词性对应的备选词集。
上述技术方案中，通过词性识别从位于该待意图理解的句子之前的上文中确定出与词性对应的备选词集，并未限制上文的数量，如此可以使选取的备选词集更丰富，进而可以使得输入信息更充分，以便根据备选词集对待意图理解的句子缺失的成分进行填充，如此可以使得补全后的待意图理解的句子的结构、语义更加完整，从而提高意图理解的准确性，进而可以解决现有技术中对用户的输入结合固定数量的上文来进行理解存在结合固定数量的上文给意图理解带来干扰并导致输入信息不充分的问题。
可选地，所述根据所述备选词集以及所述待意图理解的句子，确定出补全后的句子，包括：
将所述备选词集中每个词填充到所述待意图理解的句子，得到多个填充后的句子；
将所述多个填充后的句子输入到语言模型进行处理，得到各个与所述待意图理解的句子匹配的概率，并将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出概率符合预设条件的填充后的句子，并将概率符合预设条件的填充后的句子确定为所述补全后的句子。
上述技术方案中，通过将备选词集中每个词填充到待意图理解的句子，得到多个填充后的句子，之后将多个填充后的句子输入到语言模型进行处理，得到各个与待意图理解的句子匹配的概率，并将各个与待意图理解的句子匹配的概率进行对比，确定出概率符合预设条件的填充后的句子，从而使得待意图理解的句子的结构、语义更加完整，进而提高意图理解的准确性。
可选地，所述将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出概率符合预设条件的填充后的句子，并将概率符合预设条件的填充后的句子确定为所述补全后的句子，包括：
将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出最大匹配概率，并确定出所述最大匹配概率对应的填充后的句子；
若所述最大匹配概率大于且等于预设阈值，则将所述最大匹配概率对应的填充后的句子确定为所述补全后的句子。
上述技术方案中，通过将各个与待意图理解的句子匹配的概率进行对比，确定出最大匹配概率，并在最大匹配概率大于且等于预设阈值时，将最大匹配概率对应的填充后的句子确定为补全后的句子，如此可以使得待意图理解的句子的结构、语义更加完整准确，所确定出最大匹配概率对应的与待意图理解的句子匹配的词更能体现出待意图理解的句子的真实意图。
可选地，所述确定所述待意图理解的句子是否存在成分缺失，包括：
将所述待意图理解的句子输入到语义角色标注模型进行语义识别，确定所述待意图理解的句子是否存在成分缺失；所述语义角色标注模型是使用第一训练样本对预设的序列标注模型进行训练确定的。
上述技术方案中，由于语义角色模型对待意图理解的句子中每一词进行语义识别，识别出每一词的语义角色，因此利用语义角色标注模型可以快速地判断出待意图理解的句子是否存在成分缺失。
可选地，所述使用第一训练样本对预设的序列标注模型进行训练确定所述语义角色标注模型，包括：
获取所述第一训练样本；
对所述第一训练样本进行预处理，得到处理后的所述第一训练样本；
将所述处理后的所述第一训练样本输入到预训练模型进行向量化处理，得到所述处理后的所述第一训练样本中每个字的字向量；
将所述每个字的字向量对所述预设的序列标注模型进行训练，得到所述语义角色标注模型。
上述技术方案中，通过将处理后的第一训练样本输入到预训练模型进行向量化处理，并将向量化后的第一训练样本输入到预设的序列标注模型进行训练，得到语义角色标注模型，可以为判断待意图理解的句子是否存在成分缺失以及确定出缺失的成分提供支持。
可选地，所述对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图之前，所述方法还包括：
获取所述第二训练样本；
对所述第二训练样本进行预处理，得到处理后的所述第二训练样本；
将所述处理后的所述第二训练样本输入到所述预训练模型进行向量化处理，得到所述处理后的所述第二训练样本中每个句子的句子向量；
将所述每个句子的句子向量对预设的分类模型进行训练，得到意图理解模型；
所述对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图，包括：
将所述补全后的句子输入到所述意图理解模型进行理解，确定出所述待意图理解的句子的意图。
上述技术方案中，通过将处理后的第二训练样本输入到预训练模型和预设的分类模型进行处理，得到意图理解模型，可以为准确地确定出待意图理解的句子的意图提供支持，之后通过将待意图理解的句子输入到意图理解模型进行理解，可以准确快速地确定出待意图理解的句子的意图。
可选地，所述方法还包括：
在确定所述待意图理解的句子不存在成分缺失时，则对所述待意图理解的句子进行意图理解，确定出所述待意图理解的句子的意图。
上述技术方案中，在确定待意图理解的句子不存在成分缺失时，则直接对待意图理解的句子进行意图理解，可以快速地识别出待意图理解的句子的意图。
可选地，使用第三训练样本对预设的语言模型进行训练确定所述语言模型，包括：
获取所述第三训练样本；
对所述第三训练样本进行预处理，得到处理后的所述第三训练样本；
将所述处理后的所述第三训练样本输入到所述预设的语言模型进行训练，得到所述语言模型。
上述技术方案中，通过将处理后的第三训练样本输入到预设的语言模型进行训练，得到语言模型，可以为快速地确定出各个与待意图理解的句子匹配的概率提供支持。
第二方面，本发明还提供了一种意图理解装置，包括：
获取单元，用于获取待意图理解的句子；
处理单元，用于确定所述待意图理解的句子是否存在成分缺失；若是，则确定出所述待意图理解的句子缺失的成分，并根据所述待意图理解的句子缺失的成分确定所述待意图理解的句子缺失的成分对应的词性；根据所述词性确定出与所述词性对应的备选词集，并根据所述备选词集以及所述待意图理解的句子，确定出补全后的句子；对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图。
可选地，所述处理单元具体用于：
根据所述词性，从位于所述待意图理解的句子之前的句子中确定出与所述词性对应的词，得到所述词性对应的备选词集。
可选地，所述处理单元具体用于：
将所述备选词集中每个词填充到所述待意图理解的句子，得到多个填充后的句子；
将所述多个填充后的句子输入到语言模型进行处理，得到各个与所述待意图理解的句子匹配的概率，并将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出概率符合预设条件的填充后的句子，并将概率符合预设条件的填充后的句子确定为所述补全后的句子。
可选地，所述处理单元具体用于：
将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出最大匹配概率，并确定出所述最大匹配概率对应的填充后的句子；
若所述最大匹配概率大于且等于预设阈值，则将所述最大匹配概率对应的填充后的句子确定为所述补全后的句子。
可选地，所述处理单元具体用于：
将所述待意图理解的句子输入到语义角色标注模型进行语义识别，确定所述待意图理解的句子是否存在成分缺失；所述语义角色标注模型是使用第一训练样本对预设的序列标注模型进行训练确定的。
可选地，所述处理单元具体用于：
获取所述第一训练样本；
对所述第一训练样本进行预处理，得到处理后的所述第一训练样本；
将所述处理后的所述第一训练样本输入到预训练模型进行向量化处理，得到所述处理后的所述第一训练样本中每个字的字向量；
将所述每个字的字向量对所述预设的序列标注模型进行训练，得到所述语义角色标注模型。
可选地，所述处理单元具体用于：
获取所述第二训练样本；
对所述第二训练样本进行预处理，得到处理后的所述第二训练样本；
将所述处理后的所述第二训练样本输入到所述预训练模型进行向量化处理，得到所述处理后的所述第二训练样本中每个句子的句子向量；
将所述每个句子的句子向量对预设的分类模型进行训练，得到意图理解模型；
将所述补全后的句子输入到所述意图理解模型进行理解，确定出所述待意图理解的句子的意图。
可选地，所述处理单元还用于：
在确定所述待意图理解的句子不存在成分缺失时，则对所述待意图理解的句子进行意图理解，确定出所述待意图理解的句子的意图。
可选地，所述处理单元具体用于：
获取所述第三训练样本；
对所述第三训练样本进行预处理，得到处理后的所述第三训练样本；
将所述处理后的所述第三训练样本输入到所述预设的语言模型进行训练，得到所述语言模型。
第三方面，本发明提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行意图理解方法。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行意图理解方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种***架构的示意图；
图2为本发明实施例提供的一种意图理解方法的流程示意图；
图3为本发明实施例提供的另一种意图理解方法的流程示意图；
图4为本发明实施例提供的一种意图理解装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种***架构。如图1所示，该***架构可以为服务器100，包括处理器110、通信接口120和存储器130。
其中，通信接口120用于与终端设备进行通信，收发该终端设备传输的信息，实现通信。
处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种意图理解方法的流程，该流程可以由意图理解装置执行。
如图2所示，该流程具体包括：
步骤201，获取待意图理解的句子。
在本发明实施例中，该获取待意图理解的句子可以为用户与机器客服对话输入的句子，比如用户在向银行***的机器客服咨询业务的过程中输入“我解绑银行卡就行了是吧”或者输入“我解绑就行了是吧”，或者也可以为文本类的句子，具体不作限制。
步骤202，确定所述待意图理解的句子是否存在成分缺失。
在本发明实施例中，以用户与机器客服的对话为例，比如在获取用户输入的句子后，需要判断用户输入的句子是否存在成分缺失，若存在成分缺失，则识别不出用户输入的句子的意图，即理解不出用户的真实想法，比如用户输入“我解绑就行了是吧”，这句话就存在成分缺失，因此就识别不出用户实际想解绑什么。
具体地，将用户输入的句子输入到语义角色标注模型进行语义识别，由于利用语义角色标注模型可以对用户输入的句子中每一词进行语义识别，识别出每一词的语义角色(如施事者、受事者等)，根据该用户输入的句子中每一词的语义角色即可判断该用户输入的句子是否缺失成分，因此利用语义角色标注模型可以准确地确定用户输入的句子是否存在成分缺失，并在确定用户输入的句子存在成分缺失时，由于根据缺失的语义角色就可以知道该缺失的语义角色对应的词性，因此可以快速准确地识别出用户输入的句子缺失的成分对应的词性。其中，语义角色标注模型是使用第一训练样本对预设的序列标注模型进行训练确定的，首先获取第一训练样本，再根据语义角色标注的标注标准对第一训练样本进行标注，标注出训练样本中每个词的语义角色，即用语义角色描述训练样本的每个句子中词与词之间的关系，也即描述每个句子中每个词在该句子中的角色成分，然后对标注了语义角色的训练样本进行预处理，得到处理后的第一训练样本，并将处理后的第一训练样本输入到预训练模型进行向量化处理，得到处理后的第一训练样本中每个字的字向量，之后将每个字的字向量对预设的序列标注模型进行训练，得到语义角色标注模型。
进一步地，语义角色标注(SRL)模型是利用第一训练样本对基于BERT+BiLSTM+CRF的序列标注模型进行训练确定的。首先收集历史对话数据并根据SRL(Semantic RoleLabeling，语义角色标注)的标注标准对历史对话数据进行标注，即根据语义角色标注的标注标准对历史对话数据进行标注，标注出历史对话数据中每个词的语义角色，即用语义角色描述历史对话数据的每个句子中词与词之间的关系，也即描述每个句子中每个词在该句子中的角色成分，得到数据集D1，再根据数据集D1训练SRL模型，其中，对数据集D1中的数据进行预处理，即将数据集D1中每个句子句首置[CLS]标签，句末置[SEP]标签，之后对该数据进行字符级切分并转换为ID形式，同时将语料变为定长，对长度不够的句子用“0”进行补齐，超过定长的进行截断，再将预处理好的句子输入到预训练模型BERT(BidirectionalEncoder Representations from Transformer，预训练模型)中，得到句子中每个字的字向量，然后将得到的字向量输入到上层的BiLSTM(Bi-directional LongShort-Term Memory，双向长短期记忆网络)+CRF(Conditional Random Field，条件随机场)模型中进行训练，得到语义角色标注模型。其中，[CLS]标签代表整个文本的语义特征向量，即可以为代表一个句子的语义特征向量，[SEP]标签为用于分割两个句子的符号。
需要说明的是，语义角色标注(SRL)的任务就是以句子的谓词为中心，研究句子中各成分与谓词之间的关系，并且用语义角色来描述他们之间的关系，即针对句子中的(核心)谓词来确定其他论元以及其他论元的角色，语义角色是指论元在动词所指事件中担任的角色，主要有施事者、受事者、客体、经验者、受益者、工具、处所、目标和来源等。其中重要的角色有谓词以及核心论元，谓词一般为动词或者形容词，核心论元表示跟这个谓词直接相关的论元，如这个谓词的施事(Arg0)以及受事(Arg1)。比如“您可以搜索微粒贷公众号”通过SRL就可以判断出谓词是“搜索”，施事是“您”，受事是“微粒贷公众号”，因此，对于成分不全造成意图理解困难的句子，可以先通过SRL判断其缺失的成分，然后通过上下文对其进行补全，然后再进行意图理解，比如用户输入“我解绑就行了是吧”，由于句子缺少受事(Arg1)，意图理解模型很难明确理解出用户表达的是要解绑“银行卡”还是“电话号码”，但是通过补全后，意图理解模型就可以明确的理解出用户的意图。
步骤203，在确定所述待意图理解的句子存在成分缺失时，则确定出所述待意图理解的句子缺失的成分，并根据所述待意图理解的句子缺失的成分确定所述待意图理解的句子缺失的成分对应的词性。
在本发明实施例中，在确定待意图理解的句子不存在成分缺失时，则对待意图理解的句子进行意图理解，确定出待意图理解的句子的意图；在确定待意图理解的句子存在成分缺失时，则确定出待意图理解的句子缺失的成分，并根据待意图理解的句子缺失的成分确定待意图理解的句子缺失的成分对应的词性。具体地，继续以用户与机器客服的对话为例，在将用户输入的句子输入到SRL模型中判断用户输入的句子存在成分缺失时，并根据SRL模型判断的结果确定出用户输入的句子缺失的成分，再根据用户输入的句子缺失的成分确定用户输入的句子缺失的成分对应的词性，比如“我解绑就行了是吧”，根据SRL模型可以判断出该句子缺少受事Arg1)，而受事一般为名词，故得到缺少的成分对应的词性为名词。此外，在根据SRL模型判断用户输入的句子不存在成分缺失时，则直接对用户输入的句子进行意图理解，确定出用户输入的句子的意图。
步骤204，根据所述词性确定出与所述词性对应的备选词集，并根据所述备选词集以及所述待意图理解的句子，确定出补全后的句子。
在本发明实施例中，根据词性，从位于待意图理解的句子之前的句子中确定出与词性对应的词，得到词性对应的备选词集，并将备选词集中每个词填充到待意图理解的句子，得到多个填充后的句子，再将多个填充后的句子输入到语言模型进行处理，得到各个与待意图理解的句子匹配的概率，并将各个与所述待意图理解的句子匹配的概率进行对比，确定出最大匹配概率，并确定出最大匹配概率对应的填充后的句子，若最大匹配概率大于且等于预设阈值(比如0.8)，则将最大匹配概率对应的填充后的句子确定为补全后的句子。其中，语言模型是使用第三训练样本对预设的语言模型进行训练确定的，首先获取第三训练样本，再对第三训练样本进行预处理，得到处理后的第三训练样本，将处理后的第三训练样本输入到预设的语言模型进行训练，得到语言模型。对于使用第三训练样本对预设的语言模型，首先收集公开语料以及领域内语料，得到数据集D2，再对数据集D2进行预处理并将预处理后的数据集D2输入到3-gram(trigram)语言模型进行训练，得到3-gram语言模型。其中，预设阈值可以根据经验设置。
具体地，还以用户与机器客服的对话为例，根据用户输入的句子缺失的成分对应的词性，从上文中找到所有的与之对应的词，得到备选词集W，比如上文中的名词有“客服”，“银行”，“银行卡”，则W＝{“客服”，“银行”，“银行卡”}，并将W中的每个词都带入到句子中，得到多个填充后的句子，并将多个填充后的句子输入到训练好的语言模型中，得到各个与用户输入的句子匹配的概率，将各个与用户输入的句子匹配的概率进行对比，确定出最大匹配概率，并确定出最大匹配概率对应的填充后的句子，之后将最大匹配概率与预设阈值进行比较，若最大匹配概率大于且等于预设阈值，则选择最大匹配概率对应的填充后的句子作为最终的句子，即补全后的句子，否则不进行填充。比如将W＝{“客服”，“银行”，“银行卡”}中的每个词依次放到“我解绑就行了是吧”的受事位置，根据语言模型可以各个词与用户输入的句子匹配的概率，并通过将各个词与用户输入的句子匹配的概率进行对比，确定出“银行卡”与“我解绑就行了是吧”匹配的概率最大，且该最大匹配概率大于且等于预设阈值，则可以确定“我解绑银行卡就行了是吧”为补全后的句子。
步骤205，对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图。
在本发明实施例中，将补全后的句子输入到意图理解模型进行理解，确定出待意图理解的句子的意图，其中，意图理解模型是使用第二训练样本对预设的分类模型进行训练确定的，首先获取第二训练样本，再对第二训练样本进行预处理，得到处理后的第二训练样本，并将处理后的第二训练样本输入到预训练模型进行向量化处理，得到处理后的第二训练样本中每个句子的句子向量，之后将每个句子的句子向量对预设的分类模型进行训练，得到意图理解模型。具体地，意图理解模型是利用第二训练样本对采用基于BERT+DNN(Deep Neural Networks，深度神经网络)的文本分类模型确定的。首先收集领域内的语料，按照意图理解的标注标准对领域内的语料进行标注，得到数据集D3，并根据数据集D3训练意图理解模型，其中，对数据集D3中的数据进行预处理，将数据集D3中每个句子句首置[CLS]标签，句末置[SEP]标签，之后进行字符级切分并转换为ID形式，同时将语料变为定长，对长度不够的句子用“0”进行补齐，超过定长的进行截断，再将预处理好的句子输入到预训练模型BERT中，得到句子的向量表示，然后将得到的向量表示输入到上层的DNN模型中进行训练，得到意图识别模型。
为了更好的解释本发明意图理解方法的实施例，下面通过具体的实施场景描述本发明实施例提供的一种意图理解方法的流程。其中，该实施场景是以用户与机器客服对话为例。
如图3所示，该流程包括以下步骤：
步骤301，收集并标注数据，训练SRL模型。
收集历史对话数据并根据SRL的标注标准对历史对话数据进行标注，得到标注后的数据，并根据该标注后的数据对SRL模型进行训练，得到SRL模型。
步骤302，收集并标注数据，训练3-gram语言模型。
收集公开语料以及领域内语料，根据该公开语料以及领域内语料对3-gram语言模型进行训练，得到3-gram语言模型。
步骤303，收集并标注数据，训练意图理解模型。
收集领域内的语料，按照意图理解的标注标准对领域内的语料进行标注，得到标注后的数据，并根据该标注后的数据对意图理解模型进行训练，得到意图理解模型。
步骤304，用户输入句子。
步骤305，SRL模型判断该句子是否存在成分缺失，若是，执行步骤307，若否，执行步骤306。
步骤306，将用户输入的句子输入到意图理解模型进行理解。
在根据SRL模型判断用户输入的句子不存在成分缺失时，直接将用户输入的句子输入到意图理解模型进行理解，以便理解出用户输入的句子的意图。
步骤307，根据缺失的成分确定其词性。
在根据SRL模型判断用户输入的句子存在成分缺失时，则根据SRL模型的判断结果确定出该缺失成分对应的词性。
步骤308，从上文中找出该词性对应的所有词，得到备选词集W。
根据该缺失成分对应的词性，从上文中找出该词性对应的所有词，得到备选词集W。
步骤309，将W中的每个词带入到用户输入的句子中。
步骤310，根据语言模型计算各个与用户输入的句子匹配的概率。
在将W中的每个词带入到用户输入的句子中之后，得到多个填充后的句子，并将多个填充后的句子输入到训练好的语言模型中，计算出各个与用户输入的句子匹配的概率，并将各个与用户输入的句子匹配的概率进行对比，确定出最大匹配概率，并确定出最大匹配概率对应的填充后的句子。
步骤311，最大匹配概率是否大于等于预设阈值，若是，执行步骤312，若否，执行步骤313。
步骤312，对最大匹配概率对应的填充后的句子进行意图理解。
在确定最大匹配概率大于等于预设阈值时，则将最大匹配概率对应的填充后的句子输入到意图理解模型进行意图理解，以便理解出用户输入的句子的意图。
步骤313，对原始句子进行意图理解。
在确定最大匹配概率小于预设阈值时，则对原始句子进行意图理解。
上述实施例表明，通过根据SRL模型判断用户输入的句子是否存在成分缺失，若是，则确定出用户输入的句子缺失的成分，并确定出用户输入的句子缺失的成分对应的词性，根据词性确定出与词性对应的备选词集，并将备选词集中的每个词带入到用户输入的句子中，得到多个填充后的句子，再将多个填充后的句子输入到训练好的语言模型中，计算出各个与用户输入的句子匹配的概率，并将各个与用户输入的句子匹配的概率进行对比，确定出最大匹配概率，并确定出最大匹配概率对应的填充后的句子，在确定最大匹配概率大于等于预设阈值时，则将最大匹配概率对应的填充后的句子输入到意图理解模型进行意图理解，可以快速准确地确定出用户输入的句子的意图。由于根据SRL模型可以快速准确地判断出用户输入的句子缺失的成分并确定出用户输入的句子缺失的成分对应的词性，再通过词性识从位于该用户输入的句子之前的上文中确定出与词性对应的所有词，组成备选词集，并未限制上文的数量，如此可以使选取的备选词集更丰富，使得用户的输入信息更充分，从而可以解决现有技术中对用户的输入结合固定数量的上文来进行理解存在结合固定数量的上文给意图理解带来干扰并导致输入信息不充分的问题，之后根据备选词集对用户输入的句子缺失的成分进行填充，如此可以使得补全后的用户输入的句子的结构、语义更加完整，从而提高意图理解的准确性，进而可以解决现有技术中直接对用户的输入进行理解会存在输入信息不充分，导致意图理解不明确的问题。
基于相同的技术构思，图4示例性的示出了本发明实施例提供的一种意图理解装置，该装置可以执行意图理解方法的流程。
如图4所示，该装置包括：
获取单元401，用于获取待意图理解的句子；
处理单元402，用于确定所述待意图理解的句子是否存在成分缺失；若是，则确定出所述待意图理解的句子缺失的成分，并根据所述待意图理解的句子缺失的成分确定所述待意图理解的句子缺失的成分对应的词性；根据所述词性确定出与所述词性对应的备选词集，并根据所述备选词集以及所述待意图理解的句子，确定出补全后的句子；对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图。
可选地，所述处理单元402具体用于：
根据所述词性，从位于所述待意图理解的句子之前的句子中确定出与所述词性对应的词，得到所述词性对应的备选词集。
可选地，所述处理单元402具体用于：
将所述备选词集中每个词填充到所述待意图理解的句子，得到多个填充后的句子；
将所述多个填充后的句子输入到语言模型进行处理，得到各个与所述待意图理解的句子匹配的概率，并将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出概率符合预设条件的填充后的句子，并将概率符合预设条件的填充后的句子确定为所述补全后的句子。
可选地，所述处理单元402具体用于：
将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出最大匹配概率，并确定出所述最大匹配概率对应的填充后的句子；
若所述最大匹配概率大于且等于预设阈值，则将所述最大匹配概率对应的填充后的句子确定为所述补全后的句子。
可选地，所述处理单元402具体用于：
将所述待意图理解的句子输入到语义角色标注模型进行语义识别，确定所述待意图理解的句子是否存在成分缺失；所述语义角色标注模型是使用第一训练样本对预设的序列标注模型进行训练确定的。
可选地，所述处理单元402具体用于：
获取所述第一训练样本；
对所述第一训练样本进行预处理，得到处理后的所述第一训练样本；
将所述处理后的所述第一训练样本输入到预训练模型进行向量化处理，得到所述处理后的所述第一训练样本中每个字的字向量；
将所述每个字的字向量对所述预设的序列标注模型进行训练，得到所述语义角色标注模型。
可选地，所述处理单元402具体用于：
获取所述第二训练样本；
对所述第二训练样本进行预处理，得到处理后的所述第二训练样本；
将所述处理后的所述第二训练样本输入到所述预训练模型进行向量化处理，得到所述处理后的所述第二训练样本中每个句子的句子向量；
将所述每个句子的句子向量对预设的分类模型进行训练，得到意图理解模型；
将所述补全后的句子输入到所述意图理解模型进行理解，确定出所述待意图理解的句子的意图。
可选地，所述处理单元402还用于：
在确定所述待意图理解的句子不存在成分缺失时，则对所述待意图理解的句子进行意图理解，确定出所述待意图理解的句子的意图。
可选地，所述处理单元402具体用于：
获取所述第三训练样本；
对所述第三训练样本进行预处理，得到处理后的所述第三训练样本；
将所述处理后的所述第三训练样本输入到所述预设的语言模型进行训练，得到所述语言模型。
基于相同的技术构思，本发明实施例提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行意图理解方法。
基于相同的技术构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行意图理解方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种意图理解方法，其特征在于，包括：
获取待意图理解的句子；
确定所述待意图理解的句子是否存在成分缺失；
若是，则确定出所述待意图理解的句子缺失的成分，并根据所述待意图理解的句子缺失的成分确定所述待意图理解的句子缺失的成分对应的词性；
根据所述词性确定出与所述词性对应的备选词集，并根据所述备选词集以及所述待意图理解的句子，确定出补全后的句子；
对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图。
2.如权利要求1所述的方法，其特征在于，所述根据所述词性确定出与所述词性对应的备选词集，包括：
根据所述词性，从位于所述待意图理解的句子之前的句子中确定出与所述词性对应的词，得到所述词性对应的备选词集。
3.如权利要求1所述的方法，其特征在于，所述根据所述备选词集以及所述待意图理解的句子，确定出补全后的句子，包括：
将所述备选词集中每个词填充到所述待意图理解的句子，得到多个填充后的句子；
将所述多个填充后的句子输入到语言模型进行处理，得到各个与所述待意图理解的句子匹配的概率，并将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出概率符合预设条件的填充后的句子，并将概率符合预设条件的填充后的句子确定为所述补全后的句子。
4.如权利要求3所述的方法，其特征在于，所述将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出概率符合预设条件的填充后的句子，并将概率符合预设条件的填充后的句子确定为所述补全后的句子，包括：
将所述各个与所述待意图理解的句子匹配的概率进行对比，确定出最大匹配概率，并确定出所述最大匹配概率对应的填充后的句子；
若所述最大匹配概率大于且等于预设阈值，则将所述最大匹配概率对应的填充后的句子确定为所述补全后的句子。
5.如权利要求1所述的方法，其特征在于，所述确定所述待意图理解的句子是否存在成分缺失，包括：
将所述待意图理解的句子输入到语义角色标注模型进行语义识别，确定所述待意图理解的句子是否存在成分缺失；所述语义角色标注模型是使用第一训练样本对预设的序列标注模型进行训练确定的。
6.如权利要求5所述的方法，其特征在于，所述使用第一训练样本对预设的序列标注模型进行训练确定所述语义角色标注模型，包括：
获取所述第一训练样本；
对所述第一训练样本进行预处理，得到处理后的所述第一训练样本；
将所述处理后的所述第一训练样本输入到预训练模型进行向量化处理，得到所述处理后的所述第一训练样本中每个字的字向量；
将所述每个字的字向量对所述预设的序列标注模型进行训练，得到所述语义角色标注模型。
7.如权利要求1至6任一项所述的方法，其特征在于，所述对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图之前，所述方法还包括：
获取所述第二训练样本；
对所述第二训练样本进行预处理，得到处理后的所述第二训练样本；
将所述处理后的所述第二训练样本输入到所述预训练模型进行向量化处理，得到所述处理后的所述第二训练样本中每个句子的句子向量；
将所述每个句子的句子向量对预设的分类模型进行训练，得到意图理解模型；
所述对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图，包括：
将所述补全后的句子输入到所述意图理解模型进行理解，确定出所述待意图理解的句子的意图。
8.一种意图理解装置，其特征在于，包括：
获取单元，用于获取待意图理解的句子；
处理单元，用于确定所述待意图理解的句子是否存在成分缺失；若是，则确定出所述待意图理解的句子缺失的成分，并根据所述待意图理解的句子缺失的成分确定所述待意图理解的句子缺失的成分对应的词性；根据所述词性确定出与所述词性对应的备选词集，并根据所述备选词集以及所述待意图理解的句子，确定出补全后的句子；对所述补全后的句子进行意图理解，确定出所述待意图理解的句子的意图。
9.一种计算设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行权利要求1至7任一项所述的方法。
CN202010591965.8A 2020-06-24 2020-06-24 一种意图理解方法、装置、设备及存储介质 Pending CN111738018A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010591965.8A CN111738018A (zh) 2020-06-24 2020-06-24 一种意图理解方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010591965.8A CN111738018A (zh) 2020-06-24 2020-06-24 一种意图理解方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111738018A true CN111738018A (zh) 2020-10-02

Family

ID=72651119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010591965.8A Pending CN111738018A (zh) 2020-06-24 2020-06-24 一种意图理解方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111738018A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560476A (zh) * 2020-12-09 2021-03-26 中科讯飞互联(北京)信息科技有限公司 文本补全方法以及电子设备、存储装置
CN112580310A (zh) * 2020-12-28 2021-03-30 河北省讯飞人工智能研究院 一种缺失字/词的补全方法及电子设备
CN113158648A (zh) * 2020-12-09 2021-07-23 中科讯飞互联(北京)信息科技有限公司 文本补全方法以及电子设备、存储装置
WO2023168838A1 (zh) * 2022-03-09 2023-09-14 青岛海尔科技有限公司 语句文本的识别方法和装置、存储介质及电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589844A (zh) * 2015-12-18 2016-05-18 北京中科汇联科技股份有限公司 一种用于多轮问答***中缺失语义补充的方法
CN106357942A (zh) * 2016-10-26 2017-01-25 广州佰聆数据股份有限公司 基于上下文对话语义识别的智能应答方法及***
CN108664472A (zh) * 2018-05-08 2018-10-16 腾讯科技（深圳）有限公司 自然语言处理方法、装置及其设备
CN110704641A (zh) * 2019-10-11 2020-01-17 零犀(北京)科技有限公司 一种万级意图分类方法、装置、存储介质及电子设备
CN111046656A (zh) * 2019-11-15 2020-04-21 北京三快在线科技有限公司 文本处理方法、装置、电子设备及可读存储介质
CN111104498A (zh) * 2019-12-12 2020-05-05 华南理工大学 一种任务型对话***中的语义理解方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589844A (zh) * 2015-12-18 2016-05-18 北京中科汇联科技股份有限公司 一种用于多轮问答***中缺失语义补充的方法
CN106357942A (zh) * 2016-10-26 2017-01-25 广州佰聆数据股份有限公司 基于上下文对话语义识别的智能应答方法及***
CN108664472A (zh) * 2018-05-08 2018-10-16 腾讯科技（深圳）有限公司 自然语言处理方法、装置及其设备
CN110704641A (zh) * 2019-10-11 2020-01-17 零犀(北京)科技有限公司 一种万级意图分类方法、装置、存储介质及电子设备
CN111046656A (zh) * 2019-11-15 2020-04-21 北京三快在线科技有限公司 文本处理方法、装置、电子设备及可读存储介质
CN111104498A (zh) * 2019-12-12 2020-05-05 华南理工大学 一种任务型对话***中的语义理解方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560476A (zh) * 2020-12-09 2021-03-26 中科讯飞互联(北京)信息科技有限公司 文本补全方法以及电子设备、存储装置
CN113158648A (zh) * 2020-12-09 2021-07-23 中科讯飞互联(北京)信息科技有限公司 文本补全方法以及电子设备、存储装置
CN112580310A (zh) * 2020-12-28 2021-03-30 河北省讯飞人工智能研究院 一种缺失字/词的补全方法及电子设备
CN112580310B (zh) * 2020-12-28 2023-04-18 河北省讯飞人工智能研究院 一种缺失字/词的补全方法及电子设备
WO2023168838A1 (zh) * 2022-03-09 2023-09-14 青岛海尔科技有限公司 语句文本的识别方法和装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN111859960B (zh) 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质
CN107679039B (zh) 用于确定语句意图的方法和装置
CN110232114A (zh) 语句意图识别方法、装置及计算机可读存储介质
CN111738018A (zh) 一种意图理解方法、装置、设备及存储介质
CN111325029B (zh) 一种基于深度学习集成模型的文本相似度计算方法
CN111062217B (zh) 语言信息的处理方法、装置、存储介质及电子设备
CN111708869B (zh) 人机对话的处理方法及装置
CN113051374B (zh) 一种文本匹配优化方法及装置
CN110555206A (zh) 一种命名实体识别方法、装置、设备及存储介质
CN111625634A (zh) 词槽识别方法及装置、计算机可读存储介质、电子设备
CN111858878B (zh) 从自然语言文本中自动提取答案的方法、***及存储介质
CN112036705A (zh) 一种质检结果数据获取方法、装置及设备
CN113282711A (zh) 一种车联网文本匹配方法、装置、电子设备及存储介质
CN111782793A (zh) 智能客服处理方法和***及设备
CN113326702A (zh) 语义识别方法、装置、电子设备及存储介质
CN115080750A (zh) 基于融合提示序列的弱监督文本分类方法、***和装置
CN113705192B (zh) 文本处理方法、装置与存储介质
CN109710756B (zh) 基于语义角色标注的文书体裁分类***及方法
CN112036186A (zh) 语料标注方法、装置、计算机存储介质及电子设备
CN116186219A (zh) 一种人机对话交互方法方法、***及存储介质
CN113568969B (zh) 信息抽取方法、装置、设备以及计算机可读存储介质
CN116483314A (zh) 一种自动化智能活动图生成方法
CN115718889A (zh) 针对公司简介的行业分类方法及装置
CN115563278A (zh) 一种句子文本的问题分类处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination