CN116150311A - 文本匹配模型的训练方法、意图识别方法及装置 - Google Patents

文本匹配模型的训练方法、意图识别方法及装置 Download PDF

Info

Publication number
CN116150311A
CN116150311A CN202210983380.XA CN202210983380A CN116150311A CN 116150311 A CN116150311 A CN 116150311A CN 202210983380 A CN202210983380 A CN 202210983380A CN 116150311 A CN116150311 A CN 116150311A
Authority
CN
China
Prior art keywords
training
sample
text matching
matching model
standard problem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210983380.XA
Other languages
English (en)
Inventor
丁隆耀
蒋宁
吴海英
权佳成
李宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Consumer Finance Co Ltd
Original Assignee
Mashang Consumer Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Consumer Finance Co Ltd filed Critical Mashang Consumer Finance Co Ltd
Priority to CN202210983380.XA priority Critical patent/CN116150311A/zh
Publication of CN116150311A publication Critical patent/CN116150311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请实施例公开了一种文本匹配模型的训练方法、意图识别方法及装置，方法包括：基于知识库中的标准问题语句构建训练样本集，训练样本集中每个训练样本包括：标准问题语句、同类样本、异类样本；在使用训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对每个训练样本进行基于线性插值的混合编码处理后输入初始文本匹配模型，输出得到标准问题语句与同类样本之间的第一距离，以及标准问题语句与异类样本之间的第二距离；根据第一距离、第二距离以及损失函数调整文本匹配模型的模型参数，直至损失函数满足设定条件，得到多样性阶段训练后的文本匹配模型。有申请有利于提升文本匹配的准确率。

Description

文本匹配模型的训练方法、意图识别方法及装置
技术领域
本申请涉及机器学习技术领域，尤其涉及一种文本匹配模型的训练方法、意图识别方法及装置。
背景技术
语音机器人对话***是一种对话问答(question&answer，QA)***，通常由客户向语音机器人提出问题，由语音机器人对客户提出的问题给出回答。在构建语音机器人对话***时，对客户提出的问题进行准确的意图识别是语音机器人提供优质回答的前提条件，也是***的难点。
随着深度学习的发展，一些适用于文本匹配的方法被提出，其中比较经典的有两种：基于表示的方法和基于交互的方法。基于表示的方法，对两段文本分别进行编码得到各自的特征向量，然后通过相似度计算函数或相关结构得到最终匹配关系。基于交互的方法，通过对两段文本进行不同粒度(词语级、短语级等)的交互，然后将各个粒度的匹配结果通过一种结构聚合起来，将此作为一个特征向量得到最终匹配关系。
不管采用何种的文本匹配方法，一个常见的语音机器人对话***需要识别客户的诸多意图。在冷启动场景下，语音机器人仅能根据客服人员在知识库中所录入的相似问题数据进行模型训练，训练数据通常很少，只有几条至几十条数据，无法支撑训练，导致文本匹配的准确率较低。另外，语音机器人的输入依赖于上游的语音识别结果，语音识别结果通常存在较多的错字、别字等不完全准确的情况，会降低文本匹配的准确率，从而加剧了意图识别的难度。如何充分利用有限的训练数据提升文本匹配的准确率，并且减少语音识别结果不准确的情况对意图识别带来的不利影响，是业界面临的技术难题。
发明内容
本申请实施例的目的是提供一种文本匹配模型的训练方法，以及意图识别方法和装置，用以提升文本匹配的准确率和意图识别的准确率。
为了实现上述目的，本申请实施例采用下述技术方案：
第一方面，提供一种文本匹配模型的训练方法，包括：
基于知识库中的标准问题语句构建训练样本集，所述训练样本集中每个训练样本包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本，所述标准问题语句为人工录入的作为标准问题的语句，所述同类样本用于指示与所述标准问题语句相似的语句，所述异类样本用于指示与所述标准问题语句不相似的语句；
在使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对所述每个训练样本进行基于线性插值的混合编码处理后输入所述初始文本匹配模型，输出得到所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
根据输出的所述第一距离、所述第二距离以及文本匹配模型的损失函数调整所述文本匹配模型的模型参数，直至所述文本匹配模型的损失函数满足设定条件，得到所述多样性阶段训练后的文本匹配模型。
第二方面，提供一种意图识别方法，包括：
获取待识别语音对应的语音识别语句；
将所述语音识别语句与知识库中的标准问题语句输入预先训练的文本匹配模型，输出所述语音识别语句与所述标准问题语句之间的匹配度；其中，所述文本匹配模型根据如第一方面所述的文本匹配模型的训练方法训练得到；
基于所述语音识别语句与每个标准问题语句之间的匹配度，确定与所述待识别语音相匹配的标准问题语句作为意图识别结果。
第三方面，提供一种文本匹配模型的训练装置，包括：
构建模块，用于基于知识库中的标准问题语句构建训练样本集，所述训练样本集中每个训练样本包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本，所述标准问题语句为人工录入的作为标准问题的语句，所述同类样本用于指示与所述标准问题语句相似的语句，所述异类样本用于指示与所述标准问题语句不相似的语句；
多样性训练模块，用于在使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对所述每个训练样本进行基于线性插值的混合编码处理后输入所述初始文本匹配模型，输出得到所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
第一调整模块，用于根据输出的所述第一距离、所述第二距离以及文本匹配模型的损失函数调整所述文本匹配模型的模型参数，直至所述文本匹配模型的损失函数满足设定条件，得到所述多样性阶段训练后的文本匹配模型。
第四方面，提供一种意图识别装置，包括：
获取模块，用于获取待识别语音对应的语音识别语句；
文本匹配模块，用于将所述语音识别语句与知识库中的标准问题语句输入预先训练的文本匹配模型，输出所述语音识别语句与所述标准问题语句之间的匹配度；其中，所述文本匹配模型根据如第一方面所述的文本匹配模型的训练方法训练得到；
意图识别模块，用于基于所述语音识别语句与每个标准问题语句之间的匹配度，确定与所述待识别语音相匹配的标准问题语句作为意图识别结果。
第五方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如第一方面、或者第二方面所述的方法。
第六方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面、或者第二方面所述的方法。
本申请实施例提供的文本匹配模型的训练方案，针对仅能根据知识库中的相似问题数据进行模型训练，训练数据较少的问题，对训练样本集中每个训练样本进行了数据扩充，每个训练样本除了包括标准问题语句及其同类样本之外，增加了标准问题语句的异类样本；在使用训练样本集进行多样性阶段的迭代训练过程中，对训练样本中的标准问题语句、同类样本、以及异类样本采用基于线性插值的混合编码处理进行数据增强之后，再输入初始文本匹配模型，通过样本间的对比调整文本匹配模型的模型参数。通过对训练样本集中每个训练样本进行数据扩充，并且由于客户提出的问题是多种多样的，采用基于线性插值的混合编码处理进行数据增强，能够在有限的训练数据基础上提升模型输入数据的多样性，从而通过多样性阶段的迭代训练能够有效提升文本匹配模型的准确率。
本申请实施例提供的意图识别方案，使用上述文本匹配模型的训练方法训练得到的文本匹配模型，对待识别语音对应的语音识别语句与知识库中的标准问题语句进行文本匹配，由于文本匹配模型的训练方法中针对训练数据较少的问题，对训练样本集进行了数据扩充，除了包括标准问题语句及其同类样本之外，增加了标注问题语句的异类样本，并且在多样性阶段采用了基于线性插值的混合编码处理进行数据增强，提升模型输入数据的多样性，因此能够提升文本匹配模型的准确率，使得训练出的文本匹配模型适用于待识别语音具有多样性的意图识别场景，在文本匹配模型针对多种多样的待识别语音进行准确地文本匹配的基础上，能够准确地识别出所述待识别语音所表达的真实客户意图，从而提升意图识别的准确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请的一个实施例提供的一种文本匹配模型的训练方法的流程示意图；
图2为本申请的一个实施例提供的一种Triplet network的网络结构示意图；
图3a为本申请的一个实施例提供的基线阶段的模型迭代训练示意图；
图3b为本申请的一个实施例提供的多样性阶段的模型迭代训练示意图；
图3c为本申请的一个实施例提供的渐进阶段的模型迭代训练示意图；
图4为本申请的一个实施例提供的一种基于线性插值的混合编码处理的流程示意图；
图5为本申请的一个实施例提供的一种意图识别方法的流程图；
图6为本申请的一个实施例提供的一种语音机器人对话涉及的处理流程图；
图7为本申请的一个实施例提供的一种文本匹配模型的训练装置的结构示意图；
图8为本申请的一个实施例提供的一种意图识别装置的结构示意图；
图9为本申请的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
如前所述，在语音机器人对话的业务场景下，适用于文本匹配的方法包括基于表示的方法和基于交互的方法。近些年来基于表示的方法的研究主要聚焦于两点：其一是采用不同的网络结构来加强编码器以得到更好的特征向量的表示，其二是采用不同的相似度计算函数进行建模。基于交互的方法通常聚焦于文本对的交互方式，使得模型能够提取更多有效的交互信息。但是，基于表示的方法没有很好的关注文本中的关键语义信息，无法捕捉焦点。基于交互的方法虽然能够迎合特定数据或特定场景的文本匹配特性，但是没有大型预训练模型对基本语义进行支撑，会导致随着时间的推移语音机器人对话***的问题匹配成功率的降低。
在语音机器人对话的业务场景下，语音机器人采用的文本匹配模型存在着很多问题：首先，文本匹配模型的训练是一个典型的小样本学习任务，每一类语音机器人的知识库中相似问题数据通常较少。小样本学习(Few-shot learning)是指类别较多而每类训练数据较少的场景，通过从少量训练数据中学习，使模型具备学习和概括的能力。现有技术中通常采用数据增强的方式来缓解这种情况，但是没有考虑到增强数据和原始数据的差异性、以及不同的数据增强方法带来的效果的差异性，对原始数据和增强数据一视同仁，直接使用原始数据和增强数据一并训练，影响文本匹配的准确率。其次，预测时输入语音机器人的数据来自于语音识别结果，语音识别(Audio Speech Recognition，ASR)是一种将人的语音转换成文本的技术，语音识别结果中通常包括一些错字、别字，这会降低文本匹配的准确率，加剧意图识别的难度，现有技术中是没有考虑这一点的。
有鉴于此，本申请实施例旨在提供一种文本匹配模型的训练方法、以及意图识别方法和装置，以解决训练数据有限导致文本匹配的准确率较低的问题；进一步解决输入的语音识别结果不准确所导致的文本匹配不准确进而意图识别困难的问题。
应理解，本申请实施例提供的文本匹配模型的训练方法和意图识别方法均可以由电子设备执行或安装在电子设备中的软件执行，具体可以由终端设备或服务端设备执行。其中，文本匹配模型的训练方法和意图识别方法可以由同一电子设备执行，或者也可以由不同的电子设备执行。
以下结合附图，详细说明本申请各实施例提供的技术方案。
请参考图1，为本申请的一个实施例提供的一种文本匹配模型的训练方法的流程示意图，该方法可以包括：
S101、基于知识库中的标准问题语句构建训练样本集，所述训练样本集中每个训练样本包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本。
在知识库中通常会预先由人工(客服人员)录入文本格式的原始语料数据，包括一定数量的标准问题语句、以及每个标准问题语句的一定数量的相似句，如前所述，现有技术中语音机器人仅能根据知识库中的相似问题数据进行模型训练，训练数据较少。针对上述问题，本申请实施例中提出，在知识库中增加录入每个标准问题语句的一定数量的不相似句(或称为非相关句)，基于上述三种语句构建用于模型迭代训练的训练样本集。本申请实施例中，每个训练样本由三个语句组成，可以将标准问题语句、标准问题语句的相似句、以及标准问题语句的不相关句组成一个训练样本，其中，标准问题语句也可以称为锚点句作为参考样本，标准问题语句的相似句作为同类样本(正样例)，标准问题语句的不相似句作为异类样本(负样例)，为了便于区分，本申请实施例中将由知识库中人工录入的标准问题语句、标准问题语句的相似句、以及标准问题语句的不相似句组成的训练样本称为第一类训练样本，可以理解，构建的训练样本集中通常包括第一类训练样本。
数据扩充是解决小样本训练的一种常见方法，由于知识库中的原始语料数据非常稀少，本申请实施例中采用多种数据扩充方法来提升有效数据量，但是不同的数据扩充方法又有不同的特点。本发明实施例中可以采用如下数据扩充方法：
数据扩充方法一、对原始语料数据进行添加标点符号处理，简称标点扩充。
在原始语料数据中加入标点符号(，。：；！)，加入方式为在待处理语句的随机位置加入设定数量的标点符号，得到标点扩充后的语句。设定数量通常可以在1～文本长度/3的数值范围内任意选取，如果待处理语句的文本长度小于或等于3，则不作添加标点符号处理。在标点扩充时通常不考虑问号，因为问号有一定的额外语义。举例说明，假设待处理语句为“我要去你们公司”，则标点扩充后的语句可能为“我要，去你们公。司”。标点扩充是针对标准问题语句的相似句、以及非相关句进行的数据扩充，通常对标准问题语句即锚点句不进行数据扩充，也就是说，所述的待处理语句为所述标准问题语句的相似句或不相似句。
通过标点扩充，训练样本集中可以包括第二类训练样本，第二类训练样本由标准问题语句(参考样本)、对所述标准问题语句的相似句进行添加标点符号处理后得到的标点扩充相似句(同类样本)、以及对所述标准问题语句的不相似句进行添加标点符号处理后得到的标点扩充不相似句(异类样本)组成，可以理解，第二类训练样本是通过对第一类训练样本中标准问题语句的相似句、以及不相似句进行添加标点符号处理后得到的。
数据扩充方法二、对原始语料数据进行基于EDA(Easy Data Augmentation forText Classification Tasks，文本分类任务的简单数据扩充)的加噪处理，简称加噪扩充。
在原始语料数据中加入噪声，加入方式为对待处理语句采用如下方式之一或任意组合，得到加噪扩充后的语句：
方式1、同义词或同音词替换(SR，Synonyms Replace)
在待处理语句中随机抽取至少一个非停用词，使用各非停用词对应的同义词或同音词在所述待处理语句中进行相应替换。具体的，不考虑停用词(stopwords)，在待处理语句中随机抽取n个词语，然后从同义词典或同音词典中随机抽取同义词或同音词进行替换。
方式2、随机***(RI，Randomly Insert)
在待处理语句中执行至少一次随机***：随机抽取一个非停用词，将所述非停用词对应的同义词***所述待处理语句的随机位置。具体的，不考虑停用词(stopwords)，随机抽取一个词语，然后在该词语的同义词集合中随机选择一个***待处理语句中的随机位置，该过程可以重复n次。
方式3、随机交换(RS，Randomly Swap)
在待处理语句中执行至少一次随机交换：随机选择两个词语进行位置交换。具体的，在待处理语句中随机选择两个词语进行位置交换，该过程可以重复n次。
方式4、随机删除(RD，Randomly Delete)
对待处理语句中每个词语基于设定概率(例如设定概率为p)进行随机删除。
举例说明，假设待处理语句为“我要去你们公司”，则加噪扩充(假设采用方式4随机删除)后的语句可能为“我要去你们公”。与标点扩充相同，加噪扩充也是针对标准问题语句的相似句、以及不相似句进行的数据扩充，通常对标准问题语句即锚点句不进行数据扩充，也就是说，所述的待处理语句为所述标准问题语句的相似句或不相似句。
通过加噪扩充，训练样本集中可以包括第三类训练样本，第三类训练样本由标准问题语句(参考样本)、对所述标准问题语句的相似句进行基于EDA的加噪处理后得到的加噪扩充相似句(同类样本)、以及对所述标准问题语句的不相似句进行基于EDA的加噪处理后得到的加噪扩充不相似句(异类样本)组成，可以理解，第三类训练样本是通过对第一类训练样本中标准问题语句的相似句、以及不相似句进行基于EDA的加噪处理后得到的。
加噪扩充简单有效，鉴于词语省略、同义词或同音词情况出现较多，本申请实施例中在加噪扩充时以方式1、方式4作为主要方式。加噪扩充对待处理语句的文本改变比较大，在对充分进行数据扩充的同时，也加入了一些错误数据，从而形成了困难样本，恰好能够模拟机器人语音对话的业务场景下口语化等表达不规范的情况，以及语音识别结果中存在错别、别字等不准确的情况。
具体实施中还可以采用其他的数据扩充方法，例如回译方法，以增加训练样本集中训练样本的种类。回译方法是指将待处理数据翻译成一种设定语言的文本，再将设定语言的翻译文本翻译回初始语言的文本，例如可以将中文文本的待处理语句翻译成英文文本，再将英文文本翻译回中文文本，得到回译扩充后的语句。举例说明，假设待处理语句为“我要去你们公司”，则回译扩充后的语句可能为“我想去贵公司”。
至此，训练样本集中可以包括：第一类训练样本(原始语料数据)，第二类训练样本(标点扩充后数据)，第三类训练样本(加噪扩充后数据)，等。针对每一类训练样本来说，训练样本中均会包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本。可以理解，所述标准问题语句为人工录入的作为标准问题的语句，所述同类样本用于指示与所述标准问题语句相似的语句，所述异类样本用于指示与所述标准问题语句不相似的语句。
S102、在使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对所述每个训练样本进行基于线性插值的混合编码处理后输入所述初始文本匹配模型，输出得到所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离。
由于用户的问题是多种多样的，怎样在有限的训练数据基础上尽量提升模型输入数据的多样性以达到提升文本匹配模型的准确率的目的，是多样性阶段需要解决的技术问题。本发明实施例中，在多样性阶段采用基于线性插值的混合编码处理进行数据增强，提升模型输入数据的多样性。
S103、根据输出的所述第一距离、所述第二距离以及文本匹配模型的损失函数调整所述文本匹配模型的模型参数，直至所述文本匹配模型的损失函数满足设定条件，得到所述多样性阶段训练后的文本匹配模型。
在一种可选的实现方式中，初始文本匹配模型的结构可以采用Triplet Network(三元组网络)，Triplet Network适用于小样本学习场景中。Triplet Network的结构如图2所示，包括三个结构相同、且共享模型参数的前馈神经网络(Net)。前馈神经网络通常由一个输入层、一到多个隐藏层、一个输出层组成，数据通过网络一层层向后传递，直到输出层，之间没有反馈回路。
用于对Triplet Network进行迭代训练的每个训练样本由三个样本组成，可以称为样本三元组，包括：一个参考样本、一个同类样本和一个异类样本，其训练是通过样本间的对比。每次迭代训练时，输入一个训练样本(样本三元组)：一个参考样本、一个同类样本和一个异类样本，Triplet Network会输出两个值：参考样本与同类样本、以及参考样本与异类样本在Net(embedding)层的特征向量之间的距离，所述距离能够表征样本之间的相似程度。Triplet Network输出的两个值分别为所述参考样本的特征向量与所述同类样本的特征向量之间的第一距离，以及所述参考样本的特征向量与所述异类样本的特征向量之间的第二距离。所述的第一距离和第二距离可以为特征向量之间的L2距离即欧式距离，也可以为余弦距离等，具体不作限定。
假设参考样本表示为x，异类样本表示为x-，同类样本表示为x+。Triplet Network的本质是x-和x+相对于x的距离进行编码，所述距离可以采用欧氏距离，如公式[1]所示：
Figure BDA0003801100500000091
请参考图2，Triplet Network中还包括一个比较器(Comparator)，用于对上述两个距离组成的向量进行处理。针对一个训练样本(样本三元组)中的每个样本，训练一个参数共享的前馈神经网络(Net)，得到三个样本的特征向量，通过模型迭代训练，让x+和x各自对应的特征向量之间的第一距离d+尽可能小，而x-和x各自对应的特征向量之间的第二距离d-尽可能大，并且要让x+和x各自对应的特征向量之间的第一距离d+、以及x-和x各自对应的特征向量之间的第二距离d-保持一个最小间隔阈值，例如，设置所述最小间隔阈值为1。
本申请实施例中，文本匹配模型的损失函数如公式[2]所示，所述损失函数用于表征所述参考样本即标准问题语句与所述同类样本、以及异类样本之间的差异：
Figure BDA0003801100500000092
其中，const表示一个常数，通过d+和d-可以将初始变量归一化到(0，1)范围内，d+、d-分别如公式[3]、[4]所示：
Figure BDA0003801100500000101
Figure BDA0003801100500000102
需要说明的是，训练后的文本匹配模型通常用于对输入的两个语句分别得到各自的特征向量，通过相似度计算输出两个语句之间的匹配度，因此训练后的文本匹配模型可以包括两个训练后的前馈神经网络。
在一种可选的实现方式中，可以采用课程式学习方式进行文本匹配模型的训练，课程式学习(Curriculum Learning)是一种学习策略，其核心是模仿人类的学习方法，让模型先从容易的样本开始学习，并逐渐进阶到复杂的样本和知识的学习。
本申请实施例中，可以使用训练样本集对初始文本匹配模型进行至少一个阶段的迭代训练，得到训练后的文本匹配模型，所述至少一个阶段中每个阶段的迭代训练直至所述文本匹配模型的损失函数满足设定条件。在采用课程式学习方式的情况下，相邻两个阶段的迭代训练是接续进行的，使用前一个阶段训练后的文本匹配模型作为下一个阶段的初始文本匹配模型，将最后一个阶段训练后的文本匹配模型作为最终训练完成的文本匹配模型。所述至少一个阶段包括所述多样性阶段。
基于上述初始文本匹配模型的结构，详细说明使用训练样本集对初始文本匹配模型进行至少一个阶段的迭代训练的过程。所述至少一个阶段至少包括多样性阶段；在一种可选的实现方式中，所述至少一个阶段还可以包括基线阶段，所述基线阶段在所述多样性阶段之前；在一种可选的实现方式中，所述至少一个阶段还可以包括渐进阶段，所述渐进阶段在所述多样性阶段之后。具体实施中，基线阶段、多样性阶段、以及渐进阶段由易到难形成课程式学习的训练方式。
下面依次介绍上述三个阶段的迭代训练过程。
请参考图3a，在所述基线阶段，可以使用训练样本集中第一类训练样本、或者第二类训练样本、或者第一类训练样本和第二类训练样本对初始文本匹配模型进行迭代训练。
在所述基线阶段的迭代训练过程中，每次迭代训练的具体步骤包括：
步骤a1、对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行one-hot编码，得到各自对应的one-hot编码矩阵，再对各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵。
需要说明的是，如果所述训练样本为第一类训练样本，相应的需要进行one-hot编码、以及基于预训练的语言表征模型进行编码的语句包括所述标准问题语句、所述标准问题语句的相似句，以及所述标准问题语句的不相似句；如果所述训练样本为第二类训练样本，相应的需要进行one-hot编码、以及基于预训练的语言表征模型进行编码的语句包括所述标准问题语句、所述标准问题语句的标点扩充相似句，以及所述标准问题语句的标点扩充不相似句。
one-hot编码，又称“独热编码”，是比较常用的文本特征提取的方法，实质就是用N位状态寄存器编码N个状态，每个状态都有独立的寄存器位，且每个寄存器位中只有一个状态。
所述预训练的语言表征模型可以选择BERT、RoBERTa、ALBERT等任意一种。BERT(Bidirectional Encoder Representations from Transformers，基于Transformer的双向编码表征)用Transformer的双向编码器表示。BERT分为训练语言模型的预训练部分和模型微调部分，其中模型微调部分使用预训练的语言模型进行模型微调训练，广泛应用于文本分类，文本匹配等任务。RoBERTa、ALBERT均是BERT的改进版模型。
步骤a2、将所述标准问题语句、所述同类样本、以及所述异类样本各自对应的语言表征模型编码矩阵分别输入所述初始文本匹配模型中相对应的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离。
具体的，将标准问题语句对应的语言表征模型编码矩阵输入图2中x对应的前馈神经网络，所述同类样本对应的语言表征模型编码矩阵输入图2中x+对应的前馈神经网络，所述异类样本对应的语言表征模型编码矩阵输入图2中x-对应的前馈神经网络。
具体的，所述标准问题语句与所述同类样本之间的第一距离可以是所述标准问题语句对应的特征向量与所述同类样本对应的特征向量之间的欧式距离，所述标准问题语句与所述异类样本之间的第二距离可以是所述标准问题语句对应的特征向量与所述异类样本对应的特征向量之间的欧式距离。
步骤a3、根据输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数，所述损失函数用于表征所述标准问题语句与所述同类样本、以及异类样本之间的差异。
具体的，通过比较器(Comparator)根据所述第一距离、所述第二距离计算损失函数的损失值，再以文本匹配模型的损失下降为目标，调整所述文本匹配模型的模型参数。
值得说明的是，上述过程仅为基线阶段的一次迭代训练过程。实际应用中，可能需要重复进行多次迭代训练才能在本阶段达到文本匹配模型的损失函数满足设定条件的要求，损失函数满足设定条件具体可以为损失函数的损失下降程度小于设定阈值，因而可执行多次上述迭代训练过程。
课程式学习的基线阶段，可以直接使用客服人员标注的优质的、高区分度的原始语料数据进行训练，得到一个基线模型；也可以使用标点扩充后数据进行训练，得到一个基线模型，标点扩充可以使得文本匹配模型对于常见的基本问题具有较好的识别能力；还可以使用原始语料数据+标点扩充后数据进行训练，得到一个基线模型，在原始语料数据中加入标点扩充后数据可以更好地学习到模型输入数据的特征向量的表示。
请参考图3b，在所述多样性阶段，可以使用训练样本集中第一类训练样本、或者第二类训练样本、或者第一类训练样本和第二类训练样本对初始文本匹配模型进行迭代训练。在所述多样性阶段，在使用第一类训练样本和第二类训练样本对初始文本匹配模型进行迭代训练的情况下，由于在原始语料数据中加入了标点扩充后数据，通过对训练数据的扩充能够提升文本匹配模型的准确率。
在所述多样性阶段的迭代训练过程中，每次迭代训练的具体步骤包括：
步骤b1、对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行基于线性插值的混合编码处理，得到各自对应的混合编码矩阵。
在一种可选的实现方式中，步骤b1可以包括以下步骤：
步骤b1-1、对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行one-hot编码，得到各自对应的one-hot编码矩阵。
需要说明的是，如果所述训练样本为第一类训练样本，相应的需要进行基于线性插值的混合编码处理的语句包括所述标准问题语句、所述标准问题语句的相似句，以及所述标准问题语句的不相似句；如果所述训练样本为第二类训练样本，相应的需要进行基于线性插值的混合编码处理的语句包括所述标准问题语句、所述标准问题语句的标点扩充相似句，以及所述标准问题语句的标点扩充不相似句。对每个语句进行基于线性插值的混合编码处理的过程均是相同的，针对任一语句来说，对该语句进行one-hot(热独)编码，形成一个维度大小为shape＝(文本长度，词表总数)的one-hot编码矩阵，one-hot编码矩阵作为one-hot编码结果，记为T。所述的词表包括所有字符的编码范围。
步骤b1-2、对所述标准问题语句、所述同类样本、以及所述异类样本各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵，再将各自对应的语言表征模型编码矩阵分别与预设的词表向量矩阵相乘并归一化处理，得到各自对应的句编码预测结果矩阵。
具体的，所述预训练的语言表征模型可以选择BERT、RoBERTa、ALBERT等任意一种。例如，利用BERT对one-hot编码矩阵T进行编码，得到的BERT编码矩阵记为BERT(T)，BERT(T)维度大小为shape＝(文本长度，BERT编码向量维度)，其中BERT编码向量维度是固定的，一般为768。
将BERT(T)与预编码完成的词表向量矩阵W相乘，W的维度大小shape＝(文本长度，词表总数)，再通过softmax归一化处理，得到句编码预测结果矩阵M，M的维度大小shape＝(词表总数，BERT编码向量维度)。句编码预测结果矩阵M的计算方式如公式[5]所示：
M＝softmax(BERT(T)*WT)
步骤b1-3、对所述标准问题语句、所述同类样本、以及所述异类样本各自对应的句编码预测结果矩阵与one-hot编码矩阵进行线性插值处理，得到各自对应的混合编码矩阵。
具体的，将句编码预测结果矩阵M与one-hot编码矩阵T进行线性插值处理，即mixup混合，得到扩充后的混合编码矩阵X。可以设定一个线性插值的超参数λ，所述超参数λ用于表示所述one-hot编码矩阵在线性插值处理中所占的比例，所述one-hot编码矩阵与所述句编码预测结果矩阵在线性插值处理中所占的比例之和为1。混合编码矩阵X的计算方式如公式[6]所示：
X＝λT+(1-λ)M
在所述多样性阶段的模型迭代训练过程中，超参数λ的参数值可以设置为固定值，例如λ＝0.2。为了进一步提升多样性，在所述多样性阶段的模型迭代训练过程中，可以将所述超参数λ的参数值初始化设置为最小预设参数值(例如0.05)，在基于所述超参数的当前参数值进行模型迭代训练的情况下，如果所述损失函数的损失下降程度小于设定阈值，则按照设定的调整步长(例如0.05)提升所述超参数λ的当前参数值，直至达到所述超参数的最大预设参数值(例如0.2)。
举例说明对任一语句进行基于线性插值的混合编码处理流程，请参考图4，假设当前语句为“我要查天气”，首先对该语句进行one-hot编码，得到one-hot编码矩阵T；对one-hot编码矩阵T基于BERT进行编码，得到BERT编码矩阵BERT(T)，再将BERT编码矩阵BERT(T)与预设的词表向量矩阵W相乘，并通过softmax归一化处理，得到句编码预测结果矩阵M；基于超参数λ将句编码预测结果矩阵M与one-hot编码矩阵T进行线性插值处理，得到扩充后的混合编码矩阵X。
基于线性插值的混合编码处理进行数据增强的方法，句编码预测结果矩阵基于语言表征模型编码矩阵和词表向量矩阵相乘得到，由于词表包括所有字符的编码范围，所以有效利用了词表中其他的相似语义信息，能够将词表中的编码信息融入语言表征模型编码矩阵，有效提升模型输入数据的多样性；利用一个线性插值将句编码预测结果矩阵与one-hot编码矩阵混合，取两者的优点，使得编码信息的增加在可控范围内，保证模型的可训练性。
步骤b2、所述标准问题语句、所述同类样本、以及所述异类样本各自对应的混合编码矩阵分别输入所述初始文本匹配模型中相对应的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离。
具体的，将标准问题语句对应的混合编码矩阵输入图2中x对应的前馈神经网络，所述同类样本对应的混合编码矩阵输入图2中x+对应的前馈神经网络，所述异类样本对应的混合编码矩阵输入图2中x-对应的前馈神经网络。
步骤b3、根据输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数，所述损失函数用于表征所述标准问题语句与所述同类样本、以及异类样本之间的差异。
具体的，通过比较器(Comparator)根据所述第一距离、所述第二距离计算损失函数的损失值，再以文本匹配模型的损失下降为目标，调整所述文本匹配模型的模型参数。
值得说明的是，上述过程仅为多样性阶段的一次迭代训练过程。实际应用中，可能需要重复进行多次迭代训练才能在本阶段达到文本匹配模型的损失函数满足设定条件的要求，损失函数满足设定条件具体可以为达到超参数的最大预设参数值(例如0.2)的情况下，损失函数的损失下降程度小于设定阈值，因而可执行多次上述迭代训练过程。
在课程式学习的多样性阶段，可以直接使用客服人员标注的优质的、高区分度的原始语料数据进行训练，也可以使用标点扩充后数据进行训练，还可以使用原始语料数据+标点扩充后数据进行训练，并且采用基于线性插值的混合编码进行数据增强，提升模型输入数据的多样性；进一步，可以灵活调整线性插值的超参数λ，该超参数的参数值越大，模型输入数据的多样性越多，在模型迭代训练过程中，初始化超参数为最小预设参数值例如λ＝0.05，可以设置每次验证集的损失函数的下降程度小于设定阈值时，就将λ的参数值提升设定的调整步长例如0.05，直到提升到最大预设参数值例如λ＝0.2为止，在超参数达到最大预设参数值的情况下，如果损失函数的下降程度小于设定阈值，则最终完成多样性阶段的迭代训练，通过不断提升模型输入数据的多样性，提升文本匹配模型的准确率。
请参考图3c，在所述渐进阶段，可以使用所述训练样本集中第一类训练样本和/或第二类训练样本、以及基于渐进因子τ选取的第三类训练样本对初始文本匹配模型进行模型迭代训练，其中，所述渐进因子τ用于表示所选取的第三类训练样本的样本量占第三类训练样本的样本总量的比例(例如τ＝0.1)，在基于当前样本量进行模型迭代训练的情况下，如果所述损失函数的损失下降程度小于设定阈值，则在当前样本量的基础上增加所述渐进因子τ对应的第三类训练样本的样本量，直至所述第三类训练样本全部加入。
在所述渐进阶段的迭代训练过程中，每次迭代训练的具体步骤包括：
步骤c1、对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行one-hot编码，得到各自对应的one-hot编码矩阵，再对各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵。
需要说明的是，如果所述训练样本为第一类训练样本，相应的需要进行one-hot编码、以及基于预训练的语言表征模型进行编码的语句包括所述标准问题语句、所述标准问题语句的相似句，以及所述标准问题语句的不相似句；如果所述训练样本为第二类训练样本，相应的需要进行one-hot编码、以及基于预训练的语言表征模型进行编码的语句包括所述标准问题语句、所述标准问题语句的标点扩充相似句，以及所述标准问题语句的标点扩充不相似句；如果所述训练样本为第三类训练样本，相应的需要进行one-hot编码、以及基于预训练的语言表征模型进行编码的语句包括所述标准问题语句、所述标准问题语句的噪声扩充相似句，以及所述标准问题语句的噪声扩充不相似句。所述预训练的语言表征模型可以选择BERT、RoBERTa、ALBERT等任意一种。
步骤c2、将所述标准问题语句、所述同类样本、以及所述异类样本各自对应的语言表征模型编码矩阵分别输入所述初始文本匹配模型中相对应的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离。
具体的，将标准问题语句对应的语言表征模型编码矩阵输入图2中x对应的前馈神经网络，所述同类样本对应的语言表征模型编码矩阵输入图2中x+对应的前馈神经网络，所述异类样本对应的语言表征模型编码矩阵输入图2中x-对应的前馈神经网络。
步骤c3、根据输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数，所述损失函数用于表征所述标准问题语句与所述同类样本、以及异类样本之间的差异。
具体的，通过比较器(Comparator)根据所述第一距离、所述第二距离计算损失函数的损失值，再以文本匹配模型的损失下降为目标，调整所述文本匹配模型的模型参数。
值得说明的是，上述过程仅为渐进阶段的一次迭代训练过程。实际应用中，可能需要重复进行多次迭代训练才能在本阶段达到文本匹配模型的损失函数满足设定条件的要求，损失函数满足设定条件具体可以为第三类训练样本全部加入的情况下，损失函数的损失下降程度小于设定阈值，因而可执行多次上述迭代训练过程。
在课程式学习的渐进阶段，可以使用原始语料数据+标点扩充后数据+噪声扩充后数据进行训练，采用渐进学习的策略，引入一个渐进因子τ，τ从0.1开始，每次验证集的损失函数的下降程度小于设定阈值时，即增加第三类训练样本的样本总量*0.1的数据量到数据池中进行训练，直至全部加入第三类训练样本为止，在全部加入第三类训练样本的情况下，如果损失函数的下降程度小于设定阈值，则最终完成渐进阶段的迭代训练，使模型由易到难，逐渐学习困难样本，由于困难样本能够模拟机器人语音对话的业务场景下口语化等表达不规范的情况，以及语音识别结果中存在错别、别字等不准确的情况，因此能够提升文本匹配模型的准确率，减少上述情况对意图识别带来的不利影响。
下面，对各个阶段的每次迭代训练中如何调整所述文本匹配模型的模型参数进行统一说明。文本匹配模型的模型参数是指用于表征文本匹配模型的结构的参数。具体而言，文本匹配模型的模型参数可以包括文本匹配模型中三个前馈神经网络共享的模型参数，所述三个前馈神经网络共享的模型参数可以包括前馈神经网络中各网络层的网络参数。对于各网络层而言，各网络层的网络参数可以例如包括但不限于各网络层包含的神经元数量、神经元与其他各网络层的神经元之间的连接关系及连接权重等。
在一种可选的实现方式中，可以采用反向传播法对文本匹配模型的模型参数进行调整。具体而言，基于所述第一距离、所述第二距离以及所述文本匹配模型的损失函数，确定文本匹配模型的损失值，接着，以文本匹配模型的损失下降为目标，从文本匹配模型的最后一层网络层起，通过反向传播逐层调整文本匹配模型中各网络层的网络参数。
示例地，可以从文本检测模型的最后一层网络层起，根据文本匹配模型中各网络层的结构及不同网络层之间的连接关系及连接权重等，对文本匹配模型的损失值向前求偏导，得到各网络层的损失值，其中，各网络层的损失值用于表征在各网络层引起的匹配偏差；接着，以使文本匹配模型的损失下降为目标，依次基于各网络层的损失值对各网络层的网络参数进行调整。
本申请实施例提供的文本匹配模型的训练方法，针对仅能根据知识库中的相似问题数据进行模型训练，训练数据较少的问题，对训练样本集中每个训练样本进行了数据扩充，每个训练样本除了包括标准问题语句及其同类样本之外，增加了标准问题语句的异类样本；在使用训练样本集进行多样性阶段的迭代训练过程中，对训练样本中的标准问题语句、同类样本、以及异类样本采用基于线性插值的混合编码处理进行数据增强之后，再输入初始文本匹配模型，通过样本间的对比调整文本匹配模型的模型参数。通过对训练样本集中每个训练样本进行数据扩充，并且由于客户提出的问题是多种多样的，采用基于线性插值的混合编码处理进行数据增强，能够在有限的训练数据基础上提升模型输入数据的多样性，从而通过多样性阶段的迭代训练能够有效提升文本匹配模型的准确率。
进一步，针对每个训练样本包括标准问题语句、同类样本、以及异类样本的特点，初始文本匹配模型采用了三元组网络结构，包括三个结构相同、且共享模型参数的前馈神经网络，三元组网络具备推理速度快的特点；在每次迭代训练过程中，将标准问题语句、同类样本、以及异类样本分别输入相对应的前馈神经网络，通过样本间的对比调整文本匹配模型的模型参数。
更进一步，针对训练数据较少的场景，采用了多种数据扩充方法，包括标点扩充、噪声扩充、回译扩充等，又针对不同数据扩充方法得到的扩充数据的不同特性，设计了一种先易后难的课程式学习的训练方式，该训练方式能让模型先学习到问题的主要矛盾，先主后次，比传统的一股脑的训练方式更有优势，使得训练出的文本匹配模型更接近实际场景，尤其适用于对话问答***的意图识别。
与上述文本匹配模型的训练方法相应地，本申请实施例还提供一种意图识别方法，能够基于图1所示方法训练出的文本匹配模型对输入的语音识别结果准确地匹配出符合客户意图的标准问题语句，从而完成意图识别任务，提升意图识别的准确率。
请参考图5，为本申请的一个实施例提供的一种意图识别方法的流程示意图，该方法可以包括如下步骤：
S501、获取待识别语音对应的语音识别语句。
所述待识别语音通常是指对话问答***中客户提出的问题，一般经过语音识别(ASR)得到对应的文本格式的语音识别语句，语音识别语句经过预处理后进入问题识别流程，在S501中获取待识别语音对应的语音识别语句通常是指预处理后的语音识别语句。
S502、将所述语音识别语句与知识库中的标准问题语句输入预先训练的文本匹配模型，输出所述语音识别语句与所述标准问题语句之间的匹配度；其中，所述文本匹配模型根据上述图1所示的文本匹配模型的训练方法训练得到。可以理解，所述匹配度能够表征所述语音识别语句与所述标准问题语句之间的相似程度。
S503、基于所述语音识别结果与每个标准问题语句之间的匹配度，确定与所述待识别语音相匹配的标准问题语句作为意图识别结果。
在一种可选的实现方式中，通常将与语音识别语句之间的匹配度最高的标准问题语句作为意图识别结果，在准确识别客户意图的基础上再根据意图识别结果生成应答等后续流程。
本申请实施例提供的意图识别方法，使用上述文本匹配模型的训练方法训练得到的文本匹配模型，对待识别语音对应的语音识别语句与知识库中的标准问题语句进行文本匹配，由于文本匹配模型的训练方法中针对训练数据较少的问题，对训练样本集进行了数据扩充，除了包括标准问题语句及其同类样本之外，增加了标注问题语句的异类样本，并且在多样性阶段采用了基于线性插值的混合编码处理进行数据增强，提升模型输入数据的多样性，因此能够提升文本匹配模型的准确率，使得训练出的文本匹配模型适用于待识别语音具有多样性的意图识别场景，在文本匹配模型针对多种多样的待识别语音进行准确地文本匹配的基础上，能够准确地识别出所述待识别语音所表达的真实客户意图，从而提升意图识别的准确率。
下面以语音机器人对话的业务场景为例，对本申请实施例提供的文本匹配模型的训练方法、以及意图识别方法进行示例性说明。语音机器人对话涉及的处理流程如图6所示，客户向语音机器人提出的问题即为待识别语音，待识别语音经过语音识别(ASR)得到对应的语音识别结果，语音识别结果经过预处理后进入问题识别流程，所述的预处理可以包括敏感词处理、停用词处理、繁体字替换等，可以理解，所述的语音识别结果为文本格式的语音识别语句；在问题识别流程中，确认问题不为空的情况下，进行实体识别、意图识别等处理；然后进入回答流程基于意图识别结果生成语音机器人的应答，并继续后续流程等，最终完成语音机器人的对话流程。本申请实施例提供的文本匹配模型的训练方法、以及意图识别方法可以应用在问题识别流程的意图识别中。在语音机器人的知识库中，通常会预先由人工录入文本格式的标准问题语句、以及标准问题语句的相似句，为了解决语音机器人的知识库中训练数据较少的问题，通过在所述知识库中增加录入标准问题语句的不相似句，得到由标准问题语句、标准问题语句的相似句以及不相似句组成的第一类训练样本；并对第一类训练样本通过标点扩充、加噪扩充等得到第二类训练样本、第三类训练样本；使用数据扩充后的训练样本集对初始文本匹配模型进行至少一个阶段的迭代训练，得到训练后的用于语音机器人对话的文本匹配模型，所述的至少一个阶段包括采用基于线性插值的混合编码处理进行数据增强的多样性阶段。进一步，使用训练后的文本匹配模型，将语音机器人对话涉及的处理流程中，预处理后的语音识别语句(文本格式)与语音机器人的知识库中的标准问题语句(文本格式)进行匹配，确定与待识别语音(客户向语音机器人提出的问题)相匹配的标准问题语句作为客户向语音机器人所提出问题对应的意图识别结果，基于意图识别结果生成语音机器人的应答。可以看出，在语音机器人对话的业务场景下，本方案有效解决了语音机器人的训练数据较少的问题，通过数据扩充能够提升文本匹配模型的准确率，使得训练出的文本匹配模型适用于待识别语音具有多样性的意图识别场景，在文本匹配模型针对多种多样的待识别语音进行准确地文本匹配的基础上，能够准确地识别出所述待识别语音所表达的真实客户意图，从而提升意图识别的准确率。上述语音机器人对话的业务场景仅是本申请实施例所提供方法的应用场景示例性说明，本申请实施例提供的文本匹配模型的训练方法、以及意图识别方法还可以应用于其他对话问答的业务场景。
此外，与上述图1所示的文本匹配模型的训练方法相对应地，本申请实施例还提供一种文本匹配模型的训练装置。图7是本申请实施例提供的一种文本匹配模型的训练装置700的结构示意图，包括：
构建模块701，用于基于知识库中的标准问题语句构建训练样本集，所述训练样本集中每个训练样本包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本，所述标准问题语句为人工录入的作为标准问题的语句，所述同类样本用于指示与所述标准问题语句相似的语句，所述异类样本用于指示与所述标准问题语句不相似的语句；
多样性训练模块702，用于在使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对所述每个训练样本进行基于线性插值的混合编码处理后输入所述初始文本匹配模型，输出得到所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
第一调整模块703，用于根据输出的所述第一距离、所述第二距离以及文本匹配模型的损失函数调整所述文本匹配模型的模型参数，直至所述文本匹配模型的损失函数满足设定条件，得到所述多样性阶段训练后的文本匹配模型。
在一种可选的实现方式中，所述初始文本匹配模型包括三个结构相同、且共享模型参数的前馈神经网络；在所述多样性阶段的迭代训练过程中：
所述多样性训练模块702，具体用于在每次迭代训练时，对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行基于线性插值的混合编码处理，得到各自对应的混合编码矩阵；将所述标准问题语句、所述同类样本、以及所述异类样本各自对应的混合编码矩阵分别输入所述初始文本匹配模型中相对应的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
所述第一调整模块703，具体用于根据所述多样性训练模块702输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数，所述损失函数用于表征所述标准问题语句与所述同类样本、以及异类样本之间的差异。
在一种可选的实现方式中，所述多样性训练模块702使用所述训练样本集中第一类训练样本和/或第二类训练样本对初始文本匹配模型进行多样性阶段的迭代训练。
在一种可选的实现方式中，所述多样性训练模块702，具体用于在每次迭代训练时，对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行one-hot编码，得到各自对应的one-hot编码矩阵；对所述标准问题语句、所述同类样本、以及所述异类样本各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵，再将各自对应的语言表征模型编码矩阵分别与预设的词表向量矩阵相乘并归一化处理，得到各自对应的句编码预测结果矩阵；对所述标准问题语句、所述同类样本、以及所述异类样本各自对应的句编码预测结果矩阵与one-hot编码矩阵进行线性插值处理，得到各自对应的混合编码矩阵。
在一种可选的实现方式中，所述训练装置700还包括：
训练控制模块704，用于使用所述训练样本集对初始文本匹配模型进行至少一个阶段的模型迭代训练，将最后一个阶段训练后的文本匹配模型作为最终训练完成的文本匹配模型；所述至少一个阶段中每个阶段的模型迭代训练直至所述文本匹配模型的损失函数满足设定条件；所述至少一个阶段包括多样性阶段。
在一种可选的实现方式中，所述至少一个阶段还包括基线阶段，所述基线阶段在所述多样性阶段之前，通过基线训练模块705和第二调整模块706实现所述基线阶段的迭代训练过程，所述基线训练模块705使用所述训练样本集中第一类训练样本和/或第二类训练样本对初始文本匹配模型进行基线阶段的迭代训练：
所述基线训练模块705，用于在每次迭代训练时，对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行one-hot编码，得到各自对应的one-hot编码矩阵，再对各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵；将所述标准问题语句、所述同类样本、以及所述异类样本各自对应的语言表征模型编码矩阵分别输入所述初始文本匹配模型中相对应的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
所述第二调整模块706，用于根据所述基线训练模块705输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数。
在一种可选的实现方式中，所述至少一个阶段还包括渐进阶段，所述渐进阶段在所述多样性阶段之后，通过渐进训练模块707和第三调整模块708实现所述渐进阶段的迭代训练过程，所述渐进训练模块707使用所述训练样本集中第一类训练样本和/或第二类训练样本、以及基于渐进因子选取的第三类训练样本对初始文本匹配模型进行渐进阶段的迭代训练：
所述渐进训练模块707，用于在每次迭代训练时，对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行one-hot编码，得到各自对应的one-hot编码矩阵，再对各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵；将所述标准问题语句、所述同类样本、以及所述异类样本各自对应的语言表征模型编码矩阵分别输入所述初始文本匹配模型中的一个指定的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
所述第三调整模块708，用于根据所述渐进训练模块707输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数。
显然，本申请实施例的文本匹配模型的训练装置可以作为上述图1所示的文本匹配模型的训练方法的执行主体，因此能够实现文本匹配模型的训练方法在图1所实现的功能。由于原理相同，在此不再赘述。
此外，与上述图5所示的意图识别方法相对应地，本申请实施例还提供一种意图识别装置。图8是本申请实施例提供的一种意图识别装置800的结构示意图，包括：
获取模块801，用于获取待识别语音对应的语音识别语句；
文本匹配模块802，用于将所述语音识别语句与知识库中预设的问题语句输入预先训练的文本匹配模型，输出所述语音识别语句与所述问题语句之间的匹配度；其中，所述文本匹配模型根据上述图1所示的文本匹配模型的训练方法训练得到；
意图识别模块803，用于基于所述语音识别语句与每个问题语句之间的匹配度，确定与所述待识别语音相匹配的标准问题语句作为意图识别结果。
显然，本申请实施例的意图识别装置可以作为上述图5所示的意图识别方法的执行主体，因此能够实现意图识别方法在图5所实现的功能。由于原理相同，在此不再赘述。
图9是本申请的一个实施例电子设备的结构示意图。请参考图9，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成文本匹配模型的训练装置或意图识别装置。处理器，执行存储器所存放的程序，并具体用于执行实现上述文本匹配模型的训练方法或意图识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
上述如本申请实施例揭示的文本匹配模型的训练装置执行的方法或者如本申请实施例揭示的意图识别装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该程序或指令被处理器执行时实现上述文本匹配模型的训练方法或者意图识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述文本匹配模型的训练方法或者意图识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (14)

1.一种文本匹配模型的训练方法，其特征在于，包括：
基于知识库中的标准问题语句构建训练样本集，所述训练样本集中每个训练样本包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本；所述标准问题语句为人工录入的作为标准问题的语句，所述同类样本用于指示与所述标准问题语句相似的语句，所述异类样本用于指示与所述标准问题语句不相似的语句；
在使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对所述每个训练样本进行基于线性插值的混合编码处理后输入所述初始文本匹配模型，输出得到所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
根据输出的所述第一距离、所述第二距离以及文本匹配模型的损失函数调整所述文本匹配模型的模型参数，直至所述文本匹配模型的损失函数满足设定条件，得到所述多样性阶段训练后的文本匹配模型。
2.根据权利要求1所述的方法，其特征在于，所述初始文本匹配模型包括三个结构相同、且共享模型参数的前馈神经网络；
在所述多样性阶段的迭代训练过程中，每次迭代训练的具体步骤包括：
对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行基于线性插值的混合编码处理，得到各自对应的混合编码矩阵；
将所述标准问题语句、所述同类样本、以及所述异类样本各自对应的混合编码矩阵分别输入所述初始文本匹配模型中相对应的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
根据输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数，所述损失函数用于表征所述标准问题语句与所述同类样本、以及异类样本之间的差异。
3.根据权利要求2所述的方法，其特征在于，所述训练样本集中包括第一类训练样本和/或第二训练样本；
所述使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练，包括：
使用所述训练样本集中第一类训练样本和/或第二类训练样本对所述初始文本匹配模型进行多样性阶段的迭代训练；
其中，所述第一类训练样本中所述标准问题语句的同类样本为所述标准问题语句的相似句，以及所述异类样本为所述标准问题语句的不相似句，所述标准问题语句的相似句、以及不相似句预先录入所述知识库中；
所述第二类训练样本中所述标准问题语句的同类样本为对所述标准问题语句的相似句进行添加标点符号处理后得到的标点扩充相似句，以及所述异类样本为对所述标准问题语句的不相似句进行添加标点符号处理后得到的标点扩充不相似句。
4.根据权利要求2或3所述的方法，其特征在于，所述对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行基于线性插值的混合编码处理，得到各自对应的混合编码矩阵，具体包括：
对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行独热one-hot编码，得到各自对应的one-hot编码矩阵；
对所述标准问题语句、所述同类样本、以及所述异类样本各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵，再将各自对应的语言表征模型编码矩阵分别与预设的词表向量矩阵相乘并归一化处理，得到各自对应的句编码预测结果矩阵；
对所述标准问题语句、所述同类样本、以及所述异类样本各自对应的句编码预测结果矩阵与one-hot编码矩阵进行线性插值处理，得到各自对应的混合编码矩阵。
5.根据权利要求4所述的方法，其特征在于，基于线性插值的超参数对所述句编码预测结果矩阵与one-hot编码矩阵进行线性插值处理，所述超参数用于表示所述one-hot编码矩阵在线性插值处理中所占的比例，所述one-hot编码矩阵与所述句编码预测结果矩阵在线性插值处理中所占的比例之和为1；
在所述多样性阶段的迭代训练过程中，将所述超参数的参数值初始化设置为最小预设参数值，在基于所述超参数的当前参数值进行迭代训练的情况下，如果所述损失函数的损失下降程度小于设定阈值，则按照设定的调整步长提升所述超参数的当前参数值，直至达到所述超参数的最大预设参数值。
6.根据权利要求3所述的方法，其特征在于，使用所述训练样本集对初始文本匹配模型进行至少一个阶段的迭代训练，将最后一个阶段训练后的文本匹配模型作为最终训练完成的文本匹配模型；所述至少一个阶段中每个阶段的迭代训练直至所述文本匹配模型的损失函数满足设定条件；所述至少一个阶段包括所述多样性阶段。
7.根据权利要求6所述的方法，其特征在于，所述至少一个阶段还包括基线阶段，所述使用所述训练样本集对初始文本匹配模型进行至少一个阶段的迭代训练，还包括：
在所述多样性阶段的迭代训练之前，使用所述训练样本集中第一类训练样本和/或第二类训练样本对待训练的初始文本匹配模型进行基线阶段的迭代训练；
在所述基线阶段的迭代训练过程中，每次迭代训练的具体步骤包括：
对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行独热one-hot编码，得到各自对应的one-hot编码矩阵，再对各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵；
将所述标准问题语句、所述同类样本、以及所述异类样本各自对应的语言表征模型编码矩阵分别输入所述初始文本匹配模型中相对应的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
根据输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数。
8.根据权利要求6所述的方法，其特征在于，所述训练样本集中还包括第三类训练样本；其中，所述第三类训练样本中所述标准问题语句的同类样本为对所述标准问题语句的相似句进行基于EDA的加噪处理后得到的加噪扩充相似句，以及所述异类样本为对所述标准问题语句的不相似句进行基于EDA的加噪处理后得到的加噪扩充不相似句；
所述至少一个阶段还包括渐进阶段，所述使用所述训练样本集对初始文本匹配模型进行至少一个阶段的迭代训练，还包括：
在所述多样性阶段的迭代训练之后，使用所述训练样本集中第一类训练样本和/或第二类训练样本、以及基于渐进因子选取的第三类训练样本对所述初始文本匹配模型进行渐进阶段的迭代训练；其中，所述渐进因子用于表示所选取的第三类训练样本的样本量占第三类训练样本的样本总量的比例，在基于当前样本量进行迭代训练的情况下，如果所述损失函数的损失下降程度小于设定阈值，则在当前样本量的基础上增加所述渐进因子对应的第三类训练样本的样本量，直至所述第三类训练样本全部加入；
在所述渐进阶段的迭代训练过程中，每次迭代训练的具体步骤包括：
对所述训练样本中所述标准问题语句、所述同类样本、以及所述异类样本分别进行独热one-hot编码，得到各自对应的one-hot编码矩阵，再对各自对应的one-hot编码矩阵分别基于预训练的语言表征模型进行编码，得到各自对应的语言表征模型编码矩阵；
将所述标准问题语句、所述同类样本、以及所述异类样本各自对应的语言表征模型编码矩阵分别输入所述初始文本匹配模型中相对应的前馈神经网络，输出所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
根据输出的所述第一距离、所述第二距离、以及所述文本匹配模型的损失函数，调整所述文本匹配模型的模型参数。
9.根据权利要求8所述的方法，其特征在于，所述对所述标准问题语句的相似句或非相似句进行基于EDA的加噪处理，包括如下方式之一或任意组合：
在待处理语句中随机抽取至少一个非停用词，使用各非停用词对应的同义词或同音词在所述待处理语句中进行相应替换；
在待处理语句中执行至少一次随机***：随机抽取一个非停用词，将所述非停用词对应的同义词***所述待处理语句的随机位置；
在待处理语句中执行至少一次随机交换：随机选择两个词语进行位置交换；
对待处理语句中每个词语基于设定概率进行随机删除；
其中，所述待处理语句为所述标准问题语句的相似句或非相似句。
10.一种意图识别方法，其特征在于，包括：
获取待识别语音对应的语音识别语句；
将所述语音识别语句与知识库中的标准问题语句输入预先训练的文本匹配模型，输出所述语音识别语句与所述标准问题语句之间的匹配度；其中，所述文本匹配模型根据如权利要求1至9任一项所述的文本匹配模型的训练方法训练得到；
基于所述语音识别结果与所述知识库中每个标准问题语句之间的匹配度，确定与所述待识别语音相匹配的标准问题语句作为意图识别结果。
11.一种文本匹配模型的训练装置，其特征在于，包括：
构建模块，用于基于知识库中的标准问题语句构建训练样本集，所述训练样本集中每个训练样本包括：所述标准问题语句、所述标准问题语句的同类样本、以及所述标准问题语句的异类样本，所述标准问题语句为人工录入的作为标准问题的语句，所述同类样本用于指示与所述标准问题语句相似的语句，所述异类样本用于指示与所述标准问题语句不相似的语句；
多样性训练模块，用于在使用所述训练样本集对初始文本匹配模型进行多样性阶段的迭代训练过程中，对所述每个训练样本进行基于线性插值的混合编码处理后输入所述初始文本匹配模型，输出得到所述标准问题语句与所述同类样本之间的第一距离，以及所述标准问题语句与所述异类样本之间的第二距离；
第一调整模块，用于根据输出的所述第一距离、所述第二距离以及文本匹配模型的损失函数调整所述文本匹配模型的模型参数，直至所述文本匹配模型的损失函数满足设定条件，得到所述多样性阶段训练后的文本匹配模型。
12.一种意图识别装置，其特征在于，包括：
获取模块，用于获取待识别语音对应的语音识别语句；
文本匹配模块，用于将所述语音识别语句与知识库中的标准问题语句输入预先训练的文本匹配模型，输出所述语音识别结果与所述标准问题语句之间的匹配度；其中，所述文本匹配模型根据如权利要求1至9任一项所述的文本匹配模型的训练方法训练得到；
意图识别模块，用于基于所述语音识别结果与所述知识库中每个标准问题语句之间的匹配度，确定与所述待识别语音相匹配的标准问题语句作为意图识别结果。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至9中任一项所述的文本匹配模型的训练方法，或者，以实现如权利要求10所述的意图识别方法。
14.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至9中任一项所述的文本匹配模型的训练方法，或者，以实现如权利要求10所述的意图识别方法。
CN202210983380.XA 2022-08-16 2022-08-16 文本匹配模型的训练方法、意图识别方法及装置 Pending CN116150311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210983380.XA CN116150311A (zh) 2022-08-16 2022-08-16 文本匹配模型的训练方法、意图识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210983380.XA CN116150311A (zh) 2022-08-16 2022-08-16 文本匹配模型的训练方法、意图识别方法及装置

Publications (1)

Publication Number Publication Date
CN116150311A true CN116150311A (zh) 2023-05-23

Family

ID=86351256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210983380.XA Pending CN116150311A (zh) 2022-08-16 2022-08-16 文本匹配模型的训练方法、意图识别方法及装置

Country Status (1)

Country Link
CN (1) CN116150311A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094396A (zh) * 2023-10-19 2023-11-21 北京英视睿达科技股份有限公司 知识抽取方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094396A (zh) * 2023-10-19 2023-11-21 北京英视睿达科技股份有限公司 知识抽取方法、装置、计算机设备及存储介质
CN117094396B (zh) * 2023-10-19 2024-01-23 北京英视睿达科技股份有限公司 知识抽取方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US11049500B2 (en) Adversarial learning and generation of dialogue responses
CN111931513B (zh) 一种文本的意图识别方法及装置
CN110347799B (zh) 语言模型训练方法、装置和计算机设备
CN110795552B (zh) 一种训练样本生成方法、装置、电子设备及存储介质
CN112287670A (zh) 文本纠错方法、***、计算机设备及可读存储介质
CN111831789B (zh) 一种基于多层语义特征提取结构的问答文本匹配方法
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN108763535B (zh) 信息获取方法及装置
CN110929515A (zh) 基于协同注意力和自适应调整的阅读理解方法及***
CN112016553B (zh) 光学字符识别（ocr）***、自动ocr更正***、方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN110765785A (zh) 基于神经网络的中英翻译方法、及其相关设备
CN111599340A (zh) 一种多音字读音预测方法、装置及计算机可读存储介质
CN114580382A (zh) 文本纠错方法以及装置
CN110633359B (zh) 语句等价性判断方法和装置
CN112163092B (zh) 实体及关系抽取方法及***、装置、介质
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN112417855A (zh) 文本意图识别方法、装置以及相关设备
CN111783478B (zh) 机器翻译质量估计方法、装置、设备及存储介质
CN112200664A (zh) 基于ernie模型和dcnn模型的还款预测方法
CN117332112A (zh) 多模态检索模型训练以及多模态检索方法、电子设备及存储介质
CN113553847A (zh) 用于对地址文本进行解析的方法、装置、***和存储介质
CN116150311A (zh) 文本匹配模型的训练方法、意图识别方法及装置
CN113051384A (zh) 基于对话的用户画像抽取方法及相关装置
CN114707518B (zh) 面向语义片段的目标情感分析方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination