CN112528679B - 一种意图理解模型训练方法及装置、意图理解方法及装置 - Google Patents

一种意图理解模型训练方法及装置、意图理解方法及装置 Download PDF

Info

Publication number
CN112528679B
CN112528679B CN202011500085.1A CN202011500085A CN112528679B CN 112528679 B CN112528679 B CN 112528679B CN 202011500085 A CN202011500085 A CN 202011500085A CN 112528679 B CN112528679 B CN 112528679B
Authority
CN
China
Prior art keywords
data
target language
intention
language
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011500085.1A
Other languages
English (en)
Other versions
CN112528679A (zh
Inventor
尹坤
刘权
陈志刚
王智国
胡国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202011500085.1A priority Critical patent/CN112528679B/zh
Publication of CN112528679A publication Critical patent/CN112528679A/zh
Application granted granted Critical
Publication of CN112528679B publication Critical patent/CN112528679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种意图理解模型训练方法及装置、意图理解方法及装置，该意图理解模型训练方法包括：在获取到目标语言训练数据和辅助语言训练数据之后，先将该目标语言训练数据和该辅助语言训练数据输入意图理解模型，得到该意图理解模型输出的该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图，并根据该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图，确定该意图理解模型的模型预测损失；再根据该模型预测损失更新意图理解模型，并返回执行将目标语言训练数据和辅助语言训练数据输入意图理解模型的步骤及其后续步骤，直至达到预设停止条件。如此能够有效地提高意图理解模型的意图理解性能。

Description

一种意图理解模型训练方法及装置、意图理解方法及装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种意图理解模型训练方法及装置、意图理解方法及装置。
背景技术
目前，一些人机交互设备能够针对用户输入的用户语句(例如，语音语句和/或文本语句)与该用户进行人机交互，以使得该人机交互设备能够辅助该用户完成相应的操作需求(例如，路线查询、机票订购等需求)。
对于人机交互设备来说，在人机交互设备接收到用户输入的用户语句之后，该人机交互设备需要先针对该用户语句进行意图理解确定用户意图，再由该人机交互设备依据该用户意图与该用户进行人机交互。
然而，因现有的人机交互设备仍然无法对用户语句(尤其是地方方言、小语种等使用范围较小语言下的用户语句)进行准确地意图理解，导致如何准确地理解用户意图是一个亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提供一种意图理解模型训练方法及装置、意图理解方法及装置，能够从用户语句中准确地理解出用户意图，尤其能够从地方方言、小语种等使用范围较小语言下用户语句中准确地理解出用户意图。
本申请实施例提供了一种意图理解模型训练方法，所述方法包括：
获取目标语言训练数据和辅助语言训练数据；
将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型，得到所述意图理解模型输出的所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图；
根据所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图，确定所述意图理解模型的模型预测损失；
根据所述意图理解模型的模型预测损失更新所述意图理解模型，并继续执行所述将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型的步骤，直至达到预设停止条件。
在一种可能的实施方式中，所述目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据中的至少一种；其中，所述目标语言翻译数据是将辅助语言真实数据进行翻译得到的；所述目标语言生成数据是根据候选意图数据生成的。
在一种可能的实施方式中，所述目标语言生成数据的获取过程为：
将所述候选意图数据输入预先构建的目标语言数据生成模型，得到所述目标语言数据生成模型输出的目标语言生成数据；其中，所述目标语言数据生成模型是利用目标语言标注数据和辅助语言标注数据训练得到的。
在一种可能的实施方式中，所述目标语言数据生成模型的构建过程包括：
利用所述辅助语言标注数据对待训练模型进行训练，得到辅助语言数据生成模型；
利用所述目标语言标注数据对所述辅助语言数据生成模型进行训练，得到所述目标语言数据生成模型。
在一种可能的实施方式中，所述目标语言翻译数据的获取过程为：
根据预设词汇映射关系和所述辅助语言真实数据中的待翻译词汇，确定所述待翻译词汇对应的目标语言词汇，并根据所述辅助语言真实数据和所述待翻译词汇对应的目标语言词汇，确定所述目标语言翻译数据；其中，所述预设词汇映射关系包括所述待翻译词汇和所述待翻译词汇对应的目标语言词汇之间的对应关系；
或者，
将所述辅助语言真实数据输入预先构建的语言翻译模型，得到所述语言翻译模型输出的所述辅助语言真实数据对应的翻译结果，并根据所述辅助语言真实数据对应的翻译结果，确定所述目标语言翻译数据。
在一种可能的实施方式中，所述根据所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图，确定所述意图理解模型的模型预测损失，包括：
根据所述目标语言训练数据对应的预测意图，确定目标语言预测损失；
根据所述辅助语言训练数据对应的预测意图，确定辅助语言预测损失；
根据所述目标语言预测损失和所述辅助语言预测损失，确定所述意图理解模型的模型预测损失。
在一种可能的实施方式中，当所述目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据，且所述目标语言训练数据对应的预测意图包括目标语言真实数据的预测意图、目标语言翻译数据的预测意图和目标语言生成数据的预测意图时，所述方法还包括：
获取目标语言真实数据的实际意图、目标语言翻译数据的参考意图、目标语言生成数据的实际意图；
所述根据所述目标语言训练数据对应的预测意图，确定目标语言预测损失，包括：
根据所述目标语言真实数据的预测意图和所述目标语言真实数据的实际意图，确定目标语言真实数据对应的预测损失；
根据所述目标语言翻译数据的预测意图和所述目标语言翻译数据的参考意图，确定所述目标语言翻译数据对应的预测损失；
根据所述目标语言生成数据的预测意图和所述目标语言生成数据的实际意图，确定所述目标语言生成数据对应的预测损失；
根据所述目标语言真实数据对应的预测损失、所述目标语言翻译数据对应的预测损失和所述目标语言生成数据对应的预测损失，确定目标语言预测损失。
本申请实施例还提供了一种意图理解方法，所述方法包括：
获取目标语言待理解数据；
将所述目标语言待理解数据输入所述意图理解模型，得到所述意图理解模型输出的所述目标语言待理解数据对应的预测意图；其中，所述意图理解模型是利用本申请实施例提供的意图理解模型训练方法的任一实施方式训练得到的。
本申请实施例还提供了一种意图理解模型训练装置，所述装置包括：
第一获取单元，用于获取目标语言训练数据和辅助语言训练数据；
第一预测单元，用于将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型，得到所述意图理解模型输出的所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图；
损失确定单元，用于根据所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图，确定所述意图理解模型的模型预测损失；
模型更新单元，用于根据所述意图理解模型的模型预测损失更新所述意图理解模型，并返回所述第一预测单元继续执行所述将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型的步骤，直至达到预设停止条件。
本申请实施例还提供了一种意图理解装置，所述装置包括：
第二获取单元，用于获取目标语言待理解数据；
第二预测单元，用于将所述目标语言待理解数据输入所述意图理解模型，得到所述意图理解模型输出的所述目标语言待理解数据对应的预测意图；其中，所述意图理解模型是利用本申请实施例提供的意图理解模型训练方法的任一实施方式训练得到的。
本申请实施例还提供了一种意图理解模型训练设备，包括：处理器、存储器、***总线；
所述处理器以及所述存储器通过所述***总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行本申请实施例提供的意图理解模型训练方法的任一实施方式。
本申请实施例还提供了一种意图理解设备，包括：处理器、存储器、***总线；
所述处理器以及所述存储器通过所述***总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行本申请实施例提供的意图理解方法的任一实施方式。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行本申请实施例提供的意图理解模型训练方法的任一实施方式，或者执行本申请实施例提供的意图理解方法的任一实施方式。
本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行本申请实施例提供的意图理解模型训练方法的任一实施方式，或者执行本申请实施例提供的意图理解方法的任一实施方式。
基于上述技术方案，本申请具有以下有益效果：
本申请提供的意图理解模型训练方法中，在获取到目标语言训练数据和辅助语言训练数据之后，先将该目标语言训练数据和该辅助语言训练数据输入意图理解模型，得到该意图理解模型输出的该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图，并根据该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图，确定该意图理解模型的模型预测损失；再根据该模型预测损失更新意图理解模型，并返回执行将目标语言训练数据和辅助语言训练数据输入意图理解模型的步骤及其后续步骤，直至达到预设停止条件。
其中，因意图理解模型是基于目标语言训练数据训练得到的，使得该意图理解模型能够准确地识别出目标语言下用户语句所描述的用户意图，从而使得后续能够基于该意图理解模型从目标语言(例如，地方方言、小语种等使用范围较小语言)的用户语句中准确地理解出用户意图。
还因辅助语言与目标语言之间的差异性较小，使得辅助语言数据与目标语言数据之间的差异性较小，从而使得辅助语言数据能够用于扩充意图理解模型对应的训练数据，避免因意图理解模型对应的训练数据较少带来的不良影响，如此使得基于目标语言训练数据和辅助语言训练数据训练得到的意图理解模型的意图理解性能更好，从而使得训练好的意图理解模型能够更准确地从用户语句中准确地理解出用户意图，尤其能够从地方方言、小语种等使用范围较小语言下用户语句中准确地理解出用户意图。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种意图理解模型训练方法的流程图；
图2为本申请实施例提供的一种语言翻译模型的示意图；
图3为本申请实施例提供的一种目标语言数据生成模型的构建过程示意图；
图4为本申请实施例提供的一种意图理解模型的结构示意图；
图5为本申请实施例提供的一种意图理解模型的训练示意图；
图6为本申请实施例提供的一种意图理解方法的流程图；
图7为本申请实施例提供的一种应用于粤语意图理解的意图理解模型的训练示意图；
图8为本申请实施例提供的一种意图理解模型训练装置的结构示意图；
图9为本申请实施例提供的一种意图理解装置的结构示意图。
具体实施方式
发明人在对意图理解的研究中发现，在相关技术中，可以预先利用目标语言下用户历史语句对意图理解模型进行训练，以使训练好的意图理解模型能够对用户输入的目标语言下用户语句进行意图理解。但是，如果目标语言(如，地方方言或者小语种等)的适用范围较小，则导致目标语言下用户历史语句较少，从而导致意图理解模型对应的训练数据较少，如此导致基于少量训练数据训练得到的意图理解模型的意图理解性能较差。
发明人在对意图理解的研究中还发现，不同种类语言之间存在相似性。例如，中国地方方言(例如，粤语等)与中国官方语言(也就是普通话)只在语序和发音上稍有区别，使得中国地方方言与中国官方语言相似性比较大，从而使得中国地方方言与中国官方语言之间的差异性较小，故当意图理解模型用于对目标语言下用户语句进行意图理解，且该目标语言为中国地方方言时，可以利用中国官方语言扩充该意图理解模型对应的训练数据，以使该意图理解模型能够基于中国官方语言下用户历史语句和中国地方方言下用户历史语句进行训练。
基于上述发明人的研究发现可知，为了解决背景技术部分的技术问题以及上述相关技术存在的缺陷，本申请实施例提供了一种意图理解模型训练方法，该方法包括：获取目标语言训练数据和辅助语言训练数据；将该目标语言训练数据和该辅助语言训练数据输入意图理解模型，得到该意图理解模型输出的该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图；根据该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图，确定该意图理解模型的模型预测损失；根据该模型预测损失更新意图理解模型，并返回执行上述将目标语言训练数据和辅助语言训练数据输入意图理解模型的步骤及其后续步骤，直至达到预设停止条件。
可见，因意图理解模型是基于目标语言训练数据训练得到的，使得该意图理解模型能够准确地识别出目标语言下用户语句所描述的用户意图，从而使得后续能够基于该意图理解模型从目标语言(例如，地方方言、小语种等使用范围较小语言)的用户语句中准确地理解出用户意图。还因辅助语言与目标语言之间的差异性较小，使得辅助语言数据与目标语言数据之间的差异性较小，从而使得辅助语言数据能够用于扩充意图理解模型对应的训练数据，避免因意图理解模型对应的训练数据较少带来的不良影响，如此使得基于目标语言训练数据和辅助语言训练数据训练得到的意图理解模型的意图理解性能更好，从而使得训练好的意图理解模型能够更准确地从用户语句中准确地理解出用户意图，尤其能够从地方方言、小语种等使用范围较小语言下用户语句中准确地理解出用户意图。
另外，本申请实施例不限定意图理解模型训练方法的执行主体，例如，本申请实施例提供的意图理解模型训练方法可以应用于终端设备或服务器等数据处理设备。其中，终端设备可以为智能手机、计算机、个人数字助理(Personal Digital Assitant，PDA)或平板电脑等。服务器可以为独立服务器、集群服务器或云服务器。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
方法实施例一
参见图1，该图为本申请实施例提供的一种意图理解模型训练方法的流程图。
本申请实施例提供的意图理解模型训练方法，包括S101-S105：
S101：获取目标语言训练数据和辅助语言训练数据。
目标语言是指使用范围较小(或者使用人数较少)的语言，而且本申请实施例不限定目标语言，例如，目标语言可以是地方方言，也可以是小语种。
辅助语言是指与目标语言之间的差异性较小的语言(也就是，辅助语言与目标语言之间的差异性低于预设差异阈值)。例如，因中国官方语言(也就是，普通话)与中国地方方言(如，北方、吴、湘、赣、客、闽、粤等方言)只在语序和发音上稍有差别，使得中国官方语言与中国地方方言之间的差异性较小，故当目标语言为中国地方方言时，可以将中国官方语言作为辅助语言。
辅助语言训练数据是指训练意图理解模型所使用的辅助语言语句，而且辅助语言训练数据用于扩充意图理解模型所使用的训练数据。需要说明的是，本申请实施例不限定辅助语言训练数据的获取方式，例如，辅助语言训练数据可以从网页中进行合法爬取、也可以从人机交互设备存储的辅助语言下用户历史语句中进行读取。
目标语言训练数据是指训练意图理解模型所使用的目标语言语句。另外，本申请实施例不限定目标语言训练数据，例如，目标语言训练数据可以包括目标语言真实数据、目标语言翻译数据和目标语言生成数据中的至少一种。为了便于理解，下面分别介绍目标语言真实数据、目标语言翻译数据和目标语言生成数据。
目标语言真实数据是指通过预设采集手段(例如，从网页中进行合法爬取、从人机交互设备存储的目标语言下用户历史语句中进行读取等手段)获取到的真实的目标语言语句。需要说明的是，预设采集手段可以预先设定，而且本申请实施例不限定预设采集手段。
目标语言翻译数据是指通过预设翻译手段获取到的目标语言语句。需要说明的是，预设翻译手段可以预先设定，而且本申请实施例不限定预设翻译手段，例如，预设翻译手段可以是下文介绍的基于预设词汇映射关系进行翻译的手段，也可以是下文介绍的基于语言翻译模型进行翻译的手段。另外，本申请实施例也不限定预设翻译手段的翻译对象，例如，因辅助语言与目标语言之间的差异性较小，故该翻译对象可以是辅助语言语句。
为了便于理解目标语言翻译数据的获取过程，下面结合两种可能的实施方式进行说明。
在第一种可能的实施方式中，目标语言翻译数据的获取过程可以包括步骤11-步骤12：
步骤11：根据预设词汇映射关系和辅助语言真实数据中的待翻译词汇，确定待翻译词汇对应的目标语言词汇。其中，预设词汇映射关系包括待翻译词汇和该待翻译词汇对应的目标语言词汇之间的对应关系。
预设词汇映射关系用于记录各个目标语言词汇与各个辅助语言词汇之间的对应关系。例如，当目标语言为粤语且辅助语言为普通话时，则该预设词汇映射关系可以用于记录各个粤语词汇与各个普通话词汇之间的对应关系(如表1所示)。
粤语词汇 普通话词汇
喺边度 在哪里
点样行 怎么走
…… ……
点样 怎么样
表1各个粤语词汇与各个普通话词汇之间的对应关系
辅助语言真实数据是指采集获得的真实的辅助语言语句，而且辅助语言真实数据包括至少一个辅助语言词汇。需要说明的是，本申请实施例不限定辅助语言真实数据的采集方式，例如，辅助语言真实数据可以通过从网页中进行合法爬取、也可以从人机交互设备存储的辅助语言下用户历史语句中进行读取。另外，本申请实施例也不限定辅助语言真实数据与上文辅助语言训练数据之间的关系，例如，辅助语言真实数据可以与上文辅助语言训练数据相同，也可以与上文辅助语言训练数据不同。
待翻译词汇是指辅助语言真实数据中需要翻译成目标语言词汇的辅助语言词汇，而且待翻译词汇可以根据预设词汇映射关系确定。例如，若辅助语言真实数据为普通话语句“万达怎样走”，则因根据表1所示的预设词汇映射关系可知普通话词汇“怎样走”与粤语词汇“点样行”相对应，故可以将普通话语句“万达怎样走”中的普通话词汇“怎样走”确定为待翻译词汇。
基于上述步骤11的相关内容可知，在获取到辅助语言真实数据(如，普通话语句“万达怎样走”)之后，可以先依据预设词汇映射关系，确定出该辅助语言真实数据中的各个待翻译词汇(如，普通话词汇“怎样走”)；再从预设词汇映射关系查找该各个待翻译词汇对应的目标语言词汇(如，粤语词汇“点样行”)，以便后续能够基于各个待翻译词汇对应的目标语言词汇，将辅助语言真实数据翻译成该辅助语言真实数据对应的目标语言翻译数据(如，粤语语句“万达点样行”)。
步骤12：根据辅助语言真实数据和待翻译词汇对应的目标语言词汇，确定目标语言翻译数据。
本申请实施例中，在获取到辅助语言真实数据中各个待翻译词汇对应的目标语言词汇之后，可以利用各个待翻译词汇对应的目标语言词汇分别替换该辅助语言真实数据中各个待翻译词汇，得到目标语言翻译数据。例如，当辅助语言真实数据包括N个待翻译词汇时，则可以将辅助语言真实数据中的第1个待翻译词汇替换为第1个待翻译词汇对应的目标语言词汇，将辅助语言真实数据中的第2个待翻译词汇替换为第2个待翻译词汇对应的目标语言词汇，……(依次类推)，将辅助语言真实数据中的第N个待翻译词汇替换为第N个待翻译词汇对应的目标语言词汇，得到该辅助语言真实数据对应的目标语言翻译数据，以使该目标语言翻译数据包括N个待翻译词汇对应的目标语言词汇，且该目标语言翻译数据不包括N个待翻译词汇。
基于上述获取目标语言翻译数据的第一种可能的实施方式的相关内容可知，可以直接将辅助语言真实数据中各个待翻译词汇直接替换为各个待翻译词汇对应的目标语言词汇，得到该辅助语言真实数据对应的目标语言翻译数据，以使该目标语言翻译数据能够包括各个待翻译词汇对应的目标语言词汇。例如，将普通话语句“万达怎样走”中的普通话词汇“怎样走”直接替换为粤语词汇“点样行”，得到粤语语句“万达点样行”。
在第二种可能的实施方式中，目标语言翻译数据的获取过程可以包括步骤21-步骤22：
步骤21：将辅助语言真实数据输入预先构建的语言翻译模型，得到语言翻译模型输出的该辅助语言真实数据对应的翻译结果。
其中，语言翻译模型用于将辅助语言语句翻译为目标语言语句。其中，辅助语言语句包括至少一个辅助语言词汇，而且目标语言语句包括至少一个目标语言词汇。
需要说明的是，本申请实施例不限定语言翻译模型，语言翻译模型可以是现有的或未来出现的任一种能够将辅助语言语句翻译为目标语言语句的模型。
辅助语言真实数据对应的翻译结果是指由语言翻译模型针对辅助语言真实数据进行翻译得到的翻译结果。另外，本申请实施例不限定辅助语言真实数据对应的翻译结果的个数。例如，如图2所示，当目标语言为粤语且辅助语言为普通话时，若辅助语言真实数据为普通话语句“关闭导航”，则语言翻译模型能够针对该辅助语言真实数据进行翻译并输出按照推荐先后顺序依次排序的M个翻译结果“关闭导航；关闭巡览；关咗巡览；……”。其中，M为正整数。
基于上述步骤21的相关内容可知，在获取到辅助语言真实数据之后，可以直接将辅助语言真实数据输入到预先构建的语言翻译模型中，以使该语言翻译模型能够针对该辅助语言真实数据进行翻译并输出该辅助语言真实数据对应的M个翻译结果，以便后续能够从该M个翻译结果中确定出该辅助语言真实数据对应的目标语言翻译数据。
步骤22：根据辅助语言真实数据对应的翻译结果，确定目标语言翻译数据。
本申请实施例中，在获取到辅助语言真实数据对应的M个翻译结果之后，可以直接从该M个翻译结果中筛选出该辅助语言真实数据对应的目标语言翻译数据。例如，可以将该M个翻译结果中排序最靠前的一个翻译结果(也就是，Top1翻译结果)确定为目标语言翻译数据。又如，为了提高训练数据的多样性，可以从M个翻译结果中排序最靠前的G个翻译结果(也就是，Top1翻译结果至TopG翻译结果)中随机选择一个翻译结果，确定为目标语言翻译数据。其中，G为正整数。
基于上述获取目标语言翻译数据的第二种可能的实施方式的相关内容可知，可以直接使用预先构建的语言翻译模型对辅助语言真实数据进行翻译并输出该辅助语言真实数据对应的至少一个翻译结果，并根据该至少一个翻译结果确定该辅助语言真实数据对应的目标语言翻译数据。
目标语言生成数据是指根据候选意图数据生成的目标语言语句。其中，候选意图数据用于描述预设应用领域(也就是，意图理解模型的应用领域)下的用户意图。
需要说明的是，预设应用领域可以预先设定，而且本申请实施例不限定预设应用领域，例如，预设应用领域可以为导航技术领域。另外，本申请实施例也不限定预设应用领域的用户意图，例如，若预设应用领域为导航技术领域，则该预设应用领域的用户意图可以包括表2所示的导航技术领域下的用户意图。
表2导航技术领域下的用户意图列表
另外，本申请实施例不限定候选意图数据的表示形式，例如，候选意图数据可以二元组进行表示，也就是，候选意图数据可以表示为(意图类型，意图参数)。其中，意图类型是指用户意图所属类型，例如，意图类型可以为定位、POI搜索等类型。意图参数(又称槽位)是指用户意图所涉及的参变量，例如，意图参数可以是POI(如上海)。
此外，本申请实施例不限定目标语言生成数据的获取过程，为了便于理解，下面结合获取目标语言生成数据的一种可能的实施方式进行说明。
在一种可能的实施方式中，目标语言生成数据的获取过程具体可以为：将候选意图数据输入预先构建的目标语言数据生成模型，得到该目标语言数据生成模型输出的目标语言生成数据。
其中，目标语言数据生成模型用于根据候选意图数据生成目标语言生成数据，而且该目标语言数据生成模型是利用目标语言标注数据和辅助语言标注数据训练得到的。
目标语言标注数据是指训练目标语言数据生成模型所使用的标注有真实用户意图的目标语言语句。另外，本申请实施例不限定目标语言标注数据的表示形式，例如，目标语言标注数据可以利用三元组(目标语言语句，意图类型，意图参数)进行表示。此外，本申请实施例也不限定目标语言标注数据与上文目标语言真实数据之间的关系，例如，目标语言标注数据可以与上文目标语言真实数据相同，也可以与上文目标语言真实数据不同。
辅助语言标注数据是指训练目标语言数据生成模型所使用的标注有真实用户意图的辅助语言语句。另外，本申请实施例不限定辅助语言标注数据的表示形式，例如，辅助语言标注数据可以利用三元组(辅助语言语句，意图类型，意图参数)进行表示。此外，本申请实施例也不限定辅助语言标注数据与上文辅助语言真实数据之间的关系，例如，辅助语言标注数据可以与上文辅助语言训练数据相同，也可以与上文辅助语言训练数据不同。
另外，目标语言数据生成模型可以是一个生成式模型，而且本申请实施例不限定目标语言数据生成模型的生成式框架，例如，目标语言数据生成模型的生成式框架可以为由微软提出的UnLim-V2。
此外，本申请实施例也不限定目标语言数据生成模型的构建过程，为了便于理解，下面结合构建目标语言数据生成模型的一种可能的实施方式进行说明。
在一种可能的实施方式下，目标语言数据生成模型的构建过程可以包括步骤31-步骤32：
步骤31：利用辅助语言标注数据对待训练模型进行训练，得到辅助语言数据生成模型。
待训练模型是指用于构建目标语言数据生成模型的基础模型，而且待训练模型经过两轮训练可以成为目标语言数据生成模型。另外，本申请实施例不限定待训练模型，例如，待训练模型可以是一个生成式模型，尤其可以是一个以UnLim-V2作为生成式框架的生成式模型。
辅助语言数据生成模型用于根据候选意图数据生成辅助语言语句。例如，当候选意图数据为A，且辅助语言语句为X时，则辅助语言数据生成模型用于根据A生成X(也就是，A→X)。可见，辅助语言数据生成模型可以表示为公式(1)。
X＝SCf(A) (1)
式中，X为辅助语言语句(例如，普通话语句“明日去上海”)；A为候选意图数据；SCf()为辅助语言数据生成模型的模型函数。需要说明的是，本申请实施例不限定A的表示方式，例如，A＝(I,P)，I为意图类型(例如，POI搜索)，P为意图参数(例如，上海)。
需要说明的是，本申请实施例不限定步骤31的训练过程，可以采用现有的或未来出现的任一种能够将待训练模型训练成为辅助语言数据生成模型的训练方法进行实施。
步骤32：利用目标语言标注数据对辅助语言数据生成模型进行训练，得到目标语言数据生成模型。
其中，目标语言数据生成模型用于根据候选意图数据生成目标语言语句。例如，候选意图数据为A，且目标语言语句为L时，则目标语言数据生成模型用于根据A生成L(也就是，A→L)。可见，目标语言数据生成模型可以表示为公式(2)。
L＝SCm(A) (2)
式中，L为目标语言语句(例如，粤语语句“听日上海去”)；A为候选意图数据；SCm()为目标语言数据生成模型的模型函数。
需要说明的是，本申请实施例也不限定步骤32的训练过程，可以采用现有的或未来出现的任一种能够将辅助语言数据生成模型训练成为辅助语言数据生成模型的训练方法进行实施。
还需要说明的是，对于目标语言数据生成模型来说，步骤31是一个预训练的过程且步骤32是一个迁移学习的过程。例如，如图3所示，具有生成式框架UnLim-V2的目标语言数据生成模型的构建过程可以包括预训练和迁移学习这两个阶段。
基于上述S101的相关内容可知，本申请实施例中，为了能够训练得到意图理解性能更好的意图理解模型，可以获取目标语言训练数据和辅助语言训练数据，以便后续能够利用目标语言训练数据和辅助语言训练数据共同对意图理解模型进行训练，如此使得训练意图理解模型时具有充足的训练数据，从而能够有效地避免因训练数据较少对意图理解模型造成的不良影响。
S102：将目标语言训练数据和辅助语言训练数据输入意图理解模型，得到意图理解模型输出的该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图。
其中，意图理解模型用于对目标语言下用户语句进行用户意图理解。
另外，本申请实施例不限定意图理解模型的结构，可以采用现有的或将来出现的任一种能够进行意图理解的模型结构进行实施。例如，如图4所示，意图理解模型可以包括编码器(也就是编码层)和分类器(也就是全连接层)。其中，编码器用于对意图理解模型的模型输入数据进行语义理解，得到该模型输入数据对应的语句向量。分类器用于根据编码器输出的模型输入数据对应的语句向量，确定该模型输入数据对应的预测意图(也就是，模型输出数据)。
需要说明的是，本申请实施例不限定编码器，可以采用现有的或未来出现的任一种语义理解模型进行实施，例如，编码器可以是BERT(Bidirectional EncoderRepresentations from Transformers)。另外，本申请实施例也不限定分类器，可以采用现有的或未来出现的任一种分类器进行实施，例如，分类器可以是线性分类器。可见，当意图理解模型包括编码器和分类器，编码器为BERT且分类器为线性分类器时，意图理解模型可以采用公式(3)进行实施。
y＝liner(BERT(x)) (3)
式中，y为意图理解模型的模型输出数据(也就是输入数据x对应的预测意图)；x为意图理解模型的模型输入数据；BERT()为意图理解模型中的编码函数；liner()为意图理解模型中的分类函数。
另外，目标语言训练数据对应的预测意图是由意图理解模型针对目标语言训练数据进行意图理解得到的。
此外，辅助语言训练数据对应的预测意图是由意图理解模型针对辅助语言训练数据进行意图理解得到的。
基于上述S102的相关内容可知，可以将目标语言训练数据和辅助语言训练数据输入意图理解模型，以使该意图理解模型针对目标语言训练数据和辅助语言训练数据进行意图理解，得到目标语言训练数据对应的预测意图和辅助语言训练数据对应的预测意图。例如，如图5所示，当目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据时，可以将目标语言真实数据、目标语言翻译数据、目标语言生成数据和辅助语言训练数据输入意图理解模型，得到该意图理解模型输出的目标语言真实数据对应的预测意图、目标语言翻译数据对应的预测意图、目标语言生成数据对应的预测意图和辅助语言训练数据对应的预测意图，以便后续能够基于这些预测意图判断意图理解模型的意图理解性能。
S103：根据目标语言训练数据对应的预测意图和辅助语言训练数据对应的预测意图，确定意图理解模型的模型预测损失。
其中，模型预测损失用于表征意图理解模型的意图理解性能，其具体为：模型预测损失越大则表示该意图理解模型的意图理解性能越差，但模型预测损失越小则表示该意图理解模型的意图理解性能越好。
本申请实施例不限定模型预测损失的计算方式，为了便于理解，下面结合示例进行说明。
作为示例，S103具体可以包括S1031-S1033：
S1031：根据目标语言训练数据对应的预测意图，确定目标语言预测损失。
其中，目标语言预测损失用于表征意图理解模型对目标语言语句的意图理解性能。另外，本申请实施例不限定目标语言预测损失的确定方式。为了便于理解，下面结合一种可能的实施方式进行说明。
在一种可能的实施方式下，当目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据，且该目标语言训练数据对应的预测意图包括目标语言真实数据的预测意图、目标语言翻译数据的预测意图和目标语言生成数据的预测意图时，目标语言预测损失的获取过程具体可以包括步骤41-步骤45：
步骤41：获取目标语言真实数据的实际意图、目标语言翻译数据的参考意图、目标语言生成数据的实际意图。
其中，目标语言真实数据的实际意图是指目标语言真实数据所描述的真实意图；而且在意图理解模型的训练过程中，目标语言真实数据的实际意图可以作为标签信息对意图理解模型的训练过程进行指导，以使训练好的该意图理解模型针对目标语言真实数据输出的预测意图能够尽可能地接近于该目标语言真实数据的实际意图。
目标语言翻译数据的参考意图可以作为标签信息对意图理解模型的训练过程进行指导，以使训练好的该意图理解模型针对目标语言翻译数据输出的预测意图能够尽可能地接近于该目标语言翻译数据的参考意图。
需要说明的是，本申请实施例不限定目标语言翻译数据的参考意图。在一些情况下，若目标语言翻译数据是将辅助语言真实数据进行翻译得到的，则该目标语言翻译数据的参考意图可以是该辅助语言真实数据对应的预测意图。其中，辅助语言真实数据对应的预测意图是由意图理解模型针对该辅助语言真实数据进行意图理解得到的。例如，若辅助语言真实数据为上文辅助语言训练数据，则该目标语言翻译数据的参考意图可以为上文辅助语言训练数据对应的预测意图。
目标语言生成数据的实际意图是指目标语言生成数据的真实意图；而且若目标语言生成数据是根据候选意图数据生成的，则目标语言生成数据的实际意图可以为该候选意图数据所描述的意图。
另外，在意图理解模型的训练过程中，目标语言生成数据的实际意图可以作为标签信息对意图理解模型的训练过程进行指导，以使训练好的该意图理解模型针对目标语言生成数据输出的预测意图能够尽可能地接近于目标语言生成数据的实际意图。
步骤42：根据目标语言真实数据的预测意图和目标语言真实数据的实际意图，确定目标语言真实数据对应的预测损失。
其中，目标语言真实数据对应的预测损失用于表征意图理解模型对目标语言真实数据的意图理解性能。
另外，本申请实施例不限定目标语言真实数据对应的预测损失的计算方法，例如，步骤42具体可以为：如公式(4)所示，将目标语言真实数据的预测意图和该目标语言真实数据的实际意图之间的交叉熵(Cross Entropy，CE)，确定为该目标语言真实数据对应的预测损失。
式中，为目标语言真实数据对应的预测损失；/>为目标语言真实数据的预测意图(例如，/>且/>为目标语言真实数据)；/>为目标语言真实数据的实际意图；CE()为交叉熵函数。
步骤43：根据目标语言翻译数据的预测意图和目标语言翻译数据的参考意图，确定目标语言翻译数据对应的预测损失。
其中，目标语言翻译数据对应的预测损失用于表征意图理解模型对目标语言翻译数据的意图理解性能。
另外，本申请实施例不限定目标语言翻译数据对应的预测损失的计算方法，例如，步骤43具体可以为：如公式(5)所示，将目标语言翻译数据的预测意图和该目标语言翻译数据的参考意图之间的相对熵(Kullback-Leibler Divergence，KL散度)，确定为该目标语言翻译数据对应的预测损失。
式中，为目标语言翻译数据对应的预测损失；/>为目标语言翻译数据的预测意图(例如，/>且/>为目标语言翻译数据)；/>为目标语言翻译数据的参考意图；KL()为KL散度函数。
步骤44：根据目标语言生成数据的预测意图和目标语言生成数据的实际意图，确定目标语言生成数据对应的预测损失。
其中，目标语言生成数据对应的预测损失用于表征意图理解模型对目标语言生成数据的意图理解性能。
另外，本申请实施例不限定目标语言生成数据对应的预测损失的计算方法，例如，步骤44具体可以为：如公式(6)所示，将目标语言生成数据的预测意图和该目标语言生成数据的实际意图之间的交叉熵，确定为该目标语言生成数据对应的预测损失。
式中，为目标语言生成数据对应的预测损失；/>为目标语言生成数据的预测意图(例如，/>且/>为目标语言生成数据)；为目标语言生成数据的实际意图；CE()为交叉熵函数。
步骤45：根据目标语言真实数据对应的预测损失、目标语言翻译数据对应的预测损失和目标语言生成数据对应的预测损失，确定目标语言预测损失。
本申请实施例中，在获取到目标语言真实数据对应的预测损失、目标语言翻译数据对应的预测损失和目标语言生成数据对应的预测损失之后，可以将目标语言真实数据对应的预测损失、目标语言翻译数据对应的预测损失和目标语言生成数据对应的预测损失之间进行加权求和，得到目标语言预测损失。需要说明的是，上述加权求和过程中所涉及的权重可以预先根据应用场景设定。
基于上述步骤41至步骤45的相关内容可知，若目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据，则可以先根据目标语言真实数据的预测意图、目标语言翻译数据的预测意图和目标语言生成数据的预测意图，分别计算目标语言真实数据对应的预测损失、目标语言翻译数据对应的预测损失和目标语言生成数据对应的预测损失；再根据目标语言真实数据对应的预测损失、目标语言翻译数据对应的预测损失和目标语言生成数据对应的预测损失，确定目标语言预测损失，以使该目标语言预测损失能够准确地表征出意图理解模型对目标语言语句的意图理解性能。
S1032：根据辅助语言训练数据对应的预测意图，确定辅助语言预测损失。
其中，辅助语言预测损失用于表征意图理解模型对辅助语言语句的意图理解性能。
另外，本申请实施例不限定辅助语言预测损失的计算过程，例如，辅助语言预测损失的获取过程具体可以包括步骤51-步骤52：
步骤51：获取辅助语言训练数据对应的实际意图。
其中，辅助语言训练数据对应的实际意图是指辅助语言训练数据的真实意图；而且在意图理解模型的训练过程中，辅助语言训练数据对应的实际意图可以作为标签信息对意图理解模型的训练过程进行指导，以使训练好的该意图理解模型针对辅助语言训练数据输出的预测意图能够尽可能地接近于辅助语言训练数据对应的实际意图。需要说明的是，本申请实施例不限定辅助语言训练数据对应的实际意图的获取方式。
步骤52：根据辅助语言训练数据对应的预测意图和辅助语言训练数据对应的实际意图，确定辅助语言预测损失。
本申请实施例不限定辅助语言预测损失的计算方法，为了便于理解，下面结合示例进行说明。
作为示例，步骤52具体可以为：如公式(7)所示，将辅助语言训练数据对应的预测意图和该辅助语言训练数据对应的实际意图之间的交叉熵，确定为辅助语言预测损失。
式中，为辅助语言预测损失；/>为辅助语言训练数据对应的预测意图(例如，/>且/>为辅助语言训练数据)；/>为辅助语言训练数据对应的实际意图；CE()为交叉熵函数。
基于上述步骤51至步骤52的相关内容可知，可以将辅助语言训练数据对应的预测意图和该辅助语言训练数据对应的实际意图之间的交叉熵，确定为辅助语言预测损失，以使该辅助语言预测损失能够准确地表征出意图理解模型对辅助语言语句的意图理解性能。
S1033：根据目标语言预测损失和辅助语言预测损失，确定意图理解模型的模型预测损失。
本申请实施例中，在获取到目标语言预测损失和辅助语言预测损失之后，可以将目标语言预测损失和辅助语言预测损失进行加权求和，得到意图理解模型的模型预测损失。需要说明的是，上述加权求和过程中所涉及的权重可以预先根据应用场景设定。
基于上述S1031至S1033的相关内容可知，在利用意图理解模型得到目标语言训练数据对应的预测意图和辅助语言训练数据对应的预测意图之后，可以先根据目标语言训练数据对应的预测意图得到目标语言预测损失，并根据辅助语言训练数据对应的预测意图得到辅助语言预测损失；再将目标语言预测损失和辅助语言预测损失进行加权求和，得到意图理解模型的模型预测损失，以使该模型预测损失能够准确地表征出该意图理解模型的意图理解性能。
S104：判断是否达到预设停止条件，若是，则结束意图理解模型的训练过程；若否，则执行S105。
其中，预设停止条件是指预先设定的停止对意图理解模型进行训练所需达到的约束条件。另外，预设停止条件可以预先根据应用场景设定。此外，本申请实施例不限定预设停止条件，例如，预设停止条件可以为意图理解模型的模型预测损失低于第一阈值。又如，预设停止条件可以为意图理解模型的模型预测损失的变化率小于第二阈值(也就是意图理解模型输出的预测意图达到收敛)。还如，预设停止条件可以为意图理解模型的更新次数达到第三阈值。其中，第一阈值、第二阈值和第三阈值均可以预先设定。
本申请实施例中，若当前轮的意图理解模型达到预设停止条件，则表示当前轮的意图理解模型具有较高的意图理解性能，故可以直接结束意图理解模型的训练过程并保存当前轮的意图理解模型，以便后续能够利用保存的意图理解模型对目标语言下用户语句进行意图理解；若当前轮的意图理解模型未达到预设停止条件，则表示当前轮的意图理解模型的意图理解性能较低，故可以先依据意图理解模型的模型预测损失更新意图理解模型，再利用目标语言训练数据和辅助语言训练数据检测更新后的意图理解模型的意图理解性能。
S105：根据意图理解模型的模型预测损失更新意图理解模型，并返回执行S102。
需要说明的是，本申请实施例不限定意图理解模型的更新过程，可以采用现有的或未来出现的任一种模型更新方法进行实施。
基于上述S101至S105的相关内容可知，在本申请提供的意图理解模型训练方法中，在获取到目标语言训练数据和辅助语言训练数据之后，先将该目标语言训练数据和该辅助语言训练数据输入意图理解模型，得到该意图理解模型输出的该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图，并根据该目标语言训练数据对应的预测意图和该辅助语言训练数据对应的预测意图，确定该意图理解模型的模型预测损失；再根据该模型预测损失更新意图理解模型，并返回执行将目标语言训练数据和辅助语言训练数据输入意图理解模型的步骤及其后续步骤，直至达到预设停止条件。
可见，因意图理解模型是基于目标语言训练数据训练得到的，使得该意图理解模型能够准确地识别出目标语言下用户语句所描述的用户意图，从而使得后续能够基于该意图理解模型从目标语言(例如，地方方言、小语种等使用范围较小语言)的用户语句中准确地理解出用户意图。还因辅助语言与目标语言之间的差异性较小，使得辅助语言数据与目标语言数据之间的差异性较小，从而使得辅助语言数据能够用于扩充意图理解模型对应的训练数据，避免因意图理解模型对应的训练数据较少带来的不良影响，如此使得基于目标语言训练数据和辅助语言训练数据训练得到的意图理解模型的意图理解性能更好，从而使得训练好的意图理解模型能够更准确地从用户语句中准确地理解出用户意图，尤其能够从地方方言、小语种等使用范围较小语言下用户语句中准确地理解出用户意图。
基于上述意图理解模型训练方法的相关内容可知，因训练好的意图理解模型能够准确地对目标语言下用户语句进行意图预测，故在利用上文提供的意图理解模型训练方法任一实施方式训练好意图理解模型之后，可以利用该训练好的意图理解模型针对目标语言下用户语句进行意图理解。基于此，本申请实施例还提供了一种意图理解方法，下面结合方 法实施例二进行说明。
方法实施例二
参见图6，该图为本申请实施例提供的一种意图理解方法的流程图。
本申请实施例提供的意图理解方法，包括S601-S602：
S601：获取目标语言待理解数据。
其中，目标语言待理解数据是指需要进行意图理解的目标语言语句。另外，本申请实施例不限定目标语言待理解数据的获取过程。为了便于理解，下面结合两个示例进行说明。
示例1，S601具体可以为：根据用户输入的目标语言文本数据，确定目标语言待理解数据。其中，目标语言文本数据是指用户通过文本输入方式输入(例如，在文本框中键入)的目标语言语句。
可见，在获取到用户通过文本输入方式输入的目标语言文本数据之后，可以根据该目标语言文本数据确定目标语言待理解数据。例如，可以直接将目标语言文本数据确定为目标语言待理解数据。又如，也可以先对目标语言文本数据进行第一处理，再将第一处理后的目标语言文本数据确定为目标语言待理解数据；其中，第一处理可以预先设定，而且本申请实施例不限定第一处理(例如，第一处理可以包括错字校正过程等)。
示例2，S601具体可以包括S6011-S6013：
S6011：获取用户输入的目标语言语音数据。
其中，目标语言语音数据是指用户通过语音输入方式输入的目标语言语句。需要说明的是，本申请实施例不限定目标语言语音数据的获取过程，可以采用现有的或未来出现的任一种语音获取方式进行实施。
S6012：对目标语言语音数据进行语音识别，得到目标语言语音数据对应的文本数据。
其中，目标语言语音数据对应的文本数据是指目标语言语音数据的语音识别结果；而且目标语言语音数据对应的文本数据包括目标语言语音数据中所记录的文字信息。
需要说明的是，本申请实施例不限定语音识别的实施方式，可以采用现有的或未来出现的任一种语音识别方法进行实施。
S6013：根据目标语言语音数据对应的文本数据，确定目标语言待理解数据。
本申请实施例中，在获取到目标语言语音数据对应的文本数据之后，可以根据目标语言语音数据对应的文本数据，确定目标语言待理解数据。例如，可以直接将目标语言语音数据对应的文本数据确定为目标语言待理解数据。又如，可以先对目标语言语音数据对应的文本数据进行第二处理，再将第二处理后的文本数据确定为目标语言待理解数据。其中，第二处理可以预先设定，而且本申请实施例不限定第二处理(例如，第二处理包括错字校正过程等)。
S602：将目标语言待理解数据输入意图理解模型，得到意图理解模型输出的目标语言待理解数据对应的预测意图。
其中，意图理解模型是本申请实施例提供的意图理解模型训练方法的任一实施方式训练得到的。另外，意图理解模型的相关内容请参照上文方法实施例一。
基于上述S601至S602的相关内容可知，在获取到目标语言待理解数据之后，可以将该目标语言待理解数据输入至利用上文提供的意图理解模型训练方法的任一实施方式训练得到的意图理解模型，以使该意图理解模型能够针对该目标语言待理解数据进行意图理解，得到该意图理解模型输出的目标语言待理解数据对应的预测意图。其中，因意图理解模型能够准确地识别出目标语言下用户语句所描述的用户意图，使得利用意图理解模型预测得到的目标语言待理解数据对应的预测意图能够准确地表示出该目标语言待理解数据所描述的用户意图，如此能够有效地提高目标语言下用户语句的意图理解准确性。
为了便于理解上文意图理解模型训练方法以及意图理解方法，下面结合场景实施例进行说明。
场景实施例
假设，目标语言为粤语；辅助语言为普通话；意图理解模型的应用领域(也就是上文预设应用领域)为导航技术领域；候选意图数据为导航意图数据，且该导航意图数据用于描述导航技术领域下的用户意图。需要说明的是，本申请实施例不限定导航意图数据的个数。
基于上述假设可知，意图理解模型可以用于针对粤语语句进行意图理解；而且该意图理解模型的训练过程具体可以包括步骤60至步骤69：
步骤60：获取粤语真实数据、粤语真实数据的实际意图、普通话真实数据、普通话真实数据的实际意图和导航意图数据。
其中，粤语真实数据的实际意图用于作为粤语真实数据的标签信息；而且普通话真实数据的实际意图用于作为普通话真实数据的标签信息。
需要说明的是，本申请实施例不限定粤语真实数据及其实际意图的获取过程，例如，可以网页中进行合法爬取、也可以从人机交互设备存储的历史粤语对话进行读取。另外，本申请实施例也不限定普通话真实数据及其实际意图的获取过程，例如，可以网页中进行合法爬取、也可以从人机交互设备存储的历史普通话对话进行读取。
还需要说明的是，本申请实施例不限定导航意图数据的获取过程，例如，可以根据网页中合法爬取的导航意图进行生成，也可以根据预设导航应用程序中存储的历史导航意图进行生成。
步骤61：对普通话真实数据进行普粤翻译，得到粤语翻译数据。
其中，普粤翻译是指将普通话语句翻译成粤语语句。另外，本申请实施例不限定普粤翻译的实施方式，可以采用任一种能够将普通话语句翻译成粤语语句的方法进行实施。例如，可以采用预先构建的普粤词汇映射关系进行普粤翻译；其中，普粤词汇映射关系用于记录各个普通话词汇与各个粤语词汇之间的映射关系。又如，可以预先构建的具有普粤翻译功能的语言翻译模型进行普粤翻译。
步骤62：将导航意图数据输入预先构建的粤语数据生成模型，得到粤语生成数据。
其中，粤语数据生成模型能够根据导航意图数据生成粤语生成数据，而且粤语数据生成模型的训练过程类似于上文目标语言数据生成模型的训练过程。
步骤63：将粤语真实数据、普通话真实数据、粤语翻译数据和粤语生成数据输入意图理解模型，得到该意图理解模型输出的粤语真实数据对应的预测意图、普通话真实数据对应的预测意图、粤语翻译数据对应的预测意图和粤语生成数据对应的预测意图。
步骤64：将粤语真实数据对应的预测意图与该粤语真实数据的实际意图之间的交叉熵，确定为该粤语真实数据对应的预测损失。
步骤65：将普通话真实数据对应的预测意图与该普通话真实数据的实际意图之间的交叉熵，确定为该普通话真实数据对应的预测损失。
步骤66：将粤语翻译数据对应的预测意图与普通话真实数据对应的预测意图之间的KL散度，确定为该粤语翻译数据对应的预测损失。
步骤67：将粤语生成数据对应的预测意图和导航意图数据之间的交叉熵，确定为该粤语生成数据对应的预测损失。
步骤68：将粤语真实数据对应的预测损失、普通话真实数据对应的预测损失、粤语翻译数据对应的预测损失和粤语生成数据对应的预测损失进行加权求和，得到意图理解模型的模型预测损失。
也就是，步骤68可以利用公式(8)进行计算。
式中，lossmodel为意图理解模型的模型预测损失；为粤语真实数据对应的预测损失；α为粤语真实数据对应的预测损失所占的权重；/>为普通话真实数据对应的预测损失；β为普通话真实数据对应的预测损失所占用的权重；/>为粤语翻译数据对应的预测损失；γ为粤语翻译数据对应的预测损失所占的权重；/>为粤语生成数据对应的预测损失；δ为粤语生成数据对应的预测损失所占的权重。
步骤69：判断是否达到预设停止条件，若是，则结束意图理解模型的训练过程；若否，则根据意图理解模型的模型预测损失对该意图理解模型进行更新，并返回执行步骤63。
基于上述步骤60至步骤69的相关内容可知，本申请实施例中，可以先结合具有标签信息的粤语真实数据、具有标签信息的普通话真实数据以及导航意图数据，生成训练意图理解模型所需的训练数据(例如，粤语真实数据、普通话真实数据、粤语翻译数据和粤语生成数据)，再基于该训练数据对意图理解模型进行训练。
可见，因普通话与粤语之间的差异性较小，使得普通话语句与粤语语句之间的差异性较小，从而使得由普通话语句构成的普通话真实数据与由粤语语句构成的粤语真实数据之间的差异性较小，如此可以利用普通话真实数据以及基于该普通话真实数据生成的粤语翻译数据扩充意图理解模型对应的训练数据，如此能够有效地避免因训练数据较少导致的不良影响，有利于提高意图理解模型的意图理解性能。另外，还因导航意图数据能够准确地描述出意图理解模型的应用领域下的用户意图，使得基于该导航意图数据生成粤语生成数据能够更准确地表示出意图理解模型的应用领域下的用户意图，从而使得基于粤语生成数据训练得到的意图理解模型能够更好地预测该应用领域下的用户意图，如此有利于提高意图理解模型的意图理解性能。
基于上述假设以及上述意图理解模型的训练过程可知，意图理解模型的使用过程包括步骤71-步骤72：
步骤71：获取粤语待理解数据。
其中，粤语待理解数据是指需要进行意图理解的粤语语句。另外，粤语待理解数据的获取过程与上文目标语言待理解数据的获取过程类似。
步骤72：将粤语待理解数据输入利用步骤60至步骤69训练好的意图理解模型，得到该意图理解模型输出的该粤语待理解数据对应的预测意图。
基于上述步骤71至步骤72的相关内容可知，在利用步骤60至步骤69训练得到意图理解模型之后，可以直接将粤语待理解数据输入到该意图理解模型，以使该意图理解模型能够准确地确定出该粤语待理解数据所描述的用户意图，如此提高了粤语用户意图的理解准确性。
基于上述方法实施例提供的意图理解模型训练方法，本申请实施例还提供了一种意图理解模型训练装置，下面结合附图进行解释和说明。
装置实施例一
装置实施例一对意图理解模型训练装置进行介绍，相关内容请参见上述方法实施例。
参见图8，该图为本申请实施例提供的一种意图理解模型训练装置的结构示意图。
本申请实施例提供的意图理解模型训练装置800，包括：
第一获取单元801，用于获取目标语言训练数据和辅助语言训练数据；
第一预测单元802，用于将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型，得到所述意图理解模型输出的所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图；
损失确定单元803，用于根据所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图，确定所述意图理解模型的模型预测损失；
模型更新单元804，用于根据所述意图理解模型的模型预测损失更新所述意图理解模型，并返回所述第一预测单元802继续执行所述将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型的步骤，直至达到预设停止条件。
在一种可能的实施方式下，所述目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据中的至少一种；其中，所述目标语言翻译数据是将辅助语言真实数据进行翻译得到的；所述目标语言生成数据是根据候选意图数据生成的。
在一种可能的实施方式下，所述目标语言生成数据的获取过程为：
将所述候选意图数据输入预先构建的目标语言数据生成模型，得到所述目标语言数据生成模型输出的目标语言生成数据；其中，所述目标语言数据生成模型是利用目标语言标注数据和辅助语言标注数据训练得到的。
在一种可能的实施方式下，所述目标语言数据生成模型的构建过程包括：
利用所述辅助语言标注数据对待训练模型进行训练，得到辅助语言数据生成模型；
利用所述目标语言标注数据对所述辅助语言数据生成模型进行训练，得到所述目标语言数据生成模型。
在一种可能的实施方式下，所述目标语言翻译数据的获取过程为：
根据预设词汇映射关系和所述辅助语言真实数据中的待翻译词汇，确定所述待翻译词汇对应的目标语言词汇，并根据所述辅助语言真实数据和所述待翻译词汇对应的目标语言词汇，确定所述目标语言翻译数据；其中，所述预设词汇映射关系包括所述待翻译词汇和所述待翻译词汇对应的目标语言词汇之间的对应关系；
或者，
将所述辅助语言真实数据输入预先构建的语言翻译模型，得到所述语言翻译模型输出的所述辅助语言真实数据对应的翻译结果，并根据所述辅助语言真实数据对应的翻译结果，确定所述目标语言翻译数据。
在一种可能的实施方式下，所述损失确定单元803，包括：
第一确定子单元，用于根据所述目标语言训练数据对应的预测意图，确定目标语言预测损失；
第二确定子单元，用于根据所述辅助语言训练数据对应的预测意图，确定辅助语言预测损失；
第三确定子单元，用于根据所述目标语言预测损失和所述辅助语言预测损失，确定所述意图理解模型的模型预测损失。
在一种可能的实施方式下，当所述目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据，且所述目标语言训练数据对应的预测意图包括目标语言真实数据的预测意图、目标语言翻译数据的预测意图和目标语言生成数据的预测意图时，所述意图理解模型训练装置800还包括：
第三获取单元，用于获取目标语言真实数据的实际意图、目标语言翻译数据的参考意图、目标语言生成数据的实际意图；
所述第一确定子单元，具体用于：根据所述目标语言真实数据的预测意图和所述目标语言真实数据的实际意图，确定目标语言真实数据对应的预测损失；根据所述目标语言翻译数据的预测意图和所述目标语言翻译数据的参考意图，确定所述目标语言翻译数据对应的预测损失；根据所述目标语言生成数据的预测意图和所述目标语言生成数据的实际意图，确定所述目标语言生成数据对应的预测损失；根据所述目标语言真实数据对应的预测损失、所述目标语言翻译数据对应的预测损失和所述目标语言生成数据对应的预测损失，确定目标语言预测损失。
基于上述方法实施例提供的意图理解方法，本申请实施例还提供了一种意图理解装置，下面结合附图进行解释和说明。
装置实施例二
装置实施例二对意图理解装置进行介绍，相关内容请参见上述方法实施例。
参见图9，该图为本申请实施例提供的一种意图理解装置的结构示意图。
本申请实施例提供的意图理解装置900，包括：
第二获取单元901，用于获取目标语言待理解数据；
第二预测单元902，用于将所述目标语言待理解数据输入所述意图理解模型，得到所述意图理解模型输出的所述目标语言待理解数据对应的预测意图；其中，所述意图理解模型是利用本申请实施例提供的意图理解模型训练方法的任一实施方式训练得到的。
进一步地，本申请实施例还提供了一种意图理解模型训练设备，包括：处理器、存储器、***总线；
所述处理器以及所述存储器通过所述***总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述意图理解模型训练方法的任一实施方式。
进一步地，本申请实施例还提供了一种意图理解设备，包括：处理器、存储器、***总线；
所述处理器以及所述存储器通过所述***总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述意图理解方法的任一实施方式。
进一步地，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述意图理解模型训练方法的任一实施方式，或者执行上述意图理解方法的任一实施方式。
进一步地，本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述意图理解模型训练方法的任一实施方式，或者执行上述意图理解方法的任一实施方式。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种意图理解模型训练方法，其特征在于，所述方法包括：
获取目标语言训练数据和辅助语言训练数据；
将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型，得到所述意图理解模型输出的所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图；
根据所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图，确定所述意图理解模型的模型预测损失；所述根据所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图，确定所述意图理解模型的模型预测损失，包括：根据所述目标语言训练数据对应的预测意图，确定目标语言预测损失；根据所述辅助语言训练数据对应的预测意图，确定辅助语言预测损失；根据所述目标语言预测损失和所述辅助语言预测损失，确定所述意图理解模型的模型预测损失；
根据所述意图理解模型的模型预测损失更新所述意图理解模型，并继续执行所述将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型的步骤，直至达到预设停止条件。
2.根据权利要求1所述的方法，其特征在于，所述目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据中的至少一种；其中，所述目标语言翻译数据是将辅助语言真实数据进行翻译得到的；所述目标语言生成数据是根据候选意图数据生成的。
3.根据权利要求2所述的方法，其特征在于，所述目标语言生成数据的获取过程为：
将所述候选意图数据输入预先构建的目标语言数据生成模型，得到所述目标语言数据生成模型输出的目标语言生成数据；其中，所述目标语言数据生成模型是利用目标语言标注数据和辅助语言标注数据训练得到的。
4.根据权利要求3所述的方法，其特征在于，所述目标语言数据生成模型的构建过程包括：
利用所述辅助语言标注数据对待训练模型进行训练，得到辅助语言数据生成模型；
利用所述目标语言标注数据对所述辅助语言数据生成模型进行训练，得到所述目标语言数据生成模型。
5.根据权利要求2所述的方法，其特征在于，所述目标语言翻译数据的获取过程为：
根据预设词汇映射关系和所述辅助语言真实数据中的待翻译词汇，确定所述待翻译词汇对应的目标语言词汇，并根据所述辅助语言真实数据和所述待翻译词汇对应的目标语言词汇，确定所述目标语言翻译数据；其中，所述预设词汇映射关系包括所述待翻译词汇和所述待翻译词汇对应的目标语言词汇之间的对应关系；
或者，
将所述辅助语言真实数据输入预先构建的语言翻译模型，得到所述语言翻译模型输出的所述辅助语言真实数据对应的翻译结果，并根据所述辅助语言真实数据对应的翻译结果，确定所述目标语言翻译数据。
6.根据权利要求1所述的方法，其特征在于，当所述目标语言训练数据包括目标语言真实数据、目标语言翻译数据和目标语言生成数据，且所述目标语言训练数据对应的预测意图包括目标语言真实数据的预测意图、目标语言翻译数据的预测意图和目标语言生成数据的预测意图时，所述方法还包括：
获取目标语言真实数据的实际意图、目标语言翻译数据的参考意图、目标语言生成数据的实际意图；
所述根据所述目标语言训练数据对应的预测意图，确定目标语言预测损失，包括：
根据所述目标语言真实数据的预测意图和所述目标语言真实数据的实际意图，确定目标语言真实数据对应的预测损失；
根据所述目标语言翻译数据的预测意图和所述目标语言翻译数据的参考意图，确定所述目标语言翻译数据对应的预测损失；
根据所述目标语言生成数据的预测意图和所述目标语言生成数据的实际意图，确定所述目标语言生成数据对应的预测损失；
根据所述目标语言真实数据对应的预测损失、所述目标语言翻译数据对应的预测损失和所述目标语言生成数据对应的预测损失，确定目标语言预测损失。
7.一种意图理解方法，其特征在于，所述方法包括：
获取目标语言待理解数据；
将所述目标语言待理解数据输入所述意图理解模型，得到所述意图理解模型输出的所述目标语言待理解数据对应的预测意图；其中，所述意图理解模型是利用权利要求1至6任一项所述的意图理解模型训练方法训练得到的。
8.一种意图理解模型训练装置，其特征在于，所述装置包括：
第一获取单元，用于获取目标语言训练数据和辅助语言训练数据；
第一预测单元，用于将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型，得到所述意图理解模型输出的所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图；
损失确定单元，用于根据所述目标语言训练数据对应的预测意图和所述辅助语言训练数据对应的预测意图，确定所述意图理解模型的模型预测损失；所述损失确定单元，包括：第一确定子单元，用于根据所述目标语言训练数据对应的预测意图，确定目标语言预测损失；第二确定子单元，用于根据所述辅助语言训练数据对应的预测意图，确定辅助语言预测损失；第三确定子单元，用于根据所述目标语言预测损失和所述辅助语言预测损失，确定所述意图理解模型的模型预测损失；
模型更新单元，用于根据所述意图理解模型的模型预测损失更新所述意图理解模型，并返回所述第一预测单元继续执行所述将所述目标语言训练数据和所述辅助语言训练数据输入意图理解模型的步骤，直至达到预设停止条件。
9.一种意图理解装置，其特征在于，所述装置包括：
第二获取单元，用于获取目标语言待理解数据；
第二预测单元，用于将所述目标语言待理解数据输入所述意图理解模型，得到所述意图理解模型输出的所述目标语言待理解数据对应的预测意图；其中，所述意图理解模型是利用权利要求1至6任一项所述的意图理解模型训练方法训练得到的。
CN202011500085.1A 2020-12-17 2020-12-17 一种意图理解模型训练方法及装置、意图理解方法及装置 Active CN112528679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011500085.1A CN112528679B (zh) 2020-12-17 2020-12-17 一种意图理解模型训练方法及装置、意图理解方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011500085.1A CN112528679B (zh) 2020-12-17 2020-12-17 一种意图理解模型训练方法及装置、意图理解方法及装置

Publications (2)

Publication Number Publication Date
CN112528679A CN112528679A (zh) 2021-03-19
CN112528679B true CN112528679B (zh) 2024-02-13

Family

ID=75001363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011500085.1A Active CN112528679B (zh) 2020-12-17 2020-12-17 一种意图理解模型训练方法及装置、意图理解方法及装置

Country Status (1)

Country Link
CN (1) CN112528679B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223502B (zh) * 2021-04-28 2024-01-30 平安科技（深圳）有限公司 语音识别***优化方法、装置、设备及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172218A (zh) * 2016-12-05 2018-06-15 ***通信有限公司研究院 一种语音建模方法及装置
CN108920622A (zh) * 2018-06-29 2018-11-30 北京奇艺世纪科技有限公司 一种意图识别的训练方法、训练装置和识别装置
CN109543190A (zh) * 2018-11-29 2019-03-29 北京羽扇智信息科技有限公司 一种意图识别方法、装置、设备及存储介质
CN109785824A (zh) * 2019-03-15 2019-05-21 科大讯飞股份有限公司 一种语音翻译模型的训练方法及装置
CN111046674A (zh) * 2019-12-20 2020-04-21 科大讯飞股份有限公司 语义理解方法、装置、电子设备和存储介质
CN111368559A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 语音翻译方法、装置、电子设备及存储介质
WO2020177282A1 (zh) * 2019-03-01 2020-09-10 平安科技（深圳）有限公司 一种机器对话方法、装置、计算机设备及存储介质
CN111931517A (zh) * 2020-08-26 2020-11-13 腾讯科技（深圳）有限公司 文本翻译方法、装置、电子设备以及存储介质
CN112016271A (zh) * 2019-05-30 2020-12-01 北京三星通信技术研究有限公司 语言风格转换模型的训练方法、文本处理方法以及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8521507B2 (en) * 2010-02-22 2013-08-27 Yahoo! Inc. Bootstrapping text classifiers by language adaptation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172218A (zh) * 2016-12-05 2018-06-15 ***通信有限公司研究院 一种语音建模方法及装置
CN108920622A (zh) * 2018-06-29 2018-11-30 北京奇艺世纪科技有限公司 一种意图识别的训练方法、训练装置和识别装置
CN109543190A (zh) * 2018-11-29 2019-03-29 北京羽扇智信息科技有限公司 一种意图识别方法、装置、设备及存储介质
WO2020177282A1 (zh) * 2019-03-01 2020-09-10 平安科技（深圳）有限公司 一种机器对话方法、装置、计算机设备及存储介质
CN109785824A (zh) * 2019-03-15 2019-05-21 科大讯飞股份有限公司 一种语音翻译模型的训练方法及装置
CN112016271A (zh) * 2019-05-30 2020-12-01 北京三星通信技术研究有限公司 语言风格转换模型的训练方法、文本处理方法以及装置
CN111046674A (zh) * 2019-12-20 2020-04-21 科大讯飞股份有限公司 语义理解方法、装置、电子设备和存储介质
CN111368559A (zh) * 2020-02-28 2020-07-03 北京字节跳动网络技术有限公司 语音翻译方法、装置、电子设备及存储介质
CN111931517A (zh) * 2020-08-26 2020-11-13 腾讯科技（深圳）有限公司 文本翻译方法、装置、电子设备以及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Julia Kiseleva ; Hoang Thanh Lam ; Mykola Pechenizkiy ; Toon Calders.Predicting Current User Intent with Contextual Markov Models.2013 IEEE 13th International Conference on Data Mining Workshops.2014,全文. *
基于多语言预训练语言模型的译文质量估计方法;陆金梁;张家俊;;厦门大学学报(自然科学版)(第02期);全文 *
基于意图的神经网络对话模型;陈振舜;刘建明;;桂林电子科技大学学报(第05期);全文 *

Also Published As

Publication number Publication date
CN112528679A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
US11238845B2 (en) Multi-dialect and multilingual speech recognition
WO2019200923A1 (zh) 基于拼音的语义识别方法、装置以及人机对话***
CN109979432B (zh) 一种方言翻译方法及装置
Santhanavijayan et al. A semantic-aware strategy for automatic speech recognition incorporating deep learning models
CN114580382A (zh) 文本纠错方法以及装置
CN108536807B (zh) 一种信息处理方法及装置
CN111401064B (zh) 一种命名实体识别方法、装置及终端设备
CN110197279A (zh) 变换模型训练方法、装置、设备和存储介质
CN111489746B (zh) 一种基于bert的电网调度语音识别语言模型构建方法
CN115357719B (zh) 基于改进bert模型的电力审计文本分类方法及装置
CN113327574B (zh) 一种语音合成方法、装置、计算机设备和存储介质
CN114298035A (zh) 一种文本识别脱敏方法及其***
Ghannay et al. Where are we in semantic concept extraction for Spoken Language Understanding?
CN115116428B (zh) 韵律边界标注方法、装置、设备、介质及程序产品
Rajendran et al. Language dialect based speech emotion recognition through deep learning techniques
CN114492470A (zh) 商品标题文本翻译方法及其装置、设备、介质、产品
CN116821285A (zh) 基于人工智能的文本处理方法、装置、设备及介质
CN112528679B (zh) 一种意图理解模型训练方法及装置、意图理解方法及装置
US11551012B2 (en) Apparatus and method for providing personal assistant service based on automatic translation
CN112633007B (zh) 一种语义理解模型构建方法及装置、语义理解方法及装置
CN110717316B (zh) 字幕对话流的主题分割方法及装置
Domokos et al. Romanian phonetic transcription dictionary for speeding up language technology development
Kipyatkova et al. Experimenting with attention mechanisms in joint CTC-attention models for Russian speech recognition
Liu et al. The BERT-BiLSTM-CRF question event information extraction method
CN111090720B (zh) 一种热词的添加方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant