CN111709249B - 多语种模型的训练方法、装置、电子设备和存储介质 - Google Patents

多语种模型的训练方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111709249B
CN111709249B CN202010478029.6A CN202010478029A CN111709249B CN 111709249 B CN111709249 B CN 111709249B CN 202010478029 A CN202010478029 A CN 202010478029A CN 111709249 B CN111709249 B CN 111709249B
Authority
CN
China
Prior art keywords
corpus
loss value
model
word
language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010478029.6A
Other languages
English (en)
Other versions
CN111709249A (zh
Inventor
刘佳祥
王硕寰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010478029.6A priority Critical patent/CN111709249B/zh
Publication of CN111709249A publication Critical patent/CN111709249A/zh
Application granted granted Critical
Publication of CN111709249B publication Critical patent/CN111709249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Machine Translation (AREA)

Abstract

本公开提出了一种多语种模型的训练方法、装置、电子设备和存储介质，涉及自然语言处理领域。具体实现方案为：获取平行语料，其中，平行语料包括第一语种的第一语料和第二语种的第二语料，第一语料和第二语料在语义上相同；将第一语料的第一位置的词进行遮掩；获取第二语料之中与第一位置的词具有相同语义的第二位置；对第二语料的第二位置的词进行遮掩；将遮掩之后的第一语料和第二语料输入至初始多语种模型以生成第一位置的预测词和第二位置的预测词；根据第一位置的词和第一位置的预测词，以及第二位置的词和第二位置的预测词生成第一损失值；根据第一损失值对初始多语种模型进行多语种训练以生成多语种模型。

Description

多语种模型的训练方法、装置、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其是涉及一种多语种模型的训练方法、装置、电子设备和存储介质，属于自然语言处理领域。
背景技术
随着互联网上的内容越来越丰富，夹杂着不同语种的内容不断的产生。例如，在社交媒体网络平台上，不断的有人发表言论，可能同时夹杂着多种语言，比如中文和英文。针对此类文本内容，传统的基于单语语料的情感分类模型已经没有办法发挥作用。
发明内容
本公开提供了一种多语种模型的训练方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种多语种模型的训练方法，包括：
获取平行语料，其中，所述平行语料包括第一语种的第一语料和第二语种的第二语料，所述第一语料和所述第二语料在语义上相同；
将所述第一语料的第一位置的词进行遮掩；
获取所述第二语料之中与所述第一位置的词具有相同语义的第二位置；
对所述第二语料的第二位置的词进行遮掩；
将所述遮掩之后的所述第一语料和所述第二语料输入至初始多语种模型以生成所述第一位置的预测词和所述第二位置的预测词；
根据所述第一位置的词和所述第一位置的预测词，以及所述第二位置的词和所述第二位置的预测词生成第一损失值；以及
根据所述第一损失值对所述初始多语种模型进行多语种训练以生成多语种模型。
根据本公开的另一方面，提供了一种多语种模型的训练装置，包括：
第一获取模块，用于获取平行语料，其中，所述平行语料包括第一语种的第一语料和第二语种的第二语料，所述第一语料和所述第二语料在语义上相同；
第一遮掩模块，用于将所述第一语料的第一位置的词进行遮掩；
第二获取模块，用于获取所述第二语料之中与所述第一位置的词具有相同语义的第二位置；
第二遮掩模块，用于对所述第二语料的第二位置的词进行遮掩；
第一生成模块，用于将所述遮掩之后的所述第一语料和所述第二语料输入至初始多语种模型以生成所述第一位置的预测词和所述第二位置的预测词；
第二生成模块，用于根据所述第一位置的词和所述第一位置的预测词，以及所述第二位置的词和所述第二位置的预测词生成第一损失值；以及
多语种模型生成模块，用于根据所述第一损失值对所述初始多语种模型进行多语种训练以生成多语种模型。
根据本公开的又一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的一方面所述的多语种模型的训练方法。
根据本公开的又一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开的一方面所述的多语种模型的训练方法。
根据本公开的又一个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行本公开的一方面所述的多语种模型的训练方法。
根据本公开的技术，通过利用多语种的平行语料对初始多语种模型进行预训练，以得到多语种模型，使得该模型可以实现对多种语言文本内容进行语义表达，从而可以实现对夹杂着不同语种的文本内容进行语义表达，以识别出同时夹杂有不同语种文本的语义，扩展了语义表达模型的适用场景，即不仅可以实现对单种文本的语义识别，还可以实现对同时夹杂有不同语种文本的语义识别。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一个实施例的多语种模型的训练方法的流程图；
图2是根据本公开另一个实施例的多语种模型的训练方法的流程图；
图3是本公开实施例的训练多语种模型的示例图；
图4是本公开实施例的对多语种模型进行微调的示例图；
图5是根据本公开又一个实施例的多语种模型的训练方法的流程图；
图6是本公开实施例的对抗训练伪代码的示例图；
图7是根据本公开一个实施例的多语种模型的训练装置的结构框图；
图8是根据本公开另一个实施例的多语种模型的训练装置的结构框图；
图9是根据本公开又一个实施例的多语种模型的训练装置的结构框图；
图10是用来实现本公开实施例的多语种模型的训练的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
相关技术中，比较普遍的是基于单语语料训练的情感分类模型，典型的如利用CNN(Convolutional Neural Networks，卷积神经网络)进行文本分类。这类方法通常将语料映射为数字标识id，输入到词嵌入层，得到词汇的向量表达。在这些表达的基础上，引入卷积操作融合不同跨度的词表达，最后输入到全连接中，进行情感分类。
随着互联网上的内容越来越丰富，夹杂着不同语种的内容不断的产生。例如，在社交媒体网络平台上，不断的有人发表言论，可能同时带着多种语言，比如中文和英文。针对此类文本内容，传统的基于单语语料的情感分类模型已经没有办法发挥作用。因此针对此类文本，本公开提出了一种多语种模型的训练方法、装置、电子设备以及存储介质。具体地，下面参考附图描述本公开实施例的多语种模型的训练方法、装置、电子设备以及存储介质。
图1是根据本公开一个实施例的多语种模型的训练方法的流程图。需要说明的是，本公开实施例的多语种模型的训练方法可应用于本公开实施例的多语种模型的训练装置，该训练装置可被配置于本公开实施例的电子设备上。
如图1所示，该多语种模型的训练方法可以包括：
步骤101，获取平行语料，其中，平行语料包括第一语种的第一语料和第二语种的第二语料，第一语料和第二语料在语义上相同。
在本公开的一些实施例中，上述平行语料可以从互联网上进行抓取。作为一种示例，可从各种翻译网站上抓取双语例句，将抓取到的双语例句作为平行预料，其中双语例句中的一种语言的例句作为第一语种的第一语料，双语例句中的另一种语言的例句作为第二语种的第二语料。例如，以双语例句为“哈尔滨是黑龙江的省会，国际冰雪文化名城；Harbinis the capital of Heilongjiang,on international city of snowand ice”为例，可见，该双语例句包含中文语句和英文语句，中文语句和英文语句在语义上相同。
在本公开的一些实施例中，上述平行语料还可以是通过翻译工具而获得。例如，先获得第一语种的第一语料，并利用翻译工具对该第一语种的第一语料进行翻译，以得到其他语种所对应的语料，进而将该第一语种的第一语料以及其他语种所对应的语料作为上述平行语料。
可以理解，上述第一语种和第二语种不限于中文语种和英文语种，还可以是其他语种，比如韩语、日语、西班牙语、德语等等，该平行语料中的第一语料和第二语料只要在语义上相同即可，而平行语料中语种的选择取决于多语种模型的应用场景，比如，该多语种模型用于对中英文夹杂的语句进行情感分类时，选取中文语料和英文语料作为上述平行语料进行多语种模型的训练；若多语种模型用于对中日文夹杂的语句进行情感分类时，选取中文语料和日文语料作为上述平行语料进行多语种模型的训练。
步骤102，将第一语料的第一位置的词进行遮掩。
在本公开的一些实施例中，可利用命名实体识别技术，识别出第一语料中的各命名实体，并将识别出的命名实体在第一语料中的位置上的词进行遮掩，例如，可用特殊标识符对该识别出的命名实体在第一语料中的位置上的词进行遮掩。
举例而言，以中文语料为“哈尔滨是黑龙江的省会，国际冰雪文化名城”为例，可识别出该中文语料中的命名实体，比如，可识别出“哈尔滨”和“冰雪”命名实体，之后，可对“哈尔滨”和“冰雪”命名实体在第一语料中的位置上的词进行遮掩，比如，将第一语料中的“哈尔滨”和“冰雪”词分别利用特殊标识符替换，比如用“X”标识符，以实现对第一语料的加噪处理，例如，可将上述中文语料“哈尔滨是黑龙江的省会，国际冰雪文化名城”，进行加噪处理(即对第一语料中的命名实体进行遮掩)后，得到的语料为“XXX是黑龙江的省会，国际XX文化名城”。
步骤103，获取第二语料之中与第一位置的词具有相同语义的第二位置。
在本公开的实施例中，在对第一语料的第一位置上的词进行遮掩之后，可基于词的语义，从第二语料中找出与所述第一位置上的词具有相同语义的词所在的位置，该位置即为上述第二位置。
举例而言，以平行语料“哈尔滨是黑龙江的省会，国际冰雪文化名城；Harbin isthe capital of Heilongjiang,on international city of snow and ice”为例，其中，假设“哈尔滨是黑龙江的省会，国际冰雪文化名城”该中文语料为第一语料，“Harbin isthe capital of Heilongjiang,on international city of snow and ice”该英文语料为第二语料，假设第一语料之中“哈尔滨”和“冰雪”被遮掩，之后，可基于词的语义，从第二语料中找出与“哈尔滨”和“冰雪”具有相同语义的词“Harbin”、“snow and ice”所在的位置。
步骤104，对第二语料的第二位置的词进行遮掩。
在本公开的实施例中，在获取第二语料之中与第一位置的词具有相同语义的第二位置之后，可用特殊标识符(比如“X”标识符)对该第二位置上的词进行遮掩。
步骤105，将遮掩之后的第一语料和第二语料输入至初始多语种模型以生成第一位置的预测词和第二位置的预测词。
在对平行语料中的第一语料和第二语料均进行遮掩之后，可将遮掩之后的第一语料和第二语料输入至初始多语种模型。该初始多语种模型可分别对输入的第一语料和第二语料中被遮掩的词进行预测，以得到第一位置的预测词和第二位置的预测词。
在本公开的一些实施例中，上述初始多语种模型可为编码器(encoder)模型。其中，可通过使用CNN神经网络构造该初始多语种模型，或者，还可通过使用其他神经网络构造该初始多语种模型，比如，使用深度神经网络(Deep Neural Networks，英文简称DNN)、循环神经网络(Recurrent Neural Network，英文简称RNN)、Transformer(一种编码器)、GRU(一种循环神经网络)等效果领先的模型结构作为初始多语种模型。
步骤106，根据第一位置的词和第一位置的预测词，以及第二位置的词和第二位置的预测词生成第一损失值。
在本公开的实施例中，可根据第一语料之中第一位置上的原始词和该第一位置的预测词、第二语料之中第二位置上的原始词和该第二位置的预测词，计算预测得到的词与原始词之间的相差差距，即预测的损失值。例如，可利用损失函数计算预测得到的词与原始词之间的损失值，该损失值即为上述第一损失值。
在本公开的一些实施例中，可根据第一位置的词和第一位置的预测词生成第二损失值，并根据第二位置的词和第二位置的预测词生成第三损失值，之后，可根据第二损失值和第三损失值生成第一损失值。例如，可利用损失函数计算第一位置上的原始词与第一位置的预测词之间的损失值(称为第二损失值)，并利用损失函数计算第二位置上的原始词和第二位置的预测词之间的损失值(称为第三损失值)，之后，可根据第二损失值和第三损失值生成第一损失值。
其中，所述根据第二损失值和第三损失值生成第一损失值的具体实现方式可如下：将第二损失值和第三损失值直接进行求和以得到上述第一损失值；或者，将第二损失值和第三损失值进行平均值计算，得到的数值即为上述第一损失值；或者，将第二损失值和第三损失值进行加权求和，以得到上述第一损失值。
步骤107，根据第一损失值对初始多语种模型进行多语种训练以生成多语种模型。
在本公开的一些实施例中，在获得所述第一损失值之后，可将该第一损失值与目标损失值进行比较，若比较结果不满足训练终止条件，则利用第一损失值对该初始多语种模型进行参数调整，在对模型参数调整之后，继续将遮掩之后的第一语料和第二语料输入至经过参数调整的初始多语种模型中，以对该模型继续进行训练，直至得到第一损失值满足模型训练终止条件为止，训练终止之后得到的模型即为训练好的多语种模型。
根据本公开实施例的多语种模型的训练方法，通过利用多语种的平行语料对初始多语种模型进行预训练，以得到多语种模型，使得该模型可以实现对多种语言文本内容进行语义表达，从而可以实现对夹杂着不同语种的文本内容进行语义表达，以识别出同时夹杂有不同语种文本的语义，扩展了语义表达模型的适用场景，即不仅可以实现对单种文本的语义识别，还可以实现对同时夹杂有不同语种文本的语义识别。
为了能够对夹杂着多种语言的文本内容进行情感识别，在得到多语种模型之后，可基于带有情感标注词的混合语料对该多语种模型进行微调，以得到能够识别情感分类模型，进而基于该识别情感分类模型能够实现对夹杂着多种语言的文本内容进行情感识别。具体而言，在本公开的一些实施例中，如图2所示，在如图1所示的基础上，该多语种模型的训练方法还可包括：
步骤201，获取混合语料以及混合语料对应的情感标注词，其中，混合语料之中包括多个样本词，其中，样本词的一部分属于第一语种，样本词的另一部分属于第二语种。
也就是说，用于对多语种模型进行微调所使用的训练样本数据为已标注数据，即带有情感标注词的混合语料。
步骤202，将混合语料输入至多语种模型以生成第一情感预测值。
也就是说，该多语种模型可对输入的混合语料进行情感类别的预测，以得到混合语料所对应的第一情感预测值。其中，该情感类别可包括但不限于正向情感、中性情感、负向情感等。例如，假设混合语料为“我觉得这部影真的amazing”，将该混合语料输入至多语种模型之后，该多语种模型输出该混合语料所对应的第一情感预测值为“正向情感”。
步骤203，根据第一情感预测值和情感标注词生成第四损失值。
例如，可利用损失函数计算第一情感预测值和情感标注词之间的损失值，以得到第四损失值。
步骤204，根据第四损失值对多语种模型进行情感识别训练。
例如，在得到第四损失值之后，可根据该第四损失值判定当前模型是否达到预设要求，若否，则根据第四损失值对多语种模型进行参数调整，并在对模型参数调整之后，继续利用混合语料以及混合语料对应的情感标注词对经过参数调整的多语种模型继续进行训练，直至训练的模型满足预设要求为止，训练终止之后得到的模型即为基于多种语料训练的情感识别模型，能够实现对夹杂着不同语种的内容进行情感类别的识别。
由此可见，为了能够训练得到用以实现对夹杂着不同语种的内容进行情感识别的情感识别模型，本公开使用了预训练+微调的方式来生成该情感识别模型，其中，通过预训练得到多语种模型，可以实现对不同语种内容的语义表达，之后，利用带有情感标注词的已标注混合语料对该多语种模型进行微调，以得到上述情感识别模型。为了方便本领域技术人员对本公开的了解，下面将结合图3和图4进行描述。
举例而言，在预训练阶段，可在网络中收集收集大量的多语种语料，通过构造遮盖语言模型(Masked Language Model)训练一个通用的多语种模型。如图3所示，可将一对平行语料输入到一个编码器(即初始多语种模型)中，输入平行语料前，需对该平行进行加噪处理，例如将『哈尔滨』和『冰雪』、『Harbin』和『snow and ice』替换成一个特殊标识符(比如『X』)。在替换之后，可将替换之后的平行语料输入到编码器中，对于被遮盖的位置，需让编码器恢复其原本的词汇，例如，对于第一个『X』，期望编码器能够输出『哈』字。利用这样的一个自监督任务，可以得到一个能够支持多语种的编码器，该编码器即为上述的多语种模型，即能够实现对多种语言文本进行语义表达。
在得到多语种模型之后，需利用带有情感标注词的已标注混合语料对该多语种模型进行微调。在微调阶段，可将该多语种模型在多语种情感分类任务上进行再训练。如图4所示，对于编码器(此时的编码器即为上述预训练好的多语种模型)，输入一段多语种混杂的语料，模型的学习目标是该语料的情感标签，通常情感标签有『正向』『中性』『负向』三类情感。图4中的例子为一个正向情感的示例。这样，利用带有情感标注词的已标注混合语料对该多语种模型进行微调，从而可以得到训练好的情感识别模型，使得该情感识别模型可以实现对夹杂着不同语种的内容进行情感识别。
为了使得模型的效果更好，在微调阶段，可以增加对抗学习。具体而言，在本公开的一些实施例中，在利用混合语料以及混合语料对应的情感标注词对多语种模型进行情感识别训练时，如图5所示，该多语种模型的训练方法还可包括：
步骤501，根据混合语料生成混合语料对应的对抗语料。
可以理解，对抗方法的目标在于找到模型的参数空间内存在漏洞。在对模型进行对抗训练时，可先获得用以对抗训练的对抗。其中，该对抗语料可基于混合语料而得到。也就是说，对于模型的输入的混合语料，只需要在该混合语料上加上一个扰动，以其形成对抗语料，进而基于该对抗语料对多语种模型进行对抗训练，以找出该模型的参数空间内的漏洞，以实现对模型的优化。
在本公开的一些实施例中，可根据混合语料生成混合语料对应的扰动语料，并将扰动语料输入至多语种模型以生成第三情感预测值，之后，根据第三情感预测值和情感标注词生成第六损失值，然后，基于混合语料对第六损失值进行梯度计算，以使第六损失值变大，之后，基于目标范数，将变大的第六损失值进行归一化，并根据归一化的第六损失值和混合语料，生成混合语料对应的对抗语料。
例如，将混合语料输入词嵌入模型，以得到针对混合语料的词嵌入矩阵，之后，可在高斯分布中，抽取与该混合语料的词嵌入矩阵同样形状的一个矩阵，作为扰动语料，并将该扰动语料输入至多语种模型以生成第三情感预测值。之后，利用损失函数计算该第三情感预测值与混合语料所对应的情感标注词(即真实情感标注词)之间的损失值(即上述第六损失值)，然后，基于混合语料对第六损失值进行梯度计算，以使第六损失值变大，这样，将该变大的第六损失值加到混合语料上，即可以得到用于对抗攻击的对抗语料。其中，在将该变大的第六损失值加到混合语料之后，还需基于目标范数将第六损失值进行归一化，由此，通过对扰动进行范数约束，可以保证施加在混合语料上的扰动保持在一定小的范围空间内。
步骤502，将对抗语料输入至多语种模型以生成第二情感预测值。
步骤503，根据第二情感预测值和情感标注词生成第五损失值。
步骤504，根据第五损失值对多语种模型进行对抗训练。
可以理解，由于输入到多语种模型中的对抗语料中，施加了用以扰动的扰动语料，所以多语种模型对该对抗语料进行情感识别时，预测出的情感类别会与情感标注词不一样，即利用损失函数计算预测出的情感预测值与真实的情感标注词的损失值，进而将该损失值进行变大并归一化之后，施加在混合语料中，继续对多语种模型进行攻击对抗，重复攻击N次后，得到一个比较稳定的工你高几扰动，最后求得基于该扰动的模型损失Ladv，将L+Ladv(其中，L为多语种模型对混合语料进行情感类别预测之后得到的损失值)作为该混合语料的最终损失值，带入梯度下降算法，进行模型优化，从而可以使得模型的效果更好。
例如，如图6所示，对抗训练的输入为混合语料E、情感标注词标签Y、多语种模型model。在进入对抗循环之前，在高斯分布中，抽取与E同样形状的一个矩阵，作为扰动语料，输入到模型中得到预测和损失，其中CE为CrossEntropy交叉上损失函数。通常情况下，对损失函数Ladv求得导数如
Figure GDA0002831371780000111
表示Ladv在E点增长方向最快的方向，传统随机梯度下降优化算法利用该特性更新函数的参数E，即
Figure GDA0002831371780000112
其中ξ为一个常量系数。但是在对抗算法中，其原理在于找到E点处使得模型预测错误的样本点，因此将
Figure GDA0002831371780000113
即得到需要的对抗语料，其中，E为混合语料。为了保证施加在E上的扰动保持在一定小的范围空间内，可对扰动进行范数约束，其中，该范数可为L1、或L2、或L∞范数，即图6中的P可为1或2或∞。重复攻击N次，得到一个比较稳定的工你高几扰动，最后求得基于该扰动的模型损失Ladv，将L+Ladv作为该混合语料的最终损失值，带入梯度下降算法，进行模型优化，从而可以使得模型的效果更好。
根据本公开的实施例，本公开还提供了一种多语种模型的训练装置。
图7是根据本公开一个实施例的多语种模型的训练装置的结构框图。如图7所示，该多语种模型的训练装置700可以包括：第一获取模块701、第一遮掩模块702、第二获取模块703、第二遮掩模块704、第一生成模块705、第二生成模块706和多语种模型生成模块707。
具体地，第一获取模块701用于获取平行语料，其中，平行语料包括第一语种的第一语料和第二语种的第二语料，第一语料和第二语料在语义上相同。
第一遮掩模块702用于将第一语料的第一位置的词进行遮掩。
第二获取模块703用于获取第二语料之中与第一位置的词具有相同语义的第二位置。
第二遮掩模块704用于对第二语料的第二位置的词进行遮掩。
第一生成模块705用于将遮掩之后的第一语料和第二语料输入至初始多语种模型以生成第一位置的预测词和第二位置的预测词。
第二生成模块706用于根据第一位置的词和第一位置的预测词，以及第二位置的词和第二位置的预测词生成第一损失值。在本公开的一些实施例中，第二生成模块706具体用于：根据第一位置的词和第一位置的预测词生成第二损失值；根据第二位置的词和第二位置的预测词生成第三损失值；以及根据第二损失值和第三损失值生成第一损失值。
多语种模型生成模块707用于根据第一损失值对初始多语种模型进行多语种训练以生成多语种模型。
在本公开的一些实施例中，如图8所示，该多语种模型的训练装置700还可包括：第三获取模块708、第三生成模块709、第四生成模块710和情感识别训练模块711。其中，第三获取模块708用于获取混合语料以及混合语料对应的情感标注词，其中，混合语料之中包括多个样本词，其中，样本词的一部分属于第一语种，样本词的另一部分属于第二语种；第三生成模块709用于将混合语料输入至多语种模型以生成第一情感预测值；第四生成模块710用于根据第一情感预测值和情感标注词生成第四损失值；情感识别训练模块711用于根据第四损失值对多语种模型进行情感识别训练。
在本公开的一些实施例中，如图9所示，该多语种模型的训练装置700还可包括：第五生成模块712、第六生成模块713、第七生成模块714和对抗训练模块715。其中，第五生成模块712用于根据混合语料生成混合语料对应的对抗语料；第六生成模块713用于将对抗语料输入至多语种模型以生成第二情感预测值；第七生成模块714用于根据第二情感预测值和情感标注词生成第五损失值；对抗训练模块715用于根据第五损失值对多语种模型进行对抗训练。
在本公开的一些实施例中，第五生成模块712具体用于：根据混合语料生成混合语料对应的扰动语料；将扰动语料输入至多语种模型以生成第三情感预测值；根据第三情感预测值和情感标注词生成第六损失值；基于混合语料对第六损失值进行梯度计算，以使第六损失值变大；基于目标范数，将变大的第六损失值进行归一化；根据归一化的第六损失值和混合语料，生成混合语料对应的对抗语料。
根据本公开实施例的多语种模型的训练装置，通过利用多语种的平行语料对初始多语种模型进行预训练，以得到多语种模型，使得该模型可以实现对多种语言文本内容进行语义表达，从而可以实现对夹杂着不同语种的文本内容进行语义表达，以识别出同时夹杂有不同语种文本的语义，扩展了语义表达模型的适用场景，即不仅可以实现对单种文本的语义识别，还可以实现对同时夹杂有不同语种文本的语义识别。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质以及一种计算机程序产品。
如图10所示，是根据本公开实施例的用以实现多语种模型的训练方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图10中以一个处理器1001为例。
存储器1002即为本公开所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的多语种模型的训练方法。本公开的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的多语种模型的训练方法。本公开的计算机程序产品，当计算机程序产品中的指令由处理器1001执行时，执行本公开所提供的多语种模型的训练方法。
存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的多语种模型的训练方法对应的程序指令/模块(例如，附图7所示的第一获取模块701、第一遮掩模块702、第二获取模块703、第二遮掩模块704、第一生成模块705、第二生成模块706和多语种模型生成模块707)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的多语种模型的训练方法。
存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据用以实现多语种模型的训练方法的电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至用以实现多语种模型的训练方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
用以实现多语种模型的训练方法的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息，以及产生与用以实现多语种模型的训练方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本公开实施例的技术方案，通过利用多语种的平行语料对初始多语种模型进行预训练，以得到多语种模型，使得该模型可以实现对多种语言文本内容进行语义表达，从而可以实现对夹杂着不同语种的文本内容进行语义表达，以识别出同时夹杂有不同语种文本的语义，扩展了语义表达模型的适用场景，即不仅可以实现对单种文本的语义识别，还可以实现对同时夹杂有不同语种文本的语义识别。另外，本公开通过将多语种的预训练技术和对抗学习结合，能够提升模型效果。此外，本公开通过利用梯度的物理特性，求得较佳的扰动，得到与扰动对应的损失loss，计算简单。同时，由于在进行对抗训练时，可将对抗算法直接施加到模型的词嵌入层，可以比较方便的获得攻击后的词嵌入的近邻，进而知道攻击后的样本含义，提供了可解释的途径。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (12)

1.一种多语种模型的训练方法，包括：
获取平行语料，其中，所述平行语料包括第一语种的第一语料和第二语种的第二语料，所述第一语料和所述第二语料在语义上相同；
将所述第一语料的第一位置的词进行遮掩；
获取所述第二语料之中与所述第一位置的词具有相同语义的第二位置；
对所述第二语料的第二位置的词进行遮掩；
将所述遮掩之后的所述第一语料和所述第二语料输入至初始多语种模型以生成所述第一位置的预测词和所述第二位置的预测词；
根据所述第一位置的词和所述第一位置的预测词，以及所述第二位置的词和所述第二位置的预测词生成第一损失值；以及
根据所述第一损失值对所述初始多语种模型进行多语种训练以生成多语种模型。
2.如权利要求1所述的多语种模型的训练方法，其中，所述根据所述第一位置的词和所述第一位置的预测词，以及所述第二位置的词和所述第二位置的预测词生成第一损失值，包括：
根据所述第一位置的词和所述第一位置的预测词生成第二损失值；
根据所述第二位置的词和所述第二位置的预测词生成第三损失值；以及
根据所述第二损失值和所述第三损失值生成所述第一损失值。
3.如权利要求1所述的多语种模型的训练方法，在所述根据所述第一损失值对所述初始多语种模型进行多语种训练以生成多语种模型之后，还包括：
获取混合语料以及所述混合语料对应的情感标注词，其中，所述混合语料之中包括多个样本词，其中，所述样本词的一部分属于所述第一语种，所述样本词的另一部分属于所述第二语种；
将所述混合语料输入至所述多语种模型以生成第一情感预测值；
根据所述第一情感预测值和所述情感标注词生成第四损失值；以及
根据所述第四损失值对所述多语种模型进行情感识别训练。
4.如权利要求3所述的多语种模型的训练方法，还包括：
根据所述混合语料生成所述混合语料对应的对抗语料；
将所述对抗语料输入至所述多语种模型以生成第二情感预测值；
根据所述第二情感预测值和所述情感标注词生成第五损失值；以及
根据所述第五损失值对所述多语种模型进行对抗训练。
5.如权利要求4所述的多语种模型的训练方法，其中，所述根据所述混合语料生成所述混合语料对应的对抗语料，包括：
根据所述混合语料生成所述混合语料对应的扰动语料；
将所述扰动语料输入至所述多语种模型以生成第三情感预测值；
根据所述第三情感预测值和所述情感标注词生成第六损失值；
基于所述混合语料对所述第六损失值进行梯度计算，以使所述第六损失值变大；
基于目标范数，将变大的第六损失值进行归一化；
根据归一化的第六损失值和所述混合语料，生成混合语料对应的对抗语料。
6.一种多语种模型的训练装置，包括：
第一获取模块，用于获取平行语料，其中，所述平行语料包括第一语种的第一语料和第二语种的第二语料，所述第一语料和所述第二语料在语义上相同；
第一遮掩模块，用于将所述第一语料的第一位置的词进行遮掩；
第二获取模块，用于获取所述第二语料之中与所述第一位置的词具有相同语义的第二位置；
第二遮掩模块，用于对所述第二语料的第二位置的词进行遮掩；
第一生成模块，用于将所述遮掩之后的所述第一语料和所述第二语料输入至初始多语种模型以生成所述第一位置的预测词和所述第二位置的预测词；
第二生成模块，用于根据所述第一位置的词和所述第一位置的预测词，以及所述第二位置的词和所述第二位置的预测词生成第一损失值；以及
多语种模型生成模块，用于根据所述第一损失值对所述初始多语种模型进行多语种训练以生成多语种模型。
7.如权利要求6所述的多语种模型的训练装置，其中，所述第二生成模块具体用于：
根据所述第一位置的词和所述第一位置的预测词生成第二损失值；
根据所述第二位置的词和所述第二位置的预测词生成第三损失值；以及
根据所述第二损失值和所述第三损失值生成所述第一损失值。
8.如权利要求6所述的多语种模型的训练装置，还包括：
第三获取模块，用于获取混合语料以及所述混合语料对应的情感标注词，其中，所述混合语料之中包括多个样本词，其中，所述样本词的一部分属于所述第一语种，所述样本词的另一部分属于所述第二语种；
第三生成模块，用于将所述混合语料输入至所述多语种模型以生成第一情感预测值；
第四生成模块，用于根据所述第一情感预测值和所述情感标注词生成第四损失值；
情感识别训练模块，用于根据所述第四损失值对所述多语种模型进行情感识别训练。
9.如权利要求8所述的多语种模型的训练装置，还包括：
第五生成模块，用于根据所述混合语料生成所述混合语料对应的对抗语料；
第六生成模块，用于将所述对抗语料输入至所述多语种模型以生成第二情感预测值；
第七生成模块，用于根据所述第二情感预测值和所述情感标注词生成第五损失值；
对抗训练模块，用于根据所述第五损失值对所述多语种模型进行对抗训练。
10.如权利要求9所述的多语种模型的训练装置，其中，所述第五生成模块具体用于：
根据所述混合语料生成所述混合语料对应的扰动语料；
将所述扰动语料输入至所述多语种模型以生成第三情感预测值；
根据所述第三情感预测值和所述情感标注词生成第六损失值；
基于所述混合语料对所述第六损失值进行梯度计算，以使所述第六损失值变大；
基于目标范数，将变大的第六损失值进行归一化；
根据归一化的第六损失值和所述混合语料，生成混合语料对应的对抗语料。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的多语种模型的训练方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至5中任一项所述的多语种模型的训练方法。
CN202010478029.6A 2020-05-29 2020-05-29 多语种模型的训练方法、装置、电子设备和存储介质 Active CN111709249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010478029.6A CN111709249B (zh) 2020-05-29 2020-05-29 多语种模型的训练方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010478029.6A CN111709249B (zh) 2020-05-29 2020-05-29 多语种模型的训练方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111709249A CN111709249A (zh) 2020-09-25
CN111709249B true CN111709249B (zh) 2023-02-24

Family

ID=72537576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010478029.6A Active CN111709249B (zh) 2020-05-29 2020-05-29 多语种模型的训练方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111709249B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528669B (zh) 2020-12-01 2023-08-11 北京百度网讯科技有限公司 多语言模型的训练方法、装置、电子设备和可读存储介质
CN113139391B (zh) * 2021-04-26 2023-06-06 北京有竹居网络技术有限公司 翻译模型的训练方法、装置、设备和存储介质
CN113204977B (zh) * 2021-04-29 2023-09-26 北京有竹居网络技术有限公司 信息翻译方法、装置、设备和存储介质
CN113590865B (zh) * 2021-07-09 2022-11-22 北京百度网讯科技有限公司 图像搜索模型的训练方法及图像搜索方法
US20230316004A1 (en) * 2022-03-31 2023-10-05 Logistics and Supply Chain MultiTech R&D Centre Limited Natural language translation model training and deployment
CN116306607B (zh) * 2023-05-06 2023-08-15 北京海天瑞声科技股份有限公司 一种多语种混合语料生成方法、装置、设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842585B2 (en) * 2013-03-11 2017-12-12 Microsoft Technology Licensing, Llc Multilingual deep neural network
CN109829058B (zh) * 2019-01-17 2023-08-25 西北大学 一种基于多任务学习提高方言识别准确率的分类识别方法
US10387575B1 (en) * 2019-01-30 2019-08-20 Babylon Partners Limited Semantic graph traversal for recognition of inferred clauses within natural language inputs
GB2584598B (en) * 2019-04-03 2024-02-14 Emotional Perception Ai Ltd Method of training a neural network to reflect emotional perception and related system and method for categorizing and finding associated content
CN110569830B (zh) * 2019-08-01 2023-08-22 平安科技（深圳）有限公司 多语言文本识别方法、装置、计算机设备及存储介质
CN110795565B (zh) * 2019-09-06 2023-10-27 腾讯科技（深圳）有限公司 基于语义识别的别名挖掘方法、装置、介质及电子设备
CN111027595B (zh) * 2019-11-19 2022-05-03 电子科技大学 双阶段语义词向量生成方法
CN110717339B (zh) * 2019-12-12 2020-06-30 北京百度网讯科技有限公司 语义表示模型的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111709249A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
CN111709249B (zh) 多语种模型的训练方法、装置、电子设备和存储介质
KR102497945B1 (ko) 텍스트 인식 처리 방법, 장치, 전자 기기 및 저장매체
CN111967268B (zh) 文本中的事件抽取方法、装置、电子设备和存储介质
CN110717339B (zh) 语义表示模型的处理方法、装置、电子设备及存储介质
CN111709248B (zh) 文本生成模型的训练方法、装置及电子设备
CN111144115B (zh) 预训练语言模型获取方法、装置、电子设备和存储介质
CN111539227B (zh) 训练语义表示模型的方法、装置、设备和计算机存储介质
CN111950291B (zh) 语义表示模型的生成方法、装置、电子设备及存储介质
CN112001180A (zh) 多模态预训练模型获取方法、装置、电子设备及存储介质
CN111241819B (zh) 词向量生成方法、装置及电子设备
CN111859997B (zh) 机器翻译中的模型训练方法、装置、电子设备及存储介质
CN112633017B (zh) 翻译模型训练、翻译处理方法、装置、设备和存储介质
CN112001190A (zh) 自然语言处理模型的训练方法、装置、设备及存储介质
CN111144108A (zh) 情感倾向性分析模型的建模方法、装置和电子设备
CN112000792A (zh) 自然灾害事件的抽取方法、装置、设备以及存储介质
CN111950293B (zh) 语义表示模型的生成方法、装置、电子设备及存储介质
CN111079945B (zh) 端到端模型的训练方法及装置
CN111709234A (zh) 文本处理模型的训练方法、装置及电子设备
CN111259671A (zh) 文本实体的语义描述处理方法、装置及设备
CN111737996A (zh) 基于语言模型获取词向量的方法、装置、设备及存储介质
CN112507101A (zh) 一种建立预训练语言模型的方法和装置
CN113723278A (zh) 表格信息提取模型的训练方法及装置
CN112541076A (zh) 目标领域的扩充语料生成方法、装置和电子设备
CN112528669A (zh) 多语言模型的训练方法、装置、电子设备和可读存储介质
CN114444462B (zh) 模型训练方法及人机交互方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant