CN116523031B - 语言生成模型的训练方法、语言生成方法及电子设备 - Google Patents

语言生成模型的训练方法、语言生成方法及电子设备 Download PDF

Info

Publication number
CN116523031B
CN116523031B CN202310814056.XA CN202310814056A CN116523031B CN 116523031 B CN116523031 B CN 116523031B CN 202310814056 A CN202310814056 A CN 202310814056A CN 116523031 B CN116523031 B CN 116523031B
Authority
CN
China
Prior art keywords
task information
model
training
sample set
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310814056.XA
Other languages
English (en)
Other versions
CN116523031A (zh
Inventor
暴宇健
汪骞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202310814056.XA priority Critical patent/CN116523031B/zh
Publication of CN116523031A publication Critical patent/CN116523031A/zh
Application granted granted Critical
Publication of CN116523031B publication Critical patent/CN116523031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及人工智能技术领域，提供了一种语言生成模型的训练方法、语言生成方法及电子设备。该方法包括：获取第一训练样本集，其中所述第一训练样本集中包括多个第一待解答任务信息和每个所述第一待解答任务信息对应的至少两个答案；根据所述第一训练样本集，通过评分模型，得到所述第一待解答任务信息与所述第一待解答任务信息对应的每个答案之间的匹配分数；根据所述第一训练样本集和所述匹配分数，确定初始语言生成模型对应的梯度更新参数；通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型。本申请实施例提高了语音生成模型的训练效率。

Description

语言生成模型的训练方法、语言生成方法及电子设备
技术领域
本申请涉及人工智能技术领域，尤其涉及一种语言生成模型的训练方法、语言生成方法及电子设备。
背景技术
随着人工智能技术的发展，对于机器学习的研究也越来越深入。其中，自然语言生成技术是人工智能领域的一个研究热点，通过语言生成模型能够生成人类可理解的语言。
而语言生成模型通常需要通过人工标注的数据训练得到，由于标注过程耗时较长，这导致模型的训练效率低。
发明内容
有鉴于此，本申请实施例提供了一种语言生成模型的训练方法、语言生成方法及电子设备，以解决现有技术中语言生成模型的训练效率低的问题。
本申请实施例的第一方面，提供了一种语言生成模型的训练方法，包括：
获取第一训练样本集，其中所述第一训练样本集中包括多个第一待解答任务信息和每个所述第一待解答任务信息对应的至少两个答案；
根据所述第一训练样本集，通过评分模型，得到所述第一待解答任务信息与所述第一待解答任务信息对应的每个答案之间的匹配分数；
根据所述第一训练样本集和所述匹配分数，确定初始语言生成模型对应的梯度更新参数；
通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型。
本申请实施例的第二方面，提供了一种语言生成方法，包括：
获取目标任务信息；
将所述目标任务信息输入至目标语言生成模型，得到所述目标语言生成模型输出的所述目标任务信息对应的任务答案；
其中，所述目标语言生成模型基于第一方面所述的语言生成模型的训练方法得到。
本申请实施例的第三方面，提供了一种语言生成模型的训练装置，包括：
获取模块，用于获取第一训练样本集，其中所述第一训练样本集中包括多个第一待解答任务信息和每个所述第一待解答任务信息对应的至少两个答案；
第一确定模块，用于根据所述第一训练样本集，通过评分模型，得到所述第一待解答任务信息与所述第一待解答任务信息对应的每个答案之间的匹配分数；
第二确定模块，用于根据所述第一训练样本集和所述匹配分数，确定初始语言生成模型对应的梯度更新参数；
训练模块，用于通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型。
本申请实施例的第四方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述第一方面或第二方面所述方法的步骤。
本申请实施例的第五方面，提供了一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面或第二方面所述方法的步骤。
本申请实施例的有益效果是：
通过获取第一训练样本集，第一训练样本集中包括多个第一待解答任务信息和每个第一待解答任务信息对应的至少两个答案，根据第一训练样本集，通过预先训练的评分模型，得到第一待解答任务信息与其所对应的每个答案之间的匹配分数，根据第一训练样本集和匹配分数确定初始语言生成模型对应的梯度更新参数，通过梯度更新参数对初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型，实现了通过评分模型对第一待解答任务信息与其所对应的每个答案之间的匹配分数进行标注，在保证了标注准确度的同时，提高了待解答任务信息的标签标注效率，节约了人工成本，避免了由人工进行训练数据标注导致的标注效率低且成本高的问题；此外通过梯度更新参数对初始语言生成模型的模型参数进行梯度更新，实现了通过策略梯度算法对初始语言生成模型的加强学习过程，进一步有效提高了模型的训练效率，使得能够在短时间内训练得到具有良好性能的目标语言生成模型，解决了现有技术中模型训练效率低的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的一种语言生成模型的训练方法的流程示意图；
图2是本申请实施例提供的初始语言生成模型的训练示意图；
图3是本申请实施例提供的一种语言生成方法的流程示意图；
图4是本申请实施例提供的一种语言生成模型的训练装置的结构示意图；
图5是本申请实施例提供的一种语言生成装置的结构示意图；
图6是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
此外，需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面将结合附图详细说明本申请实施例的一种语言生成模型的训练方法、语言生成方法和电子设备。
图1是本申请实施例提供的一种语言生成模型的训练方法的流程示意图。如图1所示，该语言生成模型的训练方法包括：
步骤101，获取第一训练样本集。
其中，第一训练样本集中包括多个第一待解答任务信息和每个第一待解答任务信息对应的至少两个答案。
具体的，第一训练样本集可以用于对初始语言生成模型进行加强学习，以得到最终的目标语言生成模型。初始语言生成模型是指对神经网络进行初步训练得到的初始的语言生成模型，该初始语言生成模型能够预测得到任务信息对应的任务答案，但该初始语言生成模型的精确度低于目标语言生成模型。
多个第一待解答任务信息可以从各种问答网站或互助网站中采集得到。在一个实施例中，多个第一待解答任务信息可以包括下述至少一类信息：开放类问题、阅读理解类问题以及带有翻译指令的待翻译文本。
开放类问题指具有开放性答案的问题，阅读理解类问题指与待阅读信息相关的问题信息，带有翻译指令的待翻译文本指对待翻译文本执行翻译指令。例如，作为一个示例，开放类问题可以包括“从图中发现了什么”、“该图是什么样的”等，该类问题具有开放性的答案；带有翻译指令的待翻译文本可以包括英文文本以及将英文文本翻译为中文的翻译指令、德文文本以及将德文文本翻译为英文的翻译指令等，该类问题需要对待翻译文本执行相应的翻译指令，答案为翻译指令对应的翻译文本；阅读理解问题可以包括待阅读信息以及与待阅读信息相关的问题信息，该类问题需要对与待阅读信息相关的问题信息进行回答。
另外，每个第一待解答任务信息对应有至少两个答案，即在第一训练样本集中并未通过人工对第一待解答任务信息的准确答案或答案之间的准确度进行标注，从而节省了人工标注成本。
步骤102，根据第一训练样本集，通过评分模型，得到第一待解答任务信息与该第一待解答任务信息对应的每个答案之间的匹配分数。
具体的，本实施例中的评分模型可以训练得到，当然也可以直接由人工设计得到，具体可以根据实际情况而定。
评分模型可以对待解答任务信息与其所对应的每个答案之间的匹配度进行评分，得到匹配分数。在本实施例中可以将第一待解答任务信息和其对应的至少两个答案输入至评分模型中，得到评分模型输出的第一待解答任务信息与其对应的每个答案之间的匹配分数。
通过评分模型得到第一待解答任务信息与其对应的每个答案之间的匹配分数，实现了通过机器学习的方式学习得到第一待解答任务信息的标签，即实现了通过机器学习的方式对第一训练样本集的标签进行标注，而不需要通过人工的方式进行标注，在保证了标注准确性的同时，提高了标注效率，进而提高了模型训练效率，避免了对训练样本进行人工标注导致的标注效率低进而导致模型训练效率低的问题。
步骤103，根据第一训练样本集和匹配分数，确定初始语言生成模型对应的梯度更新参数。
具体的，初始语言生成模型可以为具有一定语言生成能力的模型，能够预测得到任务信息对应的任务答案。
初始语言生成模型可以由预设神经网络训练得到，该预设神经网络可以为生成型预训练变换模型2（Generative Pre-trainedTransformer 2，GPT2），GPT3，加大型的双向自回归变压器（Bidirectional and Auto-RegressiveTransformers large，BART large），加大型的文本到文本任务模型（Text-To-Text Transfer Transformer large，T5 large）等。
此外，由于匹配分数能够表示第一训练样本集中第一待解答任务信息与其所对应的每个答案之间的匹配度，因此通过第一训练样本集和匹配分数，确定初始语言生成模型对应的梯度更新参数，保证了所确定的梯度更新参数的准确性。
步骤104，通过梯度更新参数对初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型。
具体的，通过梯度更新参数对初始语言生成模型的模型参数进行梯度更新，即对初始语言生成模型进行加强学习，使得模型在短时间内具有良好性能，有效的提高了模型的训练效率。
需要说明的是，本实施例通过梯度更新参数对初始语言生成模型的模型参数进行梯度更新，直至模型收敛为止，此时得到目标语言生成模型。目标语言生成模型的应用场景可以包括翻译、聊天、智能助手等。
本申请实施例提供的技术方案，通过评分模型得到第一待解答任务信息与其所对应的每个答案之间的匹配分数，即通过评分模型得到第一待解答任务信息的标签，实现了通过机器学习的方式对第一训练样本集的标签进行标注，在保证了标注准确度的同时，提高了训练样本的标注效率，进而提高了模型训练效率，并且节约了人工成本，避免了由人工进行训练数据标注导致的标注效率低进而导致训练效率低的问题；此外通过梯度更新参数对初始语言生成模型的模型参数进行梯度更新，实现了对初始语言生成模型的加强学习过程，使得能够短时间内学习得到性能良好的模型，进一步提高了模型的训练效率。
此外，本申请在对初始语言生成模型进行梯度更新之前，还需要先确定初始语言生成模型。具体的，在一个实施例中，通过梯度更新参数对初始语言生成模型进行梯度更新，得到目标语言生成模型之前，还包括：
根据预先设置的语言内容和/或语言风格，确定第二训练样本集，其中所述第二训练样本集中包括多个第二待解答任务信息和所述第二待解答任务信息对应的目标答案；
根据所述第二训练样本集对第一预设神经网络进行训练，得到初始语言生成模型。
具体的，语言内容指语言所要表达的含义。
语言风格是指用户在进行交往时，根据不同的交际场合、目的、任务及交际者的秉性和素质而采用的不同的语言素材和方式；其中语言风格包括：日常口语体风格、应用文体风格、艺术文体风格和个人的语言风格等，各类风格包括词汇、语法、语音和修辞手段等风格要素。
语言内容和/或语言风格可以根据用户需求进行预先设置，并根据预先设置的语言内容和/或语言风格来确定第二训练样本集，此时第二训练样本集包括预先设置的语言内容和/或具有预先设置的语言风格，从而使得通过第二训练样本集所训练得到的初始语言生成模型具有用户所需的语言内容和/或语言风格，例如使得模型能够生成复杂的句子结构，所生成语言通顺流畅等。
此外，第一预设神经网络可以为GPT2，GPT3，BART large， T5 large等。
本实施例根据第二训练样本集对第一预设神经网络进行训练，得到初始语言生成模型，具体如图2所示。假设多个第二待解答任务信息包括开放类问题、阅读理解问题和带有翻译指令的待翻译文本，则在训练过程中，初始语言生成模型会输出与开放类问题对应的开放答案，与待翻译指令对应的翻译答案，以及与阅读理解问题对应的阅读理解答案；此外，在训练过程中可以将初始语言生成模型输出的答案与目标答案进行匹配，并根据匹配结果反向调整初始语言生成模型，从而提高初始语言生成模型的精准度。
本实施例根据第二训练样本集得到初始语言生成模型，由于第二训练样本集具有预先设置的语言内容和/或包括预先设置的语言风格，从而使得通过第二训练样本集所训练得到的初始语言生成模型具有用户所需的语言内容和/或语言风格，实现了有效控制初始语言生成模型生成的语言的内容和/或风格，提高了初始语言生成模型的生成内容可控性，满足了不同用户的需求，并能够适用于更广泛的应用场景，使得本实施例不仅能够通过强化学习的方式快速训练出高效的目标语言生成模型，具有较高的训练效率，同时，本实施例还能够有效地控制生成的语言的内容和风格。
此外，本实施例在对第一训练样本集进行标注之前，还需要预先得到评分模型。在该过程中，具体的，在一个实施例中，根据第一训练样本集，通过评分模型，得到第一待解答任务信息与第一待解答任务信息所对应的每个答案之间的匹配分数之前，还包括：
通过第三训练样本集对第二预设神经网络模型进行训练，得到评分模型；其中，第三训练样本集包括多个训练样本和训练样本对应的标签，训练样本包括第三待解答任务信息以及每个第三待解答任务信息对应的至少两个答案，标签包括每个第三待解答任务信息与其所对应的每个答案之间的匹配分数。
具体的，本实施例可以通过第三训练样本集对第二预设神经网络模型进行训练得到评分模型。
其中，第三训练样本集中的第三待解答任务信息可以是从问答网站或互助社区网站中得到，每个第三待解答任务信息对应的至少两个答案可以是初始语言生成模型所生成的答案，也可以是搜集到的答案。此外，第三待解答任务信息与其所对应的每个答案之间的匹配分数，可以是由人工对答案的匹配度进行排序，并根据该排序确定。
例如，作为一个示例，假设第三待解答任务信息为向一个6岁的孩子解释登月，该第三待解答任务信息对应的***括：
a，重力影响；
b，月球是地球的天然卫星；
c，人们登上了月球；
此时可以由人工标注该第三待解答任务信息与其所对应的每个答案之间的匹配度排序，例如匹配度排序为c>b>a，并根据该排序确定该第三待解答任务信息与其所对应的每个答案之间的匹配分数，例如答案a、b和c的匹配分数可以依次为50分、70分、80分。
通过第三训练样本集训练得到第二评分模型，使得后续能够通过第二评分模型对第一训练样本集中第一待解答任务信息与其答案之间的匹配分数进行标注，避免了人工标注导致的标注效率低进而导致模型训练效率低的问题。
另外，在一个实施例中，根据第一训练样本集和匹配分数，确定初始语言生成模型对应的梯度更新参数，包括：
根据第一训练样本集和匹配分数，通过下述公式，确定梯度更新参数：
；
其中，表示所述梯度更新参数，N表示第一待解答任务信息的个数，表示第一待解答任务信息/>与其所对应答案/>之间的匹配分数，/>表示所述初始语言生成模型，/>表示输入为/>的情况下经过所述/>后输出为答案/>的映射。
具体的，本实施例可以通过强化学习算法对初始语言生成模型进行强化学习。其中，策略梯度算法作为一种强化学习算法，可以通过上述公式确定初始语言生成模型的梯度更新参数，从而使得能够通过所确定的梯度更新参数对初始语言生成模型进行梯度更新。需要说明的是，本实施例还可以根据第一训练样本集和匹配分数，通过现有技术中的其他策略梯度算法公式，确定梯度更新参数。
具体的，在一个实施例中，通过梯度更新参数对初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型时，可以通过梯度更新参数，通过下述公式对初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型：
；
其中，表示进行梯度更新后的模型参数，/>表示初始语言生成模型的当前模型参数，/>表示学习率，/>表示梯度更新参数。
需要说明的是，对初始语言生成模型的每一步更新均可以通过上述公式进行，直至模型收敛得到目标语言生成模型为止。
这样通过上述策略梯度的方式对初始语言生成模型进行加强学习，增强了模型的泛化能力，使得能够用于多场景下的零样本学习任务，而不需要做不同任务下的进一步精调。
还需要说明的是，本实施例还可以采用其他的强化学习算法对初始语言生成模型进行强化学习，例如通过概率加权随机策略搜索（Proximal PolicyOptimization，PPO）、演员-评论家算法（Actor-Critic Algorithm，A3C）等，即本实施例还可以根据第一训练样本集和匹配分数，通过PPO算法或A3C确定更新参数，并通过该更新参数对初始语言生成模型的模型参数进行更新，得到目标语言生成模型。
需要说明的是，上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
此外，如图3所示，为本申请实施例中语言生成方法的步骤流程图，该方法包括如下步骤：
步骤301：获取目标任务信息。
具体的，目标任务信息可以为用户需要进行解答的任务信息，该目标任务信息可以是开放类问题、翻译任务或者阅读理解任务，在此并不对目标任务信息的具体内容进行限定。
步骤302：将目标任务信息输入至目标语言生成模型，得到目标语言生成模型输出的目标任务信息对应的任务答案。
其中，目标语言生成模型基于上述实施例所述的语言生成模型的训练方法得到。
本步骤可以将目标任务信息输入至训练得到的目标语言生成模型，得到目标语言生成模型输出的目标任务信息对应的任务答案。
这样通过获取目标任务信息，将目标任务信息输入至通过上述实施例训练得到的目标语言生成模型，得到目标语言生成模型输出的目标任务信息对应的任务答案，实现了通过目标语言生成模型对目标任务信息进行解答，为用户提供了便利。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图4是本申请实施例提供的一种语言生成模型的训练装置的示意图。如图4所示，该语言生成模型的训练装置包括：
获取模块401，用于获取第一训练样本集，其中所述第一训练样本集中包括多个第一待解答任务信息和每个所述第一待解答任务信息对应的至少两个答案；
第一确定模块402，用于根据所述第一训练样本集，通过评分模型，得到所述第一待解答任务信息与所述第一待解答任务信息对应的每个答案之间的匹配分数；
第二确定模块403，用于根据所述第一训练样本集和所述匹配分数，确定初始语言生成模型对应的梯度更新参数；
训练模块404，用于通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型。
根据本申请实施例提供的技术方案，通过获取模块获取第一训练样本集，其中第一训练样本集中包括多个第一待解答任务信息和每个所述第一待解答任务信息对应的至少两个答案；通过第一确定模块根据第一训练样本集和评分模型，得到第一待解答任务信息与第一待解答任务信息对应的每个答案之间的匹配分数；并通过第二确定模块根据第一训练样本集和匹配分数，确定初始语言生成模型对应的梯度更新参数；通过训练模块根据梯度更新参数对初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型，实现了通过评分模型对第一待解答任务信息与其所对应的每个答案之间的匹配分数进行标注，在保证了标注准确度的同时，提高了待解答任务信息的标签标注效率，节约了人工成本，避免了由人工进行训练数据标注导致的标注效率低且成本高的问题；此外通过梯度更新参数对初始语言生成模型的模型参数进行梯度更新，实现了通过策略梯度算法对初始语言生成模型的加强学习过程，进一步有效提高了模型的训练效率，使得能够在短时间内训练得到具有良好性能的目标语言生成模型，解决了现有技术中模型训练效率低的问题。
在一些实施例中，训练模块404还用于，根据预先设置的语言内容和/或语言风格，确定第二训练样本集，其中所述第二训练样本集中包括多个第二待解答任务信息和所述第二待解答任务信息对应的目标答案；根据所述第二训练样本集对第一预设神经网络进行训练，得到初始语言生成模型。
在一些实施例中，训练模块404还用于，通过第三训练样本集对第二预设神经网络模型进行训练，得到所述评分模型；其中，所述第三训练样本集包括多个训练样本和所述训练样本对应的标签，所述训练样本包括第三待解答任务信息以及每个第三待解答任务信息对应的至少两个答案，所述标签包括每个第三待解答任务信息与其所对应的每个答案之间的匹配分数。
在一些实施例中，第二确定模块403，具体用于根据所述第一训练样本集和所述匹配分数，通过下述公式，确定所述梯度更新参数：
；
其中，表示所述梯度更新参数，N表示所述第一待解答任务信息的个数，表示第一待解答任务信息/>与其所对应答案/>之间的匹配分数，/>表示所述初始语言生成模型，/>表示输入为/>的情况下经过所述/>后输出为答案/>的映射。
在一些实施例中，训练模块404具体用于，通过所述梯度更新参数，通过下述公式对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型：
；
其中，所述表示进行梯度更新后的模型参数，/>表示所述初始语言生成模型的当前模型参数，/>表示学习率，/>表示所述梯度更新参数。
在一些实施例中，所述多个第一待解答任务信息包括下述至少一类信息：开放类问题、阅读理解类问题以及带有翻译指令的待翻译文本。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图5是本申请实施例提供的一种语言生成装置的示意图。如图5所示，该语言生成装置包括：
获取模块501，用于获取目标任务信息；
确定模块502，用于将所述目标任务信息输入至目标语言生成模型，得到所述目标语言生成模型输出的所述目标任务信息对应的任务答案；
其中，所述目标语言生成模型基于语言生成模型的训练方法得到。
本申请实施例提供的语言生成装置能够实现图3的方法实施例实现的过程以及有益效果，为避免重复，这里不再赘述。
图6是本申请实施例提供的电子设备6的示意图。如图6所示，该实施例的电子设备6包括：处理器601、存储器602以及存储在该存储器602中并且可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者，处理器601执行计算机程序603时实现上述各装置实施例中各模块/单元的功能。
电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备6可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解，图6仅仅是电子设备6的示例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器601可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器602可以是电子设备6的内部存储单元，例如，电子设备6的硬盘或内存。存储器602也可以是电子设备6的外部存储设备，例如，电子设备6上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器602还可以既包括电子设备6的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种语言生成模型的训练方法，其特征在于，包括：
获取第一训练样本集，其中所述第一训练样本集中包括多个第一待解答任务信息和每个所述第一待解答任务信息对应的至少两个答案；
根据所述第一训练样本集，通过评分模型，得到所述第一待解答任务信息与所述第一待解答任务信息对应的每个答案之间的匹配分数，以对第一训练样本集的标签进行标注；
根据所述第一训练样本集和所述匹配分数，确定初始语言生成模型对应的梯度更新参数，所述初始语言生成模型能够预测得到任务信息对应的任务答案，且初始语言生成模型的精确度低于目标语言生成模型；
通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型；
所述根据所述第一训练样本集，通过评分模型，得到所述第一待解答任务信息与所述第一待解答任务信息对应的每个答案之间的匹配分数之前，还包括：
通过第三训练样本集对第二预设神经网络模型进行训练，得到所述评分模型；
其中，所述第三训练样本集包括多个训练样本和所述训练样本对应的标签，所述训练样本包括第三待解答任务信息以及每个所述第三待解答任务信息对应的至少两个答案，所述标签包括每个所述第三待解答任务信息与其所对应的每个答案之间的匹配分数；
所述通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型之前，还包括：
根据预先设置的语言内容和/或语言风格，确定第二训练样本集，其中所述第二训练样本集中包括多个第二待解答任务信息和所述第二待解答任务信息对应的目标答案；
根据所述第二训练样本集对第一预设神经网络进行训练，得到初始语言生成模型；
所述多个第一待解答任务信息包括下述至少一类信息：开放类问题、阅读理解类问题以及带有翻译指令的待翻译文本；
所述多个第二待解答任务信息包括开放类问题、阅读理解问题和带有翻译指令的待翻译文本；
每个所述第三待解答任务信息对应的至少两个答案是初始语言生成模型所生成的答案。
2.根据权利要求1所述的语言生成模型的训练方法，其特征在于，所述根据所述第一训练样本集和所述匹配分数，确定初始语言生成模型对应的梯度更新参数，包括：
根据所述第一训练样本集和所述匹配分数，通过下述公式，确定所述梯度更新参数：
；
其中，表示所述梯度更新参数，N表示所述第一待解答任务信息的个数，/>表示第一待解答任务信息/>与其所对应答案/>之间的匹配分数，/>表示所述初始语言生成模型，/>表示输入为/>的情况下经过所述/>后输出为答案/>的映射。
3.根据权利要求1或2所述的语言生成模型的训练方法，其特征在于，所述通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型，包括：
通过所述梯度更新参数，通过下述公式对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型：
；
其中，所述表示进行梯度更新后的模型参数，/>表示所述初始语言生成模型的当前模型参数，/>表示学习率，/>表示所述梯度更新参数。
4.一种语言生成方法，其特征在于，包括：
获取目标任务信息；
将所述目标任务信息输入至目标语言生成模型，得到所述目标语言生成模型输出的所述目标任务信息对应的任务答案；
其中，所述目标语言生成模型基于权利要求1-3任一项所述的语言生成模型的训练方法得到。
5.一种语言生成模型的训练装置，其特征在于，包括：
获取模块，用于获取第一训练样本集，其中所述第一训练样本集中包括多个第一待解答任务信息和每个所述第一待解答任务信息对应的至少两个答案；
第一确定模块，用于根据所述第一训练样本集，通过评分模型，得到所述第一待解答任务信息与所述第一待解答任务信息对应的每个答案之间的匹配分数，以对第一训练样本集的标签进行标注；
第二确定模块，用于根据所述第一训练样本集和所述匹配分数，确定初始语言生成模型对应的梯度更新参数，所述初始语言生成模型能够预测得到任务信息对应的任务答案，且初始语言生成模型的精确度低于目标语言生成模型；
训练模块，用于通过所述梯度更新参数对所述初始语言生成模型的模型参数进行梯度更新，得到目标语言生成模型；
训练模块还用于，根据预先设置的语言内容和/或语言风格，确定第二训练样本集，其中所述第二训练样本集中包括多个第二待解答任务信息和所述第二待解答任务信息对应的目标答案；根据所述第二训练样本集对第一预设神经网络进行训练，得到初始语言生成模型；
训练模块还用于，通过第三训练样本集对第二预设神经网络模型进行训练，得到所述评分模型；其中，所述第三训练样本集包括多个训练样本和所述训练样本对应的标签，所述训练样本包括第三待解答任务信息以及每个第三待解答任务信息对应的至少两个答案，所述标签包括每个第三待解答任务信息与其所对应的每个答案之间的匹配分数；
所述多个第一待解答任务信息包括下述至少一类信息：开放类问题、阅读理解类问题以及带有翻译指令的待翻译文本；
所述多个第二待解答任务信息包括开放类问题、阅读理解问题和带有翻译指令的待翻译文本；
每个所述第三待解答任务信息对应的至少两个答案是初始语言生成模型所生成的答案。
6.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述方法的步骤，或执行如权利要求4所述的方法的步骤。
7.一种可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的方法的步骤，或执行如权利要求4所述的方法的步骤。
CN202310814056.XA 2023-07-05 2023-07-05 语言生成模型的训练方法、语言生成方法及电子设备 Active CN116523031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310814056.XA CN116523031B (zh) 2023-07-05 2023-07-05 语言生成模型的训练方法、语言生成方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310814056.XA CN116523031B (zh) 2023-07-05 2023-07-05 语言生成模型的训练方法、语言生成方法及电子设备

Publications (2)

Publication Number Publication Date
CN116523031A CN116523031A (zh) 2023-08-01
CN116523031B true CN116523031B (zh) 2024-05-10

Family

ID=87403340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310814056.XA Active CN116523031B (zh) 2023-07-05 2023-07-05 语言生成模型的训练方法、语言生成方法及电子设备

Country Status (1)

Country Link
CN (1) CN116523031B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116909532B (zh) * 2023-09-12 2024-01-05 深圳须弥云图空间科技有限公司 一种代码生成与缺陷修复方法和装置
CN117807322B (zh) * 2024-02-29 2024-05-14 南京信息工程大学 一种基于知识图谱检索的虚假新闻检测方法及***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019732A (zh) * 2017-12-27 2019-07-16 杭州华为数字技术有限公司 一种智能问答方法以及相关装置
CN111625635A (zh) * 2020-05-27 2020-09-04 北京百度网讯科技有限公司 问答处理、语言模型的训练方法、装置、设备及存储介质
CN113553415A (zh) * 2021-06-30 2021-10-26 北京百度网讯科技有限公司 问答匹配的方法、装置及电子设备
CN113672708A (zh) * 2020-05-13 2021-11-19 武汉Tcl集团工业研究院有限公司 语言模型训练方法、问答对生成方法、装置及设备
CN114036300A (zh) * 2021-11-18 2022-02-11 阳光保险集团股份有限公司 一种语言模型的训练方法、装置、电子设备及存储介质
CN114429143A (zh) * 2022-01-14 2022-05-03 东南大学 一种基于强化蒸馏的跨语言属性级情感分类方法
WO2022160442A1 (zh) * 2021-01-28 2022-08-04 平安科技（深圳）有限公司 答案生成方法、装置、电子设备及可读存储介质
CN115017288A (zh) * 2022-06-17 2022-09-06 平安科技（深圳）有限公司 模型训练方法、模型训练装置、设备及存储介质
CN115292459A (zh) * 2022-07-05 2022-11-04 车智互联（北京）科技有限公司 一种基于问答库的信息检索方法、问答***及计算设备
CN115617959A (zh) * 2021-07-13 2023-01-17 北京猿力未来科技有限公司 问题解答方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019732A (zh) * 2017-12-27 2019-07-16 杭州华为数字技术有限公司 一种智能问答方法以及相关装置
CN113672708A (zh) * 2020-05-13 2021-11-19 武汉Tcl集团工业研究院有限公司 语言模型训练方法、问答对生成方法、装置及设备
CN111625635A (zh) * 2020-05-27 2020-09-04 北京百度网讯科技有限公司 问答处理、语言模型的训练方法、装置、设备及存储介质
WO2022160442A1 (zh) * 2021-01-28 2022-08-04 平安科技（深圳）有限公司 答案生成方法、装置、电子设备及可读存储介质
CN113553415A (zh) * 2021-06-30 2021-10-26 北京百度网讯科技有限公司 问答匹配的方法、装置及电子设备
CN115617959A (zh) * 2021-07-13 2023-01-17 北京猿力未来科技有限公司 问题解答方法及装置
CN114036300A (zh) * 2021-11-18 2022-02-11 阳光保险集团股份有限公司 一种语言模型的训练方法、装置、电子设备及存储介质
CN114429143A (zh) * 2022-01-14 2022-05-03 东南大学 一种基于强化蒸馏的跨语言属性级情感分类方法
CN115017288A (zh) * 2022-06-17 2022-09-06 平安科技（深圳）有限公司 模型训练方法、模型训练装置、设备及存储介质
CN115292459A (zh) * 2022-07-05 2022-11-04 车智互联（北京）科技有限公司 一种基于问答库的信息检索方法、问答***及计算设备

Also Published As

Publication number Publication date
CN116523031A (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
JP7122341B2 (ja) 翻訳品質を評価するための方法と装置
CN110162627B (zh) 数据增量方法、装置、计算机设备及存储介质
CN116523031B (zh) 语言生成模型的训练方法、语言生成方法及电子设备
CN107291783B (zh) 一种语义匹配方法及智能设备
CN113987209A (zh) 基于知识指导前缀微调的自然语言处理方法、装置、计算设备和存储介质
CN109918627B (zh) 文本生成方法、装置、电子设备及存储介质
CN111951779B (zh) 语音合成的前端处理方法及相关设备
CN107247751B (zh) 基于lda主题模型的内容推荐方法
CN112036184A (zh) 基于BiLSTM网络模型及CRF模型的实体识别方法、装置、计算机装置及存储介质
CN113268576B (zh) 一种基于深度学习的部门语义信息抽取的方法及装置
CN112016271A (zh) 语言风格转换模型的训练方法、文本处理方法以及装置
CN112463942A (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
CN112185361B (zh) 一种语音识别模型训练方法、装置、电子设备及存储介质
CN116842951A (zh) 命名实体识别方法、装置、电子设备及存储介质
CN112530402B (zh) 一种语音合成方法、语音合成装置及智能设备
CN112036186A (zh) 语料标注方法、装置、计算机存储介质及电子设备
CN111046674B (zh) 语义理解方法、装置、电子设备和存储介质
CN115345177A (zh) 意图识别模型训练方法和对话方法及装置
CN112818096A (zh) 对话生成方法及其装置
CN115859999B (zh) 意图识别方法、装置、电子设备及存储介质
CN116611448A (zh) 基于提示学习与掩码语言模型的情感文本生成方法及装置
CN114842982B (zh) 一种面向医疗信息***的知识表达方法、装置及***
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN113051388B (zh) 一种智能问答方法、装置、电子设备及存储介质
CN112328755B (zh) 一种问答***、问答机器人及其faq问答库召回方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant