CN116341640B - 文本处理模型训练方法及装置 - Google Patents

文本处理模型训练方法及装置 Download PDF

Info

Publication number
CN116341640B
CN116341640B CN202310614594.4A CN202310614594A CN116341640B CN 116341640 B CN116341640 B CN 116341640B CN 202310614594 A CN202310614594 A CN 202310614594A CN 116341640 B CN116341640 B CN 116341640B
Authority
CN
China
Prior art keywords
text processing
layer
processing model
network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310614594.4A
Other languages
English (en)
Other versions
CN116341640A (zh
Inventor
吴亚军
暴宇健
汪骞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xumi Yuntu Space Technology Co Ltd
Original Assignee
Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xumi Yuntu Space Technology Co Ltd filed Critical Shenzhen Xumi Yuntu Space Technology Co Ltd
Priority to CN202310614594.4A priority Critical patent/CN116341640B/zh
Publication of CN116341640A publication Critical patent/CN116341640A/zh
Application granted granted Critical
Publication of CN116341640B publication Critical patent/CN116341640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本公开涉及机器学习技术领域，提供了一种文本处理模型训练方法及装置。该方法包括：将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，得到文本处理模型，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络；设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练。采用上述技术手段，解决现有技术中，文本处理模型的精度和泛化能力不能满足需求，有待进一步提高的问题。

Description

文本处理模型训练方法及装置
技术领域
本公开涉及机器学习技术领域，尤其涉及一种文本处理模型训练方法及装置。
背景技术
随着机器学习技术的发展，在文本处理领域出现了许多不同架构的网络模型和不同的训练方法。但是无论是基于哪一种架构的网络模型，以及基于哪一种训练方法对模型进行训练，相比于越来越高的需求，最终得到的文本处理模型的精度和泛化能力都是有待提高的。
发明内容
有鉴于此，本公开实施例提供了一种文本处理模型训练方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，文本处理模型的精度和泛化能力不能满足需求，有待进一步提高的问题。
本公开实施例的第一方面，提供了一种文本处理模型训练方法，包括：将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个适配层和N-1个残差层；设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练。
本公开实施例的第二方面，提供了一种文本处理模型训练装置，包括：构建模块，被配置为将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个适配层和N-1个残差层；计算模块，被配置为设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；训练模块，被配置为获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练。
本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个适配层和N-1个残差层；设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练，因此，采用上述技术手段，可以解决现有技术中，文本处理模型的精度和泛化能力不能满足需求，有待进一步提高的问题，进而提高文本处理模型的精度和泛化能力。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本公开实施例提供的一种文本处理模型训练方法的流程示意图；
图2是本公开实施例提供的一种文本处理模型的结构示意图；
图3是本公开实施例提供的一种文本处理网络的结构示意图；
图4是本公开实施例提供的一种文本处理模型训练装置的结构示意图；
图5是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
图1是本公开实施例提供的一种文本处理模型训练方法的流程示意图（一）。图1的文本处理模型训练方法可以由计算机或服务器，或者计算机或服务器上的软件执行。如图1所示，该文本处理模型训练方法包括：
S101，将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个适配层和N-1个残差层；
S102，设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；
S103，获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练。
长短期记忆网络（LSTM，Long Short-Term Memory）。适配层为adapter层，adapter层内部依次是feedforward down-project的矩阵、非线性层、feedforward down-project的矩阵。第一个feedforward down-project的矩阵乘法用于降维，第二个feedforward up-project层用于升维。
此外，adapter层还可以是由多个transformer层、多个映射层和多个残差层构成的，如adapter层内部依次是transformer层、映射层、残差、transformer层、映射层、残差、transformer层；adapter层还可以是由全连接层和Transformer Encoder Layer构成的，如adapter层内部依次是全连接层、Transformer Encoder Layer、全连接层；adapter层还可以是由多个前馈层串行组成，前馈层由多个线性层和非线性激活函数构成。adapter层还可以是其它任何常用的结构。
文本处理任务可以为文本翻译、文本语序预测、文本下一句预测、问答任务、文本中实体识别任务、文本分类等。
根据本公开实施例提供的技术方案，将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个适配层和N-1个残差层；设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练，因此，采用上述技术手段，可以解决现有技术中，文本处理模型的精度和泛化能力不能满足需求，有待进一步提高的问题，进而提高文本处理模型的精度和泛化能力。
每个残差层用于将该残差层的前一个适配层的输入和输出相加，将相加的结果输入到该残差层的后一个长短期记忆网络。
比如N为3，文本处理模型内部结构依次是长短期记忆网络、适配层、残差层、长短期记忆网络、适配层、残差层、长短期记忆网络。
第一个残差层用于将与第一个适配层的输入和输出相加，将相加的结果输入到第二个长短期记忆网络；第二个残差层用于将与第二个适配层的输入和输出相加，将相加的结果输入到第三个长短期记忆网络。
进一步地，根据第一个适配层的学习率，通过线性衰减公式计算其它适配层的学习率：
；
其中，i为所述文本处理模型中适配层的序号，1≤i≤N-1，L1为所述文本处理模型中第一个适配层的学习率，Li为所述文本处理模型中第i个适配层的学习率，K为预设常数，。
进一步地，根据第一个适配层的学习率，通过指数衰减公式计算并设置其它适配层的学习率：
；
其中，i为文本处理模型中适配层的序号，1≤i≤N-1，L1为文本处理模型中第一个适配层的学习率，Li为文本处理模型中第i个适配层的学习率，e为自然常数。
文本处理模型中第一个适配层的学习率可以是根据往常经验设置，得到第一个适配层的学习率后，根据第一个适配层的学习率计算其它适配层的学习率。实践发现，越往后（越深的层）的参数变动量越小，最终模型泛化性能越好，训练也更稳定，因此本申请实施例对于多个adapter层使用不同的学习率，adapter层在文本处理模型中越深（越高层），其学习率越小。比如总共有三个adapter层，第一个适配层的学习率大于第二个适配层的学习率大于第三个适配层的学习率。
进一步地，利用训练数据集对文本处理模型进行基于文本处理任务的训练，包括：在文本处理模型中，冻结所有长短期记忆网络的网络参数，基于文本处理任务，利用训练数据集对所有适配层的网络参数进行优化。
长短期记忆网络的网络参数虽然都被冻结了，但是长短期记忆网络实际上是参与训练的，长短期记忆网络是以原有的模型参数参与运算，只是运算的结果只用于更新适配层的网络参数，长短期记忆网络的网络参数不被更新。
经实践发现，仅优化文本处理模型中的适配层，也能达到一定的效果，所以本申请实施例在训练文本处理模型时，仅优化适配层的网络参数，以提高训练速度降低训练对样本数量和设备的要求。该方法应用于小样本场景以及运算能力较差的场景，小样本场景是训练样本数量较少的情况，运算能力较差的场景是指用于训练的设备显存小或者计算能力差的情况。
在一个可选实施例中，在文本处理模型中，冻结所有适配层的网络参数，基于文本处理任务，利用训练数据集对所有长短期记忆网络的网络参数进行优化。
利用训练数据集对文本处理模型进行基于文本处理任务的训练，包括：按照预设比例将训练数据集划分为第一训练数据集、第二训练数据集和第三训练数据集，对文本处理模型进行多阶段训练：对文本处理模型的第一阶段训练：冻结所有长短期记忆网络的网络参数，基于文本处理任务，利用第一训练数据集优化所有适配层的网络参数；对文本处理模型的第二阶段训练：冻结所有适配层的网络参数，基于文本处理任务，利用第二训练数据集优化所有长短期记忆网络的网络参数；对文本处理模型的第三阶段训练：利用第三训练数据集优化所有适配层的网络参数以及所有长短期记忆网络的网络参数。
第一阶段训练，冻结长短期记忆网络的网络参数，利用第一训练数据集仅优化适配层的网络参数；第一阶段训练完成后，解冻长短期记忆网络的网络参数；第二阶段训练，冻结适配层的网络参数，利用第二训练数据集仅优化长短期记忆网络的网络参数；第二阶段训练完成后，解冻适配层的网络参数；第三阶段训练，利用第三训练数据集优化适配层的网络参数以及长短期记忆网络的网络参数，第三阶段训练是对文本处理模型整体的训练。
利用训练数据集对文本处理模型进行基于文本处理任务的训练，包括：按照预设比例将训练数据集划分为第一训练数据集和第二训练数据集，对文本处理模型进行多阶段训练：对文本处理模型的第一阶段训练：冻结所有长短期记忆网络的网络参数，基于文本处理任务，利用第一训练数据集优化所有适配层的网络参数；对文本处理模型的第二阶段训练：基于文本处理任务，利用第二训练数据集优化所有适配层的网络参数以及所有长短期记忆网络的网络参数。
利用训练数据集对文本处理模型进行基于文本处理任务的训练，包括：按照预设比例将训练数据集划分为第一训练数据集和第二训练数据集，对文本处理模型进行多阶段训练：对文本处理模型的第一阶段训练：冻结所有适配层的网络参数，基于文本处理任务，利用第一训练数据集优化所有长短期记忆网络的网络参数；对文本处理模型的第二阶段训练：基于文本处理任务，利用第二训练数据集优化所有适配层的网络参数以及所有长短期记忆网络的网络参数。
利用训练数据集对文本处理模型进行基于文本处理任务的训练，包括：在对文本处理模型进行多批次训练时：基于在当前批次之前的所有批次中已经使用过的样本，确定当前批次中样本中未使用过的目标词；冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数，仅根据目标词优化文本处理模型中目标词对应的嵌入层的网络参数。
比如当前批次中样本为“u1 u2 中国女排再夺冠”，其中，“中国女排再夺冠”是在当前批次之前的所有批次中已经使用过的样本，“u1 u2”是文本处理模型未被训练过的tokens，也就是未使用过的目标词。因此冻结文本分类模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数（也就是冻结“中国女排再夺冠”对应的嵌入层的网络参数），实际上还冻结了在文本分类模型中与其它嵌入层有连接关系的网络层的网络参数。仅根据目标词优化文本分类模型中目标词对应的嵌入层的网络参数，实际上还需要优化文本分类模型中与目标词对应的嵌入层有连接关系的网络层的网络参数。文本处理模型包括嵌入层，嵌入层可以设置在第一个长短期记忆网络之前。
在一个可选实施例中，冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数以及与其它嵌入层有连接关系的网络层的网络参数，仅根据目标词优化文本处理模型中目标词对应的嵌入层的网络参数以及与目标词对应的嵌入层有连接关系的网络层的网络参数；其中，该连接关系是指上下网络层之间串行的连接关系。
比如将一个目标词对应的嵌入层记作a网络，在a网络所在大网络层的上一层大网络层中与a网络有连接关系的网络是b网络（一个大网络层内有多个网络，一个大网络层内的多个网络是并行的连接关系，多个大网络层串行连接得到文本处理模型），在a网络所在大网络层的下一层大网络层中与a网络有连接关系的网络是c网络；将一个其它嵌入层记作d网络（a网络和d网络属于同一个大网络层，是并行的连接关系），在d网络所在大网络层的上一层大网络层中与d网络有连接关系的网络是e网络，在d网络所在大网络层的下一层大网络层中与d网络有连接关系的网络是f网络；文本处理模型只有a网络、b网络、c网络、d网络、e网络、f网络；那么冻结d网络、e网络和f网络的网络参数，仅根据目标词优化a网络、b网络、c网络的网络参数。
比如当前批次中样本为“u1 u2 中国女排再夺冠”，其中，“中国女排再夺冠”是在当前批次之前的所有批次中已经使用过的样本，“u1 u2”是文本处理模型未被训练过的tokens，可以理解为单独使用“u1 u2”，以及“u1 u2”与“中国女排再夺冠”之间的连接关系训练文本处理模型，不单独使用“中国女排再夺冠”训练文本处理模型。也就是，冻结文本处理模型中除目标词之外的其他词对应的其它嵌入层的网络参数，仅根据目标词以及目标词和其他词的连接关系分别优化文本处理模型中目标词对应的嵌入层以及与目标词对应的嵌入层有连接关系的网络层的网络参数。
在一个可选实施例中，冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数以及与其它嵌入层有连接关系的网络层的网络参数，仅根据目标词以及目标词和其他词的连接关系分别优化文本处理模型中目标词对应的嵌入层的网络参数以及与目标词对应的嵌入层有连接关系的网络层的网络参数；其中，该连接关系是指上下网络层之间串行的连接关系。
比如将一个目标词对应的嵌入层记作a网络，在a网络所在大网络层的上一层大网络层中与a网络有连接关系的网络是b网络，在a网络所在大网络层的下一层大网络层中与a网络有连接关系的网络是c网络；将一个其它嵌入层记作d网络，在d网络所在大网络层的上一层大网络层中与d网络有连接关系的网络是e网络，在d网络所在大网络层的下一层大网络层中与d网络有连接关系的网络是f网络；那么冻结d网络、e网络和f网络的网络参数；根据目标词优化a网络的网络参数；根据目标词和其他词的连接关系优化b网络和c网络的网络参数。目标词和其他词的连接关系是目标词的上下文信息，计算上下文信息为现有技术，不再赘述。
在一个可选实施例中，按照预设比例将所述训练数据集划分为第一训练数据集和第二训练数据集和第三训练数据集，对所述文本处理模型进行多阶段训练：对所述文本处理模型的第一阶段训练：冻结所有长短期记忆网络的网络参数，基于所述文本处理任务，利用所述第一训练数据集优化所有适配层的网络参数；对所述文本处理模型的第二阶段训练：冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数以及与其它嵌入层有连接关系的网络层的网络参数，基于所述文本处理任务，利用所述第二训练数据集中的目标词优化文本处理模型中目标词对应的嵌入层的网络参数；对所述文本处理模型的第三阶段训练：基于所述文本处理任务，利用所述第三训练数据集优化所有长短期记忆网络的网络参数。
在该可选实施例中，对所述文本处理模型的第二阶段训练，还可以是：冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数以及与其它嵌入层有连接关系的网络层的网络参数，基于所述文本处理任务，利用所述第二训练数据集中的目标词以及目标词和其他词的连接关系分别优化文本处理模型中目标词对应的嵌入层的网络参数以及与目标词对应的嵌入层有连接关系的网络层的网络参数；其中，该连接关系是指上下网络层之间串行的连接关系。
在一个可选实施例中，所述方法还包括：在长短期记忆网络的每个记忆网络中***一个适配层和一个残差层，得到所述文本处理模型；设置所述文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用所述训练数据集对所述文本处理模型进行基于所述文本处理任务的训练。
本实施例是利用一个长短期记忆网络构建文本处理模型。长短期记忆网络是特殊的循环神经网络，长短期记忆网络和标准的循环神经网络的结构都具有一种重复神经网络模块的链式形式，也就是说，长短期记忆网络可以看做是一种记忆网络重复串行连接得到的（比如训练数据集中一条训练文本有M个词，那么长短期记忆网络中记忆网络的数量就是M个，一个记忆网络对应一个词），一个记忆网络内部依次包括遗忘门、输入门、记忆单元和输出门，遗忘门决定哪些信息需要从记忆单元中被遗忘，输入门确定哪些新信息能够被存放到记忆单元中，输出门确定输出什么值。本实施例是在每个记忆网络的记忆单元和输出门之间依次***一个适配层和一个残差层，每个适配层的输入和输出相加后的残差层用于计算该适配层的输入和输出相加的结果。
在一个可选实施例中，所述方法还包括：将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，在每个长短期记忆网络的每个记忆网络中***一个适配层和一个残差层，得到所述文本处理模型；设置所述文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用所述训练数据集对所述文本处理模型进行基于所述文本处理任务的训练。
本实施例是利用N个长短期记忆网络构建文本处理模型。本实施例也是在每个记忆网络的记忆单元和输出门之间依次***一个适配层和一个残差层，每个适配层的输入和输出相加后的残差层用于计算该适配层的输入和输出相加的结果。本实施例的文本处理模型最为复杂，所以本实施例的文本处理模型效果是最优的。
图2是本公开实施例提供的一种文本处理模型的结构示意图。如图2所示，文本处理模型依次包括：嵌入层、长短期记忆网络、适配层、残差层、长短期记忆网络。
残差层用于将适配层的输入和输出相加，将相加的结果输入到与第二个长短期记忆网络。
图3是本公开实施例提供的一种文本处理网络的结构示意图。如图3所示，文本处理网络依次包括：嵌入层、多头注意力网络、前馈层、适配层、残差层、归一化层、前馈层、适配层、残差层、归一化层、全连接层和分类层。
前馈层是依次连接多个线性层和非线性激活函数得到的。多个文本处理网络串行连接得到文本处理模型。
第一个残差层用于将第一个适配层的输入和输出相加，将相加的结果输入到与第一个归一化层；第二个残差层用于将第二个适配层的输入和输出相加，将相加的结果输入到与第二个归一化层。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图4是本公开实施例提供的一种文本处理模型训练装置的示意图。如图4所示，该文本处理模型训练装置包括：
构建模块401，被配置为将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个适配层和N-1个残差层；
计算模块402，被配置为设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；
训练模块403，被配置为获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练。
长短期记忆网络（LSTM，Long Short-Term Memory）。适配层为adapter层，adapter层内部依次是feedforward down-project的矩阵、非线性层、feedforward down-project的矩阵。第一个feedforward down-project的矩阵乘法用于降维，第二个feedforward up-project层用于升维。
此外，adapter层还可以是由多个transformer层、多个映射层和多个残差层构成的，如adapter层内部依次是transformer层、映射层、残差、transformer层、映射层、残差、transformer层；adapter层还可以是由全连接层和Transformer Encoder Layer构成的，如adapter层内部依次是全连接层、Transformer Encoder Layer、全连接层；adapter层还可以是由多个前馈层串行组成，前馈层由多个线性层和非线性激活函数构成。adapter层还可以是其它任何常用的结构。
文本处理任务可以为文本翻译、文本语序预测、文本下一句预测、问答任务、文本中实体识别任务、文本分类等。
根据本公开实施例提供的技术方案，将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个适配层和N-1个残差层；设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练，因此，采用上述技术手段，可以解决现有技术中，文本处理模型的精度和泛化能力不能满足需求，有待进一步提高的问题，进而提高文本处理模型的精度和泛化能力。
每个残差层用于将该残差层的前一个适配层的输入和输出相加，将相加的结果输入到该残差层的后一个长短期记忆网络。
比如N为3，文本处理模型内部结构依次是长短期记忆网络、适配层、残差层、长短期记忆网络、适配层、残差层、长短期记忆网络。
第二个残差层用于将与第二个适配层的输入和输出相加，将相加的结果输入到第三个长短期记忆网络。
可选地，计算模块402还被配置为根据第一个适配层的学习率，通过线性衰减公式计算其它适配层的学习率：
；
其中，i为所述文本处理模型中适配层的序号，1≤i≤N-1，L1为所述文本处理模型中第一个适配层的学习率，Li为所述文本处理模型中第i个适配层的学习率，K为预设常数，。
进一步地，根据第一个适配层的学习率，通过指数衰减公式计算并设置其它适配层的学习率：
；
其中，i为文本处理模型中适配层的序号，1≤i≤N-1，L1为文本处理模型中第一个适配层的学习率，Li为文本处理模型中第i个适配层的学习率，e为自然常数。
文本处理模型中第一个适配层的学习率可以是根据往常经验设置，得到第一个适配层的学习率后，根据第一个适配层的学习率计算其它适配层的学习率。实践发现，越往后（越深的层）的参数变动量越小，最终模型泛化性能越好，训练也更稳定，因此本申请实施例对于多个adapter层使用不同的学习率，adapter层在文本处理模型中越深（越高层），其学习率越小。比如总共有三个adapter层，第一个适配层的学习率大于第二个适配层的学习率大于第三个适配层的学习率。
可选地，训练模块403还被配置为在文本处理模型中，冻结所有长短期记忆网络的网络参数，基于文本处理任务，利用训练数据集对所有适配层的网络参数进行优化。
长短期记忆网络的网络参数虽然都被冻结了，但是长短期记忆网络实际上是参与训练的，长短期记忆网络是以原有的模型参数参与运算，只是运算的结果只用于更新适配层的网络参数，长短期记忆网络的网络参数不被更新。
经实践发现，仅优化文本处理模型中的适配层，也能达到一定的效果，所以本申请实施例在训练文本处理模型时，仅优化适配层的网络参数，以提高训练速度降低训练对样本数量和设备的要求。该方法应用于小样本场景以及运算能力较差的场景，小样本场景是训练样本数量较少的情况，运算能力较差的场景是指用于训练的设备显存小或者计算能力差的情况。
可选地，训练模块403还被配置为在文本处理模型中，冻结所有适配层的网络参数，基于文本处理任务，利用训练数据集对所有长短期记忆网络的网络参数进行优化。
可选地，训练模块403还被配置为按照预设比例将训练数据集划分为第一训练数据集、第二训练数据集和第三训练数据集，对文本处理模型进行多阶段训练：对文本处理模型的第一阶段训练：冻结所有长短期记忆网络的网络参数，基于文本处理任务，利用第一训练数据集优化所有适配层的网络参数；对文本处理模型的第二阶段训练：冻结所有适配层的网络参数，基于文本处理任务，利用第二训练数据集优化所有长短期记忆网络的网络参数；对文本处理模型的第三阶段训练：利用第三训练数据集优化所有适配层的网络参数以及所有长短期记忆网络的网络参数。
第一阶段训练，冻结长短期记忆网络的网络参数，利用第一训练数据集仅优化适配层的网络参数；第一阶段训练完成后，解冻长短期记忆网络的网络参数；第二阶段训练，冻结适配层的网络参数，利用第二训练数据集仅优化长短期记忆网络的网络参数；第二阶段训练完成后，解冻适配层的网络参数；第三阶段训练，利用第三训练数据集优化适配层的网络参数以及长短期记忆网络的网络参数，第三阶段训练是对文本处理模型整体的训练。
可选地，训练模块403还被配置为按照预设比例将训练数据集划分为第一训练数据集和第二训练数据集，对文本处理模型进行多阶段训练：对文本处理模型的第一阶段训练：冻结所有长短期记忆网络的网络参数，基于文本处理任务，利用第一训练数据集优化所有适配层的网络参数；对文本处理模型的第二阶段训练：基于文本处理任务，利用第二训练数据集优化所有适配层的网络参数以及所有长短期记忆网络的网络参数。
可选地，训练模块403还被配置为按照预设比例将训练数据集划分为第一训练数据集、第二训练数据集，对文本处理模型进行多阶段训练：对文本处理模型的第一阶段训练：冻结所有适配层的网络参数，基于文本处理任务，利用第一训练数据集优化所有长短期记忆网络的网络参数；对文本处理模型的第二阶段训练：基于文本处理任务，利用第二训练数据集优化所有适配层的网络参数以及所有长短期记忆网络的网络参数。
可选地，训练模块403还被配置为在对文本处理模型进行多批次训练时：基于在当前批次之前的所有批次中已经使用过的样本，确定当前批次中样本中未使用过的目标词；冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数，仅根据目标词优化文本处理模型中目标词对应的嵌入层的网络参数。
比如当前批次中样本为“u1 u2 中国女排再夺冠”，其中，“中国女排再夺冠”是在当前批次之前的所有批次中已经使用过的样本，“u1 u2”是文本处理模型未被训练过的tokens，也就是未使用过的目标词。因此冻结文本分类模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数（也就是冻结“中国女排再夺冠”对应的嵌入层的网络参数），实际上还冻结了在文本分类模型中与其它嵌入层有连接关系的网络层的网络参数。仅根据目标词优化文本分类模型中目标词对应的嵌入层的网络参数，实际上还需要优化文本分类模型中与目标词对应的嵌入层有连接关系的网络层的网络参数。文本处理模型包括嵌入层，嵌入层可以设置在第一个长短期记忆网络之前。
可选地，训练模块403还被配置为冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数以及与其它嵌入层有连接关系的网络层的网络参数，仅根据目标词优化文本处理模型中目标词对应的嵌入层的网络参数以及与目标词对应的嵌入层有连接关系的网络层的网络参数；其中，该连接关系是指上下网络层之间串行的连接关系。
比如将一个目标词对应的嵌入层记作a网络，在a网络所在大网络层的上一层大网络层中与a网络有连接关系的网络是b网络（一个大网络层内有多个网络，一个大网络层内的多个网络是并行的连接关系），在a网络所在大网络层的下一层大网络层中与a网络有连接关系的网络是c网络；将一个其它嵌入层记作d网络（a网络和d网络属于同一个大网络层，是并行的连接关系），在d网络所在大网络层的上一层大网络层中与d网络有连接关系的网络是e网络，在d网络所在大网络层的下一层大网络层中与d网络有连接关系的网络是f网络；文本处理模型只有a网络、b网络、c网络、d网络、e网络、f网络；那么冻结d网络、e网络和f网络的网络参数，仅根据目标词优化a网络、b网络、c网络的网络参数。
比如当前批次中样本为“u1 u2 中国女排再夺冠”，其中，“中国女排再夺冠”是在当前批次之前的所有批次中已经使用过的样本，“u1 u2”是文本处理模型未被训练过的tokens，可以理解为单独使用“u1 u2”，以及“u1 u2”与“中国女排再夺冠”之间的连接关系训练文本处理模型，不单独使用“中国女排再夺冠”训练文本处理模型。也就是，冻结文本处理模型中除目标词之外的其他词对应的其它嵌入层的网络参数，仅根据目标词以及目标词和其他词的连接关系分别优化文本处理模型中目标词对应的嵌入层以及与目标词对应的嵌入层有连接关系的网络层的网络参数。
可选地，训练模块403还被配置为冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数以及与其它嵌入层有连接关系的网络层的网络参数，仅根据目标词以及目标词和其他词的连接关系分别优化文本处理模型中目标词对应的嵌入层的网络参数以及与目标词对应的嵌入层有连接关系的网络层的网络参数；其中，该连接关系是指上下网络层之间串行的连接关系。
比如将一个目标词对应的嵌入层记作a网络，在a网络所在大网络层的上一层大网络层中与a网络有连接关系的网络是b网络，在a网络所在大网络层的下一层大网络层中与a网络有连接关系的网络是c网络；将一个其它嵌入层记作d网络，在d网络所在大网络层的上一层大网络层中与d网络有连接关系的网络是e网络，在d网络所在大网络层的下一层大网络层中与d网络有连接关系的网络是f网络；那么冻结d网络、e网络和f网络的网络参数；根据目标词优化a网络的网络参数；根据目标词和其他词的连接关系优化b网络和c网络的网络参数。
可选地，训练模块403还被配置为按照预设比例将所述训练数据集划分为第一训练数据集和第二训练数据集和第三训练数据集，对所述文本处理模型进行多阶段训练：对所述文本处理模型的第一阶段训练：冻结所有长短期记忆网络的网络参数，基于所述文本处理任务，利用所述第一训练数据集优化所有适配层的网络参数；对所述文本处理模型的第二阶段训练：冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数以及与其它嵌入层有连接关系的网络层的网络参数，基于所述文本处理任务，利用所述第二训练数据集中的目标词优化文本处理模型中目标词对应的嵌入层的网络参数；对所述文本处理模型的第三阶段训练：基于所述文本处理任务，利用所述第三训练数据集优化所有长短期记忆网络的网络参数。
在该可选实施例中，对所述文本处理模型的第二阶段训练，还可以是：冻结文本处理模型中除目标词对应的嵌入层之外的其它嵌入层的网络参数以及与其它嵌入层有连接关系的网络层的网络参数，基于所述文本处理任务，利用所述第二训练数据集中的目标词以及目标词和其他词的连接关系分别优化文本处理模型中目标词对应的嵌入层的网络参数以及与目标词对应的嵌入层有连接关系的网络层的网络参数；其中，该连接关系是指上下网络层之间串行的连接关系。
可选地，训练模块403还被配置为在长短期记忆网络的每个记忆网络中***一个适配层和一个残差层，得到所述文本处理模型；设置所述文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用所述训练数据集对所述文本处理模型进行基于所述文本处理任务的训练。
本实施例是利用一个长短期记忆网络构建文本处理模型。长短期记忆网络是特殊的循环神经网络，长短期记忆网络和标准的循环神经网络的结构都具有一种重复神经网络模块的链式形式，也就是说，长短期记忆网络可以看做是一种记忆网络重复串行连接得到的（比如训练数据集中一条训练文本有M个词，那么长短期记忆网络中记忆网络的数量就是M个，一个记忆网络对应一个词），一个记忆网络内部依次包括遗忘门、输入门、记忆单元和输出门，遗忘门决定哪些信息需要从记忆单元中被遗忘，输入门确定哪些新信息能够被存放到记忆单元中，输出门确定输出什么值。本实施例是在每个记忆网络的记忆单元和输出门之间依次***一个适配层和一个残差层，每个适配层的输入和输出相加后的残差层用于计算该适配层的输入和输出相加的结果。
可选地，训练模块403还被配置为将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个适配层和一个残差层，在每个长短期记忆网络的每个记忆网络中***一个适配层和一个残差层，得到所述文本处理模型；设置所述文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用所述训练数据集对所述文本处理模型进行基于所述文本处理任务的训练。
本实施例是利用N个长短期记忆网络构建文本处理模型。本实施例也是在每个记忆网络的记忆单元和输出门之间依次***一个适配层和一个残差层，每个适配层的输入和输出相加后的残差层用于计算该适配层的输入和输出相加的结果。本实施例的文本处理模型最为复杂，所以本实施例的文本处理模型效果是最优的。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
图5是本公开实施例提供的电子设备5的示意图。如图5所示，该实施例的电子设备5包括：处理器501、存储器502以及存储在该存储器502中并且可在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者，处理器501执行计算机程序503时实现上述各装置实施例中各模块/单元的功能。
电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备5可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者不同的部件。
处理器501可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器502可以是电子设备5的内部存储单元，例如，电子设备5的硬盘或内存。存储器502也可以是电子设备5的外部存储设备，例如，电子设备5上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。存储器502还可以既包括电子设备5的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。

Claims (8)

1.一种文本处理模型训练方法，其特征在于，包括：
将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个adapter层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的adapter层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个adapter层和N-1个残差层；
设置所述文本处理模型中第一个adapter层的学习率，并根据第一个adapter层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它adapter层的学习率；
获取训练数据集，利用所述训练数据集对所述文本处理模型进行基于文本处理任务的训练；
其中，根据第一个adapter层的学习率，通过线性衰减公式计算其它adapter层的学习率：；其中，i为所述文本处理模型中adapter层的序号，1≤i≤N-1，L1为所述文本处理模型中第一个adapter层的学习率，Li为所述文本处理模型中第i个adapter层的学习率，K为预设常数，/>；
其中，根据第一个adapter层的学习率，通过指数衰减公式计算并设置其它adapter层的学习率：；其中，i为所述文本处理模型中adapter层的序号，1≤i≤N-1，L1为所述文本处理模型中第一个adapter层的学习率，Li为所述文本处理模型中第i个adapter层的学习率，e为自然常数。
2.根据权利要求1所述的方法，其特征在于，利用所述训练数据集对所述文本处理模型进行基于文本处理任务的训练，包括：
在所述文本处理模型中，冻结所有长短期记忆网络的网络参数，基于所述文本处理任务，利用所述训练数据集对所有adapter层的网络参数进行优化。
3.根据权利要求1所述的方法，其特征在于，利用所述训练数据集对所述文本处理模型进行基于文本处理任务的训练，包括：
按照预设比例将所述训练数据集划分为第一训练数据集、第二训练数据集和第三训练数据集，对所述文本处理模型进行多阶段训练：
对所述文本处理模型的第一阶段训练：冻结所有长短期记忆网络的网络参数，基于所述文本处理任务，利用所述第一训练数据集优化所有adapter层的网络参数；
对所述文本处理模型的第二阶段训练：冻结所有adapter层的网络参数，基于所述文本处理任务，利用所述第二训练数据集优化所有长短期记忆网络的网络参数；
对所述文本处理模型的第三阶段训练：利用所述第三训练数据集优化所有adapter层的网络参数以及所有长短期记忆网络的网络参数。
4.根据权利要求1所述的方法，其特征在于，利用所述训练数据集对所述文本处理模型进行基于文本处理任务的训练，包括：
在对所述文本处理模型进行多批次训练时：
基于在当前批次之前的所有批次中已经使用过的样本，确定当前批次中样本中未使用过的目标词；
冻结所述文本处理模型中除所述目标词对应的嵌入层之外的其它嵌入层的网络参数，仅根据所述目标词优化所述文本处理模型中所述目标词对应的嵌入层的网络参数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在长短期记忆网络的每个记忆网络中***一个adapter层和一个残差层，得到所述文本处理模型；
设置所述文本处理模型中第一个adapter层的学习率，并根据第一个adapter层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它adapter层的学习率；
获取训练数据集，利用所述训练数据集对所述文本处理模型进行基于所述文本处理任务的训练。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个adapter层和一个残差层，在每个长短期记忆网络的每个记忆网络中***一个adapter层和一个残差层，得到所述文本处理模型；
设置所述文本处理模型中第一个adapter层的学习率，并根据第一个adapter层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它adapter层的学习率；
获取训练数据集，利用所述训练数据集对所述文本处理模型进行基于所述文本处理任务的训练。
7.一种文本处理模型训练装置，其特征在于，包括：
构建模块，被配置为将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次***一个adapter层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的adapter层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共***N-1个adapter层和N-1个残差层；
计算模块，被配置为设置所述文本处理模型中第一个adapter层的学习率，并根据第一个adapter层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它adapter层的学习率；
训练模块，被配置为获取训练数据集，利用所述训练数据集对所述文本处理模型进行基于文本处理任务的训练；
所述计算模块还被配置为根据第一个adapter层的学习率，通过线性衰减公式计算其它adapter层的学习率：；其中，i为所述文本处理模型中adapter层的序号，1≤i≤N-1，L1为所述文本处理模型中第一个adapter层的学习率，Li为所述文本处理模型中第i个adapter层的学习率，K为预设常数，/>；
所述计算模块还被配置为根据第一个adapter层的学习率，通过指数衰减公式计算并设置其它adapter层的学习率：；其中，i为所述文本处理模型中adapter层的序号，1≤i≤N-1，L1为所述文本处理模型中第一个adapter层的学习率，Li为所述文本处理模型中第i个adapter层的学习率，e为自然常数。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
CN202310614594.4A 2023-05-29 2023-05-29 文本处理模型训练方法及装置 Active CN116341640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310614594.4A CN116341640B (zh) 2023-05-29 2023-05-29 文本处理模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310614594.4A CN116341640B (zh) 2023-05-29 2023-05-29 文本处理模型训练方法及装置

Publications (2)

Publication Number Publication Date
CN116341640A CN116341640A (zh) 2023-06-27
CN116341640B true CN116341640B (zh) 2023-08-11

Family

ID=86880731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310614594.4A Active CN116341640B (zh) 2023-05-29 2023-05-29 文本处理模型训练方法及装置

Country Status (1)

Country Link
CN (1) CN116341640B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321926A (zh) * 2019-05-24 2019-10-11 北京理工大学 一种基于深度残差修正网络的迁移方法及***
US11132988B1 (en) * 2020-10-22 2021-09-28 PolyAI Limited Dialogue system, a dialogue method, and a method of training
WO2022072659A1 (en) * 2020-10-01 2022-04-07 Beijing Dajia Internet Information Technology Co., Ltd. Video coding with neural network based in-loop filtering
CN114861533A (zh) * 2022-04-26 2022-08-05 东南大学 基于时间卷积网络的风功率超短期预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304761A (zh) * 2017-09-25 2018-07-20 腾讯科技（深圳）有限公司 文本检测方法、装置、存储介质和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321926A (zh) * 2019-05-24 2019-10-11 北京理工大学 一种基于深度残差修正网络的迁移方法及***
WO2022072659A1 (en) * 2020-10-01 2022-04-07 Beijing Dajia Internet Information Technology Co., Ltd. Video coding with neural network based in-loop filtering
US11132988B1 (en) * 2020-10-22 2021-09-28 PolyAI Limited Dialogue system, a dialogue method, and a method of training
CN114861533A (zh) * 2022-04-26 2022-08-05 东南大学 基于时间卷积网络的风功率超短期预测方法

Also Published As

Publication number Publication date
CN116341640A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN116362351B (zh) 利用噪声扰动训练预训练语言模型的方法及装置
KR102250728B1 (ko) 샘플 처리 방법, 장치, 기기 및 저장 매체
CN110046344B (zh) 添加分隔符的方法及终端设备
CN116912635B (zh) 目标追踪方法及装置
CN116127925B (zh) 基于对文本进行破坏处理的文本数据增强方法及装置
CN116341640B (zh) 文本处理模型训练方法及装置
US11068784B2 (en) Generic quantization of artificial neural networks
CN116542328A (zh) Ctr预测模型的知识蒸馏方法及装置
CN116304693A (zh) 加速文本处理模型训练的方法及装置
CN115034225A (zh) 应用于医学领域的词语处理方法、装置、电子设备和介质
CN114155388A (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN116502640B (zh) 基于上下文的文本表征模型训练方法及装置
CN116523028B (zh) 基于图像空间位置的图像表征模型训练方法及装置
CN116610788A (zh) 基于训练数据的数据量训练预训练语言模型的方法及装置
CN117436550B (zh) 推荐模型训练方法及装置
WO2024114154A1 (zh) 噪声数据确定模型的训练、噪声数据的确定方法及装置
CN117292024B (zh) 基于语音的图像生成方法、装置、介质及电子设备
CN116541705B (zh) 文本分类模型的训练方法及文本分类方法
CN116306791A (zh) 改进自注意力模型的文本处理方法及装置
CN114969386B (zh) 应用于医学领域的消歧方法、装置、电子设备和介质
CN117746995B (zh) 基于单细胞rna测序数据的细胞类型识别方法、装置及设备
CN118277408A (zh) 延迟交互检索方法及装置
CN114943274B (zh) 模型训练方法、装置、存储介质、服务器、终端及***
WO2024060727A1 (zh) 神经网络模型的训练方法、装置、设备及***
CN118396124A (zh) 为大语言模型适配提示词的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant