CN117216232A - 一种大语言模型超参数优化方法及*** - Google Patents

Abstract

本发明提供了一种大语言模型超参数优化方法及***。其中，该方法首先初始化大语言模型及其相关的超参数，包括但不限于学习速率和批次大小。然后，在每一批训练数据处理后，使用一个联合评估函数来对模型的性能和结构复杂度进行全面评估。该联合评估函数综合考虑了模型对数据的拟合能力和模型自身的结构复杂度。根据联合评估函数的结果，该方法动态地通过预定算法调整模型的超参数。进一步地，该方法引入了一个名为结构性动量的动态变量指标，用于追踪和优化模型结构。该方法将持续循环执行上述步骤，直到模型达到预定的性能指标或满足其他终止条件。通过该优化方法，可以有效地调整大语言模型的超参数和结构，从而提高模型性能。

Description

一种大语言模型超参数优化方法及***

技术领域

本发明涉及人工智能技术领域，特别涉及一种大语言模型超参数优化方法及***。

背景技术

在人工智能和自然语言处理领域中，大语言模型（如基于transformer的模型）在各种应用场景中有着广泛的应用，包括但不限于文本生成、情感分析、语义理解和机器翻译等。然而，大语言模型通常具有庞大的参数空间和复杂的结构，这些因素使得模型训练和优化过程面临多种挑战。

首先，选择适当的超参数（如学习速率、批次大小等）对模型性能有着显著的影响。不合适的超参数设置可能导致模型训练不稳定或者需要更多的训练时间。传统的超参数优化方法，如网格搜索或随机搜索，通常计算成本高昂，而且可能不能很好地适应大语言模型的特性。

其次，模型的结构复杂度（如模型的连接密度或隐藏层数量）也是一个需要细致考虑的问题。简单的模型结构可能无法捕获数据中的复杂关系，而过于复杂的模型结构则可能导致过拟合，从而影响模型的泛化能力。

最后，许多现有方法通常仅考虑模型的性能（例如准确性或召回率）而忽视模型的结构复杂度。这样做可能会导致训练出性能较好但计算成本极高的模型，这在实际应用中是不可取的。

因此，研发一种新的大语言模型超参数优化方法及***尤为迫切。

发明内容

本申请提供一种大语言模型超参数优化方法及***，以提高大语言模型的超参数优化效率。

本申请提供一种大语言模型超参数优化方法，包括：

(a) 初始化大语言模型及其超参数，所述超参数包括学习速率和批次大小；

(b) 在处理每一批训练数据后，使用一个联合评估函数来对大语言模型的性能和复杂度进行综合评估，该联合评估函数考虑了大语言模型对数据的拟合程度以及大语言模型结构的复杂度；

(c) 根据该联合评估函数的结果，通过预定算法动态地调整模型的超参数；

(d) 以结构性动量为动态变量指标，对于大语言模型结构进行优化调整，该结构性动量考虑了大语言模型的连接密度以及隐藏层数量；

(e) 循环执行步骤(b)至(d)，直到达到预设的大语言模型的性能指标或满足预设的终止条件，结束循环，完成大语言模型的超参数优化。

更进一步地，所述联合评估函数由信息熵H(x)和大语言模型复杂度M(t)以及权衡因子/>组成，其具体表达式如下：

其中，是M(t)可能达到的最大值；x是一批训练数据，t是当前时间点。

更进一步地，所述预定算法用如下公式表示：

其中，和/>分别表示在时间t处的动态学习速率和批次大小；/>和/>分别是动态学习速率和批次大小的初始值；/>是联合评估函数的结果，用于评估大语言模型的性能和复杂度；/>是/>可能达到的最大值；参数/>和/>分别控制学习速率和批次大小随/>变化的敏感性。

更进一步地，所述动态变量指标用如下公式表示：

其中，是在时间点t的结构性动量；D是大语言模型的连接密度；L是大语言模型的隐藏层数量；/>、/>、/>和/>是可配置的权重因子；t是当前时间点；/>是一个预设的参考时间点。

更进一步地，所述优化调整包括修改隐藏层数量以及改变连接密度。

更进一步地，所述预设的大语言模型的性能指标包括模型的准确率和/或F1分数。

更进一步地，所述预设的终止条件包括达到最大迭代次数或达到特定的时间限制。

更进一步地，在步骤(e) 中的预设的终止条件，包括早停机制。

更进一步地，所述早停机制的执行过程包括：在每次执行步骤（b）后，计算一个基于联合评估函数和生成性文本的质量指标/>的综合早停评分Z，其具体公式如下：

其中，是一个介于0和1之间的权重系数，用于权衡/>和/>的相对重要性; />是生成性文本的质量指标;

当所述综合早停评分在连续N个评估周期内的变化低于预设的生成性任务特定阈值/>时，自动触发早停，以终止步骤（e）的循环过程。

更进一步地，所述权衡因子的确定方法，包括：通过交叉验证方法在不同的训练数据和验证数据的划分上进行多次实验，并计算每次实验的/>值对应的平均模型性能指标，然后选择使平均模型性能指标最优化的/>值作为最终确定的权衡因子/>。

本申请提出一种大语言模型超参数优化***，包括：

初始化模块，用于初始化大语言模型及所述大语言模型的超参数，所述超参数包括学习速率和批次大小；

评估模块，用于在处理每一批训练数据后，使用一个联合评估函数来对大语言模型的性能和复杂度进行综合评估，所述联合评估函数考虑了大语言模型对数据的拟合程度以及大语言模型结构的复杂度；

调整模块，用于根据所述联合评估函数的结果，通过预定算法动态地调整大语言模型的超参数；

优化模块，用于以结构性动量为动态变量指标，对大语言模型结构进行优化调整，所述结构性动量考虑了大语言模型的连接密度以及隐藏层数量；

循环执行模块，用于循环执行步骤(b)至(d)，直到达到预设的大语言模型的性能指标或满足预设的终止条件，结束循环，完成大语言模型的超参数优化。

本申请提供的技术方案有如下有益的效果：

（1）通过引入联合评估函数，能够在优化大语言模型的性能的同时，也考虑到模型的复杂度。这样的全面考量有助于实现在限定资源下获得最佳性能的大语言模型。

（2）根据联合评估函数的结果，超参数会被动态地调整。这意味着大语言模型能够在训练过程中自我优化，而不仅仅依赖于初始设置的静态参数。

（3）通过结构性动量这一动态变量指标，还涉及到大语言模型结构的优化。这不仅能提高模型的性能，还可以降低模型的复杂性和计算成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请第一实施例提供的一种大语言模型超参数优化方法的流程图。

图2是本申请第二实施例提供的一种大语言模型超参数优化***的示意图。

图3是本申请第三实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

需要说明的是，本发明中使用的“上”、“下”、“左”、“右”“前”“后”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本申请第一实施例提供一种大语言模型超参数优化方法。请参看图1，该图为本申请第一实施例的示意图。以下结合图1对本申请第一实施例提供一种大语言模型超参数优化方法进行详细说明。

步骤S101：初始化大语言模型及大语言模型的超参数，所述超参数包括学习速率和批次大小。

该步骤是整个方法的基础，也是之后所有优化工作的出发点。

首先，大语言模型的初始化包括加载预训练的模型或者从头开始构建一个新模型。大语言模型一般指拥有数百万或数十亿参数的模型。常见的大语言模型结构包括但不限于Transformer结构、RNN结构、LSTM结构或者它们的各种变体。

如果选择加载预训练模型，这通常涉及从特定来源下载一个已经训练过的模型，并将其参数导入到当前的软件环境中。一旦模型被加载，可进一步进行微调或者直接用于超参数优化。

若从零开始，需要定义模型的各个层、节点、连接方式等。通常会用编程语言如Python配合专门的机器学习库如TensorFlow或PyTorch进行。

超参数是模型训练过程中需要手动设置的参数，与模型内部的可训练参数（权重和偏置项）不同。在这一步骤中，特别关注两类超参数：学习速率和批次大小。

学习速率是一个正数，通常小于1，用于控制模型在训练过程中参数更新的速度。一个过大的学习速率可能会导致模型在训练过程中震荡或不收敛，而一个过小的学习速率会导致模型训练过慢或陷入局部最优。学习速率的典型初始值范围从0.1到0.0001。

批次大小是每次模型训练时用于一次梯度更新的数据样本数量。批次大小影响模型训练速度和梯度估计的准确性。较大的批次可能提供更准确的梯度估计，但会增加计算复杂度和内存需求。

初始化这些超参数可以基于经验、文献或者其他优化算法。一旦这些超参数被初始化，它们将被用于后续的模型训练和优化步骤。

通过以上步骤，大语言模型及其超参数会被成功初始化，为后续的优化工作奠定基础。

步骤S102：在处理每一批训练数据后，使用一个联合评估函数来对大语言模型的性能和复杂度进行综合评估，该联合评估函数考虑了大语言模型对数据的拟合程度和大语言模型结构的复杂度。

该步骤涉及到在每一批训练数据被处理后，使用一个联合评估函数来综合评估大语言模型的性能和复杂度。联合评估函数旨在量化模型对数据的拟合程度和模型结构的复杂度。

该联合评估函数由信息熵H(x) 和大语言模型的复杂度M(t) 以及权衡因子/>组成。信息熵H(x)用于量化模型对一批训练数据的拟合程度，通常可以使用交叉熵损失函数或其他信息熵相关的度量方法来计算。大语言模型的复杂度M(t)可以是参数数量、计算成本或其他与模型规模相关的指标。

所述联合评估函数的计算公式如下：

其中，是M(t)可能达到的最大值；x是一批训练数据，t是当前时间点。

在每一批训练数据x被输入到大语言模型进行前向传播和反向传播后，即可用该联合评估函数来进行性能和复杂度的评估。

信息熵H(x) 可以通过模型输出和实际标签来计算。这通常可以通过交叉熵损失函数或类似的方法来实现。

例如，在大语言模型如Transformer或GPT（生成预训练变换器）中，信息熵通常通过对数似然损失来评估。

假设大语言模型预测的输出概率分布为p，与实际标签的概率分布q进行比较。

其中，i是特定批次中每个单词或符号的索引。

模型复杂度M(t) 可以根据模型的参数数量或计算复杂度等来量化。通常，这些信息在模型架构被定义时就可以获得。

假设有一个GPT模型，该模型具有：

·词嵌入层：E 维

·隐藏层数：L

·每个隐藏层的尺寸：D

这个模型的总参数数量可以为：

M(t) = E × V + L × (D×D×3+D ×2)

其中，V 是词汇量。这个M(t) 值即可用于计算联合评估函数E(x,t)。

在GPT（生成预训练变换器）模型或其他基于Transformer的模型中，一个标准的Transformer隐藏层通常包括两个主要的子层：多头自注意力机制和前馈神经网络。

多头自注意力机制通常由Q（Query）、K（Key）和V（Value）这三个矩阵构成。每个矩阵都有一个与之相关联的权重矩阵，维度都是D×D。

前馈神经网络是一个两层的全连接网络，每一层都有一个权重矩阵和一个偏置项。假设每一层的维度都是D，那么权重矩阵的维度将是D×D，偏置项的维度是D。

综合上述两点，对于每一个隐藏层：

·多头自注意力机制会有3×D×D=D×D×3 个参数。

·前馈神经网络会有2×D×D=D×D×2个权重参数和2×D=D×2 个偏置参数。

·加在一起，就是D×D×3+D×D×2+D×2

是M(t)可能达到的最大值，它表示在给定配置或条件下，模型复杂度M(t)可能达到的最大数量。这个上限可能因各种因素而有所不同，包括硬件限制、数据集大小或是模型架构的特定约束等。

更进一步地，所述权衡因子是通过交叉验证方法确定的，确定方法包括：通过交叉验证方法在不同的训练数据和验证数据的划分上进行多次实验，并计算每次实验的/>值对应的平均模型性能指标，然后选择使平均模型性能指标最优化的/>值作为最终确定的权衡因子/>。

交叉验证通常是用于评估机器学习模型在一个独立数据集上预测性能的可靠性的。在这里，交叉验证被用作一种策略来选择权衡因子，该因子是用于调整联合评估函数E(x, t)中模型性能和复杂度之间的权衡。

在实施过程中，应首先准备一个充分大的数据集，将其分为训练和验证数据集。交叉验证通常涉及K折交叉验证、留一交叉验证或随机子集交叉验证等多种形式，本领域技术人员可以根据具体需要选择合适的交叉验证方式。

对于每一个特定的值，应在不同的训练和验证数据集划分上运行大语言模型的训练和验证过程。在每一次实验结束后，需记录该/>值对应的模型性能指标，如准确率或F1分数等。

完成所有实验后，应计算每个值对应的模型平均性能指标。然后，从所有候选/>值中选择一个使模型平均性能指标最优化的/>值。

选定的值将用于权衡联合评估函数中的信息熵H(x)和大语言模型的复杂度M(t)，进一步用于动态调整大语言模型的超参数。

最后，使用计算出的H(x) 和M(t)，以及预定的和M_max，计算联合评估函数E(x,t)。

这样，得到的E(x, t) 值即代表了当前大语言模型在特定批次训练数据下的性能和复杂度的综合评价。

步骤S103：根据该联合评估函数的结果，通过预定算法动态地调整大语言模型的超参数。

该步骤是根据联合评估函数的结果，通过预定算法动态地调整模型的超参数。

在该步骤中，预定算法的选择至关重要。这个算法应当具备适应性，以在模型训练过程中根据联合评估函数E(x, t)的输出值对模型的超参数进行动态调整。具体来说，这里涉及到两个主要的超参数：动态学习速率和动态批次大小/>。

预定算法可以采用公式：

在这两个公式中，和/>分别是动态学习速率和批次大小的初始值。E(x, t)是联合评估函数的输出，用于评估大语言模型的性能和复杂度。E_max 是E(x, t) 可能达到的最大值，通常这是一个预先确定的值或通过一系列初步实验来确定的。参数/>和/>分别控制学习速率和批次大小随E(x, t)变化的敏感性。这两个参数通常是通过一系列实验来确定的，以找到使模型性能最优的值。在某些情况下，也可以使用如网格搜索、随机搜索或贝叶斯优化等自动超参数优化算法来确定这两个参数的最优值。

在实际操作中，首先需要确定和/>的初始值。这通常可以通过几轮的预实验或者参考文献来实现。然后，运行模型的训练过程，并在每次完成一个批次的训练后，计算联合评估函数E(x, t)。

根据计算出的E(x, t)，使用上述两个公式来动态地更新学习速率和批次大小。具体而言，当E(x, t)增加，即模型表现得相对较差或复杂度增加时，公式中的η(t) 将减小，从而减缓模型的更新速度。相对地，b(t) 会增大，这有助于模型从更大的数据批次中学习，有助于改善模型性能。

最后，将新计算出的η(t) 和b(t) 应用于下一批训练数据，并继续进行模型训练。这样，模型的超参数将会根据预设的联合评估函数和预定算法进行动态调整，以优化大语言模型的性能和复杂度。

步骤S104：以结构性动量为动态变量指标，对于大语言模型结构进行优化调整，该结构性动量考虑了大语言模型的连接密度以及隐藏层数量。

结构性动量是一个量化指标，用于捕获模型在给定时间点t的结构特性。在这里，结构性动量由以下公式给出：

其中，是在时间点t的结构性动量；D是大语言模型的连接密度，通常是通过实验或者优化算法来确定的，连接密度D是神经网络中神经元与神经元之间连接的数量或密度。这通常用连接数除以可能的最大连接数来表示。连接密度能够反映模型的复杂性和容量；L是大语言模型的隐藏层数量；/>、/>、/>和/>是可配置的权重因子；t是当前时间点；/>是一个预设的参考时间点。

在每个训练周期或者预设的时间间隔内，计算结构性动量SM(t)，并根据这个值来调整模型的结构。具体地，可以基于SM(t)来增加或减少隐藏层的数量，调整连接密度，或者进行其他形式的结构优化。

如果SM(t) 的值大于某个预设阈值，可以考虑增加隐藏层数量以增加模型的表达能力。相反，如果SM(t) 小于某个预设阈值，可以考虑减少隐藏层数量以减小模型的复杂性和计算成本。

同样，SM(t) 的值也可以用于决定是否需要调整模型的连接密度。具体地，可以通过增加或减少每个神经元的输入或输出连接来改变连接密度。

例如，当SM(t) 超过某个上阈值时，模型可能过于复杂，需要降低复杂度。这时，可以通过剪枝网络中的某些连接，即减少网络的连接密度D，来降低模型复杂度。当SM(t) 低于某个下阈值时：模型可能过于简单，需要提高复杂度。这时，可以通过添加更多的连接，即增加网络的连接密度D，来增加模型复杂度。

通过这样的方式，结构性动量SM(t) 能够作为一个有效的动态变量指标，指导大语言模型的结构优化。这不仅有助于模型在不同阶段具有更适应的结构，而且也可以提高训练效率和模型性能。

步骤S105：循环执行步骤S102至步骤S104，直到达到预设的大语言模型的性能指标或满足其他终止条件，结束循环，完成大语言模型的超参数优化。

步骤S105主要涉及对步骤S102至S104的持续重复执行，直到满足一组预先定义的性能指标或其他终止条件。该循环操作至关重要，因为它允许模型在训练过程中实现动态优化。这里的“动态优化”是指根据模型在不同时间点上的性能和复杂度，进行适时的超参数和结构调整。

在循环开始之前，应定义一组预设的性能指标和/或其他终止条件。这些指标可以是模型的准确率、F1分数、信息检索效率或其他与任务相关的评价标准。终止条件可以是达到最大迭代次数、模型性能停滞、达到特定的性能阈值或者特定的时间限制。

循环操作包括：

执行步骤S102：按照步骤S102的说明，使用联合评估函数对模型的性能和复杂度进行综合评估。

执行步骤S103：依据步骤S103得出的联合评估函数结果，通过预定算法动态地调整模型的超参数。具体的调整方式应遵循步骤S103中的算法。

执行步骤S104：以结构性动量为动态变量指标，对大语言模型结构进行优化调整。此步骤应遵循步骤S104和S105中的说明，包括但不限于修改隐藏层数量和改变连接密度。

在每次完成步骤S104后，应评估模型是否达到了预设的性能指标或满足了其他终止条件。如果是，则终止循环；否则，返回到步骤S102，继续下一轮循环。

预设的性能指标，是用于评估模型是否满足终止条件的标准。它们应该在循环开始前明确定义，并可根据实际需要进行动态调整。

除预设性能指标外，也可以设置其他形式的终止条件，如最大迭代次数或特定的时间限制。

更进一步地，在步骤S105的循环过程中，增加一个或多个早停机制，以便在模型性能出现停滞或下降时自动终止循环。

早停机制的引入具有多重考量：

（1）避免过拟合：模型在初期训练阶段通常能够逐渐提高其在训练数据上的性能，但随着迭代次数的增加，模型可能会开始过拟合，导致在验证或测试数据集上的性能下降。早停机制在此时可以自动中断模型的进一步训练。

（2）计算资源优化：通过早停机制，可以避免在模型性能没有提升或下降的情况下继续进行无用的计算，从而节省计算资源。

（3）时间效率：加速模型训练过程，避免在无效的迭代上浪费时间。

具体实施细节：

在实施该早停机制时，本领域技术人员可以通过多种方式来实现。例如，可以设置一个移动平均窗口，该窗口跟踪模型在最近几次迭代中的性能（例如，准确率、F1分数或其他度量指标）。一旦该窗口内的平均性能低于一个预定的阈值或在一定数量的连续迭代中没有明显提升，便触发早停机制，自动终止模型的进一步训练。

另一个可行的方法是监控模型在独立的验证数据集上的性能。当模型在验证数据集上的性能停滞或下降时，早停机制便会触发。

早停机制的具体触发条件、性能度量指标、阈值以及窗口大小等都应是可配置的，以便适应不同的应用场景和需求。

更进一步地，所述早停机制在每次执行步骤S102后，计算一个基于联合评估函数和生成性文本的质量指标Q(g)的综合早停评分Z，其具体公式如下：

其中，是一个介于0和1之间的权重系数，用于权衡/>和/>的相对重要性; />是生成性文本的质量指标;

当该综合早停评分在连续N个评估周期内的变化低于预设的生成性任务特定阈值/>时，自动触发早停，以终止步骤S105的循环过程。

在本实施例中，早停机制的设计采用了一种特别精细的方法，该方法兼顾了大语言模型的性能和复杂度，同时也考虑了在生成性任务应用场景下的文本质量。该机制在每次执行步骤S102后，会动态地计算一个综合早停评分Z，这一评分是基于联合评估函数和生成性文本质量指标Q(g)。

具体来说，综合早停评分Z的计算公式如下：

其中，是一个介于0和1之间的权重系数。该权重系数用于权衡联合评估函数和生成性文本质量指标Q(g)在计算综合早停评分Z中的相对重要性。值得注意的是，可根据实际应用场景和特定的需求进行调整。

生成性文本质量指标Q(g)是用于量化生成性任务（例如聊天机器人响应或自动文章生成等）输出文本质量的一个指标。这个指标可以是如BLEU分数、ROUGE分数或其他与生成性文本质量相关的评估指标。

一旦综合早停评分Z被计算出来，该评分将用于决定是否触发早停机制。具体地，当综合早停评分Z在连续N个评估周期内的变化低于预设的生成性任务特定阈值时，早停机制将自动触发。这里的N和/>都是预先定义好的参数。N是连续评估周期的数量，它决定了需要多少个连续的评估周期来观察综合早停评分Z的变化。/>是一个生成性任务特定的阈值，用于确定评分变化的敏感度。

一旦早停机制触发，步骤S105的循环过程将被自动终止，从而避免了进一步的无效计算和资源浪费。

本领域技术人员应能理解，这些只是实施该早停机制的几种可能方式，而不是穷尽其所有可能性。实际应用中可能还会有其他多种变种和优化方式，这些都应视为落在本申请的保护范围内。

下面是使用本实施例的几个应用场景。

应用场景一：自动文本摘要生成

在自动文本摘要生成的应用中，大语言模型通常需要处理大量的数据，并从中生成简洁、准确的摘要。这要求模型具有高性能和低复杂度。

在初始化阶段，特定的学习速率和批次大小作为超参数被设置，以确保模型能够快速而准确地学习。

模型在处理每一批训练数据后，会使用一个联合评估函数来综合评估其对数据的拟合程度和结构复杂度。这样可以在保证摘要质量的同时，避免模型变得过于复杂。

根据联合评估函数的结果，模型的学习速率或批次大小可能会被动态地调整。

结构性动量作为动态变量指标，用于优化模型的连接密度和隐藏层数量，从而进一步提升生成摘要的准确性和效率。

应用场景二：情感分析***

情感分析***常用于分析消费者对产品或服务的看法。这些***需要非常准确地识别和分类文本数据。

初始化大语言模型及其超参数，包括学习速率和批次大小，以适应特定领域或类型的情感分析。

使用联合评估函数来确保模型不仅能准确识别情感，还要在计算资源合理的情况下实现这一点。

超参数和模型结构通过预定算法和结构性动量进行动态调整，优化模型性能。

应用场景三：实时翻译***

实时翻译***需要在准确性和速度之间取得平衡，特别是在处理大量实时对话时。

在初始化阶段，可以针对特定的语言对设置适当的学习速率和批次大小。

联合评估函数在这里尤为重要，因为它能同时考虑到翻译的准确性和***的响应时间。

动态地调整超参数和使用结构性动量来优化模型的连接密度和隐藏层数量，从而在保证准确性的同时提高翻译速度。

通过这种超参数优化方法，以上应用场景的大语言模型不仅能达到高性能，而且还能在满足预设终止条件的情况下实现运算效率。这样可以有效地平衡模型的性能和复杂度，满足各种应用需求。

在上述的实施例中，提供了一种大语言模型超参数优化方法，与之相对应的，本申请还提供一种大语言模型超参数优化***。请参看图2，其为本申请的一种大语言模型超参数优化***实施例的示意图。由于本实施例，即第二实施例，基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的***实施例仅仅是示意性的。

本申请第二实施例提供一种大语言模型超参数优化***，包括：

初始化模块210，用于初始化大语言模型及所述大语言模型的超参数，所述超参数包括学习速率和批次大小；

评估模块220，用于在处理每一批训练数据后，使用一个联合评估函数来对大语言模型的性能和复杂度进行综合评估，所述联合评估函数考虑了大语言模型对数据的拟合程度以及大语言模型结构的复杂度；

调整模块230，用于根据所述联合评估函数的结果，通过预定算法动态地调整大语言模型的超参数；

优化模块240，用于以结构性动量为动态变量指标，对大语言模型结构进行优化调整，所述结构性动量考虑了大语言模型的连接密度以及隐藏层数量；

循环执行模块250，用于循环执行步骤(b)至(d)，直到达到预设的大语言模型的性能指标或满足预设的终止条件，结束循环，完成大语言模型的超参数优化。

本申请第三实施例提供一种电子设备，如图3所示，所述电子设备包括：

处理器；

存储器，用于存储程序，所述程序在被所述处理器读取执行时，执行本申请第一实施例中提供的大语言模型超参数优化方法。

本申请第四实施例提供一种计算机可读取存储介质，其上存储有计算机程序，该程序被处理器执行时，执行本申请第一实施例中提供的大语言模型超参数优化方法。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

Claims (9)

1.一种大语言模型超参数优化方法，其特征在于，包括：

(a) 初始化大语言模型及所述大语言模型的超参数，所述超参数包括学习速率和批次大小；

(b) 在处理每一批训练数据后，使用一个联合评估函数来对大语言模型的性能和复杂度进行综合评估，所述联合评估函数考虑了大语言模型对数据的拟合程度以及大语言模型结构的复杂度；

其中，所述联合评估函数由信息熵H(x)和大语言模型复杂度M(t)以及权衡因子/>组成，其具体表达式如下：

；

其中，是M(t)可能达到的最大值；x是一批训练数据，t是当前时间点；

(c) 根据所述联合评估函数的结果，通过预定算法动态地调整大语言模型的超参数；

(d) 以结构性动量为动态变量指标，对大语言模型结构进行优化调整，所述结构性动量考虑了大语言模型的连接密度以及隐藏层数量；

(e) 循环执行步骤(b)至(d)，直到达到预设的大语言模型的性能指标或满足预设的终止条件，结束循环，完成大语言模型的超参数优化。

2.根据权利要求1所述的大语言模型超参数优化方法，其特征在于，所述预定算法用如下公式表示：

；

；

其中，和/>分别表示在时间t处的动态学习速率和批次大小；/>和/>分别是动态学习速率和批次大小的初始值；/>是联合评估函数的结果，用于评估大语言模型的性能和复杂度；/>是/>可能达到的最大值；参数/>和/>分别控制学习速率和批次大小随/>变化的敏感性。

3.根据权利要求1所述的大语言模型超参数优化方法，其特征在于，所述动态变量指标用如下公式表示：

；

其中，是在时间点t的结构性动量；D是大语言模型的连接密度；L是大语言模型的隐藏层数量；/>、/>、/>和/>是可配置的权重因子；t是当前时间点；/>是一个预设的参考时间点。

4.根据权利要求1所述的大语言模型超参数优化方法，其特征在于，所述优化调整包括修改隐藏层数量以及改变连接密度。

5.根据权利要求1所述的大语言模型超参数优化方法，其特征在于，所述预设的大语言模型的性能指标包括模型的准确率和/或F1分数。

6.根据权利要求1所述的大语言模型超参数优化方法，其特征在于，所述方法还包括：设置早停机制，以便在模型性能出现停滞或下降时终止循环。

7.根据权利要求6所述的大语言模型超参数优化方法，其特征在于，所述早停机制的执行过程包括：

在每次执行步骤（b）后，计算一个基于联合评估函数和生成性文本的质量指标的综合早停评分Z，其具体公式如下：

；

其中，是一个介于0和1之间的权重系数，用于权衡/>和/>的相对重要性;是生成性文本的质量指标;

当所述综合早停评分在连续N个评估周期内的变化低于预设的生成性任务特定阈值时，自动触发早停，以终止步骤（e）的循环过程。

8.根据权利要求1所述的大语言模型超参数优化方法，其特征在于，所述权衡因子的确定方法，包括：

通过交叉验证方法在不同的训练数据和验证数据的划分上进行多次实验，并计算每次实验的值对应的平均模型性能指标，选择使平均模型性能指标最优化的/>值作为最终确定的权衡因子/>。

9.一种大语言模型超参数优化***，其特征在于，包括：

初始化模块，用于初始化大语言模型及所述大语言模型的超参数，所述超参数包括学习速率和批次大小；

评估模块，用于在处理每一批训练数据后，使用一个联合评估函数来对大语言模型的性能和复杂度进行综合评估，所述联合评估函数考虑了大语言模型对数据的拟合程度以及大语言模型结构的复杂度；

其中，所述联合评估函数由信息熵H(x)和大语言模型复杂度M(t)以及权衡因子/>组成，其具体表达式如下：

；

其中，是M(t)可能达到的最大值；x是一批训练数据，t是当前时间点；

调整模块，用于根据所述联合评估函数的结果，通过预定算法动态地调整大语言模型的超参数；

优化模块，用于以结构性动量为动态变量指标，对大语言模型结构进行优化调整，所述结构性动量考虑了大语言模型的连接密度以及隐藏层数量；

循环执行模块，用于循环执行步骤(b)至(d)，直到达到预设的大语言模型的性能指标或满足预设的终止条件，结束循环，完成大语言模型的超参数优化。