CN111353582B - 一种基于粒子群算法的分布式深度学习参数更新方法 - Google Patents
一种基于粒子群算法的分布式深度学习参数更新方法 Download PDFInfo
- Publication number
- CN111353582B CN111353582B CN202010100999.2A CN202010100999A CN111353582B CN 111353582 B CN111353582 B CN 111353582B CN 202010100999 A CN202010100999 A CN 202010100999A CN 111353582 B CN111353582 B CN 111353582B
- Authority
- CN
- China
- Prior art keywords
- neural network
- training
- particle
- distributed
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明提供了一种基于粒子群算法的分布式深度学***台中参数同步周期和通信开销难以权衡的问题。
Description
技术领域
本发明属于深度学习技术领域,尤其涉及一种基于粒子群算法的分布式深度学习参数更新方法。
背景技术
随着数据量和神经网络复杂性不断增加,复杂神经网络(Deep Neural Networks,DNS)的高效训练已成为一项具有挑战性的任务,神经网络的分布式训练被认为是一种有效的解决方法,引来众多学者的关注和研究。目前,分布式深度学习平台主要分两种架构:一是模型并行:分布式***中的不同节点负责单个网络不同部分的训练,该方法的优势在于神经网络模型可以分布式存储,减小存储压力,缺点在实现困难,模型一致性难以保证。二是数据并行:不同计算节点具有完整的模型副本和目标数据集的部分子集。每个计算节点基于分配的子数据集对神经网络进行训练,参数服务器收集各个计算节点的神经网络参数wi或者梯度然后计算新的参数wi+1,最后分发新参数wi+1给每个计算节点,继续训练。该架构的特点是,在训练过程中所有节点的参数需要进行同步,如果每次训练结束后同步,则等同于单个计算节点的训练,神经网络的准确率可以得到保证,但此时通信和同步开销较大,集群训练效率降低。如果同步周期过高,则会导致收敛效率降低甚至不收敛。数据并行实现简单,是目前实现分布式训练的主流模式。
参数的同步和更新是神经网络分布式训练的关键环节,在数据并行的分布式深度学***衡通信开销和收敛性依然是一个有待解决的问题。
本专利首次提出利用粒子群优化算法来完成神经网络分布式训练过程中的参数计算,区别于现有的同步梯度的方法,该方法可以兼顾通信开销和收敛性。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于粒子群算法的分布式深度学***台中参数同步周期和通信开销难以权衡的问题。
为了达到以上目的,本发明采用的技术方案为:
本方案提供一种基于粒子群算法的分布式深度学习参数更新方法,包括以下步骤:
S1、根据集群中计算节点的数量对数据集进行切分,并初始化分布式集群和神经网络参数,每个计算节点获取待训练神经网络的副本和子数据集;
S2、利用编码策略对粒子群进行初始化操作,并将每个计算节点编码为一颗粒子;
S3、根据所述训练任务的数据集,计算得到神经网络分布式训练的最大迭代次数;
S4、利用分配到计算节点的子数据集对神经网络进行训练;
S5、根据同步周期,收集所有计算节点的神经网络参数和每个粒子的适应度值;
S6、根据粒子群的适应度值获取粒子群当前迭代的全局最优值;
S7、根据一个粒子的适应度值集获取粒子的局部最优值;
S8、根据所述全局最优值和局部最优值,利用粒子群更新算法计算得到神经网络新的参数;
S9、将神经网络新的参数分发至所有计算节点,并对计算节点进行训练;
S10、判断步S9中计算节点的当前迭代次数是否小于分布式训练的最大迭代次数,若是,则返回步骤S4,否则,结束对分布式深度学习参数的更新,返回并保存当前的神经网络参数。
进一步地,所述步骤S2中的编码策略为:
将神经网络分布式训练集群中每个计算节点定义为一颗粒子;
将评价神经网络性能的值对应粒子群算法中每个粒子的适应度值fitness;
将神经网络分布式训练集群的全局最优值对应的计算节点的神经网络参数定义为:gbest;
将神经网络分布式训练集群中一个计算节点的历史最优值对应的神经网络参数定义为:pbest。
再进一步地,所述步骤S3中神经网络分布式训练的最大迭代次数tmax的表达式如下:
tmax=iteration_size×epoch_size
其中,iteration_size表示训练集训练一次需要的迭代次数,epoch_size数据集最大的训练次数,training_size表示数据子集样本数量,batche_size表示一次训练所选取的样本数。
其中,m表示粒子惯性权重,mmin、mmax均表示超参数用于限定权重的范围,t表示当前的计算迭代次数,i表示计算节点的编号,表示第i个节点在当前迭代t训练后的神经网络参数,tmax表示分布式训练的最大迭代次数,c1,c2均表示超参数常量表示学习因子,r1,r2表示[0,1]范围内的随机数,λ表示附加因子,取值范围为[1,epoch_size],epoch_size表示数据集最大的训练次数,表示粒子的速度,w表示神经网络的参数,d表示数据的维度。
本发明的有益效果:
本发明提供了一种基于粒子群算法的分布式深度学***台中参数同步周期和通信开销难以权衡的问题。
附图说明
图1为背景技术中基于数据并行的同步梯度方法架构图。
图2为本发明的方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
实施例
粒子群算法(Particle Swarm Optimization,PSO)模拟鸟群随机搜索食物的行为。粒子群算法中,每个优化问题的潜在解都是搜索空间中的一个“粒子”,所有的粒子都有一个由被优化的函数决定的适应值(fitness),每个粒子还有一个速度决定它们移动的方向和距离。粒子群算法初始化为一群随机的粒子(随机初始化每个粒子的值),然后根据迭代找到最优解,每一次迭代中,粒子通过跟踪两个极值来更新自己:第1个是粒子本身所找到的最优解pbest,这个称为局部最优;第2个是整个种群目前找到的最优解gbest,称为全局最优。
假设在一个d维搜索空间中,有n个粒子组成一个群落p,其中,第i个粒子的信息表示为一个d维的向量:
Pi=(pi1,pi2,pi3,...,pid)
i=1,2,3,...,n
第i个粒子的速度为:
Vi=(vi1,vi2,vi3,...,vid)
i=1,2,3,...,n
粒子i根据下面的公式更新自己的速度和位置:
其中,i表示粒子序号,d表示粒子的维度,pbest是种群已知最优解,m为惯性权重,c1,c2均表示超参数常量表示学习因子,r1,r2表示[0,1]范围内的随机数。
粒子群优化具有较快的全局搜索能力,可以有效的对***的参数进行优化。尤其在一个问题有多个最优解且定义了一个评价指标时,粒子群算法可以作为一种优化工具。神经网络训练与PSO算法相似之处在于,不知道全局最优解,但每一次计算的目标是向最优点靠近,这激励我们使用粒子群算法来加速神经网络的分布式训练。在神经网络分布式训练中,汇总所有计算节点参数的目的是想利用所有计算节点的训练结果,以达到加速训练的效果。如果每次迭代后都进行同步,那么分布式训练等同于单机训练,且同步和通信开销最大。随着同步周期的增加,虽然通信开销减少,但是平均参数可能会导致模型的不一致。为此,用粒子群算法代替平均值更新参数,不仅可以在保留最优参数,同时可以优化其他节点的参数,这有利于所有计算节点以较低的通信成本接近最优解。
为了把粒子群算法应用到分布式深度学习中,首先提出一种编码策略实现PSO算法和神经网络分布式训练的建模,如表1所示,集群中的每个计算节点定义为一颗粒子,集群的规模大小代表粒子群的规模。例如:分布式集群有16个计算节点,则建模的粒子群规模为16;每个计算节点上的神经网络的参数定义为一颗粒子的信息其中,i表示计算节点的编码,t表示参数的版本号。神经网络训练过程中,用于评价网络性能的loss值对应粒子群算法中每个粒子的适应度值fitness,fitnessi越低代表当前粒子的信息pi t最优。整个集群的全局最优loss对应计算节点的神经网络参数信息:gbest,一个计算节点的历史最优loss对应的神经网络参数信息:pbest。
表1
为了加速神经网络分布式训练问题,提出一种改进的粒子群算法。在标准的粒子群算法中,c1,c2和m等许多超参数都是常量,这意味着全局和局部搜索能力在整个计算过程中保持不变。在初始阶段,固定参数有利于收敛,但随着训练的推进,神经网络最优的参数会徘徊在最优值附近,很难达到全局最优值。为了加速粒子群算法对分布式训练的优化效果,同时避免算法随机性造成神经网络无法达到最优,本专利提出两点改进:
(1)权重衰减,权重m计算公式为:
其中,mmin,mmax表示超参数用于限定权重的范围,t表示当前的计算迭代次数,随着训练的推进,权重值逐渐减小。
(2)引入了一个附加变量λ(1<λ<epoch_size)调整参数的搜索能力,epoch_size表示数据集最大的训练次数,随着数据集训练次数增加,随机变量因子衰减,局部和全局搜索随机搜索能力减弱。结合编码策略,本方法的分布式神经网络参数计算公式可以更新为:
如图2所示,基于提出的编码策略和改进后的粒子群PSO算法,本专利提出的基于粒子群算法的分布式深度学习参数更新方法,具体实现步骤如下:
S1、根据集群中计算节点的数量对数据集进行切分,并初始化分布式集群和神经网络参数,每个计算节点获取待训练神经网络的副本和子数据集;
S2、利用编码策略对粒子群进行初始化操作,并将每个计算节点编码为一颗粒子;
其编码策略为:
将神经网络分布式训练集群中每个计算节点定义为一颗粒子;
将评价神经网络性能的值对应粒子群算法中每个粒子的适应度值fitness;
将神经网络分布式训练集群的全局最优值对应的计算节点的神经网络参数定义为:gbest;
将神经网络分布式训练集群中一个计算节点的历史最优值对应的神经网络参数定义为:pbest;
S3、根据训练任务的数据集,计算得到神经网络分布式训练的最大迭代次数;
神经网络分布式训练的最大迭代次数tmax的表达式如下:
tmax=iteration_size×epoch_size
其中,iteration_size表示训练集训练一次需要的迭代次数,epoch_size数据集最大的训练次数,training_size表示数据子集样本数量,batche_size表示一次训练所选取的样本数;
S4、利用分配到计算节点的子数据集对神经网络进行训练;
S5、根据同步周期,收集所有计算节点的神经网络参数和每个粒子的适应度值;
S6、根据粒子群的适应度值获取粒子群当前迭代的全局最优值;
S7、根据一个粒子的适应度值集获取粒子的局部最优值;
S8、根据全局最优值和局部最优值,利用粒子群更新算法计算得到神经网络新的参数;
其中,m表示粒子惯性权重,mmin、mmax均表示超参数用于限定权重的范围,t表示当前的计算迭代次数,i表示计算节点的编号,表示第i个节点在当前迭代t训练后的神经网络参数,tmax表示分布式训练的最大迭代次数,c1,c2均表示超参数常量表示学习因子,r1,r2表示[0,1]范围内的随机数,λ表示附加因子,取值范围为[1,epoch_size],表示粒子的速度,w表示神经网络的参数,d表示数据的维度;
S9、将新的参数分发至所有计算节点,并对计算节点进行训练;
S10、判断步骤S9中计算节点的当前迭代次数是否小于分布式训练的最大迭代次数,若是,则返回步骤S4,否则,结束对分布式深度学习参数的更新,返回并保存当前的神经网络参数。
本实施例中,为了验证本专利提出的算法是否有效,进行了实验对比,所有实验都在一台有4个GPU的Tesla V100上进行,用多进程模拟分布训练式环境中的多个计算节点,即每个进程对应一个节点。在MNIST数据集上对神经网络LetNet进行分布式训练,分别用基于粒子群算法的参数更新方法和同步梯度两种算法实现分布式训练中的参数更新,并对比两中算法的训练准确率。MNIST数据集是对0到9之间的手写体数字识别的数据集,包括60000个示例的训练集和10000个示例的测试集。神经网络LetNet被认为是第一个成功识别MNIST手写体数字的卷积神经网络模型,它有66.5万个参数。分布式神经网络训练参数设置为:step=10,为了降低通信开销,每过10个训练batch进行参数同步、bach_size=256、epoche_size=25,实验结果如表2所示。
表2
从表2可以看出,集群规模n=4和n=16时,基于粒子群优化算法的参数更新方法的准确率优于同步梯度方法,n=8时,两种算法的训练准确率相当。总体上随着集群规模的增大(n变大),基于粒子群优化算法的参数更新方法效果更为明显。
综上,本申请相比目前的梯度平均,具有相同的收敛效果,可以作为一种新的参数更新方法,当神经网络的参数量较少的时候,基于粒子群的参数更新算法的性能略优于同步梯度的参数更新算法,且随着集群规模的增大,加速效果更加明显,但受到神经网络规模和数据集划分的影响,加速能力并不是线性增加。
Claims (3)
1.一种基于粒子群算法的分布式深度学习参数更新方法,其特征在于,包括以下步骤:
S1、根据集群中计算节点的数量对数据集进行切分,并初始化分布式集群和神经网络参数,每个计算节点获取待训练神经网络的副本和子数据集;
S2、利用编码策略对粒子群进行初始化操作,并将每个计算节点编码为一颗粒子;
S3、根据训练任务的数据集,计算得到神经网络分布式训练的最大迭代次数;
S4、利用分配到计算节点的子数据集对神经网络进行训练;
S5、根据同步周期,收集所有计算节点的神经网络参数和每个粒子的适应度值;
S6、根据粒子群的适应度值获取粒子群当前迭代的全局最优值;
S7、根据一个粒子的适应度值集获取粒子的局部最优值;
S8、根据所述全局最优值和局部最优值,利用粒子群更新算法计算得到神经网络新的参数;
其中,m表示粒子惯性权重,mmin、mmax均表示超参数用于限定权重的范围,t表示当前的计算迭代次数,i表示计算节点的编号,表示第i个节点在当前迭代t训练后的神经网络参数,tmax表示分布式训练的最大迭代次数,c1,c2均表示超参数常量表示学习因子,r1,r2表示[0,1]范围内的随机数,λ表示附加因子,取值范围为[1,epoch_size],epoch_size表示数据集最大的训练次数,表示粒子的速度,w表示神经网络的参数,d表示数据的维度,gbest表示神经网络分布式训练集群的全局最优值对应的计算节点的神经网络参数,pbest表示神经网络分布式训练集群中一个计算节点的历史最优值对应的神经网络参数;
S9、将神经网络新的参数分发至所有计算节点,并对计算节点进行训练;
S10、判断步S9中计算节点的当前迭代次数是否小于分布式训练的最大迭代次数,若是,则返回步骤S4,否则,结束对分布式深度学习参数的更新,返回并保存当前的神经网络参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010100999.2A CN111353582B (zh) | 2020-02-19 | 2020-02-19 | 一种基于粒子群算法的分布式深度学习参数更新方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010100999.2A CN111353582B (zh) | 2020-02-19 | 2020-02-19 | 一种基于粒子群算法的分布式深度学习参数更新方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111353582A CN111353582A (zh) | 2020-06-30 |
CN111353582B true CN111353582B (zh) | 2022-11-29 |
Family
ID=71195642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010100999.2A Active CN111353582B (zh) | 2020-02-19 | 2020-02-19 | 一种基于粒子群算法的分布式深度学习参数更新方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111353582B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882060A (zh) * | 2020-07-20 | 2020-11-03 | 中国人民解放军国防科技大学 | 用于机器学习的单步延迟随机梯度下降训练方法 |
CN111861939B (zh) * | 2020-07-30 | 2022-04-29 | 四川大学 | 一种基于无监督学习的单张图像去雾方法 |
CN111913939B (zh) * | 2020-08-12 | 2023-10-03 | 莫毓昌 | 一种基于强化学习的数据库集群优化***及方法 |
CN111931946B (zh) * | 2020-08-13 | 2024-04-16 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
CN112001501B (zh) * | 2020-08-14 | 2022-12-23 | 苏州浪潮智能科技有限公司 | 一种ai分布式训练***的参数更新方法、装置、设备 |
CN111814968B (zh) * | 2020-09-14 | 2021-01-12 | 北京达佳互联信息技术有限公司 | 用于机器学习模型的分布式训练的方法和装置 |
CN112712171B (zh) * | 2021-01-12 | 2022-08-12 | 湖南工业大学 | 深度卷积神经网络的分布式训练方法、设备和存储介质 |
CN113128668B (zh) * | 2021-04-07 | 2023-07-25 | 中山大学 | 数据中心网络中一种兼顾高吞吐和公平性的链路调度方法 |
CN113128653A (zh) * | 2021-04-20 | 2021-07-16 | 江苏科技大学 | 一种混合群体智能的深度学习模型超参数优化方法 |
CN113590321B (zh) * | 2021-07-30 | 2024-02-27 | 西安电子科技大学 | 面向异构分布式机器学习集群的任务配置方法 |
CN114298277B (zh) * | 2021-12-28 | 2023-09-12 | 四川大学 | 一种基于层稀疏化的分布式深度学习训练方法及*** |
CN114565105B (zh) * | 2022-03-02 | 2023-05-16 | 北京百度网讯科技有限公司 | 处理数据的方法和深度学习模型的训练方法、装置 |
CN114997360B (zh) * | 2022-05-18 | 2024-01-19 | 四川大学 | 神经架构搜索算法的演化参数优化方法、***及存储介质 |
CN115271053B (zh) * | 2022-06-07 | 2023-05-23 | 四川大学 | Cann计算架构下ai处理器算子溢出优化方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408518A (zh) * | 2014-11-12 | 2015-03-11 | 山东地纬数码科技有限公司 | 基于粒子群优化算法的神经网络学习优化方法 |
CN107247973A (zh) * | 2017-06-29 | 2017-10-13 | 中国矿业大学 | 一种基于spark的支持向量机参数优选并行粒子群寻优方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3929235B2 (ja) * | 2000-08-01 | 2007-06-13 | 関西電力株式会社 | 配電系統における状態推定方法 |
US8041654B2 (en) * | 2007-06-01 | 2011-10-18 | Neal Solomon | System for hybridized efficient genetic algorithms to solve bi-objective optimization problems with application to network computing |
CN106682682A (zh) * | 2016-10-20 | 2017-05-17 | 北京工业大学 | 一种基于粒子群优化算法对支持向量机的优化方法 |
CN108182490A (zh) * | 2017-12-27 | 2018-06-19 | 南京工程学院 | 一种大数据环境下的短期负荷预测方法 |
CN108364030B (zh) * | 2018-03-20 | 2019-08-20 | 东北大学 | 一种基于三层动态粒子群算法的多分类器模型构建方法 |
CN109032671B (zh) * | 2018-06-25 | 2022-05-03 | 电子科技大学 | 一种基于数据并行策略的分布式深度学习方法及*** |
CN109871995B (zh) * | 2019-02-02 | 2021-03-26 | 浙江工业大学 | Spark框架下分布式深度学习的量子优化调参方法 |
-
2020
- 2020-02-19 CN CN202010100999.2A patent/CN111353582B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104408518A (zh) * | 2014-11-12 | 2015-03-11 | 山东地纬数码科技有限公司 | 基于粒子群优化算法的神经网络学习优化方法 |
CN107247973A (zh) * | 2017-06-29 | 2017-10-13 | 中国矿业大学 | 一种基于spark的支持向量机参数优选并行粒子群寻优方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111353582A (zh) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353582B (zh) | 一种基于粒子群算法的分布式深度学习参数更新方法 | |
CN109496322B (zh) | 信用评价方法和装置以及梯度渐进决策树参数调整方法和装置 | |
CN111259738B (zh) | 人脸识别模型构建方法、人脸识别方法及相关装置 | |
CN109993270A (zh) | 基于灰狼群优化lstm网络的锂离子电池剩余寿命预测方法 | |
CN113361777B (zh) | 基于vmd分解和ihho优化lstm的径流预测方法及*** | |
CN110889509B (zh) | 一种基于梯度动量加速的联合学习方法及装置 | |
CN107316099A (zh) | 基于粒子群优化bp神经网络的弹药贮存可靠性预测方法 | |
CN111259601A (zh) | 基于随机ga-bp神经网络群的***块度预测方法、装置及介质 | |
CN115525038A (zh) | 一种基于联邦分层优化学习的设备故障诊断方法 | |
CN113095488A (zh) | 一种基于多智能体最大熵强化学习的合作博弈方法 | |
CN113206887A (zh) | 边缘计算下针对数据与设备异构性加速联邦学习的方法 | |
CN111310918B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN112884236B (zh) | 一种基于vdm分解与lstm改进的短期负荷预测方法及*** | |
CN115587633A (zh) | 一种基于参数分层的个性化联邦学习方法 | |
CN114330659A (zh) | 一种基于改进aso算法的bp神经网络参数优化方法 | |
CN115510042A (zh) | 基于生成对抗网络的电力***负荷数据填补方法及装置 | |
Liu et al. | Deep Boltzmann machines aided design based on genetic algorithms | |
CN111008790A (zh) | 一种水电站群发电调度规则提取方法 | |
CN113469372A (zh) | 强化学习训练方法、装置、电子设备以及存储介质 | |
CN114880806A (zh) | 基于粒子群优化的新能源汽车销量预测模型参数优化方法 | |
CN114609994A (zh) | 基于多粒度正则化重平衡增量学习的故障诊断方法及装置 | |
CN116957106A (zh) | 一种基于动态注意力机制的联邦学习模型训练方法 | |
CN117290721A (zh) | 数字孪生建模方法、装置、设备及介质 | |
CN116167436A (zh) | 一种优化模型划分的神经网络流水线并行训练方法 | |
CN112257348B (zh) | 一种锂电池长期退化趋势预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |