CN109871995A - Spark框架下分布式深度学习的量子优化调参方法 - Google Patents
Spark框架下分布式深度学习的量子优化调参方法 Download PDFInfo
- Publication number
- CN109871995A CN109871995A CN201910108258.6A CN201910108258A CN109871995A CN 109871995 A CN109871995 A CN 109871995A CN 201910108258 A CN201910108258 A CN 201910108258A CN 109871995 A CN109871995 A CN 109871995A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- population
- sub
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Spark框架下分布式深度学习的量子优化调参方法,采集数据并进行预处理和分组,确定生成对抗网络结构参数:初步构建深度神经网络,设定包括层数、各层节点数、权重和学习率,Spark主节点将参数信息广播给从节点,通过数据并行的方式训练生成对抗网络模型,初始化基于Spark的分布式量子粒子群优化算法参数信息,各个从节点分布式进行独立进化,并通过主节点进行汇总,依据上次迭代时的个体最优和全局最优更新连接权重,计算每个粒子对应的适应度函数值,评估深度学习模型的性能。本发明能够为分布式深度学习模型如何寻找最优参数提供一种参考方法,能够避免人工对深度学习模型调参需要的先验知识、效率低下的问题。
Description
技术领域
本发明涉及适用于特定功能的数字计算设备或数据处理设备或数据处理方法,特别涉及一种Spark框架下分布式深度学习的量子优化调参方法。
背景技术
随着大数据时代的到来,人工智能获得了快速发展,机器学习作为人工智能的一个重要分支,以深度学习为代表引起了广泛的关注。在实际应用中,常常面临数据量样本不足、真正有价值的数据缺乏、先验知识欠缺这些问题。因此,深度学习也逐渐体现出其局限性,尤其体现在依赖大规模标注数据和大量的先验知识来调参这个问题上,如何调参来提升深度学习模型的性能已成为当前深度学习领域的的关键问题。
针对深度学习面临的上述挑战,本发明将大量参数逐层调整来缩小误差归结为非线性优化问题,采用基于内存计算的分布式集群运算框架Spark,提出一种Spark框架下分布式深度学习的量子优化调参方法,即在传统深度学习训练流程之后,增加了基于量子优化的分布式深度学习参数调优环节。该发明解决了寻找最优参数的难题,能够有效避免人工对深度学习模型调参需要的先验知识、效率低下的问题,非常适合样本较少、有价值数据缺乏和先验知识欠缺的情形。
发明内容
本发明所要解决的技术问题在于,针对深度学习调参的难题,如何寻找最优参数从而提升分布式深度学习模型的性能。
为实现上述目的,提供一种Spark框架下分布式深度学习的量子优化调参方法,具体步骤如下:
Step1:采集数据并进行预处理和分组:
Step1.1:将历史数据基于分布式文件***(Hadoop Distributed File System,HDFS)进行存储;
Step1.2:对历史数据存在的不一致性、冗余性、不完整性以及噪声和错误问题进行预处理;
Step1.3:将所有历史数据分成两组:训练集和测试集;
Step1.4:整个分布式集群包括1个主节点和P个独立的从节点,将所有历史数据平均分成P组,对历史数据集合进行初始分组;
Step2:确定生成对抗网络结构参数:初步构建深度神经网络,设定包括层数、各层节点数、权重和学习率,Spark主节点将参数信息广播给从节点;
Step3:通过数据并行的方式训练生成对抗网络模型,初始训练过程如下:
Step3.1:生成对抗网络模型训练目标函数描述如下:
上式中,D和G分别代表微分函数判别器和生成器,x代表输入的真实数据,Pdata(x)代表真实数据集分布,代表输入真实数据的计算期望值,D(x)代表x来源于真实数据而非生成数据的概率,z代表随机噪声矢量,Pz(Z)代表先验分布,代表随机噪声失量的计算期望值,G(z)代表生成的尽量服从真实数据分布的数据;
Step 3.2:使用自下而上的非监督学习:采用无标签数据,从第一层开始,逐层训练各层参数,将上一层的输出作为下一层的输入,学习得到各层的参数;
Step 3.3:自顶向下的监督学习:利用带标签的数据去训练,通过反向传播(BackPropagation,BP)算法分别更新生成对抗网络以执行竞争性学习,误差自顶向下传输,对网络进行微调;
Step 3.4:目标函数为公式1所示,当且仅当真实数据集分布概率和生成器数据分布概率相等时,达到纳什均衡,至此生成对抗网络训练完成,保存此时得到的初步生成对抗网络结构参数,并将结果更新到主节点;
Step4:初始化基于Spark的分布式量子粒子群优化算法参数信息:
Step4.1:首先将Step3得到的初步生成对抗网络结构参数作为量子优化算法种群的初始解,再结合生成对抗网络结构参数对量子优化算法进行初始化,其中种群规模为M、维度为d、迭代次数为Tmax、适应度评估次数为Evamax;
Step4.2:确定量子优化算法的适应度函数:以生成对抗网络网络模型的损失函数最小化为目标,将适应度函数定义为均方误差(Mean Square Error,MSE),适应度函数如下:
上式中,N代表数据集大小,yio代表第i个数据集对应的实际输出,yi代表第i个数据集对应的期望输出;
Step 4.3:基于Spark框架的种群并行化:整个种群分布采用主从模型,对应P个从节点,将整个种群均匀划分为P个子种群,分别表示为子种群1,子种群2,……子种群P,Pbest代表个体最优,同时选取最小的Pbest作为初始全局最优Gbestg;
Step5:各个从节点分布式进行独立进化,并通过主节点进行汇总,依据上次迭代时的个体最优和全局最优更新连接权重,计算每个粒子对应的适应度函数值;
Step5.1:计算个体最优位置,公式如下:
Pid=μPbest+(1-μ)Gbestg (公式3)
其中,Pid代表第i个个体最优位置,μ为0到1之间的随机数;
Step5.2:独立计算每个子种群对应的局部平均最优位置,公式如下:
上式中,mbestj代表第j个子种群的局部平均最优位置,K是子种群个体数目;
Step5.3:主节点对所有从节点计算的局部平均最优位置进行求平均,可得全局平均最优位置并将计算结果返回给各个从节点,公式如下:
上式中,mbest为全局平均最优位置;
Step5.4:各个子种群分别独立进化,更新每个个体的位置,公式如下:
上式中,t代表当前迭代次数,Xid(t+1)为个体在第t+1代的位置,u是(0,1)之间的随机数,β是控制粒子收敛速度的收缩-扩张因子;
Step5.5:计算每个个体对应的适应度值,并同个体历史最优Pbest比较,如果当前值优于个体历史最优Pbest,则把当前适应度值替换为个体最优Pbest,否则不替换,将更新后的子种群局部最优发送给主节点;
Step5.6:主节点汇总各个从节点对应子种群的局部最优Gbestj,其中Gbestj代表第j个子种群的局部最优,然后将Gbestj同当前全局最优Gbestg逐一进行比较,若小于当前全局最优Gbestg,则更新全局最优Gbestg,否则不替换,将全局最Gbestg优传递给从节点;
Step5.7:判断是否达到设定的适应度评估次数或种群的迭代次数,如果任一条件满足则训练结束,各个从节点停止计算;若否,则继续返回到Step5.1,学习迭代过程继续直至收敛,整个量子优化分布式搜索参数完成,即整个Spark框架下分布式深度学习的量子优化调参环节结束;
Step6:评估深度学习模型的性能,将上述量子优化算法求得的最终解作为生成对抗网络模型的参数信息,带入测试数据集中对生成对抗网络模型的性能进行评估。
本发明应用于传统深度学习训练环节之后,增加了基于量子优化的参数调优环节。
本发明所有计算都采用了Spark,因为Spark是一个立足于内存计算的分布式集群运算框架,非常适合递归计算,将生成对抗网络和量子粒子群优化在Spark上进行并行化设计,能够加速计算,提高效率;在Spark集群中,P个从节点相互独立,不需要进行相互通信,P个从节点完成大部分计算负载;
Step3采用数据并行的方式训练生成对抗网络模型,是基于Spark框架实现的,因为随着训练数据规模的增加和模型的日趋复杂,深度神经网络的训练成本越来越高,传统串行算法已经不能满足日益增长的数据要求,基于Spark框架的并行化成为增强其应用时效性的迫切需求;
Step4.2采用损失函数为量子粒子群优化的适应度函数,是因为深度学***方和最小时深度学习模型性能最佳。
综上,本发明提出的一种Spark框架下分布式深度学习的量子优化调参方法,能够为分布式深度学习模型如何寻找最优参数提供一种参考方法,该方法能够避免人工对深度学习模型调参需要的先验知识、效率低下的问题,具有重要意义。
附图说明
图1是改进后的深度学习模型基本环节;
图2是一种Spark框架下分布式深度学习的量子优化调参方法流程图;
图3是深度学习模型训练流程图;
图4是基于Spark框架的种群并行化搜索图。
具体实施方式
参照附图,本实施例以心脑血管疾病为具体应用领域对本发明进行说明。传统深度学习模型包括数据采集、深度学习训练和模型评估三个环节,本发明在上述基础上,将调参归结为寻找最优参数,增加了量子优化调参环节,如图1所示。Spark框架下分布式深度学习的量子优化调参方法流程如图2所示,详细步骤如下:
Step1:采集数据并进行预处理和分组,具体包含以下四个步骤:
Step1.1:从海量医疗数据中提取有关心脑血管疾病相关患者的数据资料,并基于分布式文件***(Hadoop Distributed File System,HDFS)进行分布式存储;
Step1.2:运用数据预处理技术对心脑血管疾病数据存在的不一致性、冗余性、不完整性以及噪声和错误这些问题进行处理;
Step1.3:将所有心脑血管疾病数据分成两组,其中80%作为训练集,20%作为测试集;
Step1.4:整个分布式集群包括1个主节点和P个独立的从节点,将所有心脑血管疾病历史数据平均分成P组,得到心脑血管集合的初始分组;
Step2:确定生成对抗网络(Generative Adversarial Network,GAN)结构参数:初步构建深度神经网络,设定包括层数、各层节点数、权重和学习率,Spark主节点将参数信息广播给P个从节点;
Step3:通过数据并行的方式训练生成对抗网络模型;如图3所示,整个初始训练过程如下:
Step3.1:生成对抗网络模型训练目标函数描述如下:
上式中,D和G分别代表微分函数判别器和生成器,x代表输入的真实数据,Pdata(x)代表真实数据集分布,代表输入真实数据的计算期望值,D(x)代表x来源于真实数据而非生成数据的概率,z代表随机噪声矢量,Pz(Z)代表先验分布,代表随机噪声失量的计算期望值,G(z)代表生成的尽量服从真实数据分布的数据;
Step 3.2:使用自下而上的非监督学习:采用无标签数据,从第一层开始,逐层训练各层参数,将上一层的输出作为下一层的输入,学习得到各层的参数;
Step 3.3:自顶向下的监督学习:利用带标签心脑血管疾病的数据去训练,通过反向传播(Back Propagation,BP)算法分别更新生成对抗网络以以执行竞争性学习,误差自顶向下传输,对网络进行微调;
目标函数为公式1所示,当且仅当真实心脑血管疾病数据集分布概率和生成器生成的心脑血管疾病数据分布概率相等时,达到纳什均衡,至此生成对抗网络训练完成,保存此时得到的初步生成对抗网络结构参数,并将结果更新到主节点;
Step4:初始化基于Spark的分布式量子粒子群优化算法(Distributed Quantum-behaved Particle Swarm Optimization,DQPSO)参数信息:
Step4.1:首先将Step3得到的初步生成对抗网络结构参数作为量子优化算法种群的初始解,再结合生成对抗网络结构参数对量子优化算法进行初始化,确定种群规模为M、维度为d、迭代次数为Tmax、适应度评估次数为Evamax;
Step4.2:确定量子优化算法的适应度函数:以深度网络模型损失函数最小化为目标,将适应度函数定义为均方误差(Mean Square Error,MSE),适应度函数如下:
上式中,N代表数据集大小,yio代表第i个数据集对应的实际输出,yi代表第i个数据集对应的期望输出;
Step 4.3:基于Spark框架的种群并行化如图4所示,整个种群分布采用主从模型,对应P个从节点,将整个种群均匀划分为P个子种群,分别表示为子种群1,子种群2,……子种群P,Pbest代表个体最优,同时选取最小的Pbest作为初始全局最优Gbestg;
Step5:各个从节点分布式进行独立进化,并通过主节点进行汇总,依据上次迭代时的个体最优和全局最优更新连接权重,计算每个粒子对应的适应度函数值;
Step5.1:计算个体最优位置,公式如下:
Pid=μPbest+(1-μ)Gbestg (公式3)
其中,Pid代表第i个个体最优位置,μ为0到1之间的随机数;
Step5.2:独立计算每个子种群对应的局部平均最优位置,公式如下:
上式中,mbestj代表第j个子种群的局部平均最优位置,K是子种群个体数目;
Step5.3:主节点对所有从节点计算的局部平均最优位置进行求平均,可得全局平均最优位置并将计算结果返回给从节点公式如下:
上式中,mbest为全局平均最优位置;
Step5.4:各个子种群分别独立进化,更新每个个体的位置,公式如下:
上式中,t代表当前迭代次数,Xid(t+1)为个体在第t+1代的位置,u是(0,1)之间的随机数,β是控制粒子收敛速度的收缩-扩张因子;
Step5.5:计算每个个体对应的适应度值,并同个体历史最优Pbest比较,如果当前值优于个体历史最优Pbest,则把当前适应度值替换为个体最优Pbest,否则不替换,将更新后的子种群局部最优Gbestj发送给主节点;
Step5.6:主节点汇总各个从节点对应子种群的局部最优Gbestj,其中Gbestj代表第j个子种群的局部最优,然后将Gbestj同当前全局最优Gbestg逐一进行比较,若小于当前全局最优Gbestg,则更新全局最优Gbestg,否则不替换,将全局最Gbestg优传递给从节点;
Step5.7:判断是否达到设定的适应度评估次数或种群的迭代次数,如果任一条件满足则训练结束,P个从节点停止计算;若否,则继续返回到Step5.1,学习迭代过程继续直至收敛,整个量子优化分布式搜索参数完成,即整个Spark框架下分布式深度学习的量子优化调参环节结束;
Step6:评估深度学习模型的性能:将上述量子优化算法求得的最终解作为深度学习模型的参数信息,带入20%的心脑血管疾病测试数据集中对深度学习模型的性能进行评估,由于上述生成对抗网络模型对心脑血管疾病数据进行分析,挖掘了心脑血管疾病的潜在规律,可进一步用来预测心脑血管疾病的风险因素,能够为医生提供临床决策支持,辅助医生进行心脑血管疾病的诊断,具有重要意义。模型性能好坏取决于实际应用需求。
本发明应用于传统深度学习训练环节之后,增加了基于量子优化的参数调优环节;
本发明所有计算都采用了Spark,因为Spark是一个立足于内存计算的分布式集群运算框架,非常适合递归计算,将生成对抗网络和量子粒子群优化在Spark上进行并行化设计,能够加速计算,提高效率;在Spark集群中,P个从节点相互独立,不需要进行相互通信,P个从节点完成大部分计算负载;
Step3采用数据并行的方式训练生成对抗网络模型,是基于Spark框架实现的,因为随着训练数据规模的增加和模型的日趋复杂,深度神经网络的训练成本越来越高,传统串行算法已经不能满足日益增长的数据要求,基于Spark框架的并行化成为增强其应用时效性的迫切需求;
Step4.2采用损失函数为量子粒子群优化的适应度函数,是因为深度学***方和最小时深度学习模型性能最佳;
以上所述的具体实施例,以心脑血管疾病大数据作为具体应用背景,对Spark框架下分布式深度学习的量子优化调参方法的意义、技术方案和有益效果进了进一步详细说明。但本实施例仅是本发明的一部分实施例,并不代表全部。
Claims (1)
1.Spark框架下分布式深度学习的量子优化调参方法,具体步骤如下:
Step1:采集数据并进行预处理和分组:
Step1.1:将历史数据基于分布式文件***(Hadoop Distributed File System,HDFS)进行存储;
Step1.2:对历史数据存在的不一致性、冗余性、不完整性以及噪声和错误问题进行预处理;
Step1.3:将所有历史数据分成两组:训练集和测试集;
Step1.4:整个分布式集群包括1个主节点和P个独立的从节点,将所有历史数据平均分成P组,对历史数据集合进行初始分组;
Step2:确定生成对抗网络结构参数:初步构建深度神经网络,设定包括层数、各层节点数、权重和学习率,Spark主节点将参数信息广播给从节点;
Step3:通过数据并行的方式训练生成对抗网络模型,初始训练过程如下:
Step3.1:生成对抗网络模型训练目标函数描述如下:
上式中,D和G分别代表微分函数判别器和生成器,x代表输入的真实数据,Pdata(x)代表真实数据集分布,代表输入真实数据的计算期望值,D(x)代表x来源于真实数据而非生成数据的概率,z代表随机噪声矢量,Pz(z)代表先验分布,代表随机噪声失量的计算期望值,G(z)代表生成的尽量服从真实数据分布的数据;
Step3.2:使用自下而上的非监督学习:采用无标签数据,从第一层开始,逐层训练各层参数,将上一层的输出作为下一层的输入,学习得到各层的参数;
Step3.3:自顶向下的监督学习:利用带标签的数据去训练,通过反向传播(BackPropagation,BP)算法分别更新生成对抗网络以执行竞争性学习,误差自顶向下传输,对网络进行微调;
Step3.4:目标函数为公式1所示,当且仅当真实数据集分布概率和生成器数据分布概率相等时,达到纳什均衡,至此生成对抗网络训练完成,保存此时得到的初步生成对抗网络结构参数,并将结果更新到主节点;
Step4:初始化基于Spark的分布式量子粒子群优化算法参数信息:
Step4.1:首先将Step3得到的初步生成对抗网络结构参数作为量子优化算法种群的初始解,再结合生成对抗网络结构参数对量子优化算法进行初始化,其中种群规模为M、维度为d、迭代次数为Tmax、适应度评估次数为Evamax;
Step4.2:确定量子优化算法的适应度函数:以生成对抗网络网络模型的损失函数最小化为目标,将适应度函数定义为均方误差(Mean Square Error,MSE),适应度函数如下:
上式中,N代表数据集大小,yio代表第i个数据集对应的实际输出,yi代表第i个数据集对应的期望输出;
Step4.3:基于Spark框架的种群并行化:整个种群分布采用主从模型,对应P个从节点,将整个种群均匀划分为P个子种群,分别表示为子种群1,子种群2,……子种群P,Pbest代表个体最优,同时选取最小的Pbest作为初始全局最优Gbestg;
Step5:各个从节点分布式进行独立进化,并通过主节点进行汇总,依据上次迭代时的个体最优和全局最优更新连接权重,计算每个粒子对应的适应度函数值;
Step5.1:计算个体最优位置,公式如下:
Pid=μPbest+(1-μ)Gbestg (公式3)
其中,Pid代表第i个个体最优位置,μ为0到1之间的随机数;
Step5.2:独立计算每个子种群对应的局部平均最优位置,公式如下:
上式中,mbestj代表第j个子种群的局部平均最优位置,K是子种群个体数目;
Step5.3:主节点对所有从节点计算的局部平均最优位置进行求平均,可得全局平均最优位置并将计算结果返回给各个从节点,公式如下:
上式中,mbest为全局平均最优位置;
Step5.4:各个子种群分别独立进化,更新每个个体的位置,公式如下:
上式中,t代表当前迭代次数,Xid(t+1)为个体在第t+1代的位置,u是(0,1)之间的随机数,β是控制粒子收敛速度的收缩-扩张因子;
Step5.5:计算每个个体对应的适应度值,并同个体历史最优Pbest比较,如果当前值优于个体历史最优Pbest,则把当前适应度值替换为个体最优Pbest,否则不替换,将更新后的子种群局部最优发送给主节点;
Step5.6:主节点汇总各个从节点对应子种群的局部最优Gbestj,其中Gbestj代表第j个子种群的局部最优,然后将Gbestj同当前全局最优Gbestg逐一进行比较,若小于当前全局最优Gbestg,则更新全局最优Gbestg,否则不替换,将全局最Gbestg优传递给从节点;
Step5.7:判断是否达到设定的适应度评估次数或种群的迭代次数,如果任一条件满足则训练结束,各个从节点停止计算;若否,则继续返回到Step5.1,学习迭代过程继续直至收敛,整个量子优化分布式搜索参数完成,即整个Spark框架下分布式深度学习的量子优化调参环节结束;
Step6:评估深度学习模型的性能,将上述量子优化算法求得的最终解作为生成对抗网络模型的参数信息,带入测试数据集中对生成对抗网络模型的性能进行评估。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910108258.6A CN109871995B (zh) | 2019-02-02 | 2019-02-02 | Spark框架下分布式深度学习的量子优化调参方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910108258.6A CN109871995B (zh) | 2019-02-02 | 2019-02-02 | Spark框架下分布式深度学习的量子优化调参方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109871995A true CN109871995A (zh) | 2019-06-11 |
CN109871995B CN109871995B (zh) | 2021-03-26 |
Family
ID=66918613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910108258.6A Active CN109871995B (zh) | 2019-02-02 | 2019-02-02 | Spark框架下分布式深度学习的量子优化调参方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109871995B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110610747A (zh) * | 2019-10-10 | 2019-12-24 | 桂林理工大学 | 一种基于深度学习的微型化学实验***及方法 |
CN110674326A (zh) * | 2019-08-06 | 2020-01-10 | 厦门大学 | 一种基于多项式分布学习的神经网络结构检索方法 |
CN110867224A (zh) * | 2019-10-28 | 2020-03-06 | 南通大学 | 用于大规模脑病历分割的多粒度Spark超信任模糊方法 |
CN111325356A (zh) * | 2019-12-10 | 2020-06-23 | 四川大学 | 一种基于演化计算的神经网络搜索分布式训练***及训练方法 |
CN111353582A (zh) * | 2020-02-19 | 2020-06-30 | 四川大学 | 一种基于粒子群算法的分布式深度学习参数更新方法 |
CN111612096A (zh) * | 2020-06-01 | 2020-09-01 | 南通大学 | 一种基于Spark平台的大规模眼底图像分类***训练方法 |
CN111629048A (zh) * | 2020-05-22 | 2020-09-04 | 浪潮电子信息产业股份有限公司 | spark集群最优配置参数确定方法、装置及设备 |
CN111814907A (zh) * | 2020-07-28 | 2020-10-23 | 南京信息工程大学 | 一种基于条件约束的量子生成对抗网络算法 |
CN111860828A (zh) * | 2020-06-15 | 2020-10-30 | 北京仿真中心 | 一种神经网络的训练方法、存储介质和设备 |
CN112231774A (zh) * | 2020-10-26 | 2021-01-15 | 中国人民解放军陆军工程大学 | 一种深度学习旁路分析的安全评估框架搭建方法 |
CN112861332A (zh) * | 2021-01-29 | 2021-05-28 | 太原理工大学 | 一种基于图网络的集群动力学预测方法 |
CN113033800A (zh) * | 2019-12-25 | 2021-06-25 | 香港理工大学深圳研究院 | 分布式深度学习方法、装置、参数服务器及主工作节点 |
CN113449459A (zh) * | 2021-04-09 | 2021-09-28 | 江西高创保安服务技术有限公司 | 一种通用的提升神经网络推理准确性和保持运算速度的分布式计算***设计方法 |
US11145356B2 (en) | 2020-02-17 | 2021-10-12 | Industrial Technology Research Institute | Computation operator in memory and operation method thereof |
CN113762456A (zh) * | 2020-11-26 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种模型参数调节方法和*** |
CN114819163A (zh) * | 2022-04-11 | 2022-07-29 | 合肥本源量子计算科技有限责任公司 | 量子生成对抗网络的训练方法、装置、介质及电子装置 |
CN115761850A (zh) * | 2022-11-16 | 2023-03-07 | 智慧眼科技股份有限公司 | 人脸识别模型训练方法、人脸识别方法、装置及存储介质 |
CN116389284A (zh) * | 2023-03-17 | 2023-07-04 | 南通大学 | 一种分布式量子计算中基于依赖图的传输代价优化方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247973A (zh) * | 2017-06-29 | 2017-10-13 | 中国矿业大学 | 一种基于spark的支持向量机参数优选并行粒子群寻优方法 |
CN107395704A (zh) * | 2017-07-13 | 2017-11-24 | 福州大学 | 一种Spark云计算平台下的结构物理参数辨识方法 |
CN108268638A (zh) * | 2018-01-18 | 2018-07-10 | 浙江工业大学 | 一种基于Spark框架的生成对抗网络分布式实现方法 |
CN109063308A (zh) * | 2018-07-26 | 2018-12-21 | 北京航空航天大学 | 一种基于深度量子学习的健康评估方法 |
-
2019
- 2019-02-02 CN CN201910108258.6A patent/CN109871995B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107247973A (zh) * | 2017-06-29 | 2017-10-13 | 中国矿业大学 | 一种基于spark的支持向量机参数优选并行粒子群寻优方法 |
CN107395704A (zh) * | 2017-07-13 | 2017-11-24 | 福州大学 | 一种Spark云计算平台下的结构物理参数辨识方法 |
CN108268638A (zh) * | 2018-01-18 | 2018-07-10 | 浙江工业大学 | 一种基于Spark框架的生成对抗网络分布式实现方法 |
CN109063308A (zh) * | 2018-07-26 | 2018-12-21 | 北京航空航天大学 | 一种基于深度量子学习的健康评估方法 |
Non-Patent Citations (5)
Title |
---|
CAO B ET AL: "《Spark-based parallel cooperative co-evolution particle swarm optimization algorithm》", 《IEEE INTERNATIONAL CONFERENCE ON WEB SERVICES》 * |
MARIEM MOSLAH ET AL: "《Clustering Methods for Big Data Analytics》", 31 January 2019 * |
MOHAMMAD ABU ALSHEIFH ET AL: "《Mobile Big Data Analytics Using Deep Learning and Apache Spark》", 《IEEE NETWORK》 * |
XING GUO ET AL: "《Service Composition Optimization Method Based on Parallel Particle Swarm Algorithm on Spark》", 《SECURITY AND COMMUNICATION NETWORKS》 * |
王坤峰等: "《生成式对抗网络GAN的研究进展与展望》", 《自动化学报》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674326A (zh) * | 2019-08-06 | 2020-01-10 | 厦门大学 | 一种基于多项式分布学习的神经网络结构检索方法 |
CN110610747B (zh) * | 2019-10-10 | 2023-08-18 | 桂林理工大学 | 一种基于深度学习的微型化学实验***及方法 |
CN110610747A (zh) * | 2019-10-10 | 2019-12-24 | 桂林理工大学 | 一种基于深度学习的微型化学实验***及方法 |
CN110867224A (zh) * | 2019-10-28 | 2020-03-06 | 南通大学 | 用于大规模脑病历分割的多粒度Spark超信任模糊方法 |
CN110867224B (zh) * | 2019-10-28 | 2022-02-08 | 南通大学 | 用于大规模脑病历分割的多粒度Spark超信任模糊方法 |
CN111325356A (zh) * | 2019-12-10 | 2020-06-23 | 四川大学 | 一种基于演化计算的神经网络搜索分布式训练***及训练方法 |
CN113033800A (zh) * | 2019-12-25 | 2021-06-25 | 香港理工大学深圳研究院 | 分布式深度学习方法、装置、参数服务器及主工作节点 |
CN113033800B (zh) * | 2019-12-25 | 2023-11-17 | 香港理工大学深圳研究院 | 分布式深度学习方法、装置、参数服务器及主工作节点 |
US11145356B2 (en) | 2020-02-17 | 2021-10-12 | Industrial Technology Research Institute | Computation operator in memory and operation method thereof |
CN111353582A (zh) * | 2020-02-19 | 2020-06-30 | 四川大学 | 一种基于粒子群算法的分布式深度学习参数更新方法 |
CN111629048B (zh) * | 2020-05-22 | 2023-04-07 | 浪潮电子信息产业股份有限公司 | spark集群最优配置参数确定方法、装置及设备 |
CN111629048A (zh) * | 2020-05-22 | 2020-09-04 | 浪潮电子信息产业股份有限公司 | spark集群最优配置参数确定方法、装置及设备 |
CN111612096A (zh) * | 2020-06-01 | 2020-09-01 | 南通大学 | 一种基于Spark平台的大规模眼底图像分类***训练方法 |
CN111860828A (zh) * | 2020-06-15 | 2020-10-30 | 北京仿真中心 | 一种神经网络的训练方法、存储介质和设备 |
CN111860828B (zh) * | 2020-06-15 | 2023-11-28 | 北京仿真中心 | 一种神经网络的训练方法、存储介质和设备 |
CN111814907B (zh) * | 2020-07-28 | 2024-02-09 | 南京信息工程大学 | 一种基于条件约束的量子生成对抗网络算法 |
CN111814907A (zh) * | 2020-07-28 | 2020-10-23 | 南京信息工程大学 | 一种基于条件约束的量子生成对抗网络算法 |
CN112231774A (zh) * | 2020-10-26 | 2021-01-15 | 中国人民解放军陆军工程大学 | 一种深度学习旁路分析的安全评估框架搭建方法 |
CN113762456A (zh) * | 2020-11-26 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种模型参数调节方法和*** |
CN112861332A (zh) * | 2021-01-29 | 2021-05-28 | 太原理工大学 | 一种基于图网络的集群动力学预测方法 |
CN113449459A (zh) * | 2021-04-09 | 2021-09-28 | 江西高创保安服务技术有限公司 | 一种通用的提升神经网络推理准确性和保持运算速度的分布式计算***设计方法 |
CN114819163B (zh) * | 2022-04-11 | 2023-08-08 | 本源量子计算科技(合肥)股份有限公司 | 量子生成对抗网络的训练方法、装置、介质及电子装置 |
CN114819163A (zh) * | 2022-04-11 | 2022-07-29 | 合肥本源量子计算科技有限责任公司 | 量子生成对抗网络的训练方法、装置、介质及电子装置 |
CN115761850A (zh) * | 2022-11-16 | 2023-03-07 | 智慧眼科技股份有限公司 | 人脸识别模型训练方法、人脸识别方法、装置及存储介质 |
CN115761850B (zh) * | 2022-11-16 | 2024-03-22 | 智慧眼科技股份有限公司 | 人脸识别模型训练方法、人脸识别方法、装置及存储介质 |
CN116389284B (zh) * | 2023-03-17 | 2023-11-07 | 南通大学 | 一种分布式量子计算中基于依赖图的传输代价优化方法 |
CN116389284A (zh) * | 2023-03-17 | 2023-07-04 | 南通大学 | 一种分布式量子计算中基于依赖图的传输代价优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109871995B (zh) | 2021-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109871995A (zh) | Spark框架下分布式深度学习的量子优化调参方法 | |
CN108053054B (zh) | 一种河流水质预测方法 | |
CN104408518B (zh) | 基于粒子群优化算法的神经网络学习优化方法 | |
CN110824915B (zh) | 基于ga-dbn网络的废水处理智能监控方法及*** | |
CN109214599A (zh) | 一种对复杂网络进行链路预测的方法 | |
US20190230913A1 (en) | Method of Predicting Central Fishing Ground of Flying Squid Family Ommastrephidae | |
CN110751318A (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
CN112804107A (zh) | 一种物联网设备能耗自适应控制的分层联邦学习方法 | |
CN111523728B (zh) | 一种四阶段混合短时风向预测方法 | |
CN109919356B (zh) | 一种基于bp神经网络区间需水预测方法 | |
CN109346177A (zh) | 一种基于改进ga-bp算法的疾病症状数量预测方法 | |
CN109934422A (zh) | 一种基于时间序列数据分析的神经网络风速预测方法 | |
CN111008790A (zh) | 一种水电站群发电调度规则提取方法 | |
CN113221447A (zh) | 一种基于改进遗传算法优化bp神经网络的土壤湿度预测方法 | |
Li et al. | Image Segmentation with PCNN Model and Immune Algorithm. | |
CN116992779A (zh) | 基于数字孪生模型的光伏储能***仿真方法及*** | |
CN106896724B (zh) | 用于太阳***的跟踪***及跟踪方法 | |
CN116070750A (zh) | 一种选矿日综合生产指标多目标鲁棒优化决策方法 | |
CN116088579A (zh) | 一种基于深度强化学习的无人机自适应信息路径规划方法 | |
CN109408896B (zh) | 一种污水厌氧处理产气量多元智能实时监控方法 | |
CN110765267A (zh) | 一种基于多任务学习的动态不完整数据分类方法 | |
CN110852435A (zh) | 一种基于神经进化计算模型 | |
Jin et al. | Soft sensor modeling for small data scenarios based on data enhancement and selective ensemble | |
CN110222847A (zh) | 一种机器学习方法与装置 | |
CN116646929A (zh) | 一种基于pso-cnn-bilstm的短期风电功率预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |