CN110147284B - 基于二维长短期记忆神经网络的超级计算机工作负载预测方法 - Google Patents
基于二维长短期记忆神经网络的超级计算机工作负载预测方法 Download PDFInfo
- Publication number
- CN110147284B CN110147284B CN201910442178.4A CN201910442178A CN110147284B CN 110147284 B CN110147284 B CN 110147284B CN 201910442178 A CN201910442178 A CN 201910442178A CN 110147284 B CN110147284 B CN 110147284B
- Authority
- CN
- China
- Prior art keywords
- neural network
- time
- dimensional
- hidden layer
- short term
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法。第一步,建立具有日期与时间二维时间序列特征的超级计算机工作负载xd,t模型;第二步,设计二维长短期记忆神经网络Cell结构;第三步,利用二维长短期记忆神经网络Cell结构和二维工作负载信息进行t时刻步训练;第四步,t时刻步二维LSTM神经网络预测方法预测误差计算;第五步,二维长短期记忆神经网络预测方法误差反向传播阶段中的各参数权重计算;第六步,训练完毕则转步骤七,否则则转步骤三;第七步,利用二维长短期记忆神经网络预测方法进行超级计算机工作负载预测。由于该方法针对超级计算机工作负载特性,因而能有效预测***工作负载。
Description
技术领域
本发明属于计算机软件以及大规模超级计算机资源管理技术领域,涉及一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法。
背景技术
随着社会经济和科学技术的进步,高能物理计算、核聚变模拟、航空宇宙计算、飓风预测等高计算需求与复杂应用成为高性能超级计算***发展的主要动力,推动着以我国“神威太湖之光”、“Tianhe-2”和美国“Titan”为代表的超级计算机向大规模、异构化方向发展。例如,TOP 500排名第四的“Tianhe-2”由Intel Xeon E5-2692 12C多核CPU与IntelXeon Phi MIC众核处理器构成,总计312万处理核,计算能力达33862.7TFLOP/S;排名第九的“Titan”由AMD Opteron 6274多核CPU与NVIDIATesla K20X GPU众核处理器构成,总计560640处理核,计算能力达17590TFLOP/S;“Tianhe-1A”由Xeon X5670多核CPU与NVIDIATesla C2050GPU众核处理器构成,总计186368处理核,计算能力也达2566TFLOP/S。然而,随着超级计算机规模持续扩大、计算能力不断增强、应用越来越复杂,***面临可靠性墙、能耗墙、并行墙等大量挑战性问题,导致复杂并行应用程序应用效率低下,如大规模基因组预测软件只能利用4000核进行并行计算,而无法利用超级计算机的上百万核。另外,超级计算机***可用性与能耗也是制约其应用效率的重要键性因素,如“Tianhe-2”功耗为17808KW,其耗电量相当于广州大学城5所大学的总和;“Tianhe-1A”在实际应用中其平均无故障时间仅约为7小时。
解决这些问题的有效方法是提高超级计算机的资源管理效率,对***资源进行动态管理。而超级计算机资源动态管理的核心是工作负载,高负载时需要大量资源,低负载时资源空闲量大,通过关闭这些闲置资源将节省能耗。因而如何正确预测超级计算机工作负载则成为动态管理资源的关键。然而,大多数现有工作负载预测模型,如ARIMAR、RNN、LSTM都假设所训练数据是一维时间序列特征。也就是说,超级计算***未来工作负载只与前面一维工作负载信息相关。然而,对于超级计算机,其***工作负载具有时间、日期和季节的周期性。实际上,每天工作时间***工作负载量可能大,其他时间的工作负载相对较低。各周相同时间段,工作负载具有相似处,并且工作负载可能随季节变化很大。因而,我们认为超级计算机工作负载具有日期与时间二维时间序列特征。
发明内容
本发明针对大规模超级计算机面临可靠性墙、能耗墙、并行墙等大量挑战性问题导致复杂并行应用程序应用效率低下问题,需要高效的资源管理技术。而超级计算机资源有效动态管理的关键是对未来工作负载精确预测。传统计算***工作负载预测都是基于一维时间序列,没有充分考虑超级计算机工作负载特性。
为解决上述问题,本发明所采用的技术方案为:
一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,包括如下步骤:
步骤1:基于超级计算机***处理器的总核数、用于执行任务的核数和执行任务的时间,建立具有日期与时间二维时间序列特征的超级计算机工作负载模型;
步骤2:设置包括输入门、遗忘门、输出门和存储器在内的二维长短期记忆神经网络Cell结构,神经网络包括输入层、隐含层和输出层,且神经网络前一隐含层向下一隐含层同时传递隐含层日期维计算信息hd-1,t和时间维计算信息hd,t-1,其中d表示日期、t表示时间;
步骤3:将步骤1中得到的以二维形式表达的工作负载转换为一维数据来进行训练,将训练数据输入至二维长短期记忆神经网络Cell结构的输入门、遗忘门、输出门和存储器中的实现公式为:
It=W(i)Xt+h(d-1,t)UD(i)+h(d,t-1)UH(i)
Gt=W(c)Xt+h(d-1,t)UD(c)+h(d,t-1)UH(c)
Ft=W(f)Xt+h(d-1,t)UD(f)+h(d,t-1)UH(f)
Ot=W(o)Xt+h(d-1,t)UD(o)+h(d,t-1)UH(o)
Ct=σ(It)*tanh(Gt)+σ(Ft)*Ct-1
ht=σ(Ot)*tanh(Ct)
其中,i、f、o和c分别表示输入门、遗忘门、输出门和存储器,符号It、Ft、Ot和Gt分别是输入门、遗忘门、输出门和存储器在时刻t的输出结果,并由激活函数控制;Ct是t时刻状态信息,ht是t时刻输出结果,激活函数采用sigmoid函数,其中激活函数σ为:
另一激活函数tanh为
W、UD、UH分别是输入层到隐含层权重、前一隐含层向下一隐含层传送日期hd-1,t的权重、前一隐含层向下一隐含层传送时间hd,t-1二维隐含层计算信息的权重,符号C和h分别是二维长短期记忆神经网络Cell结构状态值和隐含层计算值,最后,所有隐含层信息向输出层转化,产生预测值yt,形式表示为:
yt=σ(W(out)ht)。
步骤5:在误差反向传播阶段中进行参数权重更新,通过利用偏导数的大小来实现误差反向传播,并在每次迭代训练后确定神经网络Cell结构W、UD、UH和隐含层到输出层W(out)参数权值,其中隐含层计算值ht偏导数相对于t时刻训练误差的偏导为:
这里W(out)表示隐含层到输出层参数,则二维长短期记忆神经网络预测模型Cell结构的状态量C的偏导为
同时,上一时刻t-1的状态值Ct-1接收来自ht-1和下一隐含层状态Ct的梯度,则二维长短期记忆神经网络误差向隐含层状态Ct-1的反向传播更新为
二维LSTM神经网络输出层参数权重通过如下偏导实现计算:
其中,α是学习率,表示每次迭代训练成长的速率,则对于LSTM神经网络隐含层的输入门、遗忘门、输出门和存储器,相应参数W、UD、UH的权重值通过以下公式计算:
其中ΔW(α),ΔUD(α),ΔUH(α)中的(α)表示i、f、o或c中的一个;
步骤6:检测所有训练数据是否全部训练完毕,如果训练完毕则转步骤7,执行超级计算机工作负载预测;否则转步骤3,继续进行二维长短期记忆神经网络训练;
步骤7:利用二维长短期记忆神经网络预测方法进行超级计算机工作负载预测,其数据是前n+1天的t时刻和m+1个时间序列***工作负载。
所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,所述的步骤1中,用于执行任务的核数和执行任务的时间是分析通过超级计算机***中的管理日志文件得到的。
所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,所述的步骤1中,分析管理日志文件时,通过分析应用软件执行信息来获得实际执行核数,包括统计用户、应用程序、任务、计算核心、开始时间、完成时间和计算节点,并根据统计结果获得实际执行核数。
所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,所述的步骤1中,超级计算机工作负载为
其中,x为超级计算机工作负载,total cores表示超级计算机***总核数,execution cores表示实际执行核数,建立具有日期与时间二维时间序列特征的超级计算机工作负载模型为xd,t,其中d表示日期、t表示时间。
所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,所述的步骤3中,训练数据为:
Xt=[xd-n,t,…,xd-1,t,xd,t]Δ[xd,t-m,…,xd,t-1,xd,t]
Xt是一个具有n+m+2个输入节点,由前n+1天的t时刻和m+1个时间序列超级计算***工作负载组合而成。
附图说明
图1是基于二维长短期记忆神经网络的超级计算机工作负载预测方法流程图;
图2是超级计算机工作负载二维变化图;
图3是二维长短期记忆神经网络工作负载预测方法Cell结构图;
图4是学习率与预测方法性能实验结果图;
图5是基于二维长短期记忆神经网络的预测方法与传统LSTM工作负载预测方法实验比较图。
具体实施方式
下面结合附图和实施例对本发明所述方法进行详细说明。
本发明针对超级计算机工作负载具有日期与时间二维相关特性,提出了一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,以实现超级计算***未来工作负载的精确预测,为提高***资源管理效率提供坚实的技术基础,其流程图如图1所示。该方法与具体应用软件对超级计算***的需求无关,只通过历史数据进行预测,因而具有精度高,部署简单快捷等特点。
本发明通过下述技术方案实现:
基于二维长短期记忆神经网络的超级计算机工作负载预测方法,包括如下步骤:
步骤1:检索超级计算机***总核数(total cores)和管理日志文件,分析应用软件执行信息如用户、应用程序、任务、计算核心、开始时间、完成时间、计算节点等来获得实际执行核数(execution cores),利用下式实现超级计算机工作负载计算。
建立具有日期与时间二维时间序列特征的超级计算机工作负载xd,t模型。由于实际执行计算核数通常小于***总核数,所以该值取值范围为(0,1)。针对计算***工作负荷的二维特性,本专利将这些信息描述为d天、t时形式的二维时间序列超级计算机工作负载xd,t模型,如第4天、13时的工作负载为0.89,则x4,13=0.89。
步骤2:设计二维长短期记忆(LSTM)神经网络Cell结构,其输入门、遗忘门、输出门和存储器接收二维工作负载数据xd,t输入,前一隐含层向下一隐含层同时传递隐含层日期维计算信息hd-1,t和时间维计算信息hd,t-1;
步骤3:本专利利用二维工作负载信息来训练二维长短期记忆神经网络预测方法,其二维数据如下式所示生成,并作为输入层数据输入。
Xt=[xd-n,t,…,xd-1,t,xd,t]Δ[xd,t-m,…,xd,t-1,xd,t]
这里,Xt是一个具有n+m+2个输入节点,由前n+1天的t时刻和m+1个时间序列超级计算***工作负载组合而成。这些数据被输入到LSTM神经网络Cell结构中的输入门、遗忘门、输出门和存储器中。其具体实现公式如下:
It=W(i)Xt+h(d-1,t)UD(i)+h(d,t-1)UH(i).
Gt=W(c)Xt+h(d-1,t)UD(c)+h(d,t-1)UH(c).
Ft=W(f)Xt+h(d-1,t)UD(f)+h(d,t-1)UH(f).
Ot=W(o)Xt+h(d-1,t)UD(o)+h(d,t-1)UH(o).
Ct=σ(It)*tanh(Gt)+σ(Ft)*Ct-1.
ht=σ(Ot)*tanh(Ct).
其中,本专利使用符号I、F、O和C分别表示输入门、遗忘门、输出门和存储器。符号It、Ft、Ot和Gt是这此门在时刻t的输出结果,并由激活函数控制。本专利提出的二维LSTM中其输入、忘记和输出门的激活函数采用是标准的sigmoid函数,定义为:
另一激活函数为tanh,LSTM中参数为W、UD、UH,分别是输入层到隐含层权重、前一隐含层向下一隐含层传送日期hd-1,t和时间hd,t-1二维隐含层计算信息的权重。符号C和h分别是LSTM神经网络Cell结构状态值和隐含层计算值。最后,所有隐含层信息向输出层转化,产生预测值yt,形式表示为:
yt=σ(W(out)ht).
步骤5:误差反向传播阶段中参数权重更新。本专利利用偏导数的大小来实现误差反向传播,并在每次迭代训练后确定每个参数权值。由于隐含层计算值ht偏导数更常用于确定其他参数权重,因而本专利首先给出其相对于t时刻训练步误差的偏导:
这里ht偏导数是其他参数权重计算的基础,对二维LSTM神经网络预测模型Cell结构的状态量C,其偏导为
同时,上一时刻t-1的状态值Ct-1接收来自ht-1和下一隐含层状态Ct的梯度。因此,LSTM神经网络误差向隐含层状态Ct-1的反向传播也可更新为
二维LSTM神经网络输出层参数权重可通过如下偏导实现计算:
其中,α是学习率,表示每次迭代训练成长的速率。本专利提出的二维LSTM神经网络预测方法误差反向传播阶段的其他参数权重计算中都包括此学习率α,因而在后续的表述中不再重复引入和解释此问题。对于LSTM神经网络隐含层的输入门、遗忘门、输出门和存储器,其参数W、UD、UH的权重值可类似于如下输入门偏导计算参数方式获取:
步骤6:根据是否完成全部训练数据来判断基于二维长短期记忆神经网络的超级计算机工作负载预测方法迭代训练是否结束。如果训练完毕则转步骤7,执行超级计算机工作负载预测;否则则转步骤3、4、5,继续进行长短期记忆神经网络训练;
步骤7:利用二维长短期记忆神经网络预测方法进行超级计算机工作负载预测。其数据是前n+1天的t时刻和m+1个时间序列***工作负载。在预测时,同样将工作负载转换为一维数据作为输入。
本实施例针对超级计算机工作负载历史信息来对未来***负载进行预测。超级计算中心的工作负载是实际执行计算核数与计算资源总量的比率。总的计算资源量通常提前知道,如超级计算机中心拥有价值9000个计算核。实际执行计算核数可以通过***管理日志文件分析实现,本专利通过检索计算***应用软件执行信息,如用户、应用程序、任务、计算核心、开始时间、完成时间、计算节点等信息来获得实际执行核数,表1是这些信息的示例。
表1超级计算***应用程序执行信息
本专利依据这种方法可以获得超级计算***一定时间间隔内的实际执行核数,如1小时、30分钟和10分钟等。图2显示2017年7月7日到2017年7月24日时间段内某超级计算机实际执行核数,这里时间间隔设置为1小时。本专利分析了某超级计算机中心300天,总计7200个实际执行核数的工作负载数据。我们可以得出这样的结论:高工作负载时间发生在工作日8:00到20:00间,周末***工作负载相对较轻。实际上,每天工作时间***工作负载量可能大,其他时间的工作负载相对较低。各周相同时间段,工作负载具有相似处,并且工作负载可能随季节变化很大。因而,我们认为超级计算机工作负载具有日期与时间二维时间序列特征。在此,本专利定义***工作负载如下:
由于实际执行计算核数通常小于***总核数,所以该值取值范围为(0,1)。针对计算***工作负荷的二维特性,本专利将这些信息描述为d天、t时刻的xd,t二维时间序列。
接下来本专利将利用二维长短期记忆(LSTM)神经网络来预测未来***工作负载。本专利首先设计二维长短期记忆神经网络Cell结构,如图3所示。本专利的LSTM神经网络Cell结构中也引入了三个门:输入门、遗忘门、输出门和存储器,但与经典LSTM不同的是:本专利提出的二维LSTM每个门都以二维时间序列d天、t时刻xd,t工作负载数据作为输入,前一隐含层向下一隐含层同时传递隐含层日期维计算信息hd-1,t和时间维计算信息hd,t-1。
本发明专利提出的二维LSTM预测方法主要目标是预测超级计算机d天、t+1时刻的工作负载。本专利将利用二维工作负载信息来训练二维LSTM神经网络预测方法,其二维数据如公式(2)所示生成LSTM输入层输入数据。
Xt=[xd-n,t,…,xd-1,t,xd,t]Δ[xd,t-m,…,xd,t-1,xd,t] (2)
这里,Xt是一个具有n+m+2个输入节点,由前n+1天的t时刻和m+1个时间序列超级计算***工作负载组合而成。这些数据被输入到LSTM神经网络Cell结构中的输入门、遗忘门、输出门和存储器中。其具体实现公式如下:
It=W(i)Xt+h(d-1,t)UD(i)+h(d,t-1)UH(i). 3)
Gt=W(c)Xt+h(d-1,t)UD(c)+h(d,t-1)UH(c). (4)
Ft=W(f)Xt+h(d-1,t)UD(f)+h(d,t-1)UH(f). (5)
Ot=W(o)Xt+h(d-1,t)UD(o)+h(d,t-1)UH(o). (6)
Ct=σ(It)*tanh(Gt)+σ(Ft)*Ct-1. (7)
ht=σ(Ot)*tanh(Ct). (8)
其中,本专利使用符号I、F、O和C分别表示输入门、遗忘门、输出门和存储器。符号It、Ft、Ot和Gt是这此门在时刻t的输出结果,并由激活函数控制。本专利提出的二维LSTM中其输入、忘记和输出门的激活函数采用是标准的sigmoid函数,定义为:
另一激活函数为tanh,LSTM中参数为W、UD、UH,分别是输入层到隐含层权重、前一隐含层向下一隐含层传送日期hd-1,t和时间hd,t-1二维隐含层计算信息的权重。符号C和h分别是LSTM神经网络Cell结构状态值和隐含层计算值。最后,所有隐含层信息向输出层转化,产生预测值yt,形式表示为:
yt=σ(W(out)ht). (10)
接下来,本专利将利用这个误差确定误差反向传播阶段中每个参数权重的梯度。本专利利用偏导数的大小来实现误差反向传播,并在每次迭代训练后确定每个参数权值。由于隐含层计算值ht偏导数更常用于确定其他参数权重,因而本专利首先给出其相对于t时刻训练步误差的偏导:
这里ht偏导数是其他参数权重计算的基础,对二维LSTM神经网络预测模型Cell结构的状态量C,其偏导为
同时,上一时刻t-1的状态值Ct-1接收来自ht-1和下一隐含层状态Ct的梯度。因此,LSTM神经网络误差向隐含层状态Ct-1的反向传播也可更新为
这样,本专利提出的二维LSTM神经网络输出层参数权重可通过如下偏导实现计算:
其中,α是学习率,表示每次迭代训练成长的速率。本专利提出的二维LSTM神经网络预测方法误差反向传播阶段的其他参数权重计算中都包括此学习率α,因而在后续的表述中不再重复引入和解释此问题。对于LSTM神经网络隐含层的输入门、遗忘门、输出门和存储器,其参数W、UD、UH的权重值可依次使用如下偏导获取:
本专利实施例每次迭代训练后,都会利用上述误差反向传播方法重新计算所有参数的权重,以实现对超级计算机未来工作负载的精确预测。
性能分析及结果验证:
为了评估本发明专利提出的二维LSTM神经网络预测方法性能,本专利在一台具有8核XeonX7550的SuperMicro 8046B-TRF服务器上进行实验。用于本专利训练和评估的超过300天的超级计算机工作负载信息样本都来自实际的超级计算中心。本专利取前290天的样本用于训练二维LSTM神经网络预测方法,后10天时间序列样本数据用于评估。本专利使用性能指标均方误差(Mean square error,MSE)为损失函数来评估这预测方法的精确必性。
图4显示不同学习率α的二维长短期记忆神经网络工作负载预测方法实验结果。从图4中观察可知,随着学习率α从20增加到160,均方误差在不断减小。然而,随着学习率α的持续增加,本专利提出的预测方法性能却开始下降。因而,本发明专利认为最佳学习率α为160,在后面的对比实验中,本专利将以学习率α=160的方法进行性能比较。
图5是本专利提出的二维长短期记忆神经网络预测方法(Improved LSTM)与传统LSTM方法进行比较的实验结果,其结果将与超级计算机2018年2月11日至2018年2月20日的实际工作负载进行比较。从图5可以看出,本专利提出的二维LSTM神经网络预测方法性能优于传统LSTM。实际上,二维LSTM对实际工作负载的平均误差为6.26%,传统LSTM的平均误差为19.25%。因此,本专利发明提出的二维长短期记忆神经网络预测方法优于传统LSTM约67.5%。性能指标均方误差(MSE)也证明了这一结论,本专利发明提出的二维LSTM预测方法模型MSE是0.019,传统LSTMMSE是为0.042。本发明专利提出的二维长短期记忆神经网络预测方法在均方误差方面优于传统LSTM约54.8%。实验结果说明本发明专利提出的二维长短期记忆神经网络预测方法非常适合超级计算***工作负载预测。
Claims (5)
1.一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,包括如下步骤:
步骤1:基于超级计算机***处理器的总核数、用于执行任务的核数和执行任务的时间,建立具有日期与时间二维时间序列特征的超级计算机工作负载模型;
步骤2:设置包括输入门、遗忘门、输出门和存储器在内的二维长短期记忆神经网络Cell结构,神经网络包括输入层、隐含层和输出层,且神经网络前一隐含层向下一隐含层同时传递隐含层日期维计算信息hd-1,t和时间维计算信息hd,t-1,其中d表示日期、t表示时间;
步骤3:将步骤1中得到的以二维形式表达的工作负载转换为一维数据来进行训练,将训练数据输入至二维长短期记忆神经网络Cell结构的输入门、遗忘门、输出门和存储器中的实现公式为:
It=W(i)Xt+h(d-1,t)UD(i)+h(d,t-1)UH(i)
Gt=W(c)Xt+h(d-1,t)UD(c)+h(d,t-1)UH(c)
Ft=W(f)Xt+h(d-1,t)UD(f)+h(d,t-1)UH(f)
Ot=W(o)Xt+h(d-1,t)UD(o)+h(d,t-1)UH(o)
Ct=σ(It)*tanh(Gt)+σ(Ft)*Ct-1
ht=σ(Ot)*tanh(Ct)
其中,i、f、o和c分别表示输入门、遗忘门、输出门和存储器,符号It、Ft、Ot和Gt分别是输入门、遗忘门、输出门和存储器在时刻t的输出结果,并由激活函数控制;Ct是t时刻状态信息,ht是t时刻输出结果,激活函数采用sigmoid函数,其中激活函数σ为:
另一激活函数tanh为
W、UD、UH分别是输入层到隐含层权重、前一隐含层向下一隐含层传送日期hd-1,t的权重、前一隐含层向下一隐含层传送时间hd,t-1二维隐含层计算信息的权重,符号C和h分别是二维长短期记忆神经网络Cell结构状态值和隐含层计算值,最后,所有隐含层信息向输出层转化,产生预测值yt,形式表示为:
yt=σ(W(out)ht)
步骤5:在误差反向传播阶段中进行参数权重更新,通过利用偏导数的大小来实现误差反向传播,并在每次迭代训练后确定神经网络Cell结构W、UD、UH和隐含层到输出层W(out)参数权值,其中隐含层计算值ht偏导数相对于t时刻训练误差的偏导为:
这里W(out)表示隐含层到输出层参数,则二维长短期记忆神经网络预测模型Cell结构的状态量C的偏导为
同时,上一时刻t-1的状态值Ct-1接收来自ht-1和下一隐含层状态Ct的梯度,则二维长短期记忆神经网络误差向隐含层状态Ct-1的反向传播更新为
二维LSTM神经网络输出层参数权重通过如下偏导实现计算:
其中,α是学习率,表示每次迭代训练成长的速率,则对于LSTM神经网络隐含层的输入门、遗忘门、输出门和存储器,相应参数W、UD、UH的权重值通过以下公式计算:
其中ΔW(α),ΔUD(α),ΔUH(α)中的(α)表示i、f、o或c中的一个;
步骤6:检测所有训练数据是否全部训练完毕,如果训练完毕则转步骤7,执行超级计算机工作负载预测;否则转步骤3,继续进行二维长短期记忆神经网络训练;
步骤7:利用训练完毕的二维长短期记忆神经网络进行超级计算机工作负载预测,其数据是前n+1天的t时刻和m+1个时间序列***工作负载。
2.根据权利要求1所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,所述的步骤1中,用于执行任务的核数和执行任务的时间是分析通过超级计算机***中的管理日志文件得到的。
3.根据权利要求2所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,所述的步骤1中,分析管理日志文件时,通过分析应用软件执行信息来获得实际执行核数,包括统计用户、应用程序、任务、计算核心、开始时间、完成时间和计算节点,并根据统计结果获得实际执行核数。
5.据权利要求4所述的一种基于二维长短期记忆神经网络的超级计算机工作负载预测方法,其特征在于,所述的步骤3中,训练数据为:
Xt=[xd-n,t,…,xd-1,t,xd,t]Δ[xd,t-m,…,xd,t-1,xd,t]
Xt是一个具有n+m+2个输入节点,由前n+1天的t时刻和m+1个时间序列超级计算***工作负载组合而成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910442178.4A CN110147284B (zh) | 2019-05-24 | 2019-05-24 | 基于二维长短期记忆神经网络的超级计算机工作负载预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910442178.4A CN110147284B (zh) | 2019-05-24 | 2019-05-24 | 基于二维长短期记忆神经网络的超级计算机工作负载预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110147284A CN110147284A (zh) | 2019-08-20 |
CN110147284B true CN110147284B (zh) | 2023-03-24 |
Family
ID=67591883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910442178.4A Active CN110147284B (zh) | 2019-05-24 | 2019-05-24 | 基于二维长短期记忆神经网络的超级计算机工作负载预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110147284B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111314345B (zh) * | 2020-02-19 | 2022-09-16 | 安徽大学 | 一种保护序列数据隐私方法、装置、计算机设备及存储介质 |
CN112434785B (zh) * | 2020-10-22 | 2023-04-14 | 西安交通大学 | 一种面向超级计算机的分布式并行深度神经网络性能评测方法 |
CN112905343B (zh) * | 2021-02-09 | 2023-09-26 | 重庆大学 | 一种工业云环境下基于负载特性的资源调度*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104538028B (zh) * | 2014-12-25 | 2017-10-17 | 清华大学 | 一种基于深度长短期记忆循环神经网络的连续语音识别方法 |
US11113598B2 (en) * | 2015-06-01 | 2021-09-07 | Salesforce.Com, Inc. | Dynamic memory network |
CN108920888B (zh) * | 2018-04-26 | 2021-08-03 | 浙江工业大学 | 一种基于深度神经网络的连续搅拌釜式反应过程辨识方法 |
CN108830487A (zh) * | 2018-06-21 | 2018-11-16 | 王芊霖 | 基于长短时神经网络的电力负荷预测方法 |
-
2019
- 2019-05-24 CN CN201910442178.4A patent/CN110147284B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110147284A (zh) | 2019-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mullapudi et al. | Hydranets: Specialized dynamic architectures for efficient inference | |
CN109902801B (zh) | 一种基于变分推理贝叶斯神经网络的洪水集合预报方法 | |
CN110147284B (zh) | 基于二维长短期记忆神经网络的超级计算机工作负载预测方法 | |
CN112686464A (zh) | 短期风电功率预测方法及装置 | |
CN106372278A (zh) | 一种联合考虑输入参数不确定性和代理模型不确定性的灵敏度分析方法 | |
Zhu et al. | Coke price prediction approach based on dense GRU and opposition-based learning salp swarm algorithm | |
Hebbal et al. | Multi-fidelity modeling with different input domain definitions using deep Gaussian processes | |
Jichang et al. | Water quality prediction model based on GRU hybrid network | |
CN114119273A (zh) | 一种园区综合能源***非侵入式负荷分解方法及*** | |
CN116595356A (zh) | 时序信号预测方法、装置、电子设备及存储介质 | |
Jarvenpaa et al. | Batch simulations and uncertainty quantification in Gaussian process surrogate approximate Bayesian computation | |
Wang et al. | A novel two-step job runtime estimation method based on input parameters in HPC system | |
Shu et al. | Resource demand prediction of cloud workloads using an attention-based GRU model | |
Anh et al. | Effect of gradient descent optimizers and dropout technique on deep learning LSTM performance in rainfall-runoff modeling | |
Wen et al. | MapReduce-based BP neural network classification of aquaculture water quality | |
CN111695260B (zh) | 一种材料性能预测方法及*** | |
Zhang et al. | A hierarchical multivariate denoising diffusion model | |
Liu et al. | Ace-Sniper: Cloud-Edge Collaborative Scheduling Framework With DNN Inference Latency Modeling on Heterogeneous Devices | |
Liu et al. | An intelligence optimized rolling grey forecasting model fitting to small economic dataset | |
Liu et al. | A FPGA-based Hardware Accelerator for Bayesian Confidence Propagation Neural Network | |
Wang et al. | An attention mechanism based deep nonlinear ensemble paradigm of strengthened feature extraction method for wind power prediction | |
CN112767128A (zh) | 权重确定模型训练方法、风险预测方法及装置 | |
Song et al. | Hardware-aware neural architecture search for stochastic computing-based neural networks on tiny devices | |
Liu et al. | Prediction of Biochemical Oxygen Demand Based on VIP-PSO-Elman Model in Wastewater Treatment | |
Ravikumar et al. | Circumventing Stragglers and Staleness in Distributed CNN using LSTM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |