CN113505879B - 一种基于多注意力特征记忆模型的预测方法和装置 - Google Patents
一种基于多注意力特征记忆模型的预测方法和装置 Download PDFInfo
- Publication number
- CN113505879B CN113505879B CN202110782631.3A CN202110782631A CN113505879B CN 113505879 B CN113505879 B CN 113505879B CN 202110782631 A CN202110782631 A CN 202110782631A CN 113505879 B CN113505879 B CN 113505879B
- Authority
- CN
- China
- Prior art keywords
- data
- pod
- model
- utilization rate
- resource utilization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000000605 extraction Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013383 initial experiment Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于多注意力特征记忆模型的预测和装置。其中,所述方法包括:实时的获取Pod运行时的资源利用率数据;将一定时间内获取的所述Pod运行时的资源利用率数据输入多注意力特征记忆模型进行训练,以获取用于Pod资源利用率预测的训练模型;将当前时刻获取的Pod运行时的资源利用率数据输入所述训练模型进行推理,以得到所述Pod的资源预测利用率。本发明通过实时获取Pod运行时的资源利用率数据,并基于多注意力特征记忆模型对Pod的资源使用情况进行预测,提高了资源使用情况预测的准确性和效率。
Description
技术领域
本发明实施例涉及深度学习应用技术领域,尤其涉及一种基于多注意力特征记忆模型的预测方法和装置。
背景技术
Kubernetes是一个非常流行的容器编排工具,它以先进的设计理念受到业界的关注,并被广泛应用于实际的生产环境中,Kubernetes一个重要的工作就是选择合适的节点(node)来运行pod(Kubernetes中创建和部署的最小单位,是一个运行实例),整个集群的负载由集群中各个节点的资源利用率决定,而各个节点的利用率与节点上运行的pod息息相关。
通常情况下,针对资源需求偏差较大的计算任务在使用Kubernetes默认调度算法进行调度时,集群会出现服务器偏载现象。
目前学术界,针对Kubernetes在预测方法提出了许多方法,包括通过基于ARIMA和RBF组合的神经网络预测模型来预测未来一段时间的资源使用情况,但是该模型属于时间系列的预测方法,该方法会随着预测周期变长准确率将持续降低。
发明内容
本发明提供一种基于多注意力特征记忆模型的预测方法和装置,以提高Kubernetes集群中Pod的资源利用率的预测准确度和效率。
第一方面,本发明实施例提供了一种基于多注意力特征记忆模型的预测方法,应用于Kubernetes集群中,包括:
实时的获取Pod运行时的资源利用率数据;
将一定时间内获取的所述Pod运行时的资源利用率数据输入多注意力特征记忆模型进行训练,以获取用于Pod资源利用率预测的训练模型;
将当前时刻获取的Pod运行时的资源利用率数据输入所述训练模型进行推理,以得到所述Pod的资源预测利用率。
第二方面,本发明实施例还提供了一种基于多注意力特征记忆模型的预测装置,配置于Kubernetes集群中,包括:获取模块,用于实时的获取Pod运行时的资源利用率数据;
训练模块,用于将一定时间内获取的所述Pod运行时的资源利用率数据输入多注意力特征记忆模型进行训练,以获取用于Pod资源利用率预测的训练模型;
预测模块,用于将当前时刻获取的Pod运行时的资源利用率数据输入所述训练模型进行推理,以得到所述Pod的资源预测利用率。
本发明通过实时获取Pod运行时的资源利用率数据,并基于多注意力特征记忆模型对Pod的资源使用情况进行预测,提高了资源使用情况预测的准确性和效率。
附图说明
图1为本发明实施例一提供的基于多注意力特征记忆模型的预测方法的流程图;
图2为本发明实施例一提供的基于多注意力特征记忆模型结构图;
图3为本发明实施例一中的CPU和内存的使用情况;
图4为本发明实施例一中BiLSTM的工作逻辑图;
图5为本发明实施例一中基于多注意力特征记忆模型的工作原理图;
图6为本发明实施例二中的M-ACM模型和原始的LSTM模型的训练时长对比图;
图7为本发明实施例二中的M-ACM模型和原始的LSTM模型的精度性能对比图(数据标准化前);
图8为本发明实施例二中的M-ACM模型和原始的LSTM模型的推理时间对比图(数据标准化前);
图9为本发明实施例二中的M-ACM模型和原始的LSTM模型的训练时长对比图(数据标准化后);
图10为本发明实施例二中的M-ACM模型和原始的LSTM模型的精度性能对比图(数据标准化后);
图11为本发明实施例二中的M-ACM模型和原始的LSTM模型的推理时间对比图(数据标准化后);
图12为本发明实施例三提供的一种基于多注意力特征记忆模型的预测装置结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的基于多注意力特征记忆模型的预测方法的流程图,应用于Kubernetes集群中,本实施例可适用于在选择节点来运行Pod时,对当前调度Pod进行资源使用情况进行预测,从而为当前调度的Pod选择最优的调度节点。该方法可以由基于多注意力特征记忆模型的预测装置来执行,具体包括如下步骤:
S110、实时的获取Pod运行时的资源利用率数据。
其中,Pod运行的资源利用率数据包括CPU的利用率和内存的利用率。
具体的,本实施例通过Prometheus提供的PromQL表达式来实时地获取Pod运行时的资源利用率数据。
可选的,本实施例使用过去30分钟的数据来预测未来10分钟当前调度Pod资源利用率,可以将Prometheus的数据采集间隙设置为10秒来获取过去30分钟内当点调度Pod的资源利用率数据,即30分钟内一共要需要连续此采集180次。
其中,Pod的CPU利用率可以用公式Ucpu=Ucpu-10s/Ucpu-time计算得到,其中,Ucpu-10s代表10秒内当前调度Pod使用CPU的时间,Ucpu-time代表CPU的总时间。
Pod的内存的利用率可以用公式Umemory=Umemory_used/Umemory_all计算得到,其中,Umemory-used为当前调度Pod使用内存的时间,Umemory-all为内存的总时间。
进一步的,在实时的获取Pod运行时集群中容器的资源利用率数据之后,还包括:
将所述CPU的利用率和内存的利用率作为单个二维样本写在一行,以生成二维数据;基于最大最小标准化方法,对所述二维数据进行标准化。具体的,基于从Prometheus读取到的资源使用率数据,以步长为3来生成180*2:60*2的训练或推理数据,标准化后的数据能够提高模型训练的收敛速度。
对于训练数据只需设置固定时间来清空样本数据就可以实现定期地自动重训,对于推理样本,只保持最新的180个样本,如果Pod因为某些异常停止运行,数据也会终止采集,那么文件中保留的就是Pod运行时最后产生CPU和内存的使用情况。
S120、将一定时间内获取的所述Pod运行时的资源利用率数据输入多注意力特征记忆模型进行训练,以获取用于Pod资源利用率预测的训练模型。
其中,所述多注意力特征记忆模型(Multi-Attentional CharacteristicMemory,M-ACM)是基于RNN进行优化后得到一种模型,具体参见图2,M-ACM模型包括三个工作单元,每个工作单元中使用了添加注意力机制的双向LSTM结构,并通过添加全连接层进行数据输出。
进一步参见图3,图3为Pod工作时CPU和内存的使用情况,针对这类对称的数据特征,为了能够更好的采集数据中的反向数据,使用M-ACM模型中的双向LSTM能够同时学习数据的正向和反向特征,在一定程度上提高模型预测的准确度。进一步的,上述M-ACM模型的工作流程如下:
(1)在进行数据输入时,当前训练样本将会被分成三份,同时送入到三个工作单元中。
(2)输入数据首先经过Attention层,经过数据特征增强之后,送入到特征提取工作单元中,特征提取工作单元由两个双向LSTM网络单元组成。
(3)在经过特征提取之后,三组工作单元产生各自的隐藏状态权重矩阵,将经过三个权重矩阵进行矩阵乘法计算后级联组合来完成整个训练数据集的特征学习。
(4)在经过注意力单元和双向LSTM单元计算后产生的结果矩阵需要变换为符合输出数据规格的矩阵,本模型中通过加入线性变换全连接层将输出结果变换成指定的输出格式。
本实施例提供的M-ACM模型中使用自注意力机制作为特征处理单元,后续的特征遗忘由BiLSTM单元来负责。通过使用序列本身来进行特征的自我学***稳数据中的特征较少,如果这种平稳数据占据较高的数据比例,使用注意力机制可以将那些基本稳定的次要数据特征进行削弱,对于那些数值变化较多的数据片段,包含的特征也较多,在进行注意力运算时,这种相异变化会被进行一定程度的放大,所以在使用注意力机制中进行数据特征增强后,一方面可以提高后续模型的收敛速度,同时也可以减少无用特征对模型的影响。
本实施例中,使用BiLSTM来同时处理输入数据的正向特征和反向特征,作为数据经过注意力机制进行特征提取后的数据处理单元,其中BiLSTM的工作逻辑如图4所示。其中YFN代表正向特征的学习结果,YBN代表反向特征的学习结果。
在完成数据标准化和样本生成后,将数据送入模型进行训练,在进行模型训练完成后,将训练后的模型状态文件保存在指定位置。
S130、将当前时刻获取的Pod运行时的资源利用率数据输入所述训练模型进行推理,以得到所述Pod的资源预测利用率。
进一步参见图5,图5为M-ACM模型的工作原理图。在进行数据推理时,需要获取Prometheus拿到的Pod最新资源使用情况,数据的解析和清洗和模型训练时相同。在将数据送入模型进行推理后,将推理结果保存在本地文件中,通过指定的IP地址加上指定端口向外发送,这部分是通过Prometheus提供的Client库来实现的。
对于不同的Pod,一般提供同一服务或者相同模块的Pod名称前缀相同,不同的是为了区别不同副本或者微组件而生成的后缀随机数,一般是使用短线符号进行连接,在保存Pod名称时只需要将这部分后缀过滤掉,在后期进行Pod运行数据查找时,同样是根据需要创建pod_name的前缀部分。
本实施例提供的技术方案,通过基于多注意力特征记忆模型对Pod的资源使用情况进行预测,在模型训练和推理过程中,使用注意力机制中进行数据特征增强,能够提高后续模型的收敛速度,此外对称的资源利用率数据,使用BiLSTM来同时处理输入数据的正向特征和反向特征,能够预测的精确度。
实施例二
本发明实施例二提供了多注意力特征记忆模型的实验验证结果,具体包括以下内容:
1、实验环境
本实施例中使用单节点GPU服务器,服务器配置如下表:
2、数据选取的评价指标介绍
1)数据集选取
本发明实施例提出的模型针对分布式集群中的资源使用量的特征分散型数据,所以使用从集群中实时采集到的数据来对模型进行训练。在实验室机房的服务器上编写数据采集脚本,将以10秒为采集间隔,实时地采集CPU和内存使用率,服务器上运行的任务有深度学习类型的计算任务,数据库读写任务、功耗管理组件任务等,数据特征较为分散,数据的连续采样点为55000个,其中以步长为3,每180长度的连续采样数据作为一个训练样本,并将与训练样本连续的80个采样数据作为标签样本,最后得到18000左右个训练样本。其中的验证集使用在同一节点上采集的数据,数据样本数量为7700个左右。对于测试集,使用另一台GPU服务器上的采集数据,下面的模型性能测试都是基于此数据集完成的。
2)评价指标
正确性:本发明实施例提出的M-ACM模型主要用于集群服务器的CPU和内存利用率预测,模型的效果验证时使用10%阈值正确率作为模型预测正确性衡量指标,将预测序列分别和标签序列中的每个元素进行比较,如果误差在10%以内,则视为正确,反之则错误,最后记录正确元素个数占总预测元素的百分比,作为最后的模型正确率。
速度:对于模型的速度,使用训练时间、推理时间作为衡量标准。
3、M-ACM和LSTM模型性能对比
使用LSTM模型作为本发明实施例提出的M-ACM模型性能提升效果验证的基准模型,使用相同的数据样本,保持相同的数据前处理方法和数据输入的Batch_size,下面分别从训练时间和模型正确性两方面验证模型的性能。
1)训练时间
首先编写脚本程序对一个计算任务相对较多的服务器进行CPU和内存使用率数据进行采集,本发明实施例中规定使用30分钟的数据来推理未来10分钟内的资源使用情况。在进行数据采集时,采集间隔为10秒钟,所以在数据输入时,将一个长度为180的二维连续序列作为输入样本,通过模型推理产生一个长度为60的连续序列,作为模型的预测结果,其中图6展示了提出的模型和原始的LSTM模型的训练时长对比。实验中使用55000左右个连续采集的CPU和内存使用率二维样本作为初始数据集,然后在数据预处理时将数据按照180:60划分训练集和标签,其中采样步长为3,为了充分对比训练时间方向上的提升,分别记录了使用相同采样数据迭代训练了1、100、300、500、700、1000次时的模型训练时长,其中由初始样本生成的实际样本数量为10100个左右,通过计算,发现同等数据量下,原始LSTM模型每迭代100次的平均训练时长为9.2个小时,而本发明实施例中提出的M-ACM模型的平均训练时间为6.6个小时,训练时间缩短了28.2%左右。
在实验验证过程中,保持相同的学习率、batch_size和数据规格,从实验数据可以得到,提出的模型能够减少28.2%的训练时间,这对RNN这种参数依赖网络是相当重要的。
2)正确性
为了减少数据处理的复杂程度,在初始实验时没有进行样本的标准化处理,造成了数据收敛较慢,精度相对较低。图7展示了的时序预测模型和原始模型的精度性能对比,训练数据样本为10100个左右。使用从Kubernetes集群服务器采集的CPU和内存使用数据中,使用180个连续时间序列数据预测接下来的60个连续的时间序列数据,所以一个训练样本数据规模为(180,2),一个验证样本数据规模为(60,2),从图7中可以看到,在迭代训练300次左右,可以得到模型的最佳精度。本实施例中的数据集是CPU和内存的使用率,本实施例中规定,CPU和内存使用率的预测值和真实值之间的误差都在10%以内,就认为预测正确,否则就认为预测错误,并以10%为阈值计算总体的正确率。对于原始模型,最高精度只能到31%左右,本发明实施例提出的M-ACM模型精度在最高点可以达到45%左右,相对于原始的LSTM模型,精度可以提升14%左右。
图7展示了分别使用迭代训练1、100、300、500、700次后的原始LSTM模型和M-ACM模型推理3150个样本所花费的时间,从图8中可以看到推理时间并没有由于注意力机制的特征操作提取而增加,并且还有所下降,这证明了本实施例中中使用的数据融合操作在速度提升方面上是有效的。
从图8中可以看到,模型在迭代训练300次左右可以获得最好的性能,并且本实施例中提出的模型在最好性能时,要比原始LSTM最好性能模型准确度高15%左右。但是起初为了尽量减少数据预处理的过程,直接使用原始数据对模型进行训练。由于模型收敛较慢,考虑先将数据进行标准化之后再对模型进行训练。
图9展示了使用标准化之后的数据输入到模型后的性能表现,经过计算,LSTM模型迭代训练100次所用的平均时间为8.7小时(h),M-ACM模型迭代训练100次所用的平均时间为6.3小时(h)性能提升了27.5%左右。
图10展示了进行数据归一化之后的模型精度表现,可以看到在迭代训练100次左右模型就可以达到最佳精度,在模型最佳点时,原始的LSTM模型的精度达到最高精度35%,本发明实施例提出的M-ACM模型精度最高可以达到62%,相比于原始LSTM模型,提升了27%左右,其中图11记录了LSTM模型和M-ACM模型推理3150个样本的推理时间,LSTM模型的平均推理时间大约为36.3秒,M-ACM模型推理时间大约为35.6秒,可以看到提出的M-ACM模型并不会因为注意力机制进行特征提取而降低模型的速度性能。
实施例三
图12为本发明实施例三提供的一种基于多注意力特征记忆模型的预测装置结构示意图,其特征在于,所述装置包括:
获取模块210,用于实时的获取Pod运行时的资源利用率数据;
训练模块220,用于将一定时间内获取的所述Pod运行时的资源利用率数据输入多注意力特征记忆模型进行训练,以获取用于Pod资源利用率预测的训练模型;
预测模块230,用于将当前时刻获取的Pod运行时的资源利用率数据输入所述训练模型进行推理,以得到所述Pod的资源预测利用率。
其中,所述多注意力特征记忆模型包括三个工作单元,每个工作单元中使用了添加注意力机制的双向LSTM结构,并通过添加全连接层进行数据输出。
所述多注意力特征记忆模型的工作流程包括:
在进行数据输入时,当前的训练样本会被分为三分并同时送入到三组工作单元中;
输入的数据首先经过Attention层,经过数据特征增强之后,送入到特征提取工作单元中,其中,所述特征提取工作单元由两个双向LSTM网络单元组成;
在经过特征提取之后,三组工作单元产生各自的隐藏状态权重矩阵,将经过三个权重矩阵进行矩阵乘法计算后级联组合来完成整个训练数据集的特征学习;
通过设置在模型中的线性变换全连接层将特征学习的输出结果按照指定的输出格式进行输出。
可选的,所述获取模块210具体用于:通过Prometheus提供的PromQL表达式来实时地获取Pod运行时的资源利用率数据。
进一步的,所述装置还包括数据处理模型,具体用于将所述CPU的利用率和内存的利用率作为单个二维样本写在一行,以生成二维数据;
基于最大最小标准化方法,对所述二维数据进行标准化。
本发明实施例所提供的基于多注意力特征记忆模型的预测装置可执行本发明任意实施例所提供的基于多注意力特征记忆模型的预测方法,具备执行方法相应的功能模块和有益效果,不再进行赘述。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (5)
1.一种基于多注意力特征记忆模型的预测方法,其特征在于,应用于Kubernetes集群中,包括:
实时的获取Pod运行时的资源利用率数据;
将一定时间内获取的所述Pod运行时的资源利用率数据输入多注意力特征记忆模型进行训练,以获取用于Pod资源利用率预测的训练模型; 所述多注意力特征记忆模型的工作流程包括:
在进行数据输入时,当前的训练样本会被分为三分并同时送入到三组工作单元中;
输入的数据首先经过Attention层,经过数据特征增强之后,送入到特征提取工作单元中,其中,所述特征提取工作单元由两个双向LSTM网络单元组成;
在经过特征提取之后,三组工作单元产生各自的隐藏状态权重矩阵,将经过三个权重矩阵进行矩阵乘法计算后级联组合来完成整个训练数据集的特征学习;
通过设置在模型中的线性变换全连接层将特征学习的输出结果按照指定的输出格式进行输出;
将当前时刻获取的Pod运行时的资源利用率数据输入所述训练模型进行推理,以得到所述Pod的资源预测利用率。
2.根据权利要求1所述的方法,其特征在于,所述多注意力特征记忆模型包括三个工作单元,每个工作单元中使用了添加注意力机制的双向LSTM结构,并通过添加全连接层进行数据输出。
3.根据权利要求1所述的方法,其特征在于,实时的获取Pod运行时的资源利用率数据,包括:
通过Prometheus提供的PromQL表达式来实时地获取Pod运行时的资源利用率数据。
4.根据权利要求1所述的方法,其特征在于,所述Pod运行的资源利用率数据包括CPU的利用率和内存的利用率,相应的,在实时的获取Pod运行时集群中容器的资源利用率数据之后,还包括:
将所述CPU的利用率和内存的利用率作为单个二维样本写在一行,以生成二维数据;
基于最大最小标准化方法,对所述二维数据进行标准化。
5.一种基于多注意力特征记忆模型的预测装置,其特征在于,配置于Kubernetes集群中,包括:获取模块,用于实时的获取Pod运行时的资源利用率数据;
训练模块,用于将一定时间内获取的所述Pod运行时的资源利用率数据输入多注意力特征记忆模型进行训练,以获取用于Pod资源利用率预测的训练模型;所述多注意力特征记忆模型的工作流程包括:
在进行数据输入时,当前的训练样本会被分为三分并同时送入到三组工作单元中;
输入的数据首先经过Attention层,经过数据特征增强之后,送入到特征提取工作单元中,其中,所述特征提取工作单元由两个双向LSTM网络单元组成;
在经过特征提取之后,三组工作单元产生各自的隐藏状态权重矩阵,将经过三个权重矩阵进行矩阵乘法计算后级联组合来完成整个训练数据集的特征学习;
通过设置在模型中的线性变换全连接层将特征学习的输出结果按照指定的输出格式进行输出;
预测模块,用于将当前时刻获取的Pod运行时的资源利用率数据输入所述训练模型进行推理,以得到所述Pod的资源预测利用率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110782631.3A CN113505879B (zh) | 2021-07-12 | 2021-07-12 | 一种基于多注意力特征记忆模型的预测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110782631.3A CN113505879B (zh) | 2021-07-12 | 2021-07-12 | 一种基于多注意力特征记忆模型的预测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113505879A CN113505879A (zh) | 2021-10-15 |
CN113505879B true CN113505879B (zh) | 2024-02-02 |
Family
ID=78012247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110782631.3A Active CN113505879B (zh) | 2021-07-12 | 2021-07-12 | 一种基于多注意力特征记忆模型的预测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113505879B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115118602B (zh) * | 2022-06-21 | 2024-05-07 | 中船重工信息科技有限公司 | 一种基于使用量预测的容器资源动态调度方法及*** |
CN117768469B (zh) * | 2024-02-22 | 2024-06-07 | 广州宇中网络科技有限公司 | 一种基于大数据的云服务管理方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110445646A (zh) * | 2019-07-30 | 2019-11-12 | 广东工业大学 | 一种基于注意力机制和流量预测模型的资源预留方法 |
WO2020206705A1 (zh) * | 2019-04-10 | 2020-10-15 | 山东科技大学 | 一种基于集群节点负载状态预测的作业调度方法 |
CN113033780A (zh) * | 2021-03-24 | 2021-06-25 | 西北大学 | 一种基于双层注意力机制的云平台资源预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200380351A1 (en) * | 2019-05-28 | 2020-12-03 | Sap Se | Automated Scaling Of Resources Based On Long Short-Term Memory Recurrent Neural Networks And Attention Mechanisms |
-
2021
- 2021-07-12 CN CN202110782631.3A patent/CN113505879B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020206705A1 (zh) * | 2019-04-10 | 2020-10-15 | 山东科技大学 | 一种基于集群节点负载状态预测的作业调度方法 |
CN110445646A (zh) * | 2019-07-30 | 2019-11-12 | 广东工业大学 | 一种基于注意力机制和流量预测模型的资源预留方法 |
CN113033780A (zh) * | 2021-03-24 | 2021-06-25 | 西北大学 | 一种基于双层注意力机制的云平台资源预测方法 |
Non-Patent Citations (2)
Title |
---|
谭宇宁 ; 党伟超 ; 潘理虎 ; 白尚旺 ; .基于SATLSTM的Web***老化趋势预测.计算机应用与软件.2020,(04),全文. * |
黄巨涛 ; 郑杰生 ; 高尚 ; 刘文彬 ; 林嘉鑫 ; 董召杰 ; 王尧 ; .基于云平台的人工智能开源开发平台框架研究.自动化与仪器仪表.2020,(07),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113505879A (zh) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wu et al. | Data-driven remaining useful life prediction via multiple sensor signals and deep long short-term memory neural network | |
CN113505879B (zh) | 一种基于多注意力特征记忆模型的预测方法和装置 | |
Yang et al. | Multi-step-ahead host load prediction using autoencoder and echo state networks in cloud computing | |
JP6875179B2 (ja) | システム分析装置、及びシステム分析方法 | |
CN107707431A (zh) | 一种面向云平台的数据安全监测方法及*** | |
CN115186904A (zh) | 基于Transformer的工业设备故障预测方法及装置 | |
CN111325416A (zh) | 预测叫车平台的用户流失的方法和装置 | |
CN107908536B (zh) | Cpu-gpu异构环境中对gpu应用的性能评估方法及*** | |
CN112116198B (zh) | 数据驱动的流程工业状态感知网络关键节点筛选方法 | |
Liu et al. | Predicting of job failure in compute cloud based on online extreme learning machine: a comparative study | |
CN111325310A (zh) | 一种数据预测方法、装置及存储介质 | |
CN117175588B (zh) | 基于时空相关性的用电负荷预测方法及装置 | |
CN112486687A (zh) | 一种基于多任务学***台工作负载预测方法 | |
CN110956278A (zh) | 重新训练机器学习模型的方法和*** | |
CN112508278A (zh) | 一种基于证据回归多模型的多联供***负荷预测方法 | |
CN117220283A (zh) | 一种光伏发电功率预测方法、装置和设备 | |
CN108897608B (zh) | 一种数据驱动可扩展的智能通用任务调度*** | |
JP2020181318A (ja) | 最適化装置、最適化方法、及びプログラム | |
CN112783740B (zh) | 一种基于时间序列特征的服务器性能预测方法及*** | |
CN109978038B (zh) | 一种集群异常判定方法及装置 | |
CN117667606B (zh) | 基于用户行为的高性能计算集群能耗预测方法及*** | |
Lei et al. | Application of distributed machine learning model in fault diagnosis of air preheater | |
CN111858225A (zh) | 延时预测方法、装置、设备及计算机存储介质 | |
Jing et al. | CBLA_PM: an improved ann-based power consumption prediction algorithm for multi-type jobs on heterogeneous computing server | |
Tang et al. | Hunting Killer Tasks for Cloud System through Machine Learning: A Google Cluster Case Study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |