CN114398228A - 一种设备资源使用情况的预测方法、装置及电子设备 - Google Patents
一种设备资源使用情况的预测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114398228A CN114398228A CN202111637154.8A CN202111637154A CN114398228A CN 114398228 A CN114398228 A CN 114398228A CN 202111637154 A CN202111637154 A CN 202111637154A CN 114398228 A CN114398228 A CN 114398228A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring data
- resource
- monitoring
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012544 monitoring process Methods 0.000 claims abstract description 302
- 238000012545 processing Methods 0.000 claims description 74
- 238000012549 training Methods 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012417 linear regression Methods 0.000 claims description 9
- 238000013506 data mapping Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 238000011084 recovery Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了一种设备资源使用情况的预测方法、装置及电子设备,上述方法包括:获取第一目标时间段内目标设备的监控数据,将监控数据输入预先训练的指标预测模型,以使指标预测模型,将监控数据中待预测资源的监控指标数据和各个关联资源的监控指标数据分别映射为二维图像,基于二维图像,预测待预测资源在第二目标时间段内的使用情况,并输出使用情况,获得指标预测模型输出的使用情况,作为预测结果。采用该方法提高了待预测资源的使用情况的预测准确率,并且,指标预测模型仅有很少的参数需要调整,可以实现在不同指标预测场景下的广泛应用。
Description
技术领域
本发明IT运维技术领域,特别是涉及一种设备资源使用情况的预测方法、装置及电子设备。
背景技术
为了评估服务器等设备的性能,通常需要对CPU、内存、磁盘和java进程堆内存等对象的占用率、使用率和IO等监控指标进行预测。目前常采用时间序列分析并通过自建模型的方式对CPU和内存等对象的各个监控指标进行预测。
然而,这种方式广泛存在监控指标的特征提取不够充分、监控指标预测能力不强以及不具备通用性的问题。例如,这种方式需要在特定的硬件环境、操作***甚至软件场景下,才能对个别监控指标实现有实用价值的预测,而转换至其他场景则预测效能急剧下降。并且,这种采用时间序列分析并通过自建模型的方式直接将时间序列数据编码为二维矩阵的形式进行模型的学习,难以体现多变量在高维空间下的特征,导致学习得到的模型预测准确度较低。
发明内容
本发明实施例的目的在于提供一种设备资源使用情况的预测方法、装置及电子设备,以提高预测资源的使用情况的预测准确率。
第一方面,本发明实施例提供了一种设备资源使用情况的预测方法,包括:
获取第一目标时间段内目标设备的监控数据,其中,所述监控数据包括所述目标设备的待预测资源的监控指标数据和所述待预测资源的至少一个关联资源的监控指标数据;
将所述监控数据输入预先训练的指标预测模型,以使所述指标预测模型,将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,并输出所述使用情况,其中,所述指标预测模型为基于样本监控数据及其对应的标签预先训练得到的;
获得所述指标预测模型输出的所述使用情况,作为预测结果。
可选的,所述将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,包括:
对所述监控数据进行归一化处理,得到归一化处理后的监控数据;
对归一化处理后的监控数据进行离散化处理,得到离散化处理后的监控数据;
将离散化处理后的监控数据映射到高维欧式空间,其中,所述监控数据中所述待预测资源和各个所述关联资源分别对应所述高维欧式空间中的一个维度,所述高维欧式空间为维度数与第一预设数量一致的立方体空间,所述第一预设数量为所述待预测资源和各个所述关联资源的数量之和;
使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像,其中,任意两个超立方体卷积滤波器为卷积核不同且维度数为所述第一预设数量的卷积滤波器。
可选的,所述对归一化处理后的监控数据进行离散化处理,得到离散化处理后的监控数据,包括:
针对归一化处理后的监控数据中的每个数据,将该数据所属资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值,得到离散化处理后的监控数据,其中,所述待预测资源和各个所述关联资源分别对应的各个坐标轴均等分为第二预设数量个区间,每个区间的两端的值为该区间所在坐标轴的坐标刻度值。
可选的,所述将离散化处理后的监控数据映射到高维欧式空间,包括:
采用如下公式将离散化处理后的监控数据映射到高维欧式空间:
其中,F1(p)为将离散化处理后的监控数据映射到高维欧式空间后所得到的各个坐标点,P”m为离散化处理后的监控数据,p为高维欧式空间中的坐标点,k为第一预设数量,||p||k为p的k阶范数。
可选的,所述使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像,包括:
使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理;
使用预设填充像素对卷积处理后得到的通道数为所述第一预设数量的二维图像进行填充,以使所得到的二维图像的各个通道的尺寸一致,其中,所述二维图像的尺寸为S,S=r((γ+1)/Convstep)2,r为所述二维图像的通道数,γ为所述第二预设数量,γ+1为所述二维图像的边长,Convstep为卷积操作的步长。
可选的,所述基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,包括:
提取所述二维图像的图像特征;
基于所述图像特征进行线性回归分析,得到所述待预测资源在第二目标时间段内的使用情况。
可选的,所述指标预测模型的训练方式,包括:
获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签,其中,所述样本监控数据包括第一预设时间段内多个样本资源的监控指标数据,所述多个样本资源中包括所述指定资源;
将所述样本监控数据输入待训练的指标预测模型,以使待训练的指标预测模型,将所述样本监控数据中各个所述样本资源的监控指标数据分别映射为样本二维图像,基于所述样本二维图像,预测所述指定资源在第二预设时间段内的预测使用情况,并输出所述预测使用情况;
基于所述标签和所述预测使用情况,计算待训练的指标预测模型的损失值;
判断所述损失值是否小于预设损失阈值,若是,则确定待训练的指标预测模型训练完成,得到所述指标预测模型;若否,则更新待训练的指标预测模型的参数,并返回执行所述获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签的步骤。
第二方面,本发明实施例提供了一种设备资源使用情况的预测装置,包括:
数据获取模块,用于获取第一目标时间段内目标设备的监控数据,其中,所述监控数据包括所述目标设备的待预测资源的监控指标数据和所述待预测资源的至少一个关联资源的监控指标数据;
情况预测模块,用于将所述监控数据输入预先训练的指标预测模型,以使所述指标预测模型,将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,并输出所述使用情况,其中,所述指标预测模型为基于样本监控数据及其对应的标签预先训练得到的;
结果获得模块,用于获得所述指标预测模型输出的所述使用情况,作为预测结果。
可选的,所述情况预测模块,包括:
归一化子模块,用于对所述监控数据进行归一化处理,得到归一化处理后的监控数据;
离散处理子模块,用于对归一化处理后的监控数据进行离散化处理,得到离散化处理后的监控数据;
数据映射子模块,用于将离散化处理后的监控数据映射到高维欧式空间,其中,所述监控数据中所述待预测资源和各个所述关联资源分别对应所述高维欧式空间中的一个维度,所述高维欧式空间为维度数与第一预设数量一致的立方体空间,所述第一预设数量为所述待预测资源和各个所述关联资源的数量之和;
卷积子模块,用于使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像,其中,任意两个超立方体卷积滤波器为卷积核不同且维度数为所述第一预设数量的卷积滤波器。
可选的,所述离散处理子模块,具体用于针对归一化处理后的监控数据中的每个数据,将该数据所属资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值,得到离散化处理后的监控数据,其中,所述待预测资源和各个所述关联资源分别对应的各个坐标轴均等分为第二预设数量个区间,每个区间的两端的值为该区间所在坐标轴的坐标刻度值。
可选的,所述数据映射子模块,具体用于采用如下公式将离散化处理后的监控数据映射到高维欧式空间:
其中,F1(p)为将离散化处理后的监控数据映射到高维欧式空间后所得到的各个坐标点,P”m为离散化处理后的监控数据,p为高维欧式空间中的坐标点,k为第一预设数量,||p||k为p的k阶范数。
可选的,所述卷积子模块,具体用于使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理;使用预设填充像素对卷积处理后得到的通道数为所述第一预设数量的二维图像进行填充,以使所得到的二维图像的各个通道的尺寸一致,其中,所述二维图像的尺寸为S,S=r((γ+1)/Convstep)2,r为所述二维图像的通道数,γ为所述第二预设数量,γ+1为所述二维图像的边长,Convstep为卷积操作的步长。
可选的,所述情况预测模块,具体用于提取所述二维图像的图像特征;基于所述图像特征进行线性回归分析,得到所述待预测资源在第二目标时间段内的使用情况。
可选的,所述装置还包括模型训练模型,用于采用如下训练方式训练得到所述指标预测模型:
获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签,其中,所述样本监控数据包括第一预设时间段内多个样本资源的监控指标数据,所述多个样本资源中包括所述指定资源;
将所述样本监控数据输入待训练的指标预测模型,以使待训练的指标预测模型,将所述样本监控数据中各个所述样本资源的监控指标数据分别映射为样本二维图像,基于所述样本二维图像,预测所述指定资源在第二预设时间段内的预测使用情况,并输出所述预测使用情况;
基于所述标签和所述预测使用情况,计算待训练的指标预测模型的损失值;
判断所述损失值是否小于预设损失阈值,若是,则确定待训练的指标预测模型训练完成,得到所述指标预测模型;若否,则更新待训练的指标预测模型的参数,并返回执行所述获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签的步骤。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面任一所述的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例有益效果:
采用本发明实施例提供的方法,获取第一目标时间段内目标设备的监控数据,将监控数据输入预先训练的指标预测模型,以使指标预测模型,将监控数据中待预测资源的监控指标数据和各个关联资源的监控指标数据分别映射为二维图像,基于二维图像,预测待预测资源在第二目标时间段内的使用情况,并输出使用情况,获得指标预测模型输出的使用情况,作为预测结果。即可以将待预测资源的使用情况预测任务转化为针对图像数据的处理任务,充分利用了图像处理领域的成熟模型的适用范围广、特征提取能力强的优势,提高了待预测资源的使用情况的预测准确率,并且,指标预测模型仅有很少的参数需要调整,可以实现在不同指标预测场景下的广泛应用,即本发明实施例提供的指标预测模型的通用度较高。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的设备资源使用情况的预测方法的一种流程图;
图2为本发明实施例提供的图像映射流程图;
图3为本发明实施例提供的指标预测模型的训练流程图
图4为本发明实施例提供的设备资源使用情况的预测装置的一种结构示意图;
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。
为了提高预测资源的使用情况的预测准确率,本发明实施例提供了一种设备资源使用情况的预测方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。
本发明实施例所提供的设备资源使用情况的预测方法可以应用于任何可以进行CPU、内存、磁盘和java进程堆内存的占用率、使用率、IO等指标分析处理的电子设备,例如,可以为电脑和手机等设备等,在此不做具体限定。
图1为本发明实施例提供的设备资源使用情况的预测方法的一种流程图,如图1所示,所述方法包括:
步骤101,获取第一目标时间段内目标设备的监控数据。
其中,所述监控数据包括所述目标设备的待预测资源的监控指标数据和所述待预测资源的至少一个关联资源的监控指标数据。
具体的,目标设备的资源可以包括目标设备的硬件资源和软件资源。待预测资源可以为目标设备的CPU、内存、磁盘或java进程堆内存等。待预测资源的关联资源为对待预测资源的使用情况有影响的资源。理论上,目标设备的任一资源的使用情况可能受与目标设备中的其他资源所有资源的影响,本发明实施例中,针对目标设备的任一资源,可以将该资源以外的其他资源均确定为该资源的关联资源。本发明实施例中,针对目标设备的任一资源,也可以从该资源以外的其他资源中,指定至少一个对该资源的使用情况影响较大的资源,作为该资源的关联资源,例如,如果待预测资源为目标设备的“java程序的回收后的堆内存”,可以预先将目标设备中的CPU、内存、java程序回收前的堆内存等资源确定为“java程序的回收后的堆内存”的关联资源。
待预测资源的监控指标数据可以为待预测资源的占用率、使用率和IO等,待预测资源的每个关联资源的监控指标数据可以为该关联资源的占用率、使用率和IO等。
本发明实施例中,目标设备可以为执行本发明实施例提供的设备资源使用情况的预测方法的电子设备,也可以是其他电子设备,目标设备具体可以为电脑、手机、ipad或服务器等。
第一目标时间段为当前时刻之前的一个指定时间段,例如,当前时刻为“2021年12月24日13:53:02”,第一目标时间段可以为时间段[2021年12月23日13:53:02,2021年12月24日13:53:02]。
步骤102,将所述监控数据输入预先训练的指标预测模型,以使所述指标预测模型,将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,并输出所述使用情况。
其中,所述指标预测模型为基于样本监控数据及其对应的标签预先训练得到的。
步骤103,获得所述指标预测模型输出的所述使用情况,作为预测结果。
采用本发明实施例提供的方法,获取第一目标时间段内目标设备的监控数据,将监控数据输入预先训练的指标预测模型,以使指标预测模型,将监控数据中待预测资源的监控指标数据和各个关联资源的监控指标数据分别映射为二维图像,基于二维图像,预测待预测资源在第二目标时间段内的使用情况,并输出使用情况,获得指标预测模型输出的使用情况,作为预测结果。即可以将待预测资源的使用情况预测任务转化为针对图像数据的处理任务,充分利用了图像处理领域的成熟模型的适用范围广、特征提取能力强的优势,提高了待预测资源的使用情况的预测准确率,并且,指标预测模型仅有很少的参数需要调整,可以实现在不同指标预测场景下的广泛应用,即本发明实施例提供的指标预测模型的通用度较高。
在一种可能的实施方式中,图2为本发明实施例提供的图像映射流程图,如图2所示,所述将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,包括:
步骤201,对所述监控数据进行归一化处理,得到归一化处理后的监控数据。
本发明实施例中,可以获取的第一目标时间段内目标设备的监控数据Pm:Pm={(x11,x12,…,x1k),(x21,x22,…,x2k),…,(xm1,xm2,…,xmk)}。
其中,监控数据Pm包括采集频率固定的m个时刻的数据序列:(x11,x12,…,x1k)、(x21,x22,…,x2k)、…、(xm1,xm2,…,xmk)。第一目标时间段包括间隔相等的m个时刻,每个数据序列中各个数据的采集时刻相同,数据序列(x11,x12,…,x1k)、(x21,x22,…,x2k)、…、(xm1,xm2,…,xmk)采集时刻分别为第一目标时间段内的第1、2、m个时刻。第一目标时间段内的第i个时刻采集的数据序列为(ti,xi1,xi2,…,xik),数据序列为(ti,xi1,xi2,…,xik)为第i个时刻的目标设备的k项监控指标数据,1≤i≤m。
本发明实施例中,可以对所述监控数据进行归一化处理,得到归一化处理后的监控数据。具体的,可以将监控数据Pm={(x11,x12,…,x1k),(x21,x22,…,x2k),…,(xm1,xm2,…,xmk)}中各个数据归一化处理为[0,1]区间内的数据,得到归一化处理后的监控数据P’m。
具体的归一化处理方法可以参考现有的任意一种归一化处理算法,此处不做具体限定。
步骤202,对归一化处理后的监控数据进行离散化处理,得到离散化处理后的监控数据。
本发明实施例中,可以针对归一化处理后的监控数据中的每个数据,将该数据所属资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值,得到离散化处理后的监控数据。
其中,所述待预测资源和各个所述关联资源分别对应的各个坐标轴均等分为第二预设数量个区间,每个区间的两端的值为该区间所在坐标轴的坐标刻度值。第二预设数量可以根据实际应用情况设定为100或200等,此处不做具体限定。
本发明实施例中,目标设备的每种资源可以对应一个坐标轴,例如目标设备的“CPU”资源可以对应坐标轴ax1,目标设备的“内存”资源可以对应坐标轴ax2。
经过归一化处理后的监控数据的取值范围为[0,1],即目标设备的每种资源对应的坐标轴的定义域均为[0,1]。则可以将每种资源的坐标轴的定义域[0,1]等分为第二预设数量个区间,得到第二预设数量加1个坐标刻度。坐标轴上从左往右第q个坐标刻度满足:xq=(q-1)/γ,q取值为1,2,…,γ,(γ+1)。其中,γ为第二预设数量。
本发明实施例中,对于归一化处理后的监控数据中的每个数据,如果将该数据属于待预测资源,则可以将待预测资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值;如果将该数据属于待预测资源的关联资源,则可以将该关联资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值。通过该方法,可以将监控数据离散化,得到离散化处理后的监控数据。
例如,针对归一化处理后的监控数据P’m每个数据,如果将该数据属于待预测资源,则可以将待预测资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值;如果将该数据属于待预测资源的关联资源,则可以将该关联资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值,得到离散化处理后的监控数据P”m。
步骤203,将离散化处理后的监控数据映射到高维欧式空间。
其中,所述监控数据中所述待预测资源和各个所述关联资源分别对应所述高维欧式空间中的一个维度,所述高维欧式空间为维度数与第一预设数量一致的立方体空间,所述第一预设数量为所述待预测资源和各个所述关联资源的数量之和。例如,目标设备的监控数据包括java程序所在服务器的CPU使用率、内存使用率、启动程序用户的句柄数、java程序回收后的堆内存值、java程序回收前的堆内存值这5个监控指标数据,其中,java程序的回收后的堆内存值为待预测资源的监控指标数据,则可以将第一预设数量设定为5,即可以将离散化处理后的监控数据映射到维度为5维的高维欧式空间。
设存在k维的高维欧式空间ψ,ψ中存在一超立方体∧,超立方体∧的2k个顶点坐标中每个坐标的坐标值都满足:xm=0或xm=1,m=1,2,…,k。即该超立方体∧各维度边长都为1,超立方体∧可以称为高维欧式空间。
本发明实施例中,所述将离散化处理后的监控数据映射到高维欧式空间,具体可以包括:采用如下公式将离散化处理后的监控数据映射到高维欧式空间:
其中,F1(p)为将离散化处理后的监控数据映射到高维欧式空间后所得到的各个坐标点,P”m为离散化处理后的监控数据,p为高维欧式空间中的坐标点,k为第一预设数量,||p||k为p的k阶范数。
本发明实施例,待预测资源的监控指标数据与待预测资源临近的关联资源的监控指标数据的关联性较大,函数的存在可以增强P”m中采集时间比较靠后的监控指标数据在高维欧式空间中的映射数值。映射数据后的高维欧式空间接近稀疏矩阵的表现形式。
步骤204,使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像。
其中,任意两个超立方体卷积滤波器为卷积核不同且维度数为所述第一预设数量的卷积滤波器。
本发明实施例中,可以设存在第一预设数量个超立方体卷积滤波器,超立方体卷积滤波器p在待预测资源的维度和另一维度上的边长Lp和Lp’满足:
其余(k-2)个维度上的边长为l,k为第一预设数量,不同超立方体卷积滤波器间的边长l取值可以不同也可以相同,γ为第二预设数量。
本发明实施例中,所述使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像,具体可以包括如下步骤A1-A2:
步骤A1,使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理。
步骤A2,使用预设填充像素对卷积处理后得到的通道数为所述第一预设数量的二维图像进行填充,以使所得到的二维图像的各个通道的尺寸一致,其中,所述二维图像的尺寸为S,S=r((γ+1)/Convstep)2,r为所述二维图像的通道数,γ为所述第二预设数量,γ+1为所述二维图像的边长,Convstep为卷积操作的步长。
使用第一预设数量个超立方体卷积滤波器,高维欧式空间中任意两个维度所确定的平面进行二维卷积操作,例如,可以在待预测资源的监控指标数据在高维欧式空间对应的稀疏矩阵为Lp,待预测资源的任意一个关联资源的监控指标数据在高维欧式空间对应的稀疏矩阵为Lp’,则可以使用使用第一预设数量个超立方体卷积滤波器分别对Lp和Lp’确定的平面上进行二维卷积操作。经过第一预设数量个超立方体卷积滤波器的卷积操作后,可以得到通道数为第一预设数量的二维图像。
为保证各通道的二维图像长宽一致,在卷积时可以进行padding(填充像素)的操作,使所得到的二维图像的各个通道的尺寸一致,其中,所述二维图像的尺寸为S,S=r((γ+1)/Convstep)2,r为所述二维图像的通道数,γ为所述第二预设数量,γ+1为所述二维图像的边长,Convstep为卷积操作的步长。
离散化处理后的监控数据经过卷积编码器处理后,成为有第一预设数量个通道的二维图像,即将IT监控领域的指标预测任务转化为了图像识别的任务。
采用本发明实施例提供的方法,获取第一目标时间段内目标设备的监控数据,将监控数据输入预先训练的指标预测模型,以使指标预测模型,将监控数据中待预测资源的监控指标数据和各个关联资源的监控指标数据分别映射为二维图像,基于二维图像,预测待预测资源在第二目标时间段内的使用情况,并输出使用情况,获得指标预测模型输出的使用情况,作为预测结果。即可以将待预测资源的使用情况预测任务转化为针对图像数据的处理任务,充分利用了图像处理领域的成熟模型的适用范围广、特征提取能力强的优势,提高了待预测资源的使用情况的预测准确率,并且,指标预测模型仅有很少的参数需要调整,可以实现在不同指标预测场景下的广泛应用,即本发明实施例提供的指标预测模型的通用度较高。
在一种可能的实施方式中,所述基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,可以包括如下步骤B1-B2:
步骤B1,提取所述二维图像的图像特征。
具体的,提取图像特征的方法可以参考现有的任何一种图像特征提取算法,图像特征提取算法一般基于卷积神经网络,此处不做具体限定。
步骤B2,基于所述图像特征进行线性回归分析,得到所述待预测资源在第二目标时间段内的使用情况。
具体的,可以将超立方体卷积滤波器输入到特定卷积神经网络,输出多通道特征,并对输出的多通到特征进行线性回归分析,得到所述待预测资源在第二目标时间段内的使用情况。
其中,第二目标时间段为第一目标时间段之后的一个时间段,可以为当前时刻之后的一个指定时间段。例如,当前时刻为“2021年12月24日16:13:49”,第二目标时间段可以为[2021年12月24日16:13:49,2021年12月25日16:13:49]。
采用本发明实施例提供的方法,获取第一目标时间段内目标设备的监控数据,将监控数据输入预先训练的指标预测模型,以使指标预测模型,将监控数据中待预测资源的监控指标数据和各个关联资源的监控指标数据分别映射为二维图像,基于二维图像,预测待预测资源在第二目标时间段内的使用情况,并输出使用情况,获得指标预测模型输出的使用情况,作为预测结果。即可以将待预测资源的使用情况预测任务转化为针对图像数据的处理任务,充分利用了图像处理领域的成熟模型的适用范围广、特征提取能力强的优势,提高了待预测资源的使用情况的预测准确率,并且,指标预测模型仅有很少的参数需要调整,可以实现在不同指标预测场景下的广泛应用,即本发明实施例提供的指标预测模型的通用度较高。
图3为本发明实施例提供的指标预测模型的训练流程图,如图3所示,所述指标预测模型的训练方式,包括:
步骤301,获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签。
其中,所述样本监控数据包括第一预设时间段内多个样本资源的监控指标数据,所述多个样本资源中包括所述指定资源。
第一预设时间段和第二预设时间段均为当前时刻之前的时间段。
本发明实施例中,可以预先采集设第一预设时间段T内的监控数据集D:
D={(t1,x11,x12,...,x1k),(t2,x21,x22,...,x2k),...,(tn,xn1,xn2,...,xnk)}n≥1;k≥1
该数据集D包括采集频率固定的n个时间序列样本点,对于其中一个样本点:
(ti,xi1,xi2,...,xik)1≤i≤n;ti∈T
根据上述预测任务,可以根据数据集D构造样本监控数据、测试监控数据。对于其中任意一个训练,样本监控数据Pdata和样本监控数据对应的标签Plabel的定义为:
Pdata={(x(s+1)1,x(s+1)2,...,x(s+1)k),(x(s+2)1,x(s+2)2,...,x(s+2)k),...,(x(s+ε)1,x(s+ε)2,...,x(s+ε)k)}
Plabel=(x(θ+1)p,x(θ+2)p,...,x(θ+δ)p)
s.t.s+ε≤n;1≤p≤kθ>s+ε;δ≥0
其中,ε决定Pdata中的样本数量,δ决定了预测窗口的大小。预测任务可以为单步单变量预测,也可以为多步单变量预测。
本发明实施例中,可以对样本监控数据和样本监控数据对应的标签进行归一化处理,然后对归一化处理后的样本监控数据和样本监控数据对应的标签进行离散处理,得到离散化处理后的样本监控数据和样本监控数据对应的标签。
步骤302,将所述样本监控数据输入待训练的指标预测模型,以使待训练的指标预测模型,将所述样本监控数据中各个所述样本资源的监控指标数据分别映射为样本二维图像,基于所述样本二维图像,预测所述指定资源在第二预设时间段内的预测使用情况,并输出所述预测使用情况。
具体的,可以将离散化处理后的样本监控数据映射到高维样本空间。其中,样本监控数据中指定资源和指定资源的各个关联资源分别对应高维样本空间中的一个维度,高维样本空间为维度数与样本监控数据中指定资源和指定资源的各个关联资源的数量之和一致的立方体空间。
本发明实施例中,可以采用如下公式将离散化处理后的样本监控数据映射到高维样本空间:
其中,F(p)为将离散化处理后的样本监控数据映射到高维样本空间后所得到的各个坐标点,为离散化处理后的样本监控数据,p为高维样本空间中的坐标点,k为样本监控数据中指定资源和指定资源的各个关联资源的数量之和,||p||k为p的k阶范数。
将离散化处理后的样本监控数据映射到高维样本空间后,可以使用多个超立方体卷积滤波器,分别对高维样本空间中任意两个维度所确定的平面进行卷积处理,得到样本二维图像。样本二维图像的通道数为样本监控数据中指定资源和指定资源的各个关联资源的数量之和,超立方体卷积滤波器的个数也为样本监控数据中指定资源和指定资源的各个关联资源的数量之和。
然后,将样本监控数据转换为样本二维图像,即将IT监控领域的指标预测任务转化为了图像识别的任务。
其中,具体的映射过程可以参考图2所述的方法。
得到样本二维图像后,可以提取样本二维图像的图像特征,并基于卷积神经网络提取的图像特征进行线性回归分析,得到指定资源在第二预设时间段内的预测使用情况。
步骤303,基于所述标签和所述预测使用情况,计算待训练的指标预测模型的损失值。
由于标签反映了第二预设时间段内指定资源的监控指标数据的实际使用情况,在得到指定资源在第二预设时间段内的预测使用情况,可以根据标签和预测使用情况,计算待训练的指标预测模型的损失值。具体的,可以参考图像处理领域的任何一种损失函数,例如交叉熵损失函数等,计算待训练的指标预测模型的损失值并进行优化,此处不做具体限定。
步骤304,判断所述损失值是否小于预设损失阈值。
若判断结果为是,执行步骤305,若判断结果为否,执行步骤306。
其中,预设损失阈值可以根据实际应用情况进行设定,此处不做具体限定。
步骤305,确定待训练的指标预测模型训练完成,得到所述指标预测模型。
步骤306,更新待训练的指标预测模型的参数,并返回执行所述获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签的步骤。
具体的,可以更新待训练的指标预测模型中与图像特征提取相关的参数,以及与高维样本空间的数据映射相关的参数。
以下为本发明提供的指标预测模型训练一个具体的应用实施例:
以预测java程序的回收后的堆内存为例,可以采集目标设备当前时刻之前的24小时内的监控数据,采集频率为10秒一次,共计8640条数据。采集数据包括java程序所在服务器的CPU使用率、内存使用率、启动程序用户的句柄数、程序回收后的堆内存值、程序回收前的堆内存值这5个监控指标数据。本实施例中,可以从采集的8640条数据中选取144条数据作为样本监控数据Pdata,样本监控数据Pdata对应的标签Plabel包括当前时刻之后的24小时就的48个java程序回收后的堆内存值。
并且,还可以将采集的8640条数据中除去样本监控数据Pdata之外的数据划分测试集和验证集,测试集和验证集的比例可以根据实际需求进行划分,此处不做具体限定。
本实施中,可以对样本监控数据Pdata和样本监控数据Pdata对应的标签Plabel均进行归一化处理,然后再进行离散化处理,具体的,可以设离散系数为γ=100,则对任一监控指标数据的定义域进行100等分,则任一监控指标数据的100个坐标(刻度范围:[0,100])刻度均满足:
对Pdata中任一数据,可以使用欧式距离最近的离散坐标刻度替代原坐标:
Plabel=(x(θ+1)j,x(θ+2)j,...,x(θ+48)j)
s.t.s+ε≤60=59;θ>s+ε;δ≥0
然后,可以确定高维样本空间:设存在5维欧式空间Ψ,Ψ中存在一超立方体Λ,其25个顶点坐标中每个坐标的坐标值都满足:xm=0或xm=1m=1,2,...,5,即该超立方体各维度边长都为1,超立方体Λ为高维样本空间。然后,将样本监控数据映射到高维样本空间。
本实施例中,可以确定5个5维的超立方体卷积滤波器Ω1,Ω2,...,Ω5,超立方体卷积滤波器在“程序回收后的堆内存值”维度和“启动程序用户的句柄数”维度上的边长Lp、Lp′满足:
超立方体卷积滤波器在剩余3个维度上的边长为1。采用均值为0,标准差为0.01的高斯随机数初始化各超立方体卷积滤波器中的数值。
然后,可以使用超立方体卷积滤波器对高维样本空间进行卷积操作:使用5维的5个超立方体滤波器,对高维样本空间Λ进行二维卷积操作,滑动卷积的操作在Lp和Lp′所确定的平面上进行,得到5张样本二维图像。为保证各张特征图长宽一致,在卷积时可以进行填充像素填充的操作。经过上述超立方体卷积滤波器处理的图像的尺寸S:
超立方体卷积滤波器的滑动步长为1,即经过指标预测模型处理后,成为有5个通道边长为101的图像S。然后可以对图像S进行特征提取,并利用提取的特征进行线性回归分析,得到“java程序的回收后的堆内存”在当前时刻后的24内的预测使用情况。然后通过Plabel和“java程序的回收后的堆内存”在当前时刻后的24内的预测使用情况,确定模型训练损失值,调整模型参数。当模型收敛时,得到指标预测模型。使用上述指标预测模型,以对内存回收值RMSE(Root Mean Squard Error,均方根误差)为评价指标,比较与本实例在VGG-16、Inception V3、ResNet下的迁移学习效果,与使用普通二维编码器的ResNet、和现有指标预测模型1对比结果如表1所示:
表1:迁移学习效果对比表
本实施例表明,本发明实施例训练得到的指标预测模型相交于传统方法,有着大幅度领先的预测效果;而相较于普通二维编码器,也有着领先的预测效果。
采用本发明实施例提供的方法,获取第一目标时间段内目标设备的监控数据,将监控数据输入预先训练的指标预测模型,以使指标预测模型,将监控数据中待预测资源的监控指标数据和各个关联资源的监控指标数据分别映射为二维图像,基于二维图像,预测待预测资源在第二目标时间段内的使用情况,并输出使用情况,获得指标预测模型输出的使用情况,作为预测结果。即可以将待预测资源的使用情况预测任务转化为针对图像数据的处理任务,充分利用了图像处理领域的成熟模型的适用范围广、特征提取能力强的优势,提高了待预测资源的使用情况的预测准确率,并且,指标预测模型仅有很少的参数需要调整,可以实现在不同指标预测场景下的广泛应用,即本发明实施例提供的指标预测模型的通用度较高。
相应于上述设备资源使用情况的预测方法,本发明实施例还提供了一种设备资源使用情况的预测装置,下面对本发明实施例所提供的图像融合装置进行介绍。图4为本发明实施例提供的设备资源使用情况的预测装置的一种结构示意图,如图4所示,所述装置包括:
数据获取模块401,用于获取第一目标时间段内目标设备的监控数据,其中,所述监控数据包括所述目标设备的待预测资源的监控指标数据和所述待预测资源的至少一个关联资源的监控指标数据;
情况预测模块402,用于将所述监控数据输入预先训练的指标预测模型,以使所述指标预测模型,将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,并输出所述使用情况,其中,所述指标预测模型为基于样本监控数据及其对应的标签预先训练得到的;
结果获得模块403,用于获得所述指标预测模型输出的所述使用情况,作为预测结果。
采用本发明实施例提供的装置,获取第一目标时间段内目标设备的监控数据,将监控数据输入预先训练的指标预测模型,以使指标预测模型,将监控数据中待预测资源的监控指标数据和各个关联资源的监控指标数据分别映射为二维图像,基于二维图像,预测待预测资源在第二目标时间段内的使用情况,并输出使用情况,获得指标预测模型输出的使用情况,作为预测结果。即可以将待预测资源的使用情况预测任务转化为针对图像数据的处理任务,充分利用了图像处理领域的成熟模型的适用范围广、特征提取能力强的优势,提高了待预测资源的使用情况的预测准确率,并且,指标预测模型仅有很少的参数需要调整,可以实现在不同指标预测场景下的广泛应用,即本发明实施例提供的指标预测模型的通用度较高。
可选的,所述情况预测模块,包括:
归一化子模块,用于对所述监控数据进行归一化处理,得到归一化处理后的监控数据;
离散处理子模块,用于对归一化处理后的监控数据进行离散化处理,得到离散化处理后的监控数据;
数据映射子模块,用于将离散化处理后的监控数据映射到高维欧式空间,其中,所述监控数据中所述待预测资源和各个所述关联资源分别对应所述高维欧式空间中的一个维度,所述高维欧式空间为维度数与第一预设数量一致的立方体空间,所述第一预设数量为所述待预测资源和各个所述关联资源的数量之和;
卷积子模块,用于使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像,其中,任意两个超立方体卷积滤波器为卷积核不同且维度数为所述第一预设数量的卷积滤波器。
可选的,所述离散处理子模块,具体用于针对归一化处理后的监控数据中的每个数据,将该数据所属资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值,得到离散化处理后的监控数据,其中,所述待预测资源和各个所述关联资源分别对应的各个坐标轴均等分为第二预设数量个区间,每个区间的两端的值为该区间所在坐标轴的坐标刻度值。
可选的,所述数据映射子模块,具体用于采用如下公式将离散化处理后的监控数据映射到高维欧式空间:
其中,F1(p)为将离散化处理后的监控数据映射到高维欧式空间后所得到的各个坐标点,P”m为离散化处理后的监控数据,p为高维欧式空间中的坐标点,k为第一预设数量,||p||k为p的k阶范数。
可选的,所述卷积子模块,具体用于使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理;使用预设填充像素对卷积处理后得到的通道数为所述第一预设数量的二维图像进行填充,以使所得到的二维图像的各个通道的尺寸一致,其中,所述二维图像的尺寸为S,S=r((γ+1)/Convstep)2,r为所述二维图像的通道数,γ为所述第二预设数量,γ+1为所述二维图像的边长,Convstep为卷积操作的步长。
可选的,所述情况预测模块,具体用于提取所述二维图像的图像特征;基于所述图像特征进行线性回归分析,得到所述待预测资源在第二目标时间段内的使用情况。
可选的,所述装置还包括模型训练模型,用于采用如下训练方式训练得到所述指标预测模型:
获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签,其中,所述样本监控数据包括第一预设时间段内多个样本资源的监控指标数据,所述多个样本资源中包括所述指定资源;
将所述样本监控数据输入待训练的指标预测模型,以使待训练的指标预测模型,将所述样本监控数据中各个所述样本资源的监控指标数据分别映射为样本二维图像,基于所述样本二维图像,预测所述指定资源在第二预设时间段内的预测使用情况,并输出所述预测使用情况;
基于所述标签和所述预测使用情况,计算待训练的指标预测模型的损失值;
判断所述损失值是否小于预设损失阈值,若是,则确定待训练的指标预测模型训练完成,得到所述指标预测模型;若否,则更新待训练的指标预测模型的参数,并返回执行所述获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签的步骤。
本发明实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现任一所述设备资源使用情况的预测方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一设备资源使用情况的预测方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一设备资源使用情况的预测方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质和计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (16)
1.一种设备资源使用情况的预测方法,其特征在于,包括:
获取第一目标时间段内目标设备的监控数据,其中,所述监控数据包括所述目标设备的待预测资源的监控指标数据和所述待预测资源的至少一个关联资源的监控指标数据;
将所述监控数据输入预先训练的指标预测模型,以使所述指标预测模型,将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,并输出所述使用情况,其中,所述指标预测模型为基于样本监控数据及其对应的标签预先训练得到的;
获得所述指标预测模型输出的所述使用情况,作为预测结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,包括:
对所述监控数据进行归一化处理,得到归一化处理后的监控数据;
对归一化处理后的监控数据进行离散化处理,得到离散化处理后的监控数据;
将离散化处理后的监控数据映射到高维欧式空间,其中,所述监控数据中所述待预测资源和各个所述关联资源分别对应所述高维欧式空间中的一个维度,所述高维欧式空间为维度数与第一预设数量一致的立方体空间,所述第一预设数量为所述待预测资源和各个所述关联资源的数量之和;
使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像,其中,任意两个超立方体卷积滤波器为卷积核不同且维度数为所述第一预设数量的卷积滤波器。
3.根据权利要求2所述的方法,其特征在于,所述对归一化处理后的监控数据进行离散化处理,得到离散化处理后的监控数据,包括:
针对归一化处理后的监控数据中的每个数据,将该数据所属资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值,得到离散化处理后的监控数据,其中,所述待预测资源和各个所述关联资源分别对应的各个坐标轴均等分为第二预设数量个区间,每个区间的两端的值为该区间所在坐标轴的坐标刻度值。
5.根据权利要求2所述的方法,其特征在于,所述使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像,包括:
使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理;
使用预设填充像素对卷积处理后得到的通道数为所述第一预设数量的二维图像进行填充,以使所得到的二维图像的各个通道的尺寸一致,其中,所述二维图像的尺寸为S,S=r((γ+1)/Convstep)2,r为所述二维图像的通道数,γ为所述第二预设数量,γ+1为所述二维图像的边长,Convstep为卷积操作的步长。
6.根据权利要求1所述的方法,其特征在于,所述基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,包括:
提取所述二维图像的图像特征;
基于所述图像特征进行线性回归分析,得到所述待预测资源在第二目标时间段内的使用情况。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述指标预测模型的训练方式,包括:
获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签,其中,所述样本监控数据包括第一预设时间段内多个样本资源的监控指标数据,所述多个样本资源中包括所述指定资源;
将所述样本监控数据输入待训练的指标预测模型,以使待训练的指标预测模型,将所述样本监控数据中各个所述样本资源的监控指标数据分别映射为样本二维图像,基于所述样本二维图像,预测所述指定资源在第二预设时间段内的预测使用情况,并输出所述预测使用情况;
基于所述标签和所述预测使用情况,计算待训练的指标预测模型的损失值;
判断所述损失值是否小于预设损失阈值,若是,则确定待训练的指标预测模型训练完成,得到所述指标预测模型;若否,则更新待训练的指标预测模型的参数,并返回执行所述获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签的步骤。
8.一种设备资源使用情况的预测装置,其特征在于,包括:
数据获取模块,用于获取第一目标时间段内目标设备的监控数据,其中,所述监控数据包括所述目标设备的待预测资源的监控指标数据和所述待预测资源的至少一个关联资源的监控指标数据;
情况预测模块,用于将所述监控数据输入预先训练的指标预测模型,以使所述指标预测模型,将所述监控数据中所述待预测资源的监控指标数据和各个所述关联资源的监控指标数据分别映射为二维图像,基于所述二维图像,预测所述待预测资源在第二目标时间段内的使用情况,并输出所述使用情况,其中,所述指标预测模型为基于样本监控数据及其对应的标签预先训练得到的;
结果获得模块,用于获得所述指标预测模型输出的所述使用情况,作为预测结果。
9.根据权利要求8所述的装置,其特征在于,所述情况预测模块,包括:
归一化子模块,用于对所述监控数据进行归一化处理,得到归一化处理后的监控数据;
离散处理子模块,用于对归一化处理后的监控数据进行离散化处理,得到离散化处理后的监控数据;
数据映射子模块,用于将离散化处理后的监控数据映射到高维欧式空间,其中,所述监控数据中所述待预测资源和各个所述关联资源分别对应所述高维欧式空间中的一个维度,所述高维欧式空间为维度数与第一预设数量一致的立方体空间,所述第一预设数量为所述待预测资源和各个所述关联资源的数量之和;
卷积子模块,用于使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理,得到通道数为所述第一预设数量的二维图像,其中,任意两个超立方体卷积滤波器为卷积核不同且维度数为所述第一预设数量的卷积滤波器。
10.根据权利要求9所述的装置,其特征在于,所述离散处理子模块,具体用于针对归一化处理后的监控数据中的每个数据,将该数据所属资源对应的坐标轴上与该数据距离最近的坐标刻度值,确定为该数据对应的离散化后的数值,得到离散化处理后的监控数据,其中,所述待预测资源和各个所述关联资源分别对应的各个坐标轴均等分为第二预设数量个区间,每个区间的两端的值为该区间所在坐标轴的坐标刻度值。
12.根据权利要求9所述的装置,其特征在于,所述卷积子模块,具体用于使用所述第一预设数量个超立方体卷积滤波器,分别对所述高维欧式空间中任意两个维度所确定的平面进行卷积处理;使用预设填充像素对卷积处理后得到的通道数为所述第一预设数量的二维图像进行填充,以使所得到的二维图像的各个通道的尺寸一致,其中,所述二维图像的尺寸为S,S=r((γ+1)/Convstep)2,r为所述二维图像的通道数,γ为所述第二预设数量,γ+1为所述二维图像的边长,Convstep为卷积操作的步长。
13.根据权利要求8所述的装置,其特征在于,所述情况预测模块,具体用于提取所述二维图像的图像特征;基于所述图像特征进行线性回归分析,得到所述待预测资源在第二目标时间段内的使用情况。
14.根据权利要求8-13任一项所述的装置,其特征在于,所述装置还包括模型训练模型,用于采用如下训练方式训练得到所述指标预测模型:
获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签,其中,所述样本监控数据包括第一预设时间段内多个样本资源的监控指标数据,所述多个样本资源中包括所述指定资源;
将所述样本监控数据输入待训练的指标预测模型,以使待训练的指标预测模型,将所述样本监控数据中各个所述样本资源的监控指标数据分别映射为样本二维图像,基于所述样本二维图像,预测所述指定资源在第二预设时间段内的预测使用情况,并输出所述预测使用情况;
基于所述标签和所述预测使用情况,计算待训练的指标预测模型的损失值;
判断所述损失值是否小于预设损失阈值,若是,则确定待训练的指标预测模型训练完成,得到所述指标预测模型;若否,则更新待训练的指标预测模型的参数,并返回执行所述获取样本监控数据,以及,获取第二预设时间段内指定资源的监控指标数据作为所述样本监控数据对应的标签的步骤。
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111637154.8A CN114398228A (zh) | 2021-12-29 | 2021-12-29 | 一种设备资源使用情况的预测方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111637154.8A CN114398228A (zh) | 2021-12-29 | 2021-12-29 | 一种设备资源使用情况的预测方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114398228A true CN114398228A (zh) | 2022-04-26 |
Family
ID=81229541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111637154.8A Pending CN114398228A (zh) | 2021-12-29 | 2021-12-29 | 一种设备资源使用情况的预测方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114398228A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117130768A (zh) * | 2023-02-25 | 2023-11-28 | 荣耀终端有限公司 | 一种调频关系表的生成方法及电子设备 |
-
2021
- 2021-12-29 CN CN202111637154.8A patent/CN114398228A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117130768A (zh) * | 2023-02-25 | 2023-11-28 | 荣耀终端有限公司 | 一种调频关系表的生成方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11526799B2 (en) | Identification and application of hyperparameters for machine learning | |
CN108073902B (zh) | 基于深度学习的视频总结方法、装置及终端设备 | |
WO2021004324A1 (zh) | 资源数据的处理方法、装置、计算机设备和存储介质 | |
WO2018031097A1 (en) | Systems and methods for multi-instance learning-based classification for streaming inputs | |
US9454457B1 (en) | Software test apparatus, software test method and computer readable medium thereof | |
CN110334262B (zh) | 一种模型训练方法、装置及电子设备 | |
CN114553681B (zh) | 设备状态异常检测方法、装置和计算机设备 | |
CN111159481B (zh) | 图数据的边预测方法、装置及终端设备 | |
CN114398228A (zh) | 一种设备资源使用情况的预测方法、装置及电子设备 | |
CN114463587A (zh) | 一种异常数据检测方法、装置、设备及存储介质 | |
CN110543869A (zh) | 滚珠丝杠寿命预测方法、装置、计算机设备及存储介质 | |
CN116166967B (zh) | 基于元学习与残差网络的数据处理方法、设备和存储介质 | |
CN116451081A (zh) | 数据漂移的检测方法、装置、终端及存储介质 | |
CN116415989A (zh) | 千兆潜在客户预测方法、装置、计算机设备及存储介质 | |
CN113609445A (zh) | 多源异构监测数据处理方法、终端设备及可读存储介质 | |
US20210241147A1 (en) | Method and device for predicting pair of similar questions and electronic equipment | |
CN112800813B (zh) | 一种目标识别方法及装置 | |
CN117292304B (zh) | 一种多媒体数据传输控制方法及*** | |
CN111835830B (zh) | 一种数据感知***、方法及装置 | |
CN116882538B (zh) | 一种海洋环境预测模型的训练方法及相关装置 | |
CN114997070B (zh) | 控制图模式识别模型的训练方法及控制图模式识别方法 | |
CN117250521B (zh) | 充电桩电池容量监测***及方法 | |
CN110728615B (zh) | 基于序贯假设检验的隐写分析方法、终端设备及存储介质 | |
CN111177132B (zh) | 关系型数据的标签清洗方法、装置、设备及存储介质 | |
CN109740671B (zh) | 一种图像识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |