CN117807055B - 存储***的关键性能指标预测、分析方法及相关装置 - Google Patents
存储***的关键性能指标预测、分析方法及相关装置 Download PDFInfo
- Publication number
- CN117807055B CN117807055B CN202410224232.9A CN202410224232A CN117807055B CN 117807055 B CN117807055 B CN 117807055B CN 202410224232 A CN202410224232 A CN 202410224232A CN 117807055 B CN117807055 B CN 117807055B
- Authority
- CN
- China
- Prior art keywords
- performance
- sequence
- prediction
- storage system
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 230000008569 process Effects 0.000 claims abstract description 64
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 239000011159 matrix material Substances 0.000 claims description 107
- 238000012545 processing Methods 0.000 claims description 45
- 238000004458 analytical method Methods 0.000 claims description 39
- 230000004927 fusion Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 16
- 230000007704 transition Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 12
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000002159 abnormal effect Effects 0.000 description 27
- 238000007781 pre-processing Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 11
- 238000012098 association analyses Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010219 correlation analysis Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000005429 filling process Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000001932 seasonal effect Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及数据分析技术领域,特别是涉及一种存储***的关键性能指标预测、分析方法及相关装置。关键性能指标预测方法包括:获取第一数量个历史时刻目标指标的观测性能形成前向观测序列;目标指标为分布式存储***的关键性能指标中的至少一者;分别计算第二数量个历史时刻的性能误差形成前向误差序列;预估当前时刻进行目标指标的性能预测过程存在的预测误差,融合前向观测序列、前向误差序列以及预测误差,得到存储***当前时刻的预测性能。采用本方法能够结合预测过程的历史误差对存储***进行关键性能指标的性能预测,提高序列之间关联性衡量的准确性,进而有利于提高存储***的关键性能指标预测的具深度以及可靠性。
Description
技术领域
本申请涉及数据分析技术领域,特别是涉及一种存储***的关键性能指标预测方法、存储***的关键性能指标预测装置、存储***的关键性能指标分析方法、存储***的关键性能指标分析装置、计算机设备以及计算机可读存储介质。
背景技术
在分布式存储***、服务器集群等***中,诸如读写吞吐量、中央处理器(CentralProcessing Unit,CPU)利用率、磁盘输入输出(Input/Output,I/O)性能等关键性能指标(Key Performance Indicator,KPI)能够度量和评估***运行状态、性能效能以及可靠性的重要参数。KPI关联分析能够用于揭示不同KPI之间的相互关系和影响。然而,关于KPI关联分析通常是针对各指标间的原始观测数据进行相似度计算,容易出现因指标之间的分析较为片面、关联性分析不足等原因而导致分析结果不可靠的情况出现。
发明内容
基于此,有必要针对上述技术问题,提供一种能够结合预测过程的历史误差对存储***进行关键性能指标的性能预测,提高序列之间关联性衡量的准确性,进而有利于提高存储***的关键性能指标预测的具深度以及可靠性的存储***的关键性能指标预测方法、存储***的关键性能指标预测装置、存储***的关键性能指标分析方法、存储***的关键性能指标分析装置、计算机设备以及计算机可读存储介质。
一方面,提供一种存储***的关键性能指标预测方法,存储***的关键性能指标预测方法包括:获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列;其中,观测性能为观测分布式存储***的目标指标的真实性能,目标指标为分布式存储***的关键性能指标中的至少一者,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者;分别计算第二数量个历史时刻的性能误差,形成前向误差序列;其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值;预估当前时刻进行目标指标的性能预测过程存在的预测误差,利用时序预测模型融合前向观测序列、前向误差序列以及预测误差,得到存储***当前时刻的预测性能。
在本申请的一实施例中,得到存储***当前时刻的预测性能还包括:观测存储***的目标指标于当前时刻的观测性能;将时序预测模型转换为***状态空间方程;利用当前时刻的观测性能与预测性能对***状态空间方程进行数据滤波,更新时序预测模型的模型参数;其中,模型参数包括用于相邻后向时刻存储***的关键性能预测的预测误差。
在本申请的一实施例中,***状态空间方程包括离散状态方程;将时序预测模型转换为***状态空间方程包括:将时序预测模型自当前时刻形式转换为相邻后向时刻形式,得到第一中间方程;对时序预测模型的***状态变量以及***输入变量进行格式变换,得到以下一时刻作为当前时刻的第二中间方程;将第二中间方程转换为***状态的空间表达式,得到离散状态方程的参数矩阵;其中,空间表达式的格式与离散状态方程的格式匹配。
在本申请的一实施例中,前向观测序列输入时序预测模型时作为***状态变量,
前向误差序列输入时序预测模型时作为***输入变量;离散状态方程为:,其中,X(t)表示***t时刻的状态向量;A表示状态转
移矩阵;Г表示输入矩阵;μ(t)表示状态控制向量;ω(t)表示***预测过程的过程噪声向
量;时序预测模型为:
其中,x(t)表示t时刻的预测性能;α表示用于进行第一加权融合的权重;x(t-i1)表示过去i1时刻的观测性能,0≤i1≤p且i1为整数;p表示第一数量;ε(t)表示预估的当前时刻进行关键性能指标预测存在的预测误差;ε(t-i2)表示过去i2时刻的观测性能与预测性能二者之间的性能误差,0≤i2≤q且i2为整数;β表示进行第二加权融合的权重;q表示第二数量。
在本申请的一实施例中,第一中间方程为:
。
第二中间方程为:
。
***状态的空间表达式为:
,其中,ε1(t+1)表示相邻后
向时刻进行目标指标的性能预测存在的预测误差。
在本申请的一实施例中,***状态空间方程包括观测方程,观测方程为:,其中,Z(t)表示t时刻的观测向量;H表示t时刻***的输出矩阵;υ
(t)表示t时刻的测量噪声向量;将时序预测模型转换为***状态空间方程包括:将观测方
程自当前时刻形式转换为相邻后向时刻形式,转换后的观测方程为:,数据滤波包括卡尔曼滤波。
在本申请的一实施例中,获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列包括:获取相邻第一数量个历史时刻观测存储***的目标指标的观测性能;计算观测性能的四分位距,通过第一四分位数的数值以及第三四分位数的数值计算预设范围;利用位于预设范围的观测性能形成前向观测序列;通过第一四分位数的数值以及第三四分位数的数值计算预设范围包括:利用预设的筛选权重对四分位距进行加权,得到界定因子;将第一四分位数与界定因子的差作为预设范围的下边界值;将第三四分位数与界定因子的和作为预设范围的上边界值。
在本申请的一实施例中,获取第一数量个历史时刻目标指标的观测性能包括:识别所获取的观测性能数据中是否存在损失时刻;其中,损失时刻为缺失观测性能的历史时刻;响应于存在损失时刻,利用损失时刻的相邻向前时刻目标指标的观测性能,对损失时刻的观测性能进行填充。
在本申请的一实施例中,融合前向观测序列、前向误差序列以及预测误差,得到存储***当前时刻的预测性能包括:对前向观测序列中的各前向观测值进行第一加权融合;对前向误差序列中的各前向误差值进行第二加权融合;叠加第一加权融合结果、第二加权融合结果以及预测误差,作为当前时刻的预测性能;形成前向观测序列之后包括:对前向观测序列进行单位根平稳性校验,验证前向观测序列是否为平稳序列;响应于前向观测序列为非平稳序列,则对前向观测序列进行差分处理,直至前向观测序列为平稳序列,并统计进行差分处理的次数,利用次数进行反差分处理。
另一方面,提供一种存储***的关键性能指标分析方法,存储***的关键性能指标分析方法包括:获取存储***的第一指标性能的第一预测序列以及第一观测序列;获取存储***的第二指标性能的第二预测序列以及第二观测序列;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;第一预测序列与第二预测序列二者中至少一者的预测性能为利用如上述任一项实施例中的存储***的关键性能指标预测方法得到;第一预测序列以及第二预测序列包括第三数量个时刻的预测性能;分析第一预测序列与第一观测序列之间的误差生成第一误差序列;分析第二预测序列与第二观测序列之间的误差生成第二误差序列;计算第一误差序列与第二误差序列的相似度,评估存储***的第一指标与存储***的第二指标的相关性。
在本申请的一实施例中,计算第一误差序列与第二误差序列的相似度的计算公式为:
,其中,r标识第一误差序列与第二误差序列的相
似度;X={x1,x2,……,xn}表示第一误差序列,xt表示第t个时刻第一指标的性能误差;Y={y1,
y2,……,yn}表示第二误差序列,yt表示第t个时刻第二指标的性能误差;μx表示X的均值;μy
表示Y的均值;n表示第三数量;σx表示X的标准差,σy表示Y的标准差。
另一方面,提供了一种存储***的关键性能指标预测装置,存储***的关键性能指标预测装置包括:数据处理模块以及时序预测模型;数据处理模块用于获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列;其中,观测性能为观测分布式存储***的目标指标的真实性能,目标指标为分布式存储***的关键性能指标中的至少一者,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者;分别计算第二数量个历史时刻的性能误差,形成前向误差序列;其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值;时序预测模型用于预估当前时刻进行目标指标的性能预测过程存在的预测误差,融合前向观测序列、前向误差序列以及预测误差,得到存储***当前时刻的预测性能。
另一方面,提供了一种存储***的关键性能指标分析装置,存储***的关键性能指标分析装置包括:如上述任一项实施例中的存储***的关键性能指标预测装置以及评估模块;存储***的关键性能指标预测装置用于预测存储***的第一指标性能的第一预测序列以及存储***的第二指标性能的第二预测序列中的至少一者;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;第一预测序列以及第二预测序列包括第三数量个时刻的预测性能;评估模块与存储***的关键性能指标预测装置连接,用于实现如上述任一项实施例中的存储***的关键性能指标分析方法。
另一方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一项实施例中的存储***的关键性能指标预测方法的步骤,或实现上述任一项实施例中的存储***的关键性能指标分析方法的步骤。
另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项实施例中的存储***的关键性能指标预测方法的步骤,或实现上述任一项实施例中的存储***的关键性能指标分析方法的步骤。
上述存储***的关键性能指标预测方法、存储***的关键性能指标预测装置、存储***的关键性能指标分析方法、存储***的关键性能指标分析装置、计算机设备以及计算机可读存储介质,能够对存储***的目标指标的在当前时刻的性能进行预测,还能够对存储***中两个关键性能指标的关联性进行分析。本实施例中融合存储***的目标指标的前向观测序列的真实值、前向预测过程中预测值与真实值之间的历史误差、时间维度以及当前时刻可能存在的预测误差,对存储***的目标指标当前时刻的性能进行预测,得到存储***目标指标当前时刻的预测性能,提高关键性能指标预测过程中参考特征的丰富度。也就是说,本申请中能够结合预测过程的历史误差对存储***进行关键性能指标的性能预测,从而有利于提高序列之间关联性衡量的准确性,以有利于提高预测的具深度以及可靠性,进而有利于提高存储***中关键性能指标分析的可靠性和可解释性。
附图说明
图1是本申请存储***的关键性能指标预测方法一实施例的流程示意图;
图2是本申请前向观测模型校验方法一实施例的流程示意图;
图3是本申请数据滤波方法一实施例的流程示意图;
图4是本申请存储***的关键性能指标预测装置一实施例的结构示意图;
图5是本申请存储***的关键性能指标分析方法一实施例的流程示意图;
图6是本申请存储***的关键性能指标分析方法另一实施例的流程示意图;
图7是本申请存储***的关键性能指标分析装置一实施例的结构示意图;
图8是本申请计算机设备一实施例的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
为解决相关技术中存储***等环境中KPI关联分析结果不可靠的技术问题,本申请提供了一种存储***的关键性能指标预测方法、存储***的关键性能指标预测装置、存储***的关键性能指标分析方法、存储***的关键性能指标分析装置、计算机设备以及计算机可读存储介质,能够提高关键性能指标的性能预测过程中参考特征的丰富度,从而有利于提高序列之间关联性衡量的准确性,以有利于提高存储***的关键性能指标预测的具深度以及可靠性,进而有利于提高存储***的关键性能指标分析的可靠性以及可解释性。
以分布式存储***为例,分布式存储***的关键性能指标(KPI)可以用于度量和评估***运行状态、性能效能以及可靠性的重要参数。KPI通常可以涵盖各个方面。
举例而言,KPI可以包括读写吞吐量、读写响应时、CPU利用率、磁盘IO性能等。通过KPI指标从不同方面反映分布式存储***的性能和资源使用情况。
其中,可以认为读写吞吐量能够反映存储***处理读写请求的速度;可以认为读写响应时延能够反映处理读写请求所需的时间;可以认为CPU利用率能够反映时刻处理器的使用情况;可以认为磁盘IO性能能够反映时刻磁盘访问的效率。
对各KPI之间的关联进行分析,旨在揭示不同KPI之间的相互关系和影响。可以通过分析各个KPI之间的相关性、趋势和变化模式,协助理解***的运行状况、性能特点以及潜在问题。
分布式存储***中存在大量互相影响的性能指标,当***出现性能问题时,单独查看某一指标的异常变化并不能准确定位根因。原因在于一个指标的变化可能由多种原因共同导致,而通过分析不同指标之间的内在关联,可以找出相对最可能的影响因素和根本原因。通过判断关键指标之间的关联关系,使***监测、控制以及诊断更加智能化和自动化,有利于保障分布式存储***平稳、可靠运行。若未对KPI进行关联分析,在***出现问题时可能需要更多的试错和猜测,浪费时间和资源,并可能导致不必要的操作和调整。同时,相关的技术人员和工程师可能无法在***状态变化时迅速做出反应,导致故障或性能问题持续存在,影响用户体验和***的可用性。
请参阅图1,图1是本申请存储***的关键性能指标预测方法一实施例的流程示意图。
S101:获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列;其中,观测性能为观测分布式存储***的目标指标的真实性能,目标指标为分布式存储***的关键性能指标中的至少一者,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者。
在本实施例中,存储***可以包括磁盘、中央处理器、电源装置等。举例而言,本实施例中的存储***还可以是分布式存储***。
历史时刻为相对当前时刻、当前时刻已发生的时刻,在各时刻可以对存储***的目标指标的性能进行预测以及观测。观测得到的真实性能值作为观测性能,预测得到的性能值作为预测性能。
目标指标为对预测其性能值并对其真实性能值进行观测的指标。
目标指标可以是分布式存储***的关键性能指标中的至少一者。也就是说,本实施例中可以存在一个或多个目标指标,本实施例中可以对存储***的若干个目标指标于当前时刻的性能分别进行预测。
举例而言,分布式存储***的关键性能指标可以是KPI等,例如CPU利用率、读写吞吐量、读写相应时延、磁盘I/O性能等。换言之,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者。举例而言,关键性能指标可以包括读写吞吐量、中央处理器利用率、磁盘输入输出性能三者;亦或是,关键性能指标可以包括三者中的一者,在此不做限定。
采集第一数量个历史观测数据,即历史观测到的目标指标的真实性能。其中,第一数量可以是预设的,也可以根据目标指标的关键度而不同。
其中,预测性能可以是当前时刻预测的一个时刻的性能值;也可以是未来一段时间的性能,在此不做限定。本文中以预测的为未来一段时间的性能进行举例。
S102:分别计算第二数量个历史时刻的性能误差,形成前向误差序列;其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值。
在本实施例中,在历史时刻的发生时刻,即历史时刻作为当前时刻时会对存储***于历史时刻的目标指标的性能进行预测,得到属于存储***目标指标于各历史时刻的预测性能。
与此同时,可以对各历史时刻的真实性能值进行观测,得到观测性能。对一历史时刻的观测性能与预测性能二者之间的差值进行计算,即可得到该历史时刻的性能误差。也就是说,性能误差是指时序预测模型预测的预测性能相对观测性能真实存在的误差。
其中,第一数量可以是自回归阶数,第二数量可以是滑动平均阶数。第一数量与第二数量可以相同,亦可以不同,在此不做限定。
S103:预估当前时刻进行目标指标的性能预测过程存在的预测误差,利用时序预测模型融合前向观测序列、前向误差序列以及预测误差,得到存储***当前时刻的预测性能。
在本实施例中,预测误差为预估当前时刻目标指标性能预测过程中可能存在的偏差,即当前时刻进行目标指标的性能预测过程存在的预测误差。在此基础上得到存储***当前时刻目标指标的预测性能。如是,本实施例中能够对时序预测模型在预测过程中受环境、计算性能等因素影响而可能存在的预测误差进行考量,从而有利于提高预测的当前时刻的预测性能的可靠性。
举例而言,预测误差可以是获取环境状态进行深度学习得到的;亦或是,可以将预测误差作为时序预测模型中模型参数的一者,在此不做限定。
由此可见,本实施例中获取历史时刻的观测性能形成前向观测序列,以在预测当前时刻的预测性能时融合历史时间维度的性能特征。同时获取历史时刻的性能误差形成前向误差序列,性能误差为一历史时刻的观测性能与预测性能之间的误差,以在预测当前时刻的预测性能时,结合时序预测模型在预测过程中误差时序特征。并且,本申请还会对当前时刻进行预测的预测误差进行预估,从而进一步提高当前时刻预测性能的可靠性。换言之,本申请能够融合前向观测序列的真实值、前向预测过程中预测值与真实值之间的历史误差、时间维度以及当前时刻可能存在的预测误差,对目标指标当前时刻的性能进行预测,得到当前时刻的预测性能,提高预测过程中参考特征的丰富度,从而有利于提高序列之间关联性衡量的准确性,进而有利于提高预测的具深度以及可靠性。
以下对本申请存储***的关键性能指标预测方法一实施例的详细流程进行举例阐述。
在一实施例中,可以获取第一数量个历史时刻观测的目标指标观测性能,形成前向观测序列。
其中,观测性能为观测分布式存储***的目标指标的真实性能,目标指标为分布式存储***的关键性能指标中的至少一者,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者。举例而言,可以利用监测工具或代理程序对目标指标的性能进行观测,得到观测性能,例如Prometheus、Grafana、Nagios、Telegraf等。
可选地,可以对所获取的观测性能数据进行预处理。其中,预处理包括数据填充处理和/或异常数据剔除处理。具体地,本实施例中可以对观测性能进行数据填充处理;亦或是,本实施例中可以对观测性能进行异常数据剔除处理;亦或是,本实施例中可以对观测性能进行数据填充处理和/或异常数据剔除处理。
具体地,数据填充处理可以包括:
识别所获取的存储***的目标指标的观测性能数据中是否存在损失时刻。其中,损失时刻为缺失观测性能的历史时刻。
响应于存在损失时刻,认为相邻时刻之间的性能变动幅度相对平缓,即认为相邻时刻的真实性能为相对接近的,故利用损失时刻的相邻向前时刻的观测性能,对损失时刻的观测性能进行填充,从而有利于保障数据采集的完整性。
具体地,异常数据剔除处理可以包括:
获取相邻第一数量个历史时刻观测存储***的目标指标的观测性能。
计算观测性能的四分位距,通过第一四分位数的数值以及第三四分位数的数值计算预设范围。
举例而言,可以利用预设的筛选权重对四分位距进行加权,得到界定因子。
将第一四分位数与界定因子的差作为预设范围的下边界值;将第三四分位数与界定因子的和作为预设范围的上边界值。具体计算公式可以如下:
式1-1
式1-2
Upper Limit = Q3 + 1.5 * IQR 式1-3
其中,IQR表示四分位距;Q1表示第一四分位数;Q3表示第三四分位数;LowerLimit表示预测范围的下边界值;Upper Limit表示预测范围的上边界值;1.5为举例的筛选权重;1.5*IQR表示界定因子。
利用位于预设范围的观测性能形成前向观测序列,从而有利于保障所采集数据的一致性,降低异常数据对预测结果可能性的影响。
在一替代实施例中,还可以是对第一四分位数与第三四分位数进行加权融合得到预设范围,在此不做限定。
请参阅图2,图2是本申请前向观测模型校验方法一实施例的流程示意图。
S201:获取前向观测序列。
在本实施例中,前向观测序列可以经过预处理。如上文中所阐述的,预处理可以包括数据填充处理和/或异常数据剔除处理。对所获取的历史时刻的观测性能进行预处理,能够提高前向观测序列中观测性能的规范性。
S202:验证前向观测序列是否为平稳序列。
在本实施例中,若前向观测序列不是平稳序列,则执行步骤S203;若前向观测序列为平稳序列,则执行步骤S204。
本实施例中,可以对前向观测序列进行单位根平稳性校验,验证前向观测序列是否为平稳序列。
假设原始KPI前向观测序列为Xt(t=1,2,…,n-1,n),首先对观测序列Xt进行单位根平稳性检验,从而有利于保障用于预测的序列为平稳性序列。
S203:对前向观测序列进行差分处理。
在本实施例中,响应于前向观测序列为非平稳序列,则对前向观测序列进行差分处理。
本实施例中差分处理可以重复进行,直至前向观测序列为平稳序列,并统计进行差分处理的次数,利用次数进行反差分处理。
S204:通过赤池信息量准则选择时序预测模型的模型参数。
在本实施例中,响应于前向观测序列为平稳序列,则可以利用赤池信息量准则选择时序预测模型的模型参数,时序预测模型能够用于对目标指标的性能进行预测得到预测性能。
举例而言,可以利用AIC(Akaike Information Criterion,赤池信息量准则)选取其认为的最佳模型参数,通常AIC输出值越小表示模型越优。
以下对通过时序预测模型实现存储***的关键性能指标预测方法进行详细阐述。
在一实施例中,可以获取第一数量个历史时刻观测的目标指标观测性能,形成前向观测序列。其中,前向观测序列可以是通过观测性能直接形成的,亦或是可以是通过预处理后得到的。
可以分别计算第二数量个历史时刻的性能误差,形成前向误差序列。其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值。
预估当前时刻存在的预测误差。其中,时序预测模型的模型参数可以包括用于相邻后向时刻预测的预测误差,换言之,预测误差可以是通过前次预测性能后对时序预测模型进行优化得到,具体获取方式将在后文进行阐述。
本实施例中可以利用时序预测模型融合前向观测序列、前向误差序列以及预测误差,得到当前时刻的预测性能。
具体地,可以对前向观测序列中的各前向观测值进行第一加权融合。可以对前向误差序列中的各前向误差值进行第二加权融合。
叠加第一加权融合结果、第二加权融合结果以及预测误差,作为当前时刻的预测性能。
举例而言,时序预测模型可以为:
式2-1
其中,x(t)表示t时刻的预测性能;α1、α2、…、αp用于描述当前值与过去时间点值之间的关系,α表示用于进行第一加权融合的权重;x(t-i1)表示过去i1时刻的观测性能,0≤i1≤p且i1为整数;p表示第一数量;ε(t)表示预估的当前时刻进行关键性能指标预测存在的预测误差;ε(t-i2)表示过去i2时刻的观测性能与预测性能二者之间的性能误差,0≤i2≤q且i2为整数;β1、β2、…、βq,β表示进行第二加权融合的权重;q表示第二数量。
进一步地,响应于得到当前时刻的预测性能,本实施例中还可以观测目标指标于当前时刻的观测性能。
本实施例中为降低时序预测模型出现模型预测范围有限、对离群值敏感等情况的风险,为进一步保障预测的稳定性和鲁棒性,故对模型进行优化,从而有利于进一步提高预测准确性。
将时序预测模型转换为***状态空间方程。本实施例中可以使用动态参数调整器来优化时序预测模型,能够根据测量数据和模型预测数据进行动态调整。通过不断根据观测数据修正模型的参数,帮助模型更精确地跟踪数据的变化,从而提高预测的准确性。如是本实施例中有利于提高时间序列预测的准确性以及平稳性,为后续的相关性分析奠定更可靠的基础,同时也能增强模型对异常数据的适应能力。
具体地,***状态空间方程包括离散状态方程。
举例而言,离散状态方程可以为:
式2-2
其中,X(t)表示***t时刻的状态向量;A表示状态转移矩阵;Г表示输入矩阵;μ(t)表示状态控制向量;ω(t)表示***预测过程的过程噪声向量。在本实施例中ω(t)为过程噪声向量,假设其为高斯白噪声,其存在协方差矩阵,在后文式3-2中用Q表示。
将时序预测模型自当前时刻形式转换为相邻后向时刻形式,得到第一中间方程。第一中间方程为:
式2-3
对时序预测模型的***状态变量以及***输入变量进行格式变换,得到以下一时刻作为当前时刻的第二中间方程。
可选地,前向观测序列输入时序预测模型时作为***状态变量,前向误差序列输入时序预测模型时作为***输入变量。
具体地,格式变换可以是令
式2-4
其中,xi3(t)为t时刻的***状态变量,1≤i3≤p且i3为整数;x(t-i4)为t时刻过去i4时刻的数据,0≤i4≤p-1且i4为整数。
令
式2-5
其中,εi5(t)为t时刻的***输入变量,1≤i5≤p且i5为整数;ε(t-i6)为t时刻过去i时刻的误差数据,0≤i6≤q-1且i6为整数。
将式2-4以及式2-5代入至式2-3得到第二中间方程为:
式2-6
因
式2-7
举例而言,如式2-4中x2(t)=x(t-1),那么x2(t+1)=x(t),如式2-4中,x(t)=x1(t),故x2(t+1)==x1(t);以此类推,能够得到式2-7中的变换形式。
将第二中间方程转换为***状态的空间表达式,得到离散状态方程的参数矩阵。
具体地,可以结合式2-6以及式2-7进行变换,得到:
式2-8
因
式2-9
将式2-9代入式2-8,可以得到***状态的空间表达式为:
式2-10
其中,ε1(t+1)表示相邻后向时刻进行目标指标的性能预测存在的预测误差。
可见,空间表达式的格式与离散状态方程的格式匹配。
进一步地,***状态空间方程还可以包括观测方程,观测方程为:
式2-11
其中,Z(t)表示t时刻的观测向量;H表示t时刻***的输出矩阵;υ(t)表示t时刻的测量噪声向量;在本实施例中υ(t)为测量噪声向量,假设其为高斯白噪声,其存在协方差矩阵,在后文式3-3中用R表示。
将观测方程自当前时刻形式转换为相邻后向时刻形式,转换后的观测方程为:
式2-12
将式2-10与式2-2进行比对,将式2-12与式2-11进行比对,能够得到***状态空间方程各参数的矩阵。具体地:
状态转移矩阵;输入矩阵;输出矩阵;当前时刻的***状态变量;下一时刻的***状态变量;输入变量;过程噪声向量;测量噪声向量υ(t+1)。
可见,模型参数包括用于相邻后向时刻存储***的关键性能预测的预测误差。
由此可见,本实施例中通过合理的转换策略,能够简化时序预测模型转换为***状态空间方程的过程,提高计算效率。***状态空间方程确定后,可以使用动态参数调整器优化模型的预测值,从而提高预测准确性。具体优化过程由预测和校正两个过程组成,在每个时间步骤中进行迭代,逐渐优化预测结果。换言之,利用当前时刻的观测性能与预测性能对***状态空间方程进行数据滤波,更新时序预测模型的模型参数。
可选地,数据滤波可以包括卡尔曼滤波、最小二乘法滤波等,在此不做限定。
以下对数据滤波方法的详细过程进行举例阐述。
请参阅图3,图3是本申请数据滤波方法一实施例的流程示意图。
S301:计算当前***状态和协方差矩阵的先验估计。
在本实施例中,***状态的先验估计通过***模型预测当前状态,能够提供初始估计、减少测量误差影响,考虑控制输入,为后续最优估计提供基础。***状态的先验估计的计算公式可以是:
式3-1
其中,表示t时刻的***状态的先验估计;A表示状态转移矩阵;表示t-1时
刻的***状态的先验估计;Г表示输入矩阵;μ(t)表示状态控制向量。
协方差矩阵的先验估计用于量化***状态估计的不确定性,能够为预测和修正阶段提供基础。协方差矩阵的先验估计的计算公式可以是:
式3-2
其中,表示协方差矩阵的先验估计;Pt-1表示t-1时刻的协方差矩阵后验估计;Q
表示过程噪声向量的协方差矩阵,即如前文中的ω(t)为高斯白噪声时的协方差矩阵。
S302:计算动态参数调整器的增益矩阵。
在本实施例中,动态参数调整器的增益矩阵能够权衡先验估计和测量值,调整二者的影响,有利于获得更精确的状态估计。增益矩阵的计算公式可以是:
式3-3
其中,Kt表示t时刻动态参数调整器的增益矩阵;H表示t时刻***的输出矩阵;R表示测量噪声向量的协方差矩阵,即如前文中的υ(t)为高斯白噪声时的协方差矩阵。
S303:结合预测信息以及法测量,获取***状态最优估计。
在本实施例中,***状态最优估计能够结合预测和测量信息,从而能够提供在噪声和不确定性环境中最优的***状态估计。***状态最优估计的计算公式可以是:
式3-4
其中,表示t时刻***状态最优估计。
S304:获取协方差矩阵后验估计,更新协方差矩阵。
在本实施例中,协方差矩阵后验估计能够量化修正后的状态估计的不确定性,以便于提供更准确的状态估计和估计误差信息。协方差矩阵后验估计的计算公式可以为:
式3-5
其中,Pt表示t时刻协方差矩阵后验估计;I表示单位矩阵。
由此可见,本实施例中存储***的关键性能指标预测方法可以包括预测阶段、校正阶段、状态更新阶段、协方差更新阶段以及迭代预测更新阶段。预测阶段可以根据上一个时刻的最优状态估计,使用状态空间方程进行***状态的预测,提供当前时刻***状态的先验估计,即预测值。同时,可以通过***模型和过程噪声,计算误差的协方差矩阵的先验估计,表示状态估计的不确定性。校正阶段可以在校正阶段,首先计算增益矩阵。增益矩阵是根据先验估计误差协方差矩阵和观测误差协方差矩阵计算的,其能够实现将预测值和观测值相结合。
状态更新阶段可以使用增益矩阵,将状态的先验估计(预测值)和实际观测值相结合,得到当前时刻的状态最优估计,作为动态参数调整器的输出。协方差更新阶段能够使用增益矩阵,将协方差矩阵进行校正,以考虑观测值与预测值之间的差异。更新协方差矩阵阶段能够获得更准确的状态估计的不确定性估计。迭代预测更新阶段能够使用更新后的状态估计和协方差矩阵作为下一个时间步的初始值,继续进行预测和校正步骤。
请参阅图4,图4是本申请存储***的关键性能指标预测装置一实施例的结构示意图。
在一实施例中,存储***的关键性能指标预测装置包括数据处理模块41以及时序预测模型42。
数据处理模块41用于获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列;其中,观测性能为观测分布式存储***的目标指标的真实性能,目标指标为分布式存储***的关键性能指标中的至少一者,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者;分别计算第二数量个历史时刻的性能误差,形成前向误差序列;其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值。
时序预测模型42用于预估当前时刻进行目标指标的性能预测过程存在的预测误差,融合前向观测序列、前向误差序列以及预测误差,得到存储***当前时刻的预测性能。
关于存储***的关键性能指标预测装置的具体限定可以参见上文中对于存储***的关键性能指标预测方法的限定,在此不再赘述。上述存储***的关键性能指标预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
请参阅图5,图5是本申请存储***的关键性能指标分析方法一实施例的流程示意图。
S501:获取存储***的第一指标性能的第一预测序列以及第一观测序列;获取存储***的第二指标性能的第二预测序列以及第二观测序列;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;第一预测序列与第二预测序列二者中至少一者的预测性能为利用存储***的关键性能指标预测方法得到。
在本实施例中,存储***的关键性能指标预测方法可以如前文中所阐述的。可以利用前文中所阐述的存储***的关键性能指标预测方法,对存储***的第一指标的性能和/或存储***的第二指标的性能进行预测。若第一指标与第二指标中,其中一者未采用的前文中所阐述的存储***的关键性能指标预测方法预测性能,也可以利用其他诸如深度学习、强化学习等模型进行预测,在此不做限定。计算第一指标与第二指标这两个指标之间的预测序列以及观测序列,以此可以对二者的相关性进行评估。
在通过前文中存储***的关键性能指标预测方法计算第一指标和/或第二指标时,将进行计算的一者作为前文中目标指标,以预测其的预测性能。
S502:分析第一预测序列与第一观测序列之间的误差生成第一误差序列;分析第二预测序列与第二观测序列之间的误差生成第二误差序列。
在本实施例中,第一误差序列和第二误差序列为预测性能与观测性能之间的差值。
计算二者的误差序列(第一误差序列以及第二误差序列)时,从优化后的预测序列中预测性能减去观测序列中对应时间的观测性能,得到误差序列。
S503:计算第一误差序列与第二误差序列的相似度,评估存储***的第一指标与存储***的第二指标的相关性。
在本实施例中,对第一误差序列与第二误差序列的相似度进行计算,从而评估存储***的第一指标与存储***的第二指标的相关性。
由此可见,本实施例构建时间序列预测模型对第一指标和/或第二指标性能进行预测,得到预测序列,还会得到真实性能的观测序列,计算观测序列和预测序列的误差序列,基于此计算不同指标间差值序列的相关性。如是,本实施例有利于去除趋势、季节性和噪声影响,从而能够提供更准确的关联结果。与此同时,还能够突出变量之间的内在联系,减轻噪声干扰;还可以着重显示异常状态下的关联变化,有助于异常检测;相对更易于解释诸如分布式存储***等场景的变化,能够相对直观地反映预测与实际观测之间的差异。
可选地,第一误差序列与第二误差序列的相似度和/或第一指标与第二指标的相关性,可以是通过百分值相关性评分等方式进行量化。举例而言,相似度计算可以采用皮尔逊相关等方式计算。
与此同时,本实施例中,提供了一种相似度计算方式,可以通过本实施例中的相似度计算方式简化评估过程,提高分析效率。
具体地,可以计算第一误差序列与第二误差序列的相似度的计算公式为:
式4-1
其中,r标识第一误差序列与第二误差序列的相似度;X={x1,x2,……,xn}表示第一误差序列,xt表示第t个时刻第一指标的性能误差;Y={y1,y2,……,yn}表示第二误差序列,yt表示第t个时刻第二指标的性能误差;μx表示X的均值;μy表示Y的均值;n表示第三数量;σx表示X的标准差,σy表示Y的标准差。
本实施例中,相似度输出结果范围从-1到1,如果相关系数接近1,认为第一指标与第二指标具有强正相关性。如果相关系数接近-1,认为第一指标与第二指标具有负相关性,越接近0,相关性越弱。
请参阅图6,图6是本申请存储***的关键性能指标分析方法另一实施例的流程示意图。
S601:采集目标指标的性能数据。
在本实施例中,可以目标指标至少包括第一指标以及第二指标,对第一指标以及第二指标的性能数据分别进行采集。
所采集的性能数据可以包括形成前向观测序列的观测数据以及历史时刻的预测性能,如前文中所阐述的,在此就不再赘述。
S602:对性能数据进行预处理,预处理包括数据填充处理以及异常数据剔除处理。
在本实施例中,预处理可以包括数据填充处理和/或异常数据剔除处理。
S603:构建时序预测模型。
在本实施例中,构建时序预测模型过程可以如前文中步骤S201~步骤S204中所举例阐述的。
S604:对预测模型序列动态优化。
在本实施例中,对预测模型序列动态优化过程如前文中阐述的数据滤波过程。
S605:获取第一指标的第一误差序列,获取第二指标的第二误差序列。
在本实施例中,第一误差序列以及第二误差序列的形成过程可以如前文中的步骤S501~步骤S502中所阐述的。
S606:评估第一指标与第二指标的相关性。
在本实施例中,相关性评估过程可以如前文中的步骤S503以及如式4-1中所举例展示的。
由此可见,本实施例中实现对诸如分布式存储***等环境KPI指标之间的关联分析,能够为分析***性能提供有效的分析方法。首先,本实施例能够获取***的KPI原始观测指标,涵盖***的关键性能参数。通过采集原始数据,能够有利于全面了解***的运行状况。随后,可以针对原始数据进行预处理,以通过提高数据的可靠性保障分析的准确性和可靠性。接下来,可以采用时序预测模型结合动态参数调整器对模型输出进行优化。有助于生成更为准确的预测结果,通过迭代预测和校正,提高预测的稳定性和精度。最终,通过将KPI原始观测序列与预测序列相减,得到差值序列。利用相关系数进行关联分析,评估KPI指标之间的相关性,揭示指标之间的潜在关联关系。综合而言,该方法通过整合数据采集、预处理、时序预测、参数优化和关联分析等步骤,能够有效实现对分布式存储***KPI指标之间的关联分析,帮助***管理人员及时识别问题、调整策略,从而提升***性能、可靠性和稳定性,优化***运行。
综上,本申请存储***的关键性能指标分析方法综合运用数据采集、预处理、时序预测、参数优化和关联分析等多个步骤,能够从多个角度分析KPI指标之间的关联性,能够为***性能问题提供相对充分的视角。数据预处理有利于保障数据的完整性和信息保留,确保建模的准确性。异常值处理能够提升分析结果的准确性,优化模型性能,增强数据解释性,能够为后续分析和决策提供更可靠的基础。时序预测模型能够具有良好的广泛适用性,从而可以应用于多种类型的时间序列数据,其可以反馈趋势、季节性和周期性变化,相对灵活的建模能力能够捕捉数据的变化模式,进行差分操作去除趋势,简化预测过程。模型的参数和解释相对简单,便于理解和应用。动态参数调整器的引入,可以有效减少时序模型预测结果中的随机噪声,提供更加平滑和准确的预测值,提高时间序列预测的精度。相比仅使用时序预测模型,引入动态参数调整器进行后处理优化,可以明显改进预测效果,使预测更加接近实际值,也增加了预测的稳定性。使用误差序列计算相关性,相对于直接使用原始观测值进行相关性计算,具有以下优势:能够消除趋势和变化模式的影响,更准确地衡量序列之间的关联性;预测序列通过建模已经滤除部分噪声,能够消除序列中的噪声影响,使得分析结果更准确可靠;突出异常状态的关联变化,更有利于异常检测;基于差值的关联分析更具有可解释性。总的来说,这种策略能够提高分析结果的可靠性和准确性,有利于为关联性研究提供更稳定的基础,同时能够减少外部因素对结果的干扰,提高指标分析的具深度以及可信度。
请参阅图7,图7是本申请存储***的关键性能指标分析装置一实施例的结构示意图。
在一实施例中,存储***的关键性能指标分析装置包括存储***的关键性能指标预测装置71以及评估模块72。
其中,存储***的关键性能指标预测装置71可以如前文实施例中所阐述的,在此就不再赘述。
存储***的关键性能指标预测装置71能够预测存储***的第一指标性能的第一预测序列以及存储***的第二指标性能的第二预测序列中的至少一者;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;第一预测序列以及第二预测序列包括第三数量个时刻的预测性能。
评估模块72与存储***的关键性能指标预测装置71连接,用于实现如前文实施例中所阐述的存储***的关键性能指标分析方法。也就是说,评估模块72能够获取存储***的第一指标性能的第一预测序列以及第一观测序列;获取存储***的第二指标性能的第二预测序列以及第二观测序列;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;第一预测序列与第二预测序列二者中至少一者的预测性能为利用如上述任一项实施例中的存储***的关键性能指标预测方法得到;第一预测序列以及第二预测序列包括第三数量个时刻的预测性能;分析第一预测序列与第一观测序列之间的误差生成第一误差序列;分析第二预测序列与第二观测序列之间的误差生成第二误差序列;计算第一误差序列与第二误差序列的相似度,评估存储***的第一指标与存储***的第二指标的相关性。
关于存储***的关键性能指标分析装置的具体限定可以参见上文中对于存储***的关键性能指标分析方法的限定,在此不再赘述。上述存储***的关键性能指标分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
综上,本申请能够进行数据采集与预处理、时序预测模型构建、参数优化以及误差序列关联分析。首先可以收集分布式存储***中的KPI,KPI可以包含CPU利用率、时延、带宽、IOPS、吞吐量等。其次可以对采集到的KPI进行预处理,针对缺失值和异常值进行处理,以保障数据的准确性和一致性。然后使用预处理后的数据构建时序预测模型,利用时序预测模型生成未来一段时间KPI的预测值。接着可以调用动态参数调整器,根据实际观测值和模型预测值,实时调整输出以实现动态优化,从而更好地拟合实际数据。时序预测模型经过优化后,重新生成预测值。最后,可以根据预测时序和原始观测时序获取KPI指标的差值时序计算指标间的关联关系。
本申请通过优化时序预测模型的精确度,可以有效捕捉时间序列中的趋势和季节性变化,减少原始数据中的随机噪声,提高后续关联分析的准确性。同时,能够借助动态参数调整器,可以持续改进预测模型,使其更好地适应数据的变化趋势。计算预测序列与原始序列的差值,可以突出异常状态下的关联变化,有利于故障定位。
由此可见,本申请可以将时序预测模型与动态参数调整器相结合,实现对分布式存储***KPI变化的实时监测、控制和自动化分析,提高指标关联性分析的准确性和可解释性,提供有效的存储***智能化监控监测、控制、诊断策略等,以快速发现***性能问题,指导优化决策。
应该理解的是,虽然图1-图3、图5-图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-图3、图5-图6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图8,图8是本申请计算机设备一实施例的结构示意图。
在一实施例中,计算机设备包括存储器81、处理器82及存储在存储器81上并可在处理器82上运行的计算机程序。
在一实施例中,处理器执行计算机程序时实现以下步骤:
S101:获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列;其中,观测性能为观测分布式存储***的目标指标的真实性能,目标指标为分布式存储***的关键性能指标中的至少一者,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者。
S102:分别计算第二数量个历史时刻的性能误差,形成前向误差序列;其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值。
S103:预估当前时刻进行目标指标的性能预测过程存在的预测误差,利用时序预测模型融合前向观测序列、前向误差序列以及预测误差,得到存储***当前时刻的预测性能。
在一实施例中,处理器执行计算机程序时还实现以下步骤:
可以获取第一数量个历史时刻观测的目标指标观测性能,形成前向观测序列。
其中,观测性能为观测分布式存储***的目标指标的真实性能,目标指标为分布式存储***的关键性能指标中的至少一者,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者。举例而言,可以利用监测工具或代理程序对目标指标的性能进行观测,得到观测性能,例如Prometheus、Grafana、Nagios、Telegraf等。
可选地,可以对所获取的观测性能数据进行预处理。其中,预处理包括数据填充处理和/或异常数据剔除处理。具体地,本实施例中可以对观测性能进行数据填充处理;亦或是,本实施例中可以对观测性能进行异常数据剔除处理;亦或是,本实施例中可以对观测性能进行数据填充处理和/或异常数据剔除处理。
具体地,数据填充处理可以包括:识别所获取的存储***的目标指标的观测性能数据中是否存在损失时刻;其中,损失时刻为缺失观测性能的历史时刻。
响应于存在损失时刻,认为相邻时刻之间的性能变动幅度相对平缓,即认为相邻时刻的真实性能为相对接近的,故利用损失时刻的相邻向前时刻的观测性能,对损失时刻的观测性能进行填充,从而有利于保障数据采集的完整性。
具体地,异常数据剔除处理可以包括:
获取相邻第一数量个历史时刻观测存储***的目标指标的观测性能。
计算观测性能的四分位距,通过第一四分位数的数值以及第三四分位数的数值计算预设范围。举例而言,可以利用预设的筛选权重对四分位距进行加权,得到界定因子。
将第一四分位数与界定因子的差作为预设范围的下边界值;将第三四分位数与界定因子的和作为预设范围的上边界值。具体计算公式可以如下:
式1-1
式1-2
Upper Limit = Q3 + 1.5 * IQR 式1-3
其中,IQR表示四分位距;Q1表示第一四分位数;Q3表示第三四分位数;LowerLimit表示预测范围的下边界值;Upper Limit表示预测范围的上边界值;1.5为举例的筛选权重;1.5*IQR表示界定因子。
S201:获取前向观测序列。
在本实施例中,前向观测序列可以经过预处理。如上文中所阐述的,预处理可以包括数据填充处理和/或异常数据剔除处理。对所获取的历史时刻的观测性能进行预处理,能够提高前向观测序列中观测性能的规范性。
S202:验证前向观测序列是否为平稳序列。
在本实施例中,若前向观测序列不是平稳序列,则执行步骤S203;若前向观测序列为平稳序列,则执行步骤S204。
本实施例中,可以对前向观测序列进行单位根平稳性校验,验证前向观测序列是否为平稳序列。
S203:对前向观测序列进行差分处理。
在本实施例中,响应于前向观测序列为非平稳序列,则对前向观测序列进行差分处理。
本实施例中差分处理可以重复进行,直至前向观测序列为平稳序列,并统计进行差分处理的次数,利用次数进行反差分处理。
S204:通过赤池信息量准则选择时序预测模型的模型参数。
在本实施例中,响应于前向观测序列为平稳序列,则可以利用赤池信息量准则选择时序预测模型的模型参数,时序预测模型能够用于对目标指标的性能进行预测得到预测性能。
在一实施例中,处理器执行计算机程序时还实现以下步骤:
在一实施例中,可以获取第一数量个历史时刻观测的目标指标观测性能,形成前向观测序列。其中,前向观测序列可以是通过观测性能直接形成的,亦或是可以是通过预处理后得到的。
可以分别计算第二数量个历史时刻的性能误差,形成前向误差序列。其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值。
预估当前时刻存在的预测误差。其中,时序预测模型的模型参数可以包括用于相邻后向时刻预测的预测误差,换言之,预测误差可以是通过前次预测性能后对时序预测模型进行优化得到,具体获取方式将在后文进行阐述。
本实施例中可以利用时序预测模型融合前向观测序列、前向误差序列以及预测误差,得到当前时刻的预测性能。
具体地,可以对前向观测序列中的各前向观测值进行第一加权融合。可以对前向误差序列中的各前向误差值进行第二加权融合。
叠加第一加权融合结果、第二加权融合结果以及预测误差,作为当前时刻的预测性能。
举例而言,时序预测模型可以为:
式2-1
其中,x(t)表示t时刻的预测性能;α1、α2、…、αp用于描述当前值与过去时间点值之间的关系,α表示用于进行第一加权融合的权重;x(t-i1)表示过去i1时刻的观测性能,0≤i1≤p且i1为整数;p表示第一数量;ε(t)表示预估的当前时刻进行关键性能指标预测存在的预测误差;ε(t-i2)表示过去i2时刻的观测性能与预测性能二者之间的性能误差,0≤i2≤q且i2为整数;β1、β2、…、βq,β表示进行第二加权融合的权重;q表示第二数量。
进一步地,响应于得到当前时刻的预测性能,本实施例中还可以观测目标指标于当前时刻的观测性能。将时序预测模型转换为***状态空间方程。
具体地,***状态空间方程包括离散状态方程。
举例而言,离散状态方程可以为:
式2-2
其中,X(t)表示***t时刻的状态向量;A表示状态转移矩阵;Г表示输入矩阵;μ(t)表示状态控制向量;ω(t)表示***预测过程的过程噪声向量。
将时序预测模型自当前时刻形式转换为相邻后向时刻形式,得到第一中间方程。第一中间方程为:
式2-3
对时序预测模型的***状态变量以及***输入变量进行格式变换,得到以下一时刻作为当前时刻的第二中间方程。
可选地,前向观测序列输入时序预测模型时作为***状态变量,前向误差序列输入时序预测模型时作为***输入变量。
具体地,格式变换可以是令
式2-4
其中,xi3(t)为t时刻的***状态变量,1≤i3≤p且i3为整数;x(t-i4)为t时刻过去i4时刻的数据,0≤i4≤p-1且i4为整数。
令
式2-5
其中,εi5(t)为t时刻的***输入变量,1≤i5≤p且i5为整数;ε(t-i6)为t时刻过去i时刻的误差数据,0≤i6≤q-1且i6为整数。
将式2-4以及式2-5代入至式2-3得到第二中间方程为:
式2-6
因
式2-7
举例而言,如式2-4中x2(t)=x(t-1),那么x2(t+1)=x(t),如式2-4中,x(t)=x1(t),故x2(t+1)==x1(t);以此类推,能够得到式2-7中的变换形式。
将第二中间方程转换为***状态的空间表达式,得到离散状态方程的参数矩阵。
具体地,可以结合式2-6以及式2-7进行变换,得到:
式2-8
因
式2-9
将式2-9代入式2-8,可以得到***状态的空间表达式为:
式2-10
其中,ε1(t+1)表示相邻后向时刻进行目标指标的性能预测存在的预测误差。
可见,空间表达式的格式与离散状态方程的格式匹配。
进一步地,***状态空间方程还可以包括观测方程,观测方程为:
式2-11
其中,Z(t)表示t时刻的观测向量;H表示t时刻***的输出矩阵;υ(t)表示t时刻的测量噪声向量;
将观测方程自当前时刻形式转换为相邻后向时刻形式,转换后的观测方程为:
式2-12
将式2-10与式2-2进行比对,将式2-12与式2-11进行比对,能够得到***状态空间方程各参数的矩阵。具体地:
状态转移矩阵;输入矩阵;输出矩阵;当前时刻的***状态变量;下一时刻的***状态变量;输入变量;过程噪声向量;测量噪声向量υ(t+1)。
可见,模型参数包括用于相邻后向时刻存储***的关键性能预测的预测误差。
***状态空间方程确定后,可以使用动态参数调整器优化模型的预测值,从而提高预测准确性。具体优化过程由预测和校正两个过程组成,在每个时间步骤中进行迭代,逐渐优化预测结果。换言之,利用当前时刻的观测性能与预测性能对***状态空间方程进行数据滤波,更新时序预测模型的模型参数。
可选地,数据滤波可以包括卡尔曼滤波、最小二乘法滤波等,在此不做限定。
在一实施例中,处理器执行计算机程序时还实现以下步骤:
S301:计算当前***状态和协方差矩阵的先验估计。
在本实施例中,***状态的先验估计通过***模型预测当前状态,提供初始估计、减少测量误差影响,考虑控制输入,为后续最优估计提供基础。***状态的先验估计的计算公式可以是:
式3-1
其中,表示t时刻的***状态的先验估计;A表示状态转移矩阵;表示t-1时
刻的***状态的先验估计;Г表示输入矩阵;μ(t)表示状态控制向量。
协方差矩阵的先验估计用于量化***状态估计的不确定性,为预测和修正阶段提供基础。协方差矩阵的先验估计的计算公式可以是:
式3-2
其中,表示协方差矩阵的先验估计;Pt-1表示t-1时刻的协方差矩阵后验估计;Q
表示过程噪声向量的协方差矩阵,即如前文中的ω(t)为高斯白噪声时的协方差矩阵。
S302:计算动态参数调整器的增益矩阵。
在本实施例中,动态参数调整器的增益矩阵能够权衡先验估计和测量值,调整二者的影响,获得更精确的状态估计。增益矩阵的计算公式可以是:
式3-3
其中,Kt表示t时刻动态参数调整器的增益矩阵;H表示t时刻***的输出矩阵;R表示测量噪声向量的协方差矩阵,即如前文中的υ(t)为高斯白噪声时的协方差矩阵。
S303:结合预测信息以及法测量,获取***状态最优估计。
在本实施例中,***状态最优估计能够结合预测和测量信息,从而能够提供在噪声和不确定性环境中最优的***状态估计。***状态最优估计的计算公式可以是:
式3-4
其中,表示t时刻***状态最优估计。
S304:获取协方差矩阵后验估计,更新协方差矩阵。
在本实施例中,协方差矩阵后验估计能够量化修正后的状态估计的不确定性,以便于提供更准确的状态估计和估计误差信息。协方差矩阵后验估计的计算公式可以为:
式3-5
其中,Pt表示t时刻协方差矩阵后验估计;I表示单位矩阵。
在一实施例中,处理器执行计算机程序时还实现以下步骤:
S501:获取存储***的第一指标性能的第一预测序列以及第一观测序列;获取存储***的第二指标性能的第二预测序列以及第二观测序列;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;第一预测序列与第二预测序列二者中至少一者的预测性能为利用存储***的关键性能指标预测方法得到。
S502:分析第一预测序列与第一观测序列之间的误差生成第一误差序列;分析第二预测序列与第二观测序列之间的误差生成第二误差序列。
S503:计算第一误差序列与第二误差序列的相似度,评估存储***的第一指标与存储***的第二指标的相关性。
在一实施例中,处理器执行计算机程序时还实现以下步骤:
计算第一误差序列与第二误差序列的相似度的计算公式为:
式4-1
其中,r标识第一误差序列与第二误差序列的相似度;X={x1,x2,……,xn}表示第一误差序列,xt表示第t个时刻第一指标的性能误差;Y={y1,y2,……,yn}表示第二误差序列,yt表示第t个时刻第二指标的性能误差;μx表示X的均值;μy表示Y的均值;n表示第三数量;σx表示X的标准差,σy表示Y的标准差。
在一实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
S101:获取第一数量个历史时刻观测的目标指标观测性能,形成前向观测序列。
S102:分别计算第二数量个历史时刻的性能误差,形成前向误差序列;其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值。
S103:预估当前时刻存在的预测误差,利用时序预测模型融合前向观测序列、前向误差序列以及预测误差,得到当前时刻的预测性能。
在一实施例中,计算机程序被处理器执行时还实现以下步骤:
可以获取第一数量个历史时刻观测的目标指标观测性能,形成前向观测序列。
其中,观测性能为观测分布式存储***的目标指标的真实性能,目标指标为分布式存储***的关键性能指标中的至少一者,关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者。举例而言,可以利用监测工具或代理程序对目标指标的性能进行观测,得到观测性能,例如Prometheus、Grafana、Nagios、Telegraf等。
可选地,可以对所获取的观测性能数据进行预处理。其中,预处理包括数据填充处理和/或异常数据剔除处理。具体地,本实施例中可以对观测性能进行数据填充处理;亦或是,本实施例中可以对观测性能进行异常数据剔除处理;亦或是,本实施例中可以对观测性能进行数据填充处理和/或异常数据剔除处理。
具体地,数据填充处理可以包括:识别所获取的存储***的目标指标的观测性能数据中是否存在损失时刻。其中,损失时刻为缺失观测性能的历史时刻。
响应于存在损失时刻,认为相邻时刻之间的性能变动幅度相对平缓,即认为相邻时刻的真实性能为相对接近的,故利用损失时刻的相邻向前时刻的观测性能,对损失时刻的观测性能进行填充,从而有利于保障数据采集的完整性。
具体地,异常数据剔除处理可以包括:获取相邻第一数量个历史时刻观测存储***的目标指标的观测性能。
计算观测性能的四分位距,通过第一四分位数的数值以及第三四分位数的数值计算预设范围。
举例而言,可以利用预设的筛选权重对四分位距进行加权,得到界定因子。
将第一四分位数与界定因子的差作为预设范围的下边界值;将第三四分位数与界定因子的和作为预设范围的上边界值。具体计算公式可以如下:
式1-1
式1-2
Upper Limit = Q3 + 1.5 * IQR 式1-3
其中,IQR表示四分位距;Q1表示第一四分位数;Q3表示第三四分位数;LowerLimit表示预测范围的下边界值;Upper Limit表示预测范围的上边界值;1.5为举例的筛选权重;1.5*IQR表示界定因子。
S201:获取前向观测序列。
在本实施例中,前向观测序列可以经过预处理。如上文中所阐述的,预处理可以包括数据填充处理和/或异常数据剔除处理。对所获取的历史时刻的观测性能进行预处理,能够提高前向观测序列中观测性能的规范性。
S202:验证前向观测序列是否为平稳序列。
在本实施例中,若前向观测序列不是平稳序列,则执行步骤S203;若前向观测序列为平稳序列,则执行步骤S204。
本实施例中,可以对前向观测序列进行单位根平稳性校验,验证前向观测序列是否为平稳序列。
S203:对前向观测序列进行差分处理。
在本实施例中,响应于前向观测序列为非平稳序列,则对前向观测序列进行差分处理。
本实施例中差分处理可以重复进行,直至前向观测序列为平稳序列,并统计进行差分处理的次数,利用次数进行反差分处理。
S204:通过赤池信息量准则选择时序预测模型的模型参数。
在本实施例中,响应于前向观测序列为平稳序列,则可以利用赤池信息量准则选择时序预测模型的模型参数,时序预测模型能够用于对目标指标的性能进行预测得到预测性能。
在一实施例中,计算机程序被处理器执行时还实现以下步骤:
在一实施例中,可以获取第一数量个历史时刻观测的目标指标观测性能,形成前向观测序列。其中,前向观测序列可以是通过观测性能直接形成的,亦或是可以是通过预处理后得到的。
可以分别计算第二数量个历史时刻的性能误差,形成前向误差序列。其中,性能误差为历史时刻的观测性能与该历史时刻的预测性能二者之间的差值。
预估当前时刻存在的预测误差。其中,时序预测模型的模型参数可以包括用于相邻后向时刻预测的预测误差,换言之,预测误差可以是通过前次预测性能后对时序预测模型进行优化得到,具体获取方式将在后文进行阐述。
本实施例中可以利用时序预测模型融合前向观测序列、前向误差序列以及预测误差,得到当前时刻的预测性能。
具体地,可以对前向观测序列中的各前向观测值进行第一加权融合。可以对前向误差序列中的各前向误差值进行第二加权融合。
叠加第一加权融合结果、第二加权融合结果以及预测误差,作为当前时刻的预测性能。
举例而言,时序预测模型可以为:
式2-1
其中,x(t)表示t时刻的预测性能;α1、α2、…、αp用于描述当前值与过去时间点值之间的关系,α表示用于进行第一加权融合的权重;x(t-i1)表示过去i1时刻的观测性能,0≤i1≤p且i1为整数;p表示第一数量;ε(t)表示预估的当前时刻进行关键性能指标预测存在的预测误差;ε(t-i2)表示过去i2时刻的观测性能与预测性能二者之间的性能误差,0≤i2≤q且i2为整数;β1、β2、…、βq,β表示进行第二加权融合的权重;q表示第二数量。
进一步地,响应于得到当前时刻的预测性能,本实施例中还可以观测目标指标于当前时刻的观测性能。将时序预测模型转换为***状态空间方程。
具体地,***状态空间方程包括离散状态方程。
举例而言,离散状态方程可以为:
式2-2
其中,X(t)表示***t时刻的状态向量;A表示状态转移矩阵;Г表示输入矩阵;μ(t)表示状态控制向量;ω(t)表示***预测过程的过程噪声向量。
将时序预测模型自当前时刻形式转换为相邻后向时刻形式,得到第一中间方程。第一中间方程为:
式2-3
对时序预测模型的***状态变量以及***输入变量进行格式变换,得到以下一时刻作为当前时刻的第二中间方程。
可选地,前向观测序列输入时序预测模型时作为***状态变量,前向误差序列输入时序预测模型时作为***输入变量。
具体地,格式变换可以是令
式2-4
其中,xi3(t)为t时刻的***状态变量,1≤i3≤p且i3为整数;x(t-i4)为t时刻过去i4时刻的数据,0≤i4≤p-1且i4为整数。
令
式2-5
其中,εi5(t)为t时刻的***输入变量,1≤i5≤p且i5为整数;ε(t-i6)为t时刻过去i时刻的误差数据,0≤i6≤q-1且i6为整数。
将式2-4以及式2-5代入至式2-3得到第二中间方程为:
式2-6
因
式2-7
举例而言,如式2-4中x2(t)=x(t-1),那么x2(t+1)=x(t),如式2-4中,x(t)=x1(t),故x2(t+1)==x1(t);以此类推,能够得到式2-7中的变换形式。
将第二中间方程转换为***状态的空间表达式,得到离散状态方程的参数矩阵。
具体地,可以结合式2-6以及式2-7进行变换,得到:
式2-8
因
式2-9
将式2-9代入式2-8,可以得到***状态的空间表达式为:
式2-10
其中,ε1(t+1)表示相邻后向时刻进行目标指标的性能预测存在的预测误差。
可见,空间表达式的格式与离散状态方程的格式匹配。
进一步地,***状态空间方程还可以包括观测方程,观测方程为:
式2-11
其中,Z(t)表示t时刻的观测向量;H表示t时刻***的输出矩阵;υ(t)表示t时刻的测量噪声向量;
将观测方程自当前时刻形式转换为相邻后向时刻形式,转换后的观测方程为:
式2-12
将式2-10与式2-2进行比对,将式2-12与式2-11进行比对,能够得到***状态空间方程各参数的矩阵。具体地:
状态转移矩阵;输入矩阵;输出矩阵;当前时刻的***状态变量;下一时刻的***状态变量;输入变量;过程噪声向量;测量噪声向量υ(t+1)。
可见,模型参数包括用于相邻后向时刻存储***的关键性能预测的预测误差。
***状态空间方程确定后,可以使用动态参数调整器优化模型的预测值,从而提高预测准确性。具体优化过程由预测和校正两个过程组成,在每个时间步骤中进行迭代,逐渐优化预测结果。换言之,利用当前时刻的观测性能与预测性能对***状态空间方程进行数据滤波,更新时序预测模型的模型参数。
可选地,数据滤波可以包括卡尔曼滤波、最小二乘法滤波等,在此不做限定。
在一实施例中,计算机程序被处理器执行时还实现以下步骤:S301:计算当前***状态和协方差矩阵的先验估计。
在本实施例中,***状态的先验估计通过***模型预测当前状态,提供初始估计、减少测量误差影响,考虑控制输入,为后续最优估计提供基础。***状态的先验估计的计算公式可以是:
式3-1
其中,表示t时刻的***状态的先验估计;A表示状态转移矩阵;表示t-1时
刻的***状态的先验估计;Г表示输入矩阵;μ(t)表示状态控制向量。
协方差矩阵的先验估计用于量化***状态估计的不确定性,为预测和修正阶段提供基础。协方差矩阵的先验估计的计算公式可以是:
式3-2
其中,表示协方差矩阵的先验估计;Pt-1表示t-1时刻的协方差矩阵后验估计;Q
表示过程噪声向量的协方差矩阵,即如前文中的ω(t)为高斯白噪声时的协方差矩阵。
S302:计算动态参数调整器的增益矩阵。
在本实施例中,动态参数调整器的增益矩阵能够权衡先验估计和测量值,调整二者的影响,获得更精确的状态估计。增益矩阵的计算公式可以是:
式3-3
其中,Kt表示t时刻动态参数调整器的增益矩阵;H表示t时刻***的输出矩阵;R表示测量噪声向量的协方差矩阵,即如前文中的υ(t)为高斯白噪声时的协方差矩阵。
S303:结合预测信息以及法测量,获取***状态最优估计。
在本实施例中,***状态最优估计能够结合预测和测量信息,从而能够提供在噪声和不确定性环境中最优的***状态估计。***状态最优估计的计算公式可以是:
式3-4
其中,表示t时刻***状态最优估计。
S304:获取协方差矩阵后验估计,更新协方差矩阵。
在本实施例中,协方差矩阵后验估计能够量化修正后的状态估计的不确定性,以便于提供更准确的状态估计和估计误差信息。协方差矩阵后验估计的计算公式可以为:
式3-5
其中,Pt表示t时刻协方差矩阵后验估计;I表示单位矩阵。
在一实施例中,处理器执行计算机程序时还实现以下步骤:
S501:获取存储***的第一指标性能的第一预测序列以及第一观测序列;获取存储***的第二指标性能的第二预测序列以及第二观测序列;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;第一预测序列与第二预测序列二者中至少一者的预测性能为利用存储***的关键性能指标预测方法得到。
S502:分析第一预测序列与第一观测序列之间的误差生成第一误差序列;分析第二预测序列与第二观测序列之间的误差生成第二误差序列。
S503:计算第一误差序列与第二误差序列的相似度,评估存储***的第一指标与存储***的第二指标的相关性。
在一实施例中,处理器执行计算机程序时还实现以下步骤:
计算第一误差序列与第二误差序列的相似度的计算公式为:
式4-1
其中,r标识第一误差序列与第二误差序列的相似度;X={x1,x2,……,xn}表示第一误差序列,xt表示第t个时刻第一指标的性能误差;Y={y1,y2,……,yn}表示第二误差序列,yt表示第t个时刻第二指标的性能误差;μx表示X的均值;μy表示Y的均值;n表示第三数量;σx表示X的标准差,σy表示Y的标准差。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。
Claims (15)
1.一种存储***的关键性能指标预测方法,其特征在于,所述关键性能指标预测方法包括:
获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列;其中,所述观测性能为观测分布式存储***的所述目标指标的真实性能,所述目标指标为所述分布式存储***的关键性能指标中的至少一者,所述关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者;
分别计算第二数量个历史时刻的性能误差,形成前向误差序列;其中,所述性能误差为所述历史时刻的观测性能与该所述历史时刻的预测性能二者之间的差值;
预估当前时刻进行所述目标指标的性能预测过程存在的预测误差,利用时序预测模型融合所述前向观测序列、所述前向误差序列以及所述预测误差,得到所述存储***当前时刻的预测性能。
2.根据权利要求1所述的关键性能指标预测方法,其特征在于,所述得到所述存储***当前时刻的预测性能还包括:
观测存储***的所述目标指标于所述当前时刻的观测性能;
将所述时序预测模型转换为***状态空间方程;
利用所述当前时刻的观测性能与预测性能对所述***状态空间方程进行数据滤波,更新所述时序预测模型的模型参数;其中,所述模型参数包括用于相邻后向时刻存储***的关键性能预测的预测误差。
3.根据权利要求2所述的关键性能指标预测方法,其特征在于,所述***状态空间方程包括离散状态方程;所述将所述时序预测模型转换为***状态空间方程包括:
将所述时序预测模型自当前时刻形式转换为相邻后向时刻形式,得到第一中间方程;
对所述时序预测模型的***状态变量以及***输入变量进行格式变换,得到以下一时刻作为当前时刻的第二中间方程;
将所述第二中间方程转换为***状态的空间表达式,得到所述离散状态方程的参数矩阵;其中,所述空间表达式的格式与所述离散状态方程的格式匹配。
4.根据权利要求3所述的关键性能指标预测方法,其特征在于,所述前向观测序列输入所述时序预测模型时作为所述***状态变量,所述前向误差序列输入所述时序预测模型时作为所述***输入变量;
所述离散状态方程为:
,其中,X(t)表示***t时刻的状态向量;A表示状态转移矩阵;Г表示输入矩阵;μ(t)表示状态控制向量;ω(t)表示***预测过程的过程噪声向量;
所述时序预测模型为:
,其中,x(t)表示t时刻的预测性能;α表示用于进行第一加权融合的权重;x(t-i1)表示过去i1时刻的观测性能,0≤i1≤p且i1为整数;p表示第一数量;ε(t)表示预估的当前时刻进行关键性能指标预测存在的所述预测误差;ε(t-i2)表示过去i2时刻的观测性能与预测性能二者之间的性能误差,0≤i2≤q且i2为整数;β表示进行第二加权融合的权重;q表示第二数量。
5.根据权利要求4所述的关键性能指标预测方法,其特征在于,所述第一中间方程为:
;
所述第二中间方程为:
;
所述***状态的空间表达式为:
;其中,ε1(t+1)表示相邻后向时刻进行所述目标指标的性能预测存在的预测误差。
6.根据权利要求5所述的关键性能指标预测方法,其特征在于,所述***状态空间方程包括观测方程,所述观测方程为:
,其中,Z(t)表示t时刻的观测向量;H表示t时刻***的输出矩阵;υ(t)表示t时刻的测量噪声向量;
所述将所述时序预测模型转换为***状态空间方程包括:
将所述观测方程自当前时刻形式转换为相邻后向时刻形式,转换后的观测方程为:
,所述数据滤波包括卡尔曼滤波。
7.根据权利要求1所述的关键性能指标预测方法,其特征在于,所述获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列包括:
获取相邻第一数量个历史时刻观测所述存储***的所述目标指标的观测性能;
计算所述观测性能的四分位距,通过第一四分位数的数值以及第三四分位数的数值计算预设范围;
利用位于所述预设范围的观测性能形成所述前向观测序列;
所述通过第一四分位数的数值以及所述第三四分位数的数值计算预设范围包括:
利用预设的筛选权重对所述四分位距进行加权,得到界定因子;
将所述第一四分位数与所述界定因子的差作为预设范围的下边界值;将所述第三四分位数与所述界定因子的和作为预设范围的上边界值。
8.根据权利要求1所述的关键性能指标预测方法,其特征在于,所述获取第一数量个历史时刻目标指标的观测性能包括:
识别所获取的观测性能数据中是否存在损失时刻;其中,所述损失时刻为缺失观测性能的历史时刻;
响应于存在所述损失时刻,利用所述损失时刻的相邻向前时刻所述目标指标的观测性能,对所述损失时刻的观测性能进行填充。
9.根据权利要求1所述的关键性能指标预测方法,其特征在于,所述融合所述前向观测序列、所述前向误差序列以及所述预测误差,得到所述存储***当前时刻的预测性能包括:
对所述前向观测序列中的各前向观测值进行第一加权融合;
对所述前向误差序列中的各前向误差值进行第二加权融合;
叠加所述第一加权融合结果、所述第二加权融合结果以及所述预测误差,作为所述当前时刻的预测性能;
所述形成前向观测序列之后包括:
对所述前向观测序列进行单位根平稳性校验,验证所述前向观测序列是否为平稳序列;
响应于所述前向观测序列为非平稳序列,则对所述前向观测序列进行差分处理,直至所述前向观测序列为平稳序列,并统计进行差分处理的次数,利用所述次数进行反差分处理。
10.一种存储***的关键性能指标分析方法,其特征在于,所述存储***的关键性能指标分析方法包括:
获取存储***的第一指标性能的第一预测序列以及第一观测序列;获取所述存储***的第二指标性能的第二预测序列以及第二观测序列;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;所述关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;所述第一预测序列与所述第二预测序列二者中至少一者的预测性能为利用如权利要求1~9中任一项所述的存储***的关键性能指标预测方法得到;所述第一预测序列以及所述第二预测序列包括第三数量个时刻的预测性能;
分析第一预测序列与第一观测序列之间的误差生成第一误差序列;分析第二预测序列与所述第二观测序列之间的误差生成第二误差序列;
计算所述第一误差序列与所述第二误差序列的相似度,评估所述存储***的所述第一指标与所述存储***的所述第二指标的相关性。
11.根据权利要求10中所述的关键性能指标分析方法,其特征在于,所述计算所述第一误差序列与所述第二误差序列的相似度的计算公式为:
,其中,r标识所述第一误差序列与所述第二误差序列的相似度;X={x1,x2,……,xn}表示第一误差序列,xt表示第t个时刻第一指标的性能误差;Y={y1,y2,……,yn}表示第二误差序列,yt表示第t个时刻第二指标的性能误差;μx表示X的均值;μy表示Y的均值;n表示第三数量;σx表示X的标准差,σy表示Y的标准差。
12.一种存储***的关键性能指标预测装置,其特征在于,所述存储***的关键性能指标预测装置包括:
数据处理模块,用于获取第一数量个历史时刻目标指标的观测性能,形成前向观测序列;其中,所述观测性能为观测分布式存储***的所述目标指标的真实性能,所述目标指标为所述分布式存储***的关键性能指标中的至少一者,所述关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少一者;分别计算第二数量个历史时刻的性能误差,形成前向误差序列;其中,所述性能误差为所述历史时刻的观测性能与该所述历史时刻的预测性能二者之间的差值;
时序预测模型,用于预估当前时刻进行所述目标指标的性能预测过程存在的预测误差,融合所述前向观测序列、所述前向误差序列以及所述预测误差,得到所述存储***当前时刻的预测性能。
13.一种存储***的关键性能指标分析装置,其特征在于,所述关键性能指标分析装置包括:
如权利要求12所述的存储***的关键性能指标预测装置,用于预测存储***的第一指标性能的第一预测序列以及存储***的第二指标性能的第二预测序列中的至少一者;其中,第一指标与第二指标均为存储***的关键性能指标中的一者;所述关键性能指标包括读写吞吐量、中央处理器利用率、磁盘输入输出性能中的至少两者;所述第一预测序列以及所述第二预测序列包括第三数量个时刻的预测性能;
评估模块,与所述存储***的关键性能指标预测装置连接,用于实现如权利要求10或11中所述存储***的关键性能指标分析方法。
14.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述存储***的关键性能指标预测方法的步骤,或实现权利要求10或11中所述存储***的关键性能指标分析方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述存储***的关键性能指标预测方法的步骤,或实现权利要求10或11中所述存储***的关键性能指标分析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410224232.9A CN117807055B (zh) | 2024-02-29 | 2024-02-29 | 存储***的关键性能指标预测、分析方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410224232.9A CN117807055B (zh) | 2024-02-29 | 2024-02-29 | 存储***的关键性能指标预测、分析方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117807055A CN117807055A (zh) | 2024-04-02 |
CN117807055B true CN117807055B (zh) | 2024-06-07 |
Family
ID=90428132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410224232.9A Active CN117807055B (zh) | 2024-02-29 | 2024-02-29 | 存储***的关键性能指标预测、分析方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117807055B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112148557A (zh) * | 2020-09-15 | 2020-12-29 | 北京基调网络股份有限公司 | 一种性能指标实时预测方法、计算机设备及存储介质 |
WO2021115116A1 (zh) * | 2019-12-13 | 2021-06-17 | 中兴通讯股份有限公司 | 一种性能指标的预警方法、装置、设备及存储介质 |
CN115412455A (zh) * | 2022-07-28 | 2022-11-29 | 南京航空航天大学 | 一种基于时间序列的服务器多性能指标异常检测方法及装置 |
CN115964361A (zh) * | 2022-11-14 | 2023-04-14 | 苏州浪潮智能科技有限公司 | 一种数据增强方法、***、设备及计算机可读存储介质 |
WO2023155434A1 (zh) * | 2022-02-18 | 2023-08-24 | 上海商汤智能科技有限公司 | 位姿预测方法及装置、设备、介质、计算机程序、计算机程序产品 |
CN117093461A (zh) * | 2023-08-31 | 2023-11-21 | 济南浪潮数据技术有限公司 | 一种时延检测分析的方法、***、设备和存储介质 |
CN117149565A (zh) * | 2023-08-30 | 2023-12-01 | 济南浪潮数据技术有限公司 | 云平台关键性能指标的状态检测方法、装置、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8112305B2 (en) * | 2007-01-30 | 2012-02-07 | International Business Machines Corporation | Systems and methods for distribution-transition estimation of key performance indicator |
US11900282B2 (en) * | 2020-01-21 | 2024-02-13 | Hcl Technologies Limited | Building time series based prediction / forecast model for a telecommunication network |
-
2024
- 2024-02-29 CN CN202410224232.9A patent/CN117807055B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021115116A1 (zh) * | 2019-12-13 | 2021-06-17 | 中兴通讯股份有限公司 | 一种性能指标的预警方法、装置、设备及存储介质 |
CN112148557A (zh) * | 2020-09-15 | 2020-12-29 | 北京基调网络股份有限公司 | 一种性能指标实时预测方法、计算机设备及存储介质 |
WO2023155434A1 (zh) * | 2022-02-18 | 2023-08-24 | 上海商汤智能科技有限公司 | 位姿预测方法及装置、设备、介质、计算机程序、计算机程序产品 |
CN115412455A (zh) * | 2022-07-28 | 2022-11-29 | 南京航空航天大学 | 一种基于时间序列的服务器多性能指标异常检测方法及装置 |
CN115964361A (zh) * | 2022-11-14 | 2023-04-14 | 苏州浪潮智能科技有限公司 | 一种数据增强方法、***、设备及计算机可读存储介质 |
CN117149565A (zh) * | 2023-08-30 | 2023-12-01 | 济南浪潮数据技术有限公司 | 云平台关键性能指标的状态检测方法、装置、设备及介质 |
CN117093461A (zh) * | 2023-08-31 | 2023-11-21 | 济南浪潮数据技术有限公司 | 一种时延检测分析的方法、***、设备和存储介质 |
Non-Patent Citations (3)
Title |
---|
基于多维时间序列的数控机床状态预测方法研究;李海;王伟;黄璞;杜丽;张心羽;;工程科学与技术;20181231(01);191-199 * |
基于负载预测的HDFS动态负载均衡改进算法;邵必林;王莎莎;;探测与控制学报;20190426(02);77-82 * |
融合ADMM相关滤波器与序列重要性重采样的时间序列预测;吴刚;朱勇;封磊;王池社;苏守宝;莫晓晖;;昆明理工大学学报(自然科学版);20191215(06);52-60 * |
Also Published As
Publication number | Publication date |
---|---|
CN117807055A (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102237654B1 (ko) | 타겟 시스템들을 제어하기 위한 예측 사용 | |
Jouin et al. | Prognostics of PEM fuel cell in a particle filtering framework | |
Jouin et al. | Particle filter-based prognostics: Review, discussion and perspectives | |
US20150120263A1 (en) | Computer-Implemented Systems and Methods for Testing Large Scale Automatic Forecast Combinations | |
US20210133378A1 (en) | Methods and systems for the estimation of the computational cost of simulation | |
Carlone et al. | An application of Kullback-Leibler divergence to active SLAM and exploration with particle filters | |
CN112068003B (zh) | 基于线性维纳过程的镉镍蓄电池寿命预测方法和装置 | |
US20200065441A1 (en) | Analysis apparatus using learned model and method therefor | |
CN117175588B (zh) | 基于时空相关性的用电负荷预测方法及装置 | |
Cong et al. | Anomaly detection and mode identification in multimode processes using the field Kalman filter | |
Abate et al. | Approximate abstractions of stochastic systems: A randomized method | |
CN109324591B (zh) | 基于鲁棒估计器的随机混杂***的故障诊断装置及方法 | |
CN117807055B (zh) | 存储***的关键性能指标预测、分析方法及相关装置 | |
Král et al. | Policy search for active fault diagnosis with partially observable state | |
CN116381510A (zh) | 一种锂电池剩余寿命的预测方法、***及存储介质 | |
CN113139332A (zh) | 一种自动化模型构建方法、装置及设备 | |
Pang et al. | Detecting continual anomalies in monitoring data stream based on sampling GPR algorithm | |
Gruber et al. | Condition‐Based Maintenance v ia a Targeted B ayesian Network Meta‐Model | |
US11182515B2 (en) | Apparatus for diagnosing analysis and method therefor | |
US10180999B2 (en) | Model generating device and method | |
Bogaerts et al. | A Machine Learning Approach For the Inverse Quantification of Set-Theoretical Uncertainty | |
CN116736174B (zh) | 电池剩余寿命预测方法、装置、计算机设备和存储介质 | |
CN113419930B (zh) | ***健康状态预测方法、装置、计算机设备和存储介质 | |
Nguyen et al. | Investigation on the capacity of deep learning to handle uncertainties in remaining useful life prediction | |
Pavliuk et al. | Predicting AGV Battery Cell Voltage Using a Neural Network Approach with Preliminary Data Analysis and Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |