CN106021082A - 一种基于大数据的主机性能容量预估方法 - Google Patents

一种基于大数据的主机性能容量预估方法 Download PDF

Info

Publication number
CN106021082A
CN106021082A CN201610318916.0A CN201610318916A CN106021082A CN 106021082 A CN106021082 A CN 106021082A CN 201610318916 A CN201610318916 A CN 201610318916A CN 106021082 A CN106021082 A CN 106021082A
Authority
CN
China
Prior art keywords
performance data
coefficient
data
sample
target variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610318916.0A
Other languages
English (en)
Other versions
CN106021082B (zh
Inventor
庄磊
腾腾
张宏亮
于鹏
孙哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN201610318916.0A priority Critical patent/CN106021082B/zh
Publication of CN106021082A publication Critical patent/CN106021082A/zh
Application granted granted Critical
Publication of CN106021082B publication Critical patent/CN106021082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于大数据的主机性能容量预估方法，所述方法包括：首先获取主机各样本性能数据，其中，所述各样本性能数据为影响主机容量预估的数据；然后通过周期性7阶差置信区间的方法对主机各性能数据即影响因子的异常数据进行删除，所述删除异常数据的方法能够结合实际交易行为，避免容量预估受到异常数据的影响；再对删除异常数据的各性能数据与目标变量进行相关性分析，根据分析结果，结合时间序列建立所述目标变量的预估模型。本发明的技术方案充分考虑到各影响因素的影响，充分结合实际业务情况，使得主机容量预估的准确性得到提高。

Description

一种基于大数据的主机性能容量预估方法
技术领域
本发明涉及IBM大型主机领域，尤其涉及一种基于大数据的主机性能容量预估方法。
背景技术
随着大数据技术的不断发展，无论是新兴的互联网行业，还是传统的制造行业都离不开大数据。而大数据最大的技术问题就是海量数据的存储，尤其是各大银行进行海量交易数据集中及数据中心建设的过程中，基本上都采用IBM大型主机以及其并行耦合体作为基础架构来实现海量数据的处理。而利用大型主机对银行海量交易数据进行存储需要花费高额的存储费用。因此需要针对历史数据对主机容量进行预估，减少不必要的主机资源的浪费。
目前，针对银行的日常交易业务数据，由于节假日、政策等因素影响，实际交易数据中存在很多异常增长点，只考虑异常增长点简单的线性性能容量预估方法，很难与实际情况相吻合，并且缺少多种影响因子与待预测性能指标的相关性分析的综合考虑，大大降低了性能预估的准确性。
因此如何结合实际情况和多种影响因素，提高主机容量预估的准确性是目前需要解决的技术问题。
发明内容
有鉴于此，本发明提供了一种基于大数据的主机性能容量预估方法，能够与实际业务情况相结合，并且进行多种影响因素的相关性分析，从而达到提高主机容量预估的准确性的目的。
本发明公开了一种基于大数据的主机性能容量预估方法，包括:
获取主机各样本性能数据，其中，所述各样本性能数据为影响主机容量预估的样本数据；
利用周期性7阶差置信区间的方法删除所述各样本性能数据的异常数据，以获得删除异常数据的各样本性能数据；
计算所述删除异常数据的各样本性能数据与目标变量的相关性系数；
根据所述相关性系数获取最大相关性系数对应的样本性能数据；
根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型。
优选的，所述利用周期性7阶差置信区间的方法删除所述各样本性能数据的异常数据，以获得删除异常数据的各性能样本数据，包括：
计算所述各样本性能数据中每一天的性能数据对比7天前后的变化差值；
利用频率直方图论证所述变化差值的是否符合正太分布；
若各样本性能数据中存在对应的变化差值符合正太分布的样本性能数据，根据符合正太分布的变化差值的样本均值和标准差计算所述符合正太分布的变化差值的置信区间；
根据所述置信区间定位所述符合正太分布的异常的变化差值所对应的时间点；
删除所述符合正太分布异常的变化差值所对应的时间点的各性能数据。
优选的，所述根据所述置信区间定位所述符合正太分布的异常的变化差值所对应的时间点之后，还包括：
利用百分法验证所述各性能数据对应的变化差值的置信区间；
其中，若验证成功，执行删除所述符合正太分布异常的变化差值所对应的时间点的各性能数据。
优选的，所述计算所述删除异常数据的各样本性能数据与目标变量的相关性系数，包括：
计算所述目标变量与所述删除异常数据的各性能数据的线性相关性系数；
判断所述线性相关性系数中最大线性相关性系数的值是否大于等于预设阈值；
若所述最大线性相关性系数的值大于等于预设阈值，获取所述最大线性相关性系数对应的样本性能数据；其中，所述根据所述相关性系数获取最大相关性系数对应的样本性能数据为根据所述线性相关性系数获取最大线性相关性系数对应的样本性能数据；
若所述最大线性相关性系数的值小于预设阈值，计算所述删除异常数据的各样本性能数据与给定各曲线方程进行拟合的确定系数；
判断所述确定系数中最大确定系数的值是否大于等于预设阈值；
若所述最大确定系数大于等于预设阈值，获取所述最大确定系数对应的样本性能数据；其中，所述根据所述相关性系数获取最大相关性系数对应的样本性能数据为根据所述确定系数获得最大确定系数对应的样本性能数据。
优选的，所述根据所述相关性系数获取最大相关性系数对应的样本性能数据，包括：
若所述最大确定系数小于预设阈值，根据所述线性相关性系数和确定系数中最大系数获得所述最大系数对应的样本性能数据。
优选的，所述根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型，包括：
根据所述性能数据中最大相关性系数对应的性能数据，结合时间序列建立所述目标变量的初始化模型；
对所述初始化模型模型参数进行调整，得到新的预估模型；
计算所述新的预估模型的相关性系数；
若所述相关性系数大于等于所述预设值，则所述新的预估模型为所述目标变量的预估模型；
否则，对所述新的预估模型的参数重新进行调整，直到所述相关性系数大于等于预设值，确定所述目标变量的预估模型。
优选的，所述根据所述相关性系数获取最大相关性系数对应的样本性能数据之后，还包括：
对所述最大相关性系数对应的样本性能数据与目标变量的相关性关系进行假设性验证；
其中，若验证成功，执行根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型。
优选的，所述对所述最大相关性系数对应的样本性能数据与目标变量的相关性关系进行假设性验证，包括：
假设所述最大相关性系数对应的性能数据与目标变量的两总体无显著的相关性关系；
计算所述最大相关性系数对应的性能数据与所述目标变量统计量的对应的相伴概率值；
若所述相伴概率值小于或等于设定的显著性水平，则拒绝所述假设，验证成功；
否则，接受所述假设，验证失败。
相对于现有技术，本发明的有益效果是:本发明首先获取主机各样本性能数据，其中，所述各样本性能数据包括：不同渠道交易速率和主机实存和虚存的使用情况等多种影响主机容量预估的性能数据；然后通过周期性7阶差置信区间的方法对主机各性能数据即影响因子的异常数据进行删除，所述删除异常数据的方法能够结合实际交易行为，避免容量预估受到异常数据的影响；再对各影响因子与目标变量进行相关性分析，根据与目标变量具有最大相关性的性能数据，结合时间序列建立所述目标变量的预估模型。本发明的技术方案充分考虑到各影响因子的影响，充分结合实际业务情况，使得主机容量预估的准确性得到提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明实施例公开的一种基于大数据的主机性能容量预估方法的流程图；
图2是本发明另一种实施例公开的一种周期性7阶差置信区间的方法流程图；
图3是本发明另一种实施例公开的一种基于大数据的主机性能容量预估方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明公开了一种基于大数据的主机性能容量预估方法，所述方法，包括：
步骤S101、获取主机各样本性能数据，其中，所述各样本性能数据为影响主机容量预估的样本数据；
其中，所述各样本性能数据，包括每日联机时段交易速率(TPS)、每日联机总交易量、每日联机时段虚存平均使用率、每日联机时段实存平均使用率、每日联机时段磁盘响应时间、每日联机时段数据库缓冲池命中平均率、每日联机时段数据库中SQL平均执行效率等，其中所述各性能数据不仅包括不同渠道交易率性能数据，还包括主机每日联机实存、虚存、数据库缓冲池等使用率的性能数据，充分考虑到影响主机容量预估的各种影响因素，从而使得主机容量的预估准确性更高；本实施例中以每日联机时段MIPS使用率作为目标变量，所述各种影响性能数据作为影响因子；
本实施例中是从建立的大数据平台中获取主机各样本性能数据，首先需要将主机存储的各性能数据下移到所述大数据平台，这样避免消耗主机资源来进行数据分析；
步骤S102、利用周期性7阶差置信区间的方法删除所述各样本性能数据的异常数据，以获得删除异常数据的各样本性能数据；
其中，由于节假日、政策因素等社会因素影响(例如双十一、春节)，所述各样本性能数据存在很多异常数据；针对银行日常的交易行为，其变化趋势存在周期性规律，即变化周期为7天，所述周期性7阶差置信区间的方法就是通过计算所述各样本性能数据中每一天的性能数据对比7天前后的变化差值，得到每一天的性能数据对比7天前的变化差值和对比7天后的变化差值，然后计算所述两种变化差值的置信区间，通过置信区间定位异常变化差值，再比较同一时间点对应的前后7天的异常变化差值，来判断所述时间点对应的性能数据是否为异常数据，从而达到准确删除异常性能数据的目的。
步骤S103、计算所述删除异常数据的各样本性能数据与目标变量的相关性系数；
其中，所述计算所述删除异常数据的各样本性能数据与目标变量的相关性系数是对所述删除异常数据的各样本性能数据与目标变量进行相关性分析，从而找到对所述目标变量相关性最高的性能数据；
所述相关性分析包括线性相关性分析和非线性相关分析，其中，线性相关性分析是通过计算所述删除异常数据的各样本性能数据与目标变量的线性相关性系数r，线性相关性系数较好地度量了性能数据与目标变量间的线性相关程度，相关系数r属于[-1,+1]，r＝1完全正相关；r＝－1：完全负相关；这两种情况说明性能数据与目标变量间之间存在函数关系；r＝0：无线性关系；|r|>0.8：强相关；若不强线性相关，则需要对所述性能数据与目标变量进行非线性相关分析；
所述非线性相关分析是计算所述删除异常数据的各样本性能数据与给定各曲线方程进行拟合的确定系数R2，所述R2称为方程的确定系数，取值范围在0～1之间，越接近1，表明方程的变量对y的解释能力越强。若所述R2小于0.8，认为其不符合最优拟合结果，因此认为所述目标变量不仅受影响因子的影响且受时间序列影响，故需将时间序列加入影响因子建立预估模型。
步骤S104、根据所述相关性系数获取最大相关性系数对应的样本性能数据；
其中，所述最大相关性系数对应的样本性能数据为主机容量预估相关性最高的影响因子；
步骤S105、根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型。
本实施例中，首先从建立的大数据平台中获取影响主机容量预估的各样本性能数据，通过周期性7阶差置信区间的方法删除所述各样本性能数据的异常数据，达到结合实际交易情况，按照日常模式进行预估主机容量；删除异常增长点，避免了容量预估受异常增长点的影响，从而大大提高预估的准确性；然后对影响主机容量预估的各种性能数据与所述目标变量进行相关性分析，从而找到相关性最高的性能数据，最后结合相关性最高的性能数据和时间序列建立所述目标变量的预估模型，相比基于异常增长点简单的线性性能容量预估方法，本发明结合实际交易情况和全面的影响因素，通过数学模型建立预估模型的方案更科学，更准确。
优选的，另一实施例中，考虑到场景实施例中，由于节日、政策等社会因素影响，获取到的性能数据中存在异常点，所述异常点能够影响主机性能预测模型构建的准确性。因此，本发明提出了一种周期性7阶差置信区间的方法删除所述各样本性能数据的异常数据，如图2所示，所述方法包括：
步骤S201、计算所述各样本性能数据中每一天的性能数据对比7天前后的变化差值；
其中，通过观察银行业务交易行为发现，其交易数据变化趋势呈现7天周期性规律，比较每一周的同一天的数据能够提高异常点删除的准确性，因此计算各性能数据的对比7天前的7阶差值和对比7天后的7阶差值；
步骤S202、利用频率直方图论证所述变化差值的是否符合正太分布；若符合正太分布，执行步骤S203；
其中，所述频率直方图的横坐标为变化差值Δ的连续可取数值，纵坐标为某一变化差值Δ的出现频率；如果所述7阶差值Δ构成的频率直方图对应的期望值为0，标准差为1，则所述变化差值的符合正太分布；
步骤S203、根据符合正太分布的变化差值的样本均值和标准差计算所述符合正太分布的变化差值的置信区间；
其中，设定置信水平为80％，计算样本统计量的均值为M和标准差为ST；通过所述均值和标准差计算所述符合正太分布的变化差值的置信上限和置信下限；
步骤S204、根据所述置信区间定位所述符合正太分布的异常的变化差值所对应的时间点；
其中，所述置信区间包括对比7天前后两种变化差值的置信区间，通过置信区间分别定位异常变化差值，再比较同一时间点对应的前后7天的异常变化差值，来判断所述时间点对应的性能数据是否为异常数据；
步骤S205、利用百分法验证所述各样本性能数据对应的变化差值的置信区间；若验证成功，执行步骤S206；
其中，所述百分法包括：
对所述符合正太分布的变化差值统计量进行排序；
设定置信水平为80％，上限值为90，若置信上限为排序后的90％百分位处，下限值为10，置信下限为排序后的10％百分位处，则证明利用正太分布规律计算的置信区间准确；
步骤S206、删除所述符合正太分布异常的变化差值所对应的时间点的各性能数据。
通过场景实施例进行说明，以2013年4月13日联机时段交易速率(TPS)指标为例，设定其对比7天前即2013年4月6日的7阶差设为Δ1，其对比7天后即2013年4月20日的7阶差设为Δ2，通过置信区间定位Δ1为异常7阶差值，则证明2013年4月13日交易速率为异常增长的毛刺点或2013年4月6日交易速率为异常减少的下降点，进一步观察2013年4月20日的7阶差值Δ2，若其同样为异常7阶差值，则证明2013年4月13日交易速率为异常值，应将其筛除。
另一实施例中，公开了一种基于大数据的主机性能容量预估方法，参见图3，所述方法，包括：
步骤S301、获取主机各样本性能数据；
步骤S302、利用周期性7阶差置信区间的方法删除所述各样本性能数据的异常数据，以获得删除异常数据的各样本性能数据；
步骤S303、计算所述目标变量与所述删除异常数据的各性能数据的线性相关性系数r；
其中，所述线性相关性系数r的计算过程是通过SPSS工具自动化完成；
步骤S304、判断所述线性相关性系数r中最大线性相关性系数rmax的值是否大于等于预设阈值；若所述最大线性相关性系数rmax大于等于预设阈值，执行步骤S305，否则，执行步骤S306；
其中，所述预设阈值为0.8，若线性相关性系数r≧0.8，则证明所述rmax对应的样本性能数据与所述目标变量成强线性相关；
步骤S305、根据所述线性相关性系数获取最大线性相关性系数对应的样本性能数据；
步骤S306、计算所述删除异常数据的各样本性能数据与给定各曲线方程进行拟合的确定系数；
所述给定曲线方程如下表：
计算所述删除异常数据的各样本性能数据与给定各曲线方程进行拟合时分别计算其对应的确定系数，其中，所述确定系数R2的计算过程是通过SPSS工具自动化完成；
步骤S307、判断所述确定系数中最大确定系数的值是否大于等于预设阈值；若所述最大确定系数大于等于预设阈值，执行步骤S308，否则执行步骤S309；
其中，所述预设阈值为0.8，若确定系数R2≧0.8，则证明所述对应的样本性能数据与所述目标变量成强非线性相关；
步骤S308、根据所述确定系数获得最大确定系数对应的样本性能数据；
步骤S309、根据所述线性相关性系数和确定系数中最大系数获得所述最大系数对应的样本性能数据；
步骤S310、对所述最大相关性系数对应的样本性能数据与目标变量的相关性关系进行假设性验证；若验证成功，执行步骤S311；
其中，利用小概率反证法思想，验证所述样本性能数据对于总体性能数据是否具有代表性；若验证不成功，则重新对所述各样本性能数据与所述目标变量的相关性进行分析；
步骤S311、根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型。
本实施例中，首先结合实际交易行为，删除各样本性能数据中的异常数据，从而提高主机容量预估的准确性；然后对删除异常数据后的各样本性能数据与所述目标变量进行相关性分析，相关性分析包括线性相关性分析和非相关性分析，分析过程从简单到复杂，删除异常数据后的各样本性能数据与所述目标变量存在强线性相关时，不再对删除异常数据后的各样本性能数据与所述目标变量的非线性相关性进行分析，从而降低相关性分析的复杂度；并且在确定所述删除异常数据后的各样本性能数据与所述目标变量的相关性关系之后对所述最大相关性系数对应的样本性能数据与目标变量的相关性关系进行假设性验证，进一步提高相关性分析的准确性，从而提高主机容量预估的准确性。
优选的，在另一实施例中，所述根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型，包括：
根据所述性能数据中最大相关性系数对应的性能数据，结合时间序列建立所述目标变量的初始化模型；
对所述初始化模型参数进行调整，得到新的预估模型；
其中，所述参数包括模型自回归项、时间序列平稳差分次数等；
计算所述新的预估模型与目标变量的相关性系数；
若所述相关性系数大于等于所述预设值，则所述新的预估模型为所述目标变量的预估模型；
否则，对所述新的预估模型的参数重新进行调整，直到所述相关性系数大于等于预设值，确定所述目标变量的预估模型。
其中，所述目标变量的预估模型方程如下：以每日联机时段交易速率(TPS)作为相关性最高的性能数据，
其中，MIPSt为目标变量，表示第t天MIPS使用情况，TPSt为输入变量，表示第t天TPS使用情况，MIPSt-1为自回归项即t-n天的MIPS使用情况，AR(1-7)为自回归项系数，MA(1-7)为移动平均参数，εt-εt-7为白噪声；
本实施例中，根据获得的最大相关性系数对应样本性能数据结合时间序列建立所述目标变量的预估模型，并对所述目标变量的预估模型的预测结果进行判断，即计算所述新的预估模型与目标变量的相关性系数，让所述相关性系数大于等于所述预设值0.8，从而保证最后确定所述目标变量的预估模型的准确性。
优选的，在另一实施例中，对所述最大相关性系数对应的样本性能数据与目标变量的相关性关系进行假设性验证，包括：
假设所述最大相关性系数对应的性能数据与目标变量的两总体无显著的相关性关系；
计算所述最大相关性系数对应的性能数据与所述目标变量的统计量对应的相伴概率值；
其中，所述相伴概率值表示样本数据与总体数据无线性相关的概率，为小概率事件；
若所述相伴概率值小于或等于设定的显著性水平，则拒绝所述假设，验证成功；
其中，所述显著性水平是在进行假设检验时实现确定一个可允许的作为判断界限的小概率标准，一般认为等于或小于0.05的概率为小概率，在本实施例中中设定1％为小概率标准；
否则，接受所述假设，验证失败。
本实施例中，利用小概率反证法思想，通过对相伴概率值与显著性水平的比较，验证样本对于总体是否具有代表性，从而提高相关性分析的准确性。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于大数据的主机性能容量预估方法，其特征在于，该方法包括:
获取主机各样本性能数据，其中，所述各样本性能数据为影响主机容量预估的样本数据；
利用周期性7阶差置信区间的方法删除所述各样本性能数据的异常数据，以获得删除异常数据的各样本性能数据；
计算所述删除异常数据的各样本性能数据与目标变量的相关性系数；
根据所述相关性系数获取最大相关性系数对应的样本性能数据；
根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型。
2.根据权利要求1所述的方法，其特征在于，利用周期性7阶差置信区间的方法删除所述各样本性能数据的异常数据，以获得删除异常数据的各性能样本数据，包括：
计算所述各样本性能数据中每一天的性能数据对比7天前后的变化差值；
利用频率直方图论证所述变化差值是否符合正太分布；
若各样本性能数据中存在对应的变化差值符合正太分布的样本性能数据，根据符合正太分布的变化差值的样本均值和标准差计算所述符合正太分布的变化差值的置信区间；
根据所述置信区间定位所述符合正太分布的异常的变化差值所对应的时间点；
删除所述符合正太分布异常的变化差值所对应的时间点的各性能数据。
3.根据权利要求2所述的方法，其特征在于，所述根据所述置信区间定位所述符合正太分布的异常的变化差值所对应的时间点之后，还包括：
利用百分法验证所述各性能数据对应的变化差值的置信区间；
其中，若验证成功，执行删除所述符合正太分布异常的变化差值所对应的时间点的各性能数据。
4.根据权利要求1所述的方法，其特征在于，所述计算所述删除异常数据的各样本性能数据与目标变量的相关性系数，包括：
计算所述目标变量与所述删除异常数据的各性能数据的线性相关性系数；
判断所述线性相关性系数中最大线性相关性系数的值是否大于等于预设阈值；
若所述最大线性相关性系数的值大于等于预设阈值，获取所述最大线性相关性系数对应的样本性能数据；其中，所述根据所述相关性系数获取最大相关性系数对应的样本性能数据为根据所述线性相关性系数获取最大线性相关性系数对应的样本性能数据；
若所述最大线性相关性系数的值小于预设阈值，计算所述删除异常数据的各样本性能数据与给定各曲线方程进行拟合的确定系数；
判断所述确定系数中最大确定系数的值是否大于等于预设阈值；
若所述最大确定系数大于等于预设阈值，获取所述最大确定系数对应的样本性能数据；其中，所述根据所述相关性系数获取最大相关性系数对应的样本性能数据为根据所述确定系数获得最大确定系数对应的样本性能数据。
5.根据权利要求4所述的方法，其特征在于，所述根据所述相关性系数获取最大相关性系数对应的样本性能数据，包括：
若所述最大确定系数小于预设阈值，根据所述线性相关性系数和确定系数中最大系数获得所述最大系数对应的样本性能数据。
6.根据权利要求1所述的方法，其特征在于，所述根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型，包括：
根据所述性能数据中最大相关性系数对应的性能数据，结合时间序列建立所述目标变量的初始化模型；
对所述初始化模型模型参数进行调整，得到新的预估模型；
计算所述新的预估模型的相关性系数；
若所述相关性系数大于等于所述预设值，则所述新的预估模型为所述目标变量的预估模型；
否则，对所述新的预估模型的参数重新进行调整，直到所述相关性系数大于等于预设值，确定所述目标变量的预估模型。
7.根据权利要求1所述的方法，其特征在于，所述根据所述相关性系数获取最大相关性系数对应的样本性能数据之后，还包括：
对所述最大相关性系数对应的样本性能数据与目标变量的相关性关系进行假设性验证；
其中，若验证成功，则证明根据样本计算得出的所述最大相关性系数对应的样本性能数据与目标变量的相关性关系符合总体变化规律，执行根据所述最大相关性系数对应的样本性能数据，结合时间序列建立所述目标变量的预估模型。
8.根据权利要求7所述的方法，其特征在于，所述对所述最大相关性系数对应的样本性能数据与目标变量的相关性关系进行假设性验证，包括：
假设所述最大相关性系数对应的性能数据与目标变量的两总体无显著的相关性关系；
计算所述最大相关性系数对应的性能数据与所述目标变量统计量的对应的相伴概率值；
若所述相伴概率值小于或等于设定的显著性水平，则拒绝所述假设，验证成功；
否则，接受所述假设，验证失败。
CN201610318916.0A 2016-05-13 2016-05-13 一种基于大数据的主机性能容量预估方法 Active CN106021082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610318916.0A CN106021082B (zh) 2016-05-13 2016-05-13 一种基于大数据的主机性能容量预估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610318916.0A CN106021082B (zh) 2016-05-13 2016-05-13 一种基于大数据的主机性能容量预估方法

Publications (2)

Publication Number Publication Date
CN106021082A true CN106021082A (zh) 2016-10-12
CN106021082B CN106021082B (zh) 2018-10-19

Family

ID=57100116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610318916.0A Active CN106021082B (zh) 2016-05-13 2016-05-13 一种基于大数据的主机性能容量预估方法

Country Status (1)

Country Link
CN (1) CN106021082B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941541A (zh) * 2019-11-06 2020-03-31 北京百度网讯科技有限公司 对数据流服务进行问题定级的方法以及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069240B1 (en) * 2007-09-25 2011-11-29 United Services Automobile Association (Usaa) Performance tuning of IT services
CN102411757A (zh) * 2011-08-05 2012-04-11 中国工商银行股份有限公司 一种大型主机cpu容量预测方法及***
JP2012128771A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 情報処理装置及びプログラム
CN105069296A (zh) * 2015-08-10 2015-11-18 国网浙江省电力公司电力科学研究院 一种设备阈值确定方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8069240B1 (en) * 2007-09-25 2011-11-29 United Services Automobile Association (Usaa) Performance tuning of IT services
JP2012128771A (ja) * 2010-12-17 2012-07-05 Mitsubishi Electric Corp 情報処理装置及びプログラム
CN102411757A (zh) * 2011-08-05 2012-04-11 中国工商银行股份有限公司 一种大型主机cpu容量预测方法及***
CN105069296A (zh) * 2015-08-10 2015-11-18 国网浙江省电力公司电力科学研究院 一种设备阈值确定方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林森 等: ""用P-BP预测网络模型预测通信网络指标"", 《计算机应用》 *
焦龙 等: ""IBM SPSS Statistics智能容量规划解决方案，第二部分：多变量预测建模"", 《HTTPS://WWW.IBM.COM/DEVELOPERWORKS/CN/DATA/LIBRARY/BA/BA-SPSS-STATISTICS2/》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941541A (zh) * 2019-11-06 2020-03-31 北京百度网讯科技有限公司 对数据流服务进行问题定级的方法以及装置

Also Published As

Publication number Publication date
CN106021082B (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN103024762A (zh) 基于业务特征的通信业务预测方法
CN103827826B (zh) 自适应地确定事务型工作负荷的响应时间分布
CN104424598A (zh) 现金需求量预测装置与方法
CN105989441A (zh) 模型参数调整方法和装置
CN109460908A (zh) 软件工程的造价评估方法
WO2021098384A1 (zh) 一种数据异常检测方法及装置
CN110119948B (zh) 基于时变权重动态组合的电力用户信用评价方法及***
CN106227765B (zh) 时间窗口累计的实现方法
CN108460521A (zh) 审计对象的推荐方法和***
CN109784627A (zh) 资金预算管理方法、装置、设备及计算机可读存储介质
CN108805338A (zh) 一种稳定变量确定方法、装置、服务器及存储介质
CN113033892A (zh) 一种政府监管视角下建设市场主体信用动态评价方法
CN103455509B (zh) 一种获取时间窗口模型参数的方法和***
CN116739742A (zh) 信贷风控模型的监控方法、装置、设备及存储介质
CN106021082A (zh) 一种基于大数据的主机性能容量预估方法
CN103530190B (zh) 一种负载预测方法及装置
CN106487570A (zh) 一种评估网络性能指标变化趋势的方法及设备
CN107832267A (zh) 一种统计数据汇总方法及装置
TWI626550B (zh) 用於預測系統障礙熱區之處理系統與方法
CN108090776A (zh) 信用评估模型的更新方法及***、信用评估方法及***
CN106301880A (zh) 一种确定网络关系稳定度、互联网业务推荐方法和设备
CN109785154A (zh) 一种基于智能决策的风险预测方法和装置
CN113743532B (zh) 异常检测方法、装置、设备及计算机存储介质
CN117391644B (zh) 一种合同管理过程中参数调整方法、装置、设备及介质
CN116225882B (zh) 一种指挥信息***状态监测与评估方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhuang Lei

Inventor after: Teng Teng

Inventor after: Zhang Hongliang

Inventor after: Yu Peng

Inventor after: Sun Zhe

Inventor before: Zhuang Lei

Inventor before: Teng Teng

Inventor before: Zhang Hongliang

Inventor before: Yu Peng

Inventor before: Sun Zhe