CN113452562B - 一种配置参数校准方法及装置 - Google Patents
一种配置参数校准方法及装置 Download PDFInfo
- Publication number
- CN113452562B CN113452562B CN202110717859.4A CN202110717859A CN113452562B CN 113452562 B CN113452562 B CN 113452562B CN 202110717859 A CN202110717859 A CN 202110717859A CN 113452562 B CN113452562 B CN 113452562B
- Authority
- CN
- China
- Prior art keywords
- configuration
- order
- configuration parameter
- system environment
- baseline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请提供一种配置参数校准方法及装置,获取待处理设备的特征数据,特征数据是待处理设备处于目标环境中时影响待处理设备的配置参数的取值的数值;根据待处理设备的特征数据和预设构建的配置基线模型,确定待处理设备处于目标环境中时的待校准配置参数;向待处理设备发送校准指令,校准指令用于指示待处理设备对待校准配置参数进行校准;其中,预先构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配置参数与***特征的可量化关系,二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,以提高校准的准确度,从而降低生产故障的发生几率。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及一种配置参数校准方法及装置。
背景技术
业务***的稳定运行直接影响对应业务的正常展开,在业务***上线前需要经过充分测试以确保上线后业务***的稳定运行,在测试环境中对业务***进行测试时,配置参数是否正确直接决定测试的有效性,因此配置参数校准显得尤为关键。
目前配置参数校准是通过获取生产环境的配置文件和测试环境的配置文件,将两个环境中的配置文件进行比对以得到两个配置文件中的差异参数,差异参数是两个配置文件中不一致的配置参数,如取值不同、配置参数名称不同等。然后由开发人员、测试人员以及运维人员对差异参数进行分析,确定差异参数是否会影响测试的有效性,如果影响测试的有效性,则将测试环境中的配置参数校准至与生产环境中的配置参数一致。
对于业务***来说,无论是比对得到差异参数、差异参数分析和配置参数调整都是由开发人员、测试人员以及运维人员来确定。并且在基于两个配置文件进行比对时是以每个配置参数为单位进行比对,这些配置参数之间是否存在关联关系,例如,配置文件X中的配置参数A与配置文件Y中的配置参数B有依赖关系,目前配置参数校准方法会分别对配置参数A和配置参数B进行比对,发现配置参数A不一致需要校准,配置参数B一致不需要校准,结果因校准时没有考虑配置参数之间的关联关系导致了生产故障并浪费了人力物力。
发明内容
有鉴于此,本申请的目的在于提供一种配置参数校准方法及装置。
一方面,本申请提供一种配置参数校准方法,所述方法包括:
获取待处理设备的特征数据,所述特征数据是所述待处理设备处于目标环境中时影响所述待处理设备的配置参数的取值的数值;
根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数;
向所述待处理设备发送校准指令,所述校准指令用于指示所述待处理设备对所述待校准配置参数进行校准;
其中,所述预设构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,所述一阶配置基线模型用于指示所述配置参数与***特征的可量化关系,所述二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,在确定所述待校准配置参数时利用所述一阶配置基线模型和/或二阶配置基线模型。
可选的,所述配置基线模型的构建过程包括:
获取第一***环境的配置参数集合及所述第一***环境的第一***特征集合,所述第一***环境为生产环境,所述配置参数集合包括配置参数的历史取值,所述第一***特征集合包括所述***特征的历史取值;
对所述配置参数集合中的配置参数进行标准化和消除多重共线性处理,得到所述第一***环境的一阶配置参数集合和所述第一***环境的二阶配置参数集合;
利用所述一阶配置参数集合中配置参数的历史取值和所述第一***特征集合中***特征的历史取值,得到所述一阶配置基线模型;
利用所述一阶配置基线模型中各配置参数的历史取值和所述二阶配置参数集合中各配置参数的历史取值,得到所述二阶配置基线模型。
可选的,所述方法还包括:
利用所述一阶配置基线模型和所述二阶配置基线模型,对所述第一***环境的配置参数集合进行调整,得到所述第一***环境的配置基线,所述第一***环境的配置基线中存储有第一配置项和所述第一配置项的基线值,所述第一配置项为对第一***环境进行校准时参照的配置参数;
获取第二***环境的第二***特征集合,所述第二***环境为测试环境,所述第二***特征集合包括***特征的历史取值;
利用所述第二***特征集合中***特征的历史取值、所述一阶配置基线模型和所述二阶配置基线模型,得到所述第二***环境的配置基线,所述第二***环境的配置基线中存储有第二配置项和所述第二配置项的基线值,所述第二配置项为对第二***环境进行校准时参照的配置参数。
可选的,所述对所述配置参数集合中的配置参数进行标准化和消除多重共线性处理,得到所述第一***环境的一阶配置参数集合和所述第一***环境的二阶配置参数集合包括:
将所述配置参数集合中类型为字符型的配置参数的字符值转换为数值;
获得所述配置参数集合中每个配置参数与所述配置参数集合中其他配置参数的线性回归模型;
根据所述每个配置参数的线性回归模型,得到所述每个配置参数的判决系数;
根据所述每个配置参数的判决系数,得到每个配置参数的方差膨胀因子;
根据所述每个配置参数的方差膨胀因子和预设阈值,确定所述配置参数所属集合,所述配置参数所属集合为所述第一***环境的一阶配置参数集合或所述第一***环境的二阶配置参数集合。
可选的,所述利用所述一阶配置参数集合中配置参数的历史取值和所述第一***特征集合中***特征的历史取值,得到所述一阶配置基线模型包括:
以所述第一***特征集合中***特征的历史取值为自变量,以所述一阶配置参数集合中的配置参数为因变量,得到所述一阶配置参数集合中每个配置参数与第一***特征集合中各***特征的模型系数及每个配置参数的置信区间;
根据所述每个配置参数的置信区间,确定所述一阶配置参数集合中对测试结果有影响的配置参数;
根据所述对测试结果有影响的配置参数的模型系数,得到所述一阶配置基线模型,所述一阶配置基线模型中包含所述对测试结果有影响的配置参数与第一***特征集合中各***特征的可量化关系;
所述利用所述一阶配置基线模型中各配置参数的历史取值和所述二阶配置参数集合中各配置参数的历史取值,得到所述二阶配置基线模型包括:
以所述一阶配置基线模型中各配置参数的历史取值为自变量,以所述二阶配置参数集合中的配置参数为因变量,得到所述二阶配置参数集合中每个配置参数与一阶配置基线模型中各配置参数的模型系数及每个配置参数的置信区间;
根据所述二阶配置参数集合中每个配置参数的置信区间,确定所述二阶配置参数集合中对测试结果有影响的配置参数;
根据所述二阶配置参数集合中对测试结果有影响的配置参数的模型系数,得到所述二阶配置基线模型,所述二阶配置基线模型中包含所述二阶配置参数集合中对测试结果有影响的配置参数与一阶配置基线模型中各配置参数的可量化关系。
可选的,所述获取待处理设备的特征数据包括:针对第二***环境的一阶配置基线中配置参数,获取所述第二***环境的相关配置参数的真实值,所述第二***环境为测试环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置参数的真实值与所述将第二***环境的一阶配置基线中配置参数的基线值进行比对,得到所述一阶配置基线的差异项;
根据所述一阶配置基线的差异项和所述二阶配置基线模型,得到二阶配置基线的差异项,所述一阶配置基线的差异项和所述二阶配置基线的差异项为所述待校准配置参数,所述校准指令用于指示将所述第二***环境的相关配置参数的取值修正为基线值。
可选的,所述获取待处理设备的特征数据包括:根据第二***环境的测试需求,得到所述第二***环境的***特征的预测值,所述第二***环境为测试环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置基线模型中作为因变量的配置参数确定为所述待校准配置参数,并将所述第二***环境的***特征的预测值输入至所述配置基线模型,得到所述待校准配置参数的预测值,所述校准指令用于指示将所述第二***环境中的待校准配置参数的取值修正为所述预测值。
可选的,所述获取待处理设备的特征数据包括:获取第一***环境的历史特征数据,根据历史特征数据得到所述第一***环境的***特征的预测值,所述第一***环境为生产环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置基线模型中作为因变量的配置参数确定为所述待校准配置参数,并将所述第一***环境的***特征的预测值输入至所述配置基线模型,得到所述待校准配置参数的预测值,所述校准指令用于指示将所述第一***环境中的待校准配置参数的取值修正为所述预测值。
可选的,所述获取待处理设备的特征数据包括:
向所述待处理设备的代理端发送数据获取指令,并接收所述代理端发送的数据;所述数据获取指令用于指示所述代理端从所述待处理设备处采集数据,所述代理端可从处于同一组的待处理设备中采集数据;
所述向所述待处理设备发送校准指令包括:向所述待处理设备的代理端发送所述校准指令,所述代理端向处于同一组的待处理设备发送所述校准指令。
可选的,所述方法还包括:
获取第一***环境和/第二***环境的事件信息,并从事件信息中筛选出因配置参数的取值错误导致的事件信息;
将筛选出的事件信息对应的取值错误的配置参数作为一个优化参数集合,得到优化参数集合的配置参数相关的***特征,根据优化参数集合和优化参数集合的配置参数相关的***特征,对所述配置基线模型进行自学习优化。
另一方面,本申请提供一种配置参数校准装置,所述装置包括:服务端单元、第一***环境代理端单元和第二***环境代理端单元;
所述第一***环境代理端单元,用于采集待处理设备处于第一***环境中时配置参数的取值,并将采集到的数据发送给所述服务端单元;
所述第二***环境代理端单元,用于采集待处理设备处于第二***环境中时配置参数的取值,并将采集到的数据发送给所述服务端单元;
所述服务端单元,用于执行上述配置参数校准方法,向所述第一***环境代理端单元和所述第二***环境代理端单元中的一个发送校准指令,以利用所述第一***环境代理端单元和所述第二***环境代理端单元根据所述校准指令对待处理设备中的待校准配置参数进行校准。
再一方面,本申请提供一种设备,所述设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现上述配置参数校准方法。
再一方面,本申请提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由处理器执行时能够实现上述配置参数校准方法。
上述配置参数校准方法及装置,获取待处理设备的特征数据,特征数据是待处理设备处于目标环境中时影响待处理设备的配置参数的取值的数值;根据待处理设备的特征数据和预设构建的配置基线模型,确定待处理设备处于目标环境中时的待校准配置参数;向待处理设备发送校准指令,校准指令用于指示待处理设备对待校准配置参数进行校准;其中,预先构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配置参数与***特征的可量化关系,二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,在确定待校准配置参数时利用一阶配置基线模型和/或二阶配置基线模型,实现利用预先构建的配置基线模型完成对待处理设备的配置参数进行自动校准,并且预先配置的配置基线模型中的二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,能够利用二阶配置基线模型得到有关联关系的各配置参数,在对关联关系的一个配置参数进行校准时可同时对关联关系的另一个配置参数进行校准,提高校准的准确度,从而降低生产故障的发生几率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是现有配置参数校准的示意图;
图2是本申请实施例提供的配置参数校准方法中一种构建配置基线模型的流程图;
图3是本申请实施例提供的配置参数校准方法中另一种构建配置基线模型的流程图;
图4是本申请实施例提供的一种配置参数校准方法的流程图;
图5是本申请实施例提供的另一种配置参数校准方法的流程图;
图6是本申请实施例提供的再一种配置参数校准方法的流程图;
图7是本申请实施例提供的再一种配置参数校准方法的流程图;
图8是本申请实施例提供的一种配置参数校准装置的结构示意图;
图9是图8所示配置参数校准装置中各单元的工作流程图;
图10是图8所示配置参数校准装置批量处理采集脚本的流程图;
图11是图8所示配置参数校准装置批量比对配置参数的流程图;
图12是图8所示配置参数校准装置批量校准配置参数的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前配置参数校准是通过获取生产环境的配置文件和测试环境的配置文件,将两个环境中的配置文件进行比对以得到两个配置文件中的差异参数,差异参数是两个配置文件中不一致的配置参数,如取值不同、配置参数名称不同等。然后由开发人员、测试人员以及运维人员对差异参数进行分析,确定差异参数是否会影响测试的有效性,如果影响测试的有效性,则将测试环境中的配置参数校准至与生产环境中的配置参数一致。其中配置参数校准方法主要针对的是测试环境中的各设备,对测试环境中的各设备执行配置参数校准,其过程如图1所示:测试环境中各设备例如A、B、C依次顺序执行步骤(1)至(4),A执行完(1)-(4)后,B执行(1)至(4)……以此类推,直至所有需比对的设备执行完毕。其中步骤(1)至(4)可由开发人员、测试人员及运维人员中的至少一种类型人员手动执行,步骤(1)至(4)的说明如下:
(1)配置文件获取:配置文件的收集需要每一台设备逐台登录、依次手动执行下列操作:上传采集脚本、部署、执行、收集执行结果文件、下载执行结果文件。由于测试环境中涉及的配置参数种类繁多,如测试环境中涉及的配置参数包含底层硬件、操作***、数据库、中间件、应用等几十种产品的配置参数,每种产品都有独立的采集脚本,每个脚本均需将上述操作执行一遍以获取测试环境中涉及的配置参数。
(2)配置文件比对,获取并输出比对结果:逐一查找出测试环境与生产环境的对应设备,对一台设备的几十个配置文件中的上万个配置参数一一定位比对,确定不一致的配置参数,不一致的配置参数汇总至文件中。
(3)配置参数比对结果分析:开发人员、测试人员及运维人员对文件中不一致的配置参数逐一分析,明确该配置参数不一致是否会影响测试结果,将会影响测试结果的配置参数汇总形成需要校准的参数集合。
(4)配置参数调整:根据需要校准的参数集合,登录到对应设备对参数集合中的配置参数逐一校准,使测试环境的配置参数与生产环境保持一致。
从上述图1所示配置参数校准方法可知,目前配置参数校准方法是先比对再分析,一个产品的配置文件动辄几十个,一个配置文件中包含的配置参数动辄上千个,那么在比对分析过程中需要对众多配置参数进行处理,其中包含大量对测试无影响的配置参数,效率低下。无论是比对得到差异参数、差异参数分析和配置参数调整都是由开发人员、测试人员以及运维人员来确定,人工依赖程度高,效率低下,实施风险较高,处理规模较小。并且在基于两个配置文件进行比对时是以每个配置参数为单位进行比对,这些配置参数之间是否存在关联关系,例如,配置文件X中的配置参数A与配置文件Y中的配置参数B有依赖关系,目前配置参数校准方法会分别对配置参数A和配置参数B进行比对,发现配置参数A不一致需要校准,配置参数B一致不需要校准,结果因校准时没有考虑配置参数之间的关联关系导致了生产故障并浪费了人力物力。
为了解决上述技术方案,本申请提供的配置参数校准方法及装置能够利用预先构建的配置基线模型进行校准,其中预先构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配置参数与***特征的可量化关系,二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,通过配置基线模型精炼了需要比对和校准的配置参数集合,降低了无意义比对,效率提升。并且能够利用预先构建的配置基线模型完成对待处理设备的配置参数进行自动校准,降低人工依赖程度,从而可提升效率,实施风险降低,处理规模可提升。预先配置的配置基线模型中的二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,能够利用二阶配置基线模型得到有关联关系的各配置参数,在对关联关系的一个配置参数进行校准时可同时对关联关系的另一个配置参数进行校准,提高校准的准确度,从而降低生产故障的发生几率。
下面对本申请提供的配置参数校准方法进行说明,首先对本申请提供的配置参数校准方法涉及的术语进行说明:
***特征是指业务***的基本属性,如设备的硬件资源大小,用户数量,交易量等信息。
配置基线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配置参数与***特征的可量化关系;二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系。
第一***环境的配置基线是指处于稳定运行的生产环境中的各设备经过配置基线模型筛选后的第一配置项及第一配置项的基线值的并集,第一配置项为生产环境中需要校准的配置参数,生产环境为第一***环境,也就是说第一***环境的配置基线中存储有第一配置项和第一配置项的基线值;例如{{PK1,PV1},{PK2,PV2}…},PK1为第一配置项的名称,PV1为第一配置项PK1的基线值。
第一***环境的配置基线的预测值是指根据生产环境中各设备的***特征的预测值,通过一阶配置基线模型与二阶配置基线模型分别得出的位于生产环境中各设备的第一配置项的预测值的并集。例如{{{PK1,PVY1},{PK2,PVY2}…},{{QK1,QVY1},{QK2,QVY2}…},},PK1为一阶配置基线中第一配置项的名称,PVY1为PK1的预测值。QK1为二阶配置基线中第一配置项的名称,QVY1为QK1的预测值。
第二***环境的配置基线是指根据测试环境的***特征,通过一阶配置基线模型与二阶配置基线模型分别得出位于测试环境中的各设备的第二配置项和第二配置项的基线值的并集,第二配置项为测试环境中需要校准的配置参数,生产环境为第二***环境,也就是说第二***环境的配置基线中存储有第二配置项和第二配置项的基线值;例如{{{TK1,TV1},{TK2,TV2}…},{{SK1,SV1},{SK2,SV2}…}},TK1为一阶配置基线中第二配置项的名称,TV1为TK1的基线值,SK1为二阶配置基线中第二配置项的名称,SV1为SK1的基线值。
第二***环境的配置基线的预测值是指根据测试环境的测试需求,通过一阶配置基线模型与二阶配置基线模型分别得出的位于测试环境中的各设备的配置基线中第二配置项的预测值的并集。例如{{{TK1,TVY1},{TK2,TVY2}…},{{SK1,SVY1},{SK2,SVY2}…}},TK1为一阶配置基线中第二配置项的名称,TVY1为TK1的预测值。SK1为二阶配置基线中第二配置项的名称,SVY1为配置项SK1的预测值。
事件是指第一***环境及第二***环境发生的影响业务***正常运行的***故障信息。
本实施例提供的配置参数校准方法,在实施过程中需要使用预先构建的配置参数模型,该配置参数模型的构建过程如图2所示,可以包括以下步骤:
101:获取第一***环境的配置参数集合及第一***环境的第一***特征集合,第一***环境为生产环境,配置参数集合包括配置参数的历史取值,第一***特征集合包括***特征的历史取值。
***特征包括硬件资源、用户数量和交易量等,硬件资源包括中央处理器(Central Processing Unit,CPU)核数、内存大小,用户数量用于指示同时在使用一个业务***的用户的数量,交易量用于指示单位时间内业务***完成的交易的数量,这些***特征会导致第一***环境和第二***环境的配置参数的不一致,因此本实施例采用这些***特征,第二***环境为测试环境。
在配置参数集合中可记录配置参数和配置参数的历史取值,如配置参数集合中以{y1,y2,y3,y4,y5,y6,y7…}形式记录配置参数,每个配置参数的历史取值为{y11,y12,…y1n};同样的在第一***特征集合中记录有***特征和***特征的历史取值,如第一***特征集合以{x1,x2,x3…}形式记录***特征,每个***特征的历史取值为{x11,x12,…x1n},n的取值本实施例不进行限定。
102:对配置参数集合中的配置参数进行标准化和消除多重共线性处理,得到第一***环境的一阶配置参数集合和第一***环境的二阶配置参数集合。
其中对配置参数集合中的配置参数的标准化主要是针对配置参数集合中的类型为字符型的配置参数,将字符型的配置参数的字符值转换为数值。在本实施例中可设置字符值和数值的对应关系,根据字符值和数值的对应关系完成字符值的转换。如表1所示,示出了对配置参数的标准化转换,标准化转换可以是对配置参数的一个历史取值的标准化转换。
表1配置参数的标准化转换
配置参数名称 | 字符值 | 数值 |
y<sub>31</sub> | aaa | 1 |
y<sub>32</sub> | bbb | 2 |
y<sub>33</sub> | ccc | 3 |
在完成对配置参数集合中的配置参数的标准化处理后,需要进一步消除配置参数之间的多重共线性,其中消除配置参数之间的多重共线性的方式可以是:使用方差膨胀因子VIF对各配置参数进行多重共线性分析,筛选出有关联关系的配置参数,以消除配置参数之间的多重共线性,具体步骤如下:
1)获得配置参数集合中每个配置参数与配置参数集合中其他配置参数的线性回归模型;以配置参数集合中的配置参数y1为例,其线性回归模型是一个表示其与其他配置参数的映射关系的计算公式,如配置参数y1的线性回归模型可以是y1=c2y2+c3y3+…+cpyp+c0+ε,参照配置参数y1的线性回归模型,得到其他配置参数的线性回归模型,这些配置参数的线性回归模型是一个配置参数为因变量,其他配置参数为自变量,构建出通过自变量得到因变量的计算公式。
2)根据每个配置参数的线性回归模型,得到每个配置参数的判决系数;在线性回归模型中,判决系数是回归平方和与总离差平方和之比值,其数值等于相关系数的平方,对于判决系数的计算过程本实施例不再阐述。
4)根据每个配置参数的方差膨胀因子和预设阈值,确定配置参数所属集合,配置参数所属集合为第一***环境的一阶配置参数集合或第一***环境的二阶配置参数集合;预设阈值的作用是对配置参数进行分类,该分类用于将配置参数划分至一阶配置参数集合或二阶配置参数集合中。
如果配置参数的方差膨胀因子大于预设阈值,将该配置参数划分至二阶配置参数集合,如果配置参数的方差膨胀因子小于或等于预设阈值,将该配置参数划分至一阶配置参数集合。例如预设阈值为10,如果方差膨胀因子大于10,将该配置参数划分至二阶配置参数集合,如果方差膨胀因子小于或等于10,将该配置参数划分至一阶配置参数集合。例如基于预设阈值10,得到一阶配置参数集合为{y1,y3,y4,y5,y7…},二阶配置参数集合为{y2,y6,y8…}。
103:利用一阶配置参数集合中配置参数的历史取值和第一***特征集合中***特征的历史取值,得到一阶配置基线模型。一阶配置基线模型用于指示配置参数与***特征的可量化关系,其过程如下:
11)以第一***特征集合中***特征的历史取值为自变量,以一阶配置参数集合中的配置参数为因变量,得到一阶配置参数集合中每个配置参数与第一***特征集合中各***特征的模型系数及每个配置参数的置信区间。
其中y为配置参数,xi为第i个***特征。利用线性回归模型得到模型系数和配置区间,如表2所示:
表2一阶配置参数集合中的配置参数的模型系数和配置区间
配置参数名称 | a<sub>1</sub> | b<sub>1</sub> | a<sub>2</sub> | b<sub>2</sub> | a<sub>p</sub> | b<sub>p</sub> | 置信区间 |
y<sub>1</sub> | 0.02 | 1 | 0 | 0 | 0.03 | 1 | 99% |
y<sub>3</sub> | 0.001 | 1 | 0 | 0 | 0 | 0 | 75% |
y<sub>4</sub> | 0 | 0 | 0.5 | 1 | 0.03 | 0.5 | 95% |
y<sub>5</sub> | 0 | 0 | 0.05 | 1 | 0 | 1 | 60% |
y<sub>7</sub> | 0.025 | 1 | 0 | 1 | 0.019 | 1 | 55% |
12)根据每个配置参数的置信区间,确定一阶配置参数集合中对测试结果有影响的配置参数;根据每个配置参数的置信区间,可得到每个配置参数的可信度的高低,对于可信度高的配置参数,确定为是对测试结果有影响的配置参数。
例如,根据置信区间的取值,得知y3,y5,y7配置参数的可信度较低。经分析,配置参数y3的取值对测试结果有影响,标记为强一致。配置参数y5,y7的取值对测试结果无影响,将该配置参数剔除,从而确定配置参数y1,y3,y4是一阶配置参数集合中对测试结果有影响的配置参数。
13)根据对测试结果有影响的配置参数的模型系数,得到一阶配置基线模型,一阶配置基线模型中包含对测试结果有影响的配置参数与第一***特征集合中各***特征的可量化关系。
根据上述模型系数,可得到一阶配置基线模型如下:
y1=0.02x1+0.03xp+0.3;
y3为强一致。
通过分析对测试结果有影响的配置参数的模型系数,可确定配置参数y3与***特征没有强相关,因此在一阶配置基线模型中没有给出可量化关系,配置参数y3代表一类参数例如版本信息,比如数据库版本,这类信息与***特征没有强相关,但是生产环境和测试环境要求必须一致。
104:利用一阶配置基线模型中各配置参数的历史取值和二阶配置参数集合中各配置参数的历史取值,得到二阶配置基线模型。二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,其过程如下:
21)以一阶配置基线模型中各配置参数的历史取值为自变量,以二阶配置参数集合中的配置参数为因变量,得到二阶配置参数集合中每个配置参数与一阶配置基线模型中各配置参数的模型系数及每个配置参数的置信区间。
如以一阶配置基线模型中各配置参数的历史取值为自变量,以二阶配置参数集合中的配置参数为因变量,建立线性回归模型,利用线性回归模型得到模型系数及置信区间。
例如,建立{y2,y6,y8}与{y1,y4}的线性回归模型
y2=c2y1+c3y4+c0+ε;
y6=c2y1+c3y4+c0+ε;
y8=c2y1+c3y4+c0+ε;
通过配置参数的历史取值,可得到各配置参数的模型系数及置信区间。如表3所示。
表3二阶配置参数集合中的配置参数的模型系数和配置区间
配置项名称 | c<sub>2</sub> | c<sub>3</sub> | c<sub>0</sub> | 置信区间 |
y<sub>2</sub> | 0 | 0.02 | 1.1 | 98% |
y<sub>6</sub> | 0.04 | 0.07 | 0 | 99% |
y<sub>8</sub> | 0.001 | 0.031 | 0.5 | 61% |
22)根据二阶配置参数集合中每个配置参数的置信区间,确定二阶配置参数集合中对测试结果有影响的配置参数。根据每个配置参数的置信区间,可得到每个配置参数的可信度的高低,对于可信度高的配置参数,确定为是对测试结果有影响的配置参数。例如上述配置参数y8的置信区间较小,说明其可信度低,从而确定其对测试结果没有影响,其他配置参数y2和y6是对测试结果有影响的配置参数。
23)根据二阶配置参数集合中对测试结果有影响的配置参数的模型系数,得到二阶配置基线模型,二阶配置基线模型中包含二阶配置参数集合中对测试结果有影响的配置参数与一阶配置基线模型中各配置参数的可量化关系。
根据二阶配置参数集合中对测试结果有影响的配置参数的模型系数,构建其与一阶配置基线模型中各配置参数的可量化关系,例如根据上述表3所示,得到配置参数y2和y6的二阶配置基线模型,如:
y2=0.02y4+1.1;
y6=0.04y1+0.07y4。
在得到一阶配置基线模型和二阶配置基线模型后,还可以利用一阶配置基线模型和二阶配置基线模型来得到第一***环境的配置基线和第二***环境的配置基线,其过程如图3所示,在图2基础上还可以包括以下步骤:
105:利用一阶配置基线模型和二阶配置基线模型,对第一***环境的配置参数集合进行调整,得到第一***环境的配置基线,第一***环境的配置基线中存储有第一配置项和第一配置项的基线值,第一配置项为对第一***环境进行校准时参照的配置参数,例如参照第一配置项的基线值,在对第一***环境的配置参数进行校准时可以是对第一***环境的配置基线中的各第一配置项确定出当前需要校准的配置参数,在确定过程中可参照第一配置项的基线值。
利用一阶配置基线模型和二阶配置基线模型中的因变量,对第一***环境的配置参数集合进行筛选,从第一***环境的配置参数集合中筛选出对测试结果有影响的配置参数,如从第一***环境的配置参数集合中筛选出作为一阶配置基线模型和二阶配置基线模型中的因变量的配置参数,其中作为一阶配置基线模型和二阶配置基线模型中的因变量的配置参数是对测试结果有影响的配置参数,这些配置参数是需要校准的配置参数,得到第一***环境的配置参数的参数范围。第一***环境的配置参数的取值可以从历史取值中选取,选取的取值能够使待处理设备在生产环境下稳定运行业务***。
例如,剔除配置参数y5及y7,得到第一***环境的配置基线为{{y1,y11},{y2,y21},{y3,aaa},{y4,y41},{y6,y61}…}。第一***环境的配置基线包括一阶配置基线和二阶配置基线,一阶配置基线包括作为一阶配置基线模型的因变量的配置参数(即第一配置项)和这些配置参数的基线值(是从历史取值中选取出的一个值),二阶配置基线包括作为二阶配置基线模型的因变量的配置参数和这些配置参数的基线值。
106:获取第二***环境的第二***特征集合,第二***环境为测试环境,第二***特征集合包括***特征的历史取值。
第二***特征集合中的***特征包括硬件资源、用户数量和交易量等,硬件资源包括中央处理器(Central Processing Unit,CPU)核数、内存大小,用户数量用于指示同时在使用一个业务***的用户的数量,交易量用于指示单位时间内业务***完成的交易的数量,这些***特征的历史取值可以是实时采集得到的。
107:利用第二***特征集合中***特征的历史取值、一阶配置基线模型和二阶配置基线模型,得到第二***环境的配置基线,第二***环境的配置基线中存储有第二配置项和第二配置项的基线值,第二配置项为对第二***环境进行校准时参照的配置参数。在对第二***环境的配置参数进行校准时可以是对第二***环境的配置基线中的各第二配置项确定出当前需要校准的配置参数,在确定过程中可参照第二配置项的基线值。
如将第二***环境的***特征{k1,k2,k3}的历史取值分别输入至一阶配置基线模型,得到第二***环境的一阶配置基线{{y1,z1},{y3,aaa},{y4,z4}…},将y1,y4的值输入二阶配置基线模型,得到第二***环境的二阶配置基线{{y2,z2},{y6,z6}…}。一阶配置基线和二阶配置基线的并集为第二***环境的配置基线{{{y1,z1},{y3,aaa},{y4,z4}…},{{y2,z2},{y6,z6}…}}。
下面介绍利用一阶配置基线模型和二阶配置基线模型,对配置参数进行校准的过程,如图4所示,其示出了本申请实施例提供的一种配置参数校准方法的流程图,可以包括以下步骤:
201:获取待处理设备的特征数据,特征数据是待处理设备处于目标环境中时影响待处理设备的配置参数的取值的数值。如特征数据可以是实时采集到的配置参数的取值,如实时采集到的配置参数的实际值;或者是在采集到数据之后对数据进行处理得到的特征数据,例如是根据目标环境为第二***环境(测试环境)时的测试需求得到的特征数据,其中测试需求是采集到的数据。
在本实施例中,获取待处理设备的特征数据的一种方式是:向待处理设备的代理端发送数据获取指令,并接收代理端发送的数据;数据获取指令用于指示代理端从待处理设备处采集数据,代理端可从处于同一组的待处理设备中采集数据,从而能够批量地从同一组的待处理设备采集数据,如果特征数据是实时采集到的配置参数的取值,则将从代理端接收到的配置参数的取值作为特征数据;如果特征数据需要对代理端采集到的数据进行处理,则在接收到代理端采集到的数据后对数据进行处理得到特征数据。在不同场景下对数据进行处理的过程不同,下面会结合场景进行说明。
202:根据待处理设备的特征数据和预设构建的配置基线模型,确定待处理设备处于目标环境中时的待校准配置参数。
其中,预设构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配置参数与***特征的可量化关系,二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,在确定待校准配置参数时利用一阶配置基线模型和/或二阶配置基线模型。
在利用一阶配置基线模型和/或二阶配置基线模型确定待校准配置参数时,除了能够确定出当前对待处理设备进行校准的配置参数之外,还能够确定出配置参数的取值。在对待处理设备进行校准时还参照确定出的配置参数的取值进行校准,如将配置参数的取值与其预测值进行比对,参照比对结果进行校准,具体校准过程也会根据场景不同而不同,并且利用一阶配置基线模型和二阶配置基线模型时也会根据场景不同而采用不同的配置基线模型。
203:向待处理设备发送校准指令,校准指令用于指示待处理设备对待校准配置参数进行校准。如向待处理设备的代理端发送校准指令,代理端向处于同一组的待处理设备发送校准指令,以批量对处于同一组的待处理设备进行配置参数的校准。
下面结合场景对本实施例提供的配置参数校准方法进行说明。如场景一:针对测试前的环境准备的参数校准场景,根据第二***环境的配置基线(如第二***环境的一阶配置基线和二阶配置基线),对第二***环境的配置参数进行校准,在校准过程中使用二阶配置基线模型,其过程如图5所示,可以包括以下步骤:
301:针对第二***环境的一阶配置基线中配置参数,获取第二***环境的相关配置参数的真实值,第二***环境为测试环境。
如针对第二***环境的一阶配置基线中的配置参数的参数范围,获取第二***环境的相关配置参数的真实值,例如根据第二***环境的一阶配置基线{{y1,z1},{y3,aaa},{y4,z4}…},得到参数范围{y1,y3,y4},参数范围指向了本实施例要采集的配置参数,然后实时采集到这些配置参数的真实值,如采集到{y1,y3,y4}在第二***环境中的真实值{y1,m1},{y3,bbb},{y4,z4}。
302:将配置参数的真实值与将第二***环境的一阶配置基线中配置参数的基线值进行比对,得到一阶配置基线的差异项。
如第二***环境的一阶配置基线{{y1,z1},{y3,aaa},{y4,z4}…},将配置参数的真实值与对应的配置参数的基线值进行比对,得到真实值与基线值不同的配置参数,真实值与基线值不同的配置参数为一阶配置基线的差异项,例如差异项为{y1,y3}。
303:根据一阶配置基线的差异项和二阶配置基线模型,得到二阶配置基线的差异项,一阶配置基线的差异项和二阶配置基线的差异项为待校准配置参数,校准指令用于指示将第二***环境的相关配置参数的取值修正为基线值。
在得到二阶配置基线的差异项时,从二阶配置基线模型中查找使用一阶配置基线的差异项,在二阶配置基线模型中使用一阶配置基线的差异项的配置参数为二阶配置基线的差异项。如二阶配置基线模型为:
y2=0.02y4;
y6=0.04y1+0.07y4。
配置参数y6的二阶配置基线模型使用一阶配置基线的差异项y1,则配置参数y6为二阶配置基线的差异项,至此得到待校准配置参数,即对那些配置参数进行校准。
304:向待处理设备发送校准指令,校准指令用于指示待处理设备对待校准配置参数进行校准,具体的是校准指令用于指示将第二***环境的相关配置参数的取值修正为基线值,例如对于一阶配置基线的差异项{y1,y3}及二阶配置基线的差异项y6,将这些配置参数在第二***环境中的取值修改为基线值,如修改为{y1,z1},{y3,aaa},{y6,z6}。
场景二:随着业务推广,业务***进入快速成长期,用户数及交易量显著增加,业务***承受的压力逐渐增大。针对部分测试场景如性能测试场景等,需要主动根据测试需求提前对第二***环境的配置参数进行预校准,在预校准过程中使用一阶配置基线模型和二阶配置基线模型,其过程如图6所示,可以包括以下步骤:
401:根据第二***环境的测试需求,得到第二***环境的***特征的预测值,第二***环境为测试环境。例如,为保障业务***稳定运行,在测试环境进行性能测试。根据测试场景得到***特征的预测值,如用户数为s,交易量为t。
在本实施例中,测试需求中会提供第二***环境的***特征的预测值,如测试需求要测试1000用户并发下的联机交易的稳定性,这个1000就是用户数这个***特征在测试环境中的预测值。
402:将配置基线模型中作为因变量的配置参数确定为待校准配置参数,并将第二***环境的***特征的预测值输入至配置基线模型,得到待校准配置参数的预测值。
如将第二***环境的***特征的预测值分别输入至一阶配置基线模型和二阶配置基线模型,得到第二***环境的配置基线的预测值,配置基线中的各配置参数为待校准配置参数,且配置基线中的各配置参数是配置基线模型中作为因变量的配置参数,由此能够将配置基线模型中作为因变量的配置参数作为待校准配置参数,然后利用第二***环境的***特征的预测值得到各待校准配置参数的预测值。
例如:将用户数s和交易量t代入一阶配置基线模型和二阶配置基线模型,得到第二***环境的配置基线的预测值:{{{y1,zy1},{y3,aaa},{y4,zy4}},{{y2,zy2},{y6,zy6}}…}。
403:向待处理设备发送校准指令,校准指令用于指示待处理设备对待校准配置参数进行校准,具体的,校准指令用于指示将第二***环境中的待校准配置参数的取值修正为预测值。
例如,根据第二***环境的配置基线的预测值,将第二***环境的配置参数y1的值改为zy1,y3的值改为aaa…以此类推对每个待校准配置参数的取值进行校准。之所以这样修改是因为预测值是根据***特征的预测值算出来的,是与***特征适应的,所以可以规避由配置参数配置错误导致的测试环境的事故。
场景三:随着业务***生命周期的变化,***特征随之改变,生产环境也存在主动提前调整配置参数的场景,以防范生产环境配置参数取值错误导致的故障风险,实现基于***特征的预测值对第一***环境的配置参数进行预校准,其过程如图7所示,可以包括以下步骤:
501:获取第一***环境的历史特征数据,根据历史特征数据得到第一***环境的***特征的预测值,第一***环境为生产环境。其中根据历史特征数据得到第一***环境的***特征的预测值的过程如下:
以时间为自变量,***特征为因变量,建立线性回归模型,利用***特征的历史取值得到每个***特征的预测模型的模型系数及置信区间。以***特征x1为例,t1为时间,
得到的模型系数如下表所示:
***特征名称 | f<sub>1</sub> | d<sub>1</sub> | c<sub>0</sub> | 置信区间 |
x<sub>1</sub> | 0.04 | 1.3 | 0.9 | 99% |
相对应的利用模型系数得到的线性回归模型如下:
输入t1为2022年,得到x1的预测值为794。置信区间用于指示是否得到***特征的预测值,如果置信区间指示没有对生产环境有影响,则不再得到置信区间对应的***特征的预测值,否则根据***特征的线性回归模型得到其预测值。
502:将配置基线模型中作为因变量的配置参数确定为待校准配置参数,并将第一***环境的***特征的预测值输入至配置基线模型,得到待校准配置参数的预测值。
如将第一***环境的***特征的预测值分别输入至一阶配置基线模型和二阶配置基线模型,得到第一***环境的配置基线的预测值,配置基线中的各配置参数为待校准配置参数,且配置基线中的各配置参数是配置基线模型中作为因变量的配置参数,由此能够将配置基线模型中作为因变量的配置参数作为待校准配置参数,然后利用第一***环境的***特征的预测值得到各待校准配置参数的预测值。
例如:将用户数和交易量的预测值m和n输入至一阶配置基线模型和二阶配置基线模型,得到第一***环境的配置基线的预测值:{{y1,yy11},{y2,yy21},{y3,aaa},{y4,yy41},{y6,yy61}…}。
503:向待处理设备发送校准指令,校准指令用于指示待处理设备对待校准配置参数进行校准,具体的,校准指令用于指示将第一***环境中的待校准配置参数的取值修正为预测值。
在向待处理设备发送校准指令时,将第一***环境的配置基线的预测值与第一***环境的配置基线中的基线值进行比对,以确定第一***环境的配置基线的预测值是否为加大***处理能力。以第一***环境的配置基线中的任一配置参数为单位,如果该配置参数的预测值大于其基线值,确定为加大***处理能力,如果该配置参数的预测值小于或等于基线值,确定不会加大***处理能力。
如果确定第一***环境的配置基线的预测值加大***处理能力,向待处理设备发送校准指令,校准指令用于指示将配置参数的取值修正为预测值;如果确定第一***环境的配置基线的预测值不会加大***处理能力,禁止对配置参数的取值进行修正。
例如:第一***环境的配置基线的基线值为{{y1,y11},{y2,y21},{y3,aaa},{y4,y41},{y6,y61}…},将配置参数y1的预测值yy11与基线值y11进行比较,发现预测值加大了***处理能力,则将第一***环境的配置参数y1的值修改为预测值yy11。将配置参数y3的预测值aaa与基线值aaa进行比较,发现预测值没有加大了***处理能力,则禁止对配置参数y3的取值进行修正。
上述配置参数校准方法,获取待处理设备的特征数据,特征数据是待处理设备处于目标环境中时影响待处理设备的配置参数的取值的数值;根据待处理设备的特征数据和预设构建的配置基线模型,确定待处理设备处于目标环境中时的待校准配置参数;向待处理设备发送校准指令,校准指令用于指示待处理设备对待校准配置参数进行校准;其中,预先构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,一阶配置基线模型用于指示配置参数与***特征的可量化关系,二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,在确定待校准配置参数时利用一阶配置基线模型和/或二阶配置基线模型,实现利用预先构建的配置基线模型完成对待处理设备的配置参数进行自动校准,并且预先配置的配置基线模型中的二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,能够利用二阶配置基线模型得到有关联关系的各配置参数,在对关联关系的一个配置参数进行校准时可同时对关联关系的另一个配置参数进行校准,提高校准的准确度,从而降低生产故障的发生几率。
此外对于上述配置参数校准方法,本实施例还可以对配置基线模型进行自学习优化,如获取第一***环境和/第二***环境的事件信息,从事件信息中筛选出因配置参数的取值错误导致的事件信息,筛选出的事件信息对应的取值错误的配置参数作为一个优化参数集合,得到优化参数集合的配置参数相关的***特征,根据优化参数集合和优化参数集合的配置参数相关的***特征,对配置基线模型进行自学习优化,如根据优化参数集合和优化参数集合的配置参数相关的***特征,执行步骤102至步骤107。
从事件信息中筛选出因配置参数的取值错误导致的事件信息可根据事件信息中的事件原因进行筛选,事件原因记录了发生事件的故障因素,如硬件故障导致还是因配置参数的取值错误导致,根据事件原因筛选出因配置参数的取值错误导致的事件信息。如事件A,发现导致该事件的配置参数为B,如数据库连接池大小,与数据库连接池大小相关的***特征是用户数,用户数越多,连接数越多,从而得到优化参数集合和优化参数集合的配置参数相关的***特征。
在对配置基线模型进行自学习优化时,还可以进一步删除故障时段下的取值,减少优化的数据量。本实施例可对配置基线模型和配置基线进行持续动态优化,提高精准度,从而提高校准的准确度。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
与上述方法实施例相对应,本申请还提供一种配置参数校准装置,其可选结构如图8所示,可以包括:服务端单元10、第一***环境代理端单元20和第二***环境代理端单元30。
第一***环境代理端单元20,用于采集待处理设备处于第一***环境中时配置参数的取值,并将采集到的数据发送给服务端单元10。
第二***环境代理端单元30,用于采集待处理设备处于第二***环境中时配置参数的取值,并将采集到的数据发送给服务端单元10。
服务端单元10,用于执行上述配置参数校准方法,向第一***环境代理端单元20和第二***环境代理端单元30中的一个发送校准指令,以利用第一***环境代理端单元20和第二***环境代理端单元30根据校准指令对待处理设备中的待校准配置参数进行校准。
图8所示配置参数校准装置中,服务端单元10可以包括控制器子单元、分析器子单元和配置基线优化器子单元。控制器子单元,具备向多个第一***环境代理端单元和多个第二***环境代理端单元同时自动化批量传送、部署、执行脚本,这些脚本用于指示第一***环境代理端单元和第二***环境代理端单元实时采集处于第一***环境和第二***环境中的任一设备的配置参数和***特征,控制器子单元还具备发送校准指令的功能,校准指令可以对设备的配置参数进行调整或预调整。
分析器子单元,具备生成配置基线模型、第一***环境的配置基线、第一***环境的配置基线的预测值、第二***环境的配置基线、第二***环境的配置基线的预测值、将基线值与真实值进行比对、将基线值与预测值进行比对等功能。配置基线优化器子单元,具备对配置基线模型进行自学习优化的功能。
第一***环境代理端单元和第二***环境代理端单元中的每个代理端单元包括:采集器子单元、调整器子单元和探测器子单元。采集器子单元可以实时接收、部署及执行控制器子单元发送的采集脚本,发送采集结果如配置参数及***特征等数据至分析器子单元。调整器子单元可以实时接收控制器子单元发送的校准指令并执行。探测器子单元实时监控设备的日志及状态,当发现Error等事件时将相关信息发送给配置基线优化器子单元,使得配置基线优化器子单元能够对配置基线模型进行自学习优化。
其中服务端单元10、第一***环境代理端单元20和第二***环境代理端单元30中各子单元之间的工作流程如图9所示,具体过程如下:
配置基线模型、配置基线自动化形成流程如步骤601-602:
601、控制器子单元向第一***环境代理端单元中的采集器子单元传送、部署及执行采集脚本,采集脚本用于指示对配置参数及***特征进行采集。
602、第一***环境代理端单元中的采集器子单元执行完毕采集脚本后,向分析器子单元自动发送配置参数及***特征相关的数据。分析器子单元接收数据后,自动生成一阶配置基线模型、二阶配置基线模型、第一***环境的配置基线和第二***环境的配置基线。
配置基线模型自动化优化流程为步骤603-607:
603、第一***环境代理端单元的探测器子单元探测到事件后,自动向配置基线优化器子单元发送事件数据。
604、第一***环境代理端单元的采集器子单元自动向配置基线优化器子单元发送导致事件的配置参数及***特征的相关数据(剔除故障时段)。
605、第二***环境代理端单元的探测器子单元探测到事件后,自动向配置基线优化器子单元发送事件数据。
606、第二***环境代理端单元的采集器子单元自动向配置基线优化器子单元发送导致事件的配置参数集及***特征的相关数据(剔除故障时段)。
607、配置基线优化器子单元接收到导致事件的配置参数及***特征的相关数据后,自动触发配置基线模型优化流程,并将优化后的配置基线模型发送至分析器子单元。
第二***环境配置参数自动化校准流程为步骤608-611:
608:控制器子单元向第二***环境代理端单元的采集器子单元自动传送、部署及执行一阶配置基线中配置参数采集脚本。
609:第二***环境代理端单元的采集器子单元执行完毕采集脚本后,向分析器子单元自动发送第二***环境中相关配置参数的真实值。
610:分析器子单元根据第二***环境的配置基线(一阶配置基线和二阶配置基线)以及接收到的第二***环境的相关配置参数的真实值,得到一阶配置基线的差异项和二阶配置基线的差异项,并自动发送给控制器子单元。
611、控制器子单元根据差异项,自动向第二***环境代理端单元的调整器子单元发送校准指令(如调整命令),将第二***环境的配置参数自动修改为对应的配置基线的基线值。
第二***环境配置参数自动化预校准流程为步骤612-613:
612、分析器子单元根据第二***环境测试需求及配置基线模型,自动得到第二***环境中配置基线的预测值,并自动发送给控制器子单元。
613、控制器子单元自动向第二***环境的调整器子单元发送校准指令(如预调整命令),将第二***环境的配置参数自动修改为对应的预测值。
第一***环境配置参数自动化预校准流程为步骤614-615:
614、分析器子单元根据第一***环境***的历史特征数据及配置基线模型,得到第一***环境的配置基线的预测值,并自动发送给控制器子单元。
615、针对加大***处理能力的配置参数,控制器子单元自动向第一***环境的调整器子单元发送校准指令(如调整命令),将第一***环境的配置参数自动修改为对应的配置基线的预测值。
第一***环境代理端单元和第二***环境代理端单元批量传送、部署、执行配置参数及***特征的采集脚本流程如图10中的步骤701-703所示:
服务端单元的控制器子单元批量传送、部署及执行配置参数及***特征的采集脚本均采用集装箱方式,即将所有设备分组,一个组为一个集装箱,一个集装箱中有n台设备。控制器子单元同时向一个集装箱内的所有设备传送采集脚本,依次向不同的集装箱传送脚本,传送完毕后立即部署、执行,直至所有设备执行完毕。
第二***环境中配置参数批量比对流程如图11中的步骤801-803所示:
801:将第二***环境中配置参数的真实值批量存入分析器子单元,包括设备名称、配置参数名称以及相应参数值,并按照设备名称进行分组。
802:将第二***环境的一阶配置基线中配置参数的基线值批量存入分析器子单元,包括设备名称、配置参数名称以及相应参数值,并按照设备名称进行分组。
803:分析器子单元将分组相同的设备的配置参数的参数值进行批量比对。例如,将真实值分组一中的设备的参数与基线值分组一中的设备的参数进行比对(参数名称相同才进行参数值比对),同时,真实值分组二中的设备的参数与基线值分组二中的设备的参数进行比对,以此类推,实现批量比对,最终生成第二***环境中不一致配置参数的数据表。
第二***环境配置参数批量校准流程如图12中的步骤901-902所示:
901:分析器子单元将第二***环境中不一致配置参数的数据表批量发送至控制器子单元。
902:根据第二***环境中不一致配置参数的数据表,控制器子单元同时向第二***环境各设备批量发送调整命令,将第二***环境配置参数的真实值改为基线值。
第一或第二***环境中配置参数批量预校准流程如步骤1001-1002所示:
1001:分析器子单元将第一或第二***环境中配置参数的预测值批量发送至控制器子单元。
1002:根据第一***环境中配置参数的预测值,控制器子单元同时向第一***环境各设备批量发送调整命令,将第一***环境中配置参数的真实值改为预测值。根据第二***环境中配置参数的预测值,控制器子单元同时向第二***环境各设备批量发送调整命令,将真实值改为预测值。
通过以上流程,根据得到的配置基线模型、配置基线和配置基线的预测值,得出第一***环境与第二***环境配置参数的校准关系如表1所示(部分配置参数举例),实现对第一***环境和第二***环境中配置参数的校准:
表1校准关系表
配置参数类型 | 参数名称 | 校准关系 |
操作*** | initdefault | 强一致 |
操作*** | version | 强一致 |
数据库 | version | 强一致 |
数据库 | cursor_sharing | 强一致 |
数据库 | db_block_size | 强一致 |
中间件 | HealthCheckIntervalSeconds | 强一致 |
中间件 | server | 强一致 |
操作*** | data | 根据***特征值按照配置模型缩放 |
操作*** | fsize | 根据***特征值按照配置模型缩放 |
操作*** | memlock | 根据***特征值按照配置模型缩放 |
数据库 | max_connections | 根据***特征值按照配置模型缩放 |
数据库 | table_open_cache | 根据***特征值按照配置模型缩放 |
数据库 | table_open_cache_instances | 根据***特征值按照配置模型缩放 |
数据库 | innodb_buffer_pool_size | 根据***特征值按照配置模型缩放 |
数据库 | innodb_buffer_pool_instances | 根据***特征值按照配置模型缩放 |
中间件 | threadpool.MinPoolSize | 根据***特征值按照配置模型缩放 |
中间件 | threadpool.MaxPoolSize | 根据***特征值按照配置模型缩放 |
中间件 | Xms | 根据***特征值按照配置模型缩放 |
中间件 | Xmx | 根据***特征值按照配置模型缩放 |
本申请实施例还提供一种设备,设备包括:处理器和用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现上述配置参数校准方法。
本申请实施例还提供一种计算机可读存储介质,当计算机可读存储介质中的指令由处理器执行时能够实现上述配置参数校准方法。
需要说明的是,本说明书中的各个实施例可以采用递进的方式描述、本说明书中各实施例中记载的特征可以相互替换或者组合,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (12)
1.一种配置参数校准方法,其特征在于,所述方法包括:
获取待处理设备的特征数据,所述特征数据是所述待处理设备处于目标环境中时影响所述待处理设备的配置参数的取值的数值;
根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数;
向所述待处理设备发送校准指令,所述校准指令用于指示所述待处理设备对所述待校准配置参数进行校准;
其中,所述预设构建的配置基线模型包括一阶配置基线模型和二阶配置基线模型,所述一阶配置基线模型用于指示所述配置参数与***特征的可量化关系,所述二阶配置基线模型用于指示有关联关系的配置参数之间的可量化关系,在确定所述待校准配置参数时利用所述一阶配置基线模型和/或二阶配置基线模型;
所述配置基线模型的构建过程包括:
获取第一***环境的配置参数集合及所述第一***环境的第一***特征集合,所述第一***环境为生产环境,所述配置参数集合包括配置参数的历史取值,所述第一***特征集合包括所述***特征的历史取值;
对所述配置参数集合中的配置参数进行标准化和消除多重共线性处理,得到所述第一***环境的一阶配置参数集合和所述第一***环境的二阶配置参数集合;
利用所述一阶配置参数集合中配置参数的历史取值和所述第一***特征集合中***特征的历史取值,得到所述一阶配置基线模型;
利用所述一阶配置基线模型中各配置参数的历史取值和所述二阶配置参数集合中各配置参数的历史取值,得到所述二阶配置基线模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
利用所述一阶配置基线模型和所述二阶配置基线模型,对所述第一***环境的配置参数集合进行调整,得到所述第一***环境的配置基线,所述第一***环境的配置基线中存储有第一配置项和所述第一配置项的基线值,所述第一配置项为对第一***环境进行校准时参照的配置参数;
获取第二***环境的第二***特征集合,所述第二***环境为测试环境,所述第二***特征集合包括***特征的历史取值;
利用所述第二***特征集合中***特征的历史取值、所述一阶配置基线模型和所述二阶配置基线模型,得到所述第二***环境的配置基线,所述第二***环境的配置基线中存储有第二配置项和所述第二配置项的基线值,所述第二配置项为对第二***环境进行校准时参照的配置参数。
3.根据权利要求1所述的方法,其特征在于,所述对所述配置参数集合中的配置参数进行标准化和消除多重共线性处理,得到所述第一***环境的一阶配置参数集合和所述第一***环境的二阶配置参数集合包括:
将所述配置参数集合中类型为字符型的配置参数的字符值转换为数值;
获得所述配置参数集合中每个配置参数与所述配置参数集合中其他配置参数的线性回归模型;
根据所述每个配置参数的线性回归模型,得到所述每个配置参数的判决系数;
根据所述每个配置参数的判决系数,得到每个配置参数的方差膨胀因子;
根据所述每个配置参数的方差膨胀因子和预设阈值,确定所述配置参数所属集合,所述配置参数所属集合为所述第一***环境的一阶配置参数集合或所述第一***环境的二阶配置参数集合。
4.根据权利要求1所述的方法,其特征在于,所述利用所述一阶配置参数集合中配置参数的历史取值和所述第一***特征集合中***特征的历史取值,得到所述一阶配置基线模型包括:
以所述第一***特征集合中***特征的历史取值为自变量,以所述一阶配置参数集合中的配置参数为因变量,得到所述一阶配置参数集合中每个配置参数与第一***特征集合中各***特征的模型系数及每个配置参数的置信区间;
根据所述每个配置参数的置信区间,确定所述一阶配置参数集合中对测试结果有影响的配置参数;
根据所述对测试结果有影响的配置参数的模型系数,得到所述一阶配置基线模型,所述一阶配置基线模型中包含所述对测试结果有影响的配置参数与第一***特征集合中各***特征的可量化关系;
所述利用所述一阶配置基线模型中各配置参数的历史取值和所述二阶配置参数集合中各配置参数的历史取值,得到所述二阶配置基线模型包括:
以所述一阶配置基线模型中各配置参数的历史取值为自变量,以所述二阶配置参数集合中的配置参数为因变量,得到所述二阶配置参数集合中每个配置参数与一阶配置基线模型中各配置参数的模型系数及每个配置参数的置信区间;
根据所述二阶配置参数集合中每个配置参数的置信区间,确定所述二阶配置参数集合中对测试结果有影响的配置参数;
根据所述二阶配置参数集合中对测试结果有影响的配置参数的模型系数,得到所述二阶配置基线模型,所述二阶配置基线模型中包含所述二阶配置参数集合中对测试结果有影响的配置参数与一阶配置基线模型中各配置参数的可量化关系。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,所述获取待处理设备的特征数据包括:针对第二***环境的一阶配置基线中配置参数,获取所述第二***环境的相关配置参数的真实值,所述第二***环境为测试环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置参数的真实值与所述将第二***环境的一阶配置基线中配置参数的基线值进行比对,得到所述一阶配置基线的差异项;
根据所述一阶配置基线的差异项和所述二阶配置基线模型,得到二阶配置基线的差异项,所述一阶配置基线的差异项和所述二阶配置基线的差异项为所述待校准配置参数,所述校准指令用于指示将所述第二***环境的相关配置参数的取值修正为基线值。
6.根据权利要求1至4中任意一项所述的方法,其特征在于,所述获取待处理设备的特征数据包括:根据第二***环境的测试需求,得到所述第二***环境的***特征的预测值,所述第二***环境为测试环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置基线模型中作为因变量的配置参数确定为所述待校准配置参数,并将所述第二***环境的***特征的预测值输入至所述配置基线模型,得到所述待校准配置参数的预测值,所述校准指令用于指示将所述第二***环境中的待校准配置参数的取值修正为所述预测值。
7.根据权利要求1至4中任意一项所述的方法,其特征在于,所述获取待处理设备的特征数据包括:获取第一***环境的历史特征数据,根据历史特征数据得到所述第一***环境的***特征的预测值,所述第一***环境为生产环境;
所述根据所述待处理设备的特征数据和预设构建的配置基线模型,确定所述待处理设备处于所述目标环境中时的待校准配置参数包括:
将所述配置基线模型中作为因变量的配置参数确定为所述待校准配置参数,并将所述第一***环境的***特征的预测值输入至所述配置基线模型,得到所述待校准配置参数的预测值,所述校准指令用于指示将所述第一***环境中的待校准配置参数的取值修正为所述预测值。
8.根据权利要求1至4中任意一项所述的方法,其特征在于,所述获取待处理设备的特征数据包括:
向所述待处理设备的代理端发送数据获取指令,并接收所述代理端发送的数据;所述数据获取指令用于指示所述代理端从所述待处理设备处采集数据,所述代理端可从处于同一组的待处理设备中采集数据;
所述向所述待处理设备发送校准指令包括:向所述待处理设备的代理端发送所述校准指令,所述代理端向处于同一组的待处理设备发送所述校准指令。
9.根据权利要求1至4中任意一项所述的方法,其特征在于,所述方法还包括:
获取第一***环境和/第二***环境的事件信息,并从事件信息中筛选出因配置参数的取值错误导致的事件信息;
将筛选出的事件信息对应的取值错误的配置参数作为一个优化参数集合,得到优化参数集合的配置参数相关的***特征,根据优化参数集合和优化参数集合的配置参数相关的***特征,对所述配置基线模型进行自学习优化。
10.一种配置参数校准装置,其特征在于,所述装置包括:服务端单元、第一***环境代理端单元和第二***环境代理端单元;
所述第一***环境代理端单元,用于采集待处理设备处于第一***环境中时配置参数的取值,并将采集到的数据发送给所述服务端单元;
所述第二***环境代理端单元,用于采集待处理设备处于第二***环境中时配置参数的取值,并将采集到的数据发送给所述服务端单元;
所述服务端单元,用于执行如权利要求1至9中任意一项所述的配置参数校准方法,向所述第一***环境代理端单元和所述第二***环境代理端单元中的一个发送校准指令,以利用所述第一***环境代理端单元和所述第二***环境代理端单元根据所述校准指令对待处理设备中的待校准配置参数进行校准。
11.一种配置参数校准设备,其特征在于,所述配置参数校准设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至9中任一项所述的配置参数校准方法。
12.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由处理器执行时能够实现如权利要求1至9中任一项所述的配置参数校准方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110717859.4A CN113452562B (zh) | 2021-06-28 | 2021-06-28 | 一种配置参数校准方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110717859.4A CN113452562B (zh) | 2021-06-28 | 2021-06-28 | 一种配置参数校准方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113452562A CN113452562A (zh) | 2021-09-28 |
CN113452562B true CN113452562B (zh) | 2022-07-12 |
Family
ID=77813183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110717859.4A Active CN113452562B (zh) | 2021-06-28 | 2021-06-28 | 一种配置参数校准方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113452562B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018098670A1 (zh) * | 2016-11-30 | 2018-06-07 | 华为技术有限公司 | 一种进行数据处理的方法和装置 |
CN110825420A (zh) * | 2019-11-26 | 2020-02-21 | 中国银行股份有限公司 | 分布式集群的配置参数更新方法、装置、设备及存储介质 |
CN111917568A (zh) * | 2020-05-19 | 2020-11-10 | 宁波大学 | 一种移动互联网网元设备误配置检测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8666703B2 (en) * | 2010-07-22 | 2014-03-04 | Tokyo Electron Limited | Method for automated determination of an optimally parameterized scatterometry model |
US10262336B2 (en) * | 2016-09-12 | 2019-04-16 | Accelerize Inc. | Non-converting publisher attribution weighting and analytics server and method |
-
2021
- 2021-06-28 CN CN202110717859.4A patent/CN113452562B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018098670A1 (zh) * | 2016-11-30 | 2018-06-07 | 华为技术有限公司 | 一种进行数据处理的方法和装置 |
CN110825420A (zh) * | 2019-11-26 | 2020-02-21 | 中国银行股份有限公司 | 分布式集群的配置参数更新方法、装置、设备及存储介质 |
CN111917568A (zh) * | 2020-05-19 | 2020-11-10 | 宁波大学 | 一种移动互联网网元设备误配置检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113452562A (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11354219B2 (en) | Machine defect prediction based on a signature | |
US20190197174A1 (en) | Method and system for replicating data to heterogeneous database and detecting synchronization error of heterogeneous database through sql packet analysis | |
CN110362473B (zh) | 测试环境的优化方法及装置、存储介质、终端 | |
JP5907649B2 (ja) | データ解析のための方法および装置 | |
Sandhu et al. | A model for early prediction of faults in software systems | |
US11677613B2 (en) | Root-cause analysis and automated remediation for Wi-Fi authentication failures | |
CN115204536A (zh) | 楼宇设备故障预测方法、装置、设备及存储介质 | |
CN112153378A (zh) | 一种视频审核能力的测试方法及其*** | |
US20220345356A1 (en) | Determining a root-cause of a network access failure and conducting remediation | |
CN114610635A (zh) | 接口测试用例生成方法、装置、计算机设备及存储介质 | |
CN113452562B (zh) | 一种配置参数校准方法及装置 | |
CN111209180A (zh) | 一种基于模糊匹配的回归测试方法和装置 | |
CN115952098A (zh) | 一种性能测试调优方案推荐方法及*** | |
KR101039874B1 (ko) | 정보통신 통합플랫폼 테스트 시스템 | |
CN115859065A (zh) | 模型评测方法、装置、设备及存储介质 | |
CN114138659A (zh) | 一种测试案例处理方法及*** | |
CN109815134A (zh) | 结合数据库自动分析软件测试结果的方法、装置和*** | |
CN113434408B (zh) | 一种基于测试预言的单元测试用例排序方法 | |
CN113570333B (zh) | 一种适用于集成的流程设计方法 | |
CN111639024B (zh) | 基于特征频度数据挖掘的软件质量预测方法 | |
CN115757472A (zh) | 数据对比方法、装置、存储介质及计算机设备 | |
CN112950056A (zh) | 基大数据的生态环境智能监测分析方法及云平台*** | |
CN114546838A (zh) | DevOps中的项目质量评估方法、装置、电子设备及存储介质 | |
CN116680536A (zh) | 结构化查询语句性能预测方法、装置、设备和介质 | |
CN115904776A (zh) | 一种分布式服务监控和发布分析的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |