CN117112236B - 基于数据涌流及波动性预测的辖区服务器配置方法及*** - Google Patents
基于数据涌流及波动性预测的辖区服务器配置方法及*** Download PDFInfo
- Publication number
- CN117112236B CN117112236B CN202311368351.3A CN202311368351A CN117112236B CN 117112236 B CN117112236 B CN 117112236B CN 202311368351 A CN202311368351 A CN 202311368351A CN 117112236 B CN117112236 B CN 117112236B
- Authority
- CN
- China
- Prior art keywords
- access
- processing resource
- partition
- determining
- detection period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 425
- 238000005192 partition Methods 0.000 claims abstract description 223
- 230000004044 response Effects 0.000 claims abstract description 189
- 238000001514 detection method Methods 0.000 claims abstract description 131
- 239000013598 vector Substances 0.000 claims description 148
- 230000006870 function Effects 0.000 claims description 77
- 238000006073 displacement reaction Methods 0.000 claims description 60
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000003247 decreasing effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000013519 translation Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种基于数据涌流及波动性预测的辖区服务器配置方法及***,涉及计算机技术领域,所述方法包括:在第i个检测周期获取各分区的处理资源和带宽资源;获取多个时刻的访问量和处理资源占用比例;根据访问量和处理资源占用比例,确定处理资源响应时长;根据访问量和处理资源占用比例,以及处理资源响应时长,确定访问模式类型;根据访问模式类型、处理资源和带宽资源,以及访问量和处理资源占用比例,确定配置调整策略;根据所述配置调整策略,对第i+1个检测周期的处理资源和带宽资源进行配置。根据本发明,能够在访问数据发生波动时及时响应访问需求,从而满足不断变化的访问需求。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种基于数据涌流及波动性预测的辖区服务器配置方法及***。
背景技术
在相关技术中,服务器可为不同辖区划分分区,从而使用各个分区来对应各个辖区的访问请求,每个分区的处理资源和带宽资源通常是固定的,可根据辖区的历史访问数据来配置各个分区的处理资源和带宽资源。然而,每个辖区的访问数据可能出现波动,导致固定的资源配置方式难以在访问数据出现波动时满足访问需求。
公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明实施例提供一种基于数据涌流及波动性预测的辖区服务器配置方法及***,能够在访问数据发生波动时及时响应访问需求,从而满足不断变化的访问需求。
根据本发明的实施例的第一方面,提供一种基于数据涌流及波动性预测的辖区服务器配置方法,包括:
在第i个检测周期,获取辖区服务器的各个分区的处理资源和带宽资源,其中,i为正整数;
获取所述第i个检测周期内的各个分区在多个时刻的访问量和处理资源占用比例;
根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长;
根据所述各个分区在多个时刻的访问量和处理资源占用比例,以及所述处理资源响应时长,确定各个分区的访问模式类型;
根据所述各个分区的所述访问模式类型、所述各个分区在第i个检测周期处理资源和带宽资源,以及所述多个时刻的访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略,其中,所述配置调整策略包括带宽资源调整量和处理资源调整量;
根据所述配置调整策略,对所述各个分区在第i+1个检测周期的处理资源和带宽资源进行配置。
根据本发明的一个实施例,根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长,包括:
根据各个分区在多个时刻的访问量,获得各个分区的访问量向量;
根据各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用向量;
根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长;
根据所述各个分区在多个时刻的访问量,获得各个分区的访问量波动函数;
根据所述各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用波动函数;
根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长;
根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长。
根据本发明的一个实施例,根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长,包括:
根据公式
获得第一相似度,其中,为处理资源占用向量,/>为第i个检测周期中第j个分区的处理资源占用向量中的第k个时刻的处理资源占用比例,/>为第i个检测周期中第j个分区的访问量向量中第k个时刻的访问量,k为小于或等于n的正整数,n为多个时刻的数量,/>为第i个检测周期中第j个分区的访问量向量中的元素最大值,/>为第i个检测周期中第j个分区的访问量向量中的元素最小值,/>为第s步的位移矩阵,s为大于或等于0且小于或等于n-1的整数,
表示在步数s为第k步的情况下,/>,否则/>,/>为在步数为s步的情况下,/>与/>之间的协方差矩阵,/>为/>的逆矩阵;
确定使所述第一相似度达到最大值时的步数;
根据使所述第一相似度达到最大值时的步数和所述各个时刻之间的时间间隔,确定所述第一响应时长。
根据本发明的一个实施例,根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长,包括:
根据公式
获得第二相似度,其中,t为第i个检测周期内的时刻,/>为第i个检测周期的开始时刻,/>为第i个检测周期的结束时刻,/>为访问量波动函数,/>为处理资源占用波动函数,/>为位移时长;
确定使所述第二相似度达到最大值时的位移时长;
将使所述第二相似度达到最大值时的位移时长作为所述第二响应时长。
根据本发明的一个实施例,根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长,包括:
根据公式
获得所述处理资源响应时长,其中,/>为所述第一响应时长,/>为所述第二响应时长。
根据本发明的一个实施例,根据所述各个分区在多个时刻的访问量和处理资源占用比例,以及所述处理资源响应时长,确定各个分区的访问模式类型,包括以下中的一种:
在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用高频率访问模式;
在多个时刻的访问量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用低频率访问模式;
在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值大于或等于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用高频率访问模式;
在多个时刻的访量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用低频率访问模式。
根据本发明的一个实施例,根据所述各个分区的所述访问模式类型、所述各个分区在第i个检测周期处理资源和带宽资源,以及所述多个时刻的访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略,包括:
根据所述处理资源占用比例最大值与所述占用比例阈值之间的差距,以及第i个检测周期的处理资源,确定处理资源调整量,并根据多个时刻的访问量最大值与所述访问量阈值之间的差距,以及第i个检测周期的带宽资源,确定带宽资源调整量,其中,在低占用高频率访问模式下,所述带宽资源调整量为增量,所述处理资源调整量为减量,在高占用低频率访问模式下,所述处理资源调整量为增量,所述带宽资源调整量为减量,在高占用高频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为增量,在低占用低频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为减量。
根据本发明的实施例的第二方面,提供一种基于数据涌流及波动性预测的辖区服务器配置***,包括:
配置获取模块,用于在第i个检测周期,获取辖区服务器的各个分区的处理资源和带宽资源,其中,i为正整数;
状态获取模块,用于获取所述第i个检测周期内的各个分区在多个时刻的访问量和处理资源占用比例;
资源响应时长模块,用于根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长;
访问模式类型模块,用于根据所述各个分区在多个时刻的访问量和处理资源占用比例,以及所述处理资源响应时长,确定各个分区的访问模式类型;
配置调整策略模块,用于根据所述各个分区的所述访问模式类型、所述各个分区在第i个检测周期处理资源和带宽资源,以及所述多个时刻的访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略,其中,所述配置调整策略包括带宽资源调整量和处理资源调整量;
配置模块,用于根据所述配置调整策略,对所述各个分区在第i+1个检测周期的处理资源和带宽资源进行配置。
根据本发明的一个实施例,所述资源响应时长模块进一步用于:
根据各个分区在多个时刻的访问量,获得各个分区的访问量向量;
根据各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用向量;
根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长;
根据所述各个分区在多个时刻的访问量,获得各个分区的访问量波动函数;
根据所述各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用波动函数;
根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长;
根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长。
根据本发明的一个实施例,所述资源响应时长模块进一步用于:
根据公式
获得第一相似度,其中,为处理资源占用向量,/>为第i个检测周期中第j个分区的处理资源占用向量中的第k个时刻的处理资源占用比例,/>为第i个检测周期中第j个分区的访问量向量中第k个时刻的访问量,k为小于或等于n的正整数,n为多个时刻的数量,/>为第i个检测周期中第j个分区的访问量向量中的元素最大值,/>为第i个检测周期中第j个分区的访问量向量中的元素最小值,/>为第s步的位移矩阵,s为大于或等于0且小于或等于n-1的整数,
表示在步数s为第k步的情况下,/>,否则,/>为在步数为s步的情况下,/>与/>之间的协方差矩阵,/>为/>的逆矩阵;
确定使所述第一相似度达到最大值时的步数;
根据使所述第一相似度达到最大值时的步数和所述各个时刻之间的时间间隔,确定所述第一响应时长。
根据本发明的一个实施例,所述资源响应时长模块进一步用于:
根据公式
获得第二相似度,其中,t为第i个检测周期内的时刻,/>为第i个检测周期的开始时刻,/>为第i个检测周期的结束时刻,/>为访问量波动函数,/>为处理资源占用波动函数,/>为位移时长;
确定使所述第二相似度达到最大值时的位移时长;
将使所述第二相似度达到最大值时的位移时长作为所述第二响应时长。
根据本发明的一个实施例,所述资源响应时长模块进一步用于:
根据公式
获得所述处理资源响应时长,其中,/>为所述第一响应时长,/>为所述第二响应时长。
根据本发明的一个实施例,所述访问模式类型模块进一步用于以下中的一种:
在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用高频率访问模式;
在多个时刻的访问量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用低频率访问模式;
在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值大于或等于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用高频率访问模式;
在多个时刻的访量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用低频率访问模式。
根据本发明的一个实施例,所述配置调整策略模块进一步用于:
根据所述处理资源占用比例最大值与所述占用比例阈值之间的差距,以及第i个检测周期的处理资源,确定处理资源调整量,并根据多个时刻的访问量最大值与所述访问量阈值之间的差距,以及第i个检测周期的带宽资源,确定带宽资源调整量,其中,在低占用高频率访问模式下,所述带宽资源调整量为增量,所述处理资源调整量为减量,在高占用低频率访问模式下,所述处理资源调整量为增量,所述带宽资源调整量为减量,在高占用高频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为增量,在低占用低频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为减量。
根据本发明的实施例的第三方面,提供一种基于数据涌流及波动性预测的辖区服务器配置设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行所述基于数据涌流及波动性预测的辖区服务器配置方法。
根据本发明的实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现所述基于数据涌流及波动性预测的辖区服务器配置方法。
根据本发明的实施例的基于数据涌流及波动性预测的辖区服务器配置方法,可在第i个检测周期获取各个分区的资源响应时长,从而确定各个分区的访问模式类型,从而确定每个分区配置的带宽资源和处理资源是否能够满足访问需求,如果不满足访问需求则可及时进行配置调整,从而能够在访问数据发生波动时及时响应访问需求,从而满足不断变化的访问需求。在确定资源响应时长的过程中,可使用位移后求解相似度,并确定多次位移后获得的多个相似度的最大值的方法,可克服访问量变化早于处理资源占用比例变化导致的时间差的问题,并对访问量向量进行归一化,克服了访问量向量与处理资源占用向量的取值范围和单位不同的问题,进一步地,使用处理资源占用向量与位移后的向量之间的协方差矩阵的逆矩阵来消除不同物理含义的尺度差异,从而得到准确性更高的第一相似度,并提升第一响应时长的准确性。并可利用归一化来消除处理资源占用比例和访问量的取值范围和量纲的差别,并使用波形平移后对归一化后的访问量波动函数与处理资源占用波动函数的乘积进行积分的方式,来求解访问量波动函数与处理资源占用波动函数的最大波形相似度,进而获得第二响应时长,提升第二响应时长的准确性。还可对第一响应时长和第二响应时长进行加权求和,使得第一响应时长和第二响应时长进行互相校验,提升处理资源响应时长的准确性。进一步地,可确定访问模式类型,并针对各种访问模式类型设置配置调整策略,从而更精确地满足访问需求,提升带宽资源和处理资源的利用率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本发明。根据下面参考附图对示例性实施例的详细说明,本发明的其它特征及方面将更清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例,
图1示例性地示出根据本发明实施例的基于数据涌流及波动性预测的辖区服务器配置方法的流程示意图;
图2示例性地示出根据本发明实施例的基于数据涌流及波动性预测的辖区服务器配置***的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1示例性地示出根据本发明实施例的基于数据涌流及波动性预测的辖区服务器配置方法的流程示意图,如图1所示,所述方法包括:
步骤S101,在第i个检测周期,获取辖区服务器的各个分区的处理资源和带宽资源,其中,i为正整数;
步骤S102,获取所述第i个检测周期内的各个分区在多个时刻的访问量和处理资源占用比例;
步骤S103,根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长;
步骤S104,根据所述各个分区在多个时刻的访问量和处理资源占用比例,以及所述处理资源响应时长,确定各个分区的访问模式类型;
步骤S105,根据所述各个分区的所述访问模式类型、所述各个分区在第i个检测周期处理资源和带宽资源,以及所述多个时刻的访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略,其中,所述配置调整策略包括带宽资源调整量和处理资源调整量;
步骤S106,根据所述配置调整策略,对所述各个分区在第i+1个检测周期的处理资源和带宽资源进行配置。
根据本发明的实施例的基于数据涌流及波动性预测的辖区服务器配置方法,可在第i个检测周期获取各个分区的资源响应时长,从而确定各个分区的访问模式类型,从而确定每个分区配置的带宽资源和处理资源是否能够满足访问需求,如果不满足访问需求则可及时进行配置调整,从而能够在访问数据发生波动时及时响应访问需求,从而满足不断变化的访问需求。
根据本发明的一个实施例,辖区服务器包括多个分区,每个分区可配置有响应的处理资源和带宽资源,处理资源用于响应访问数据中的指令,进行运算处理,得到与指令对应的处理结果,带宽资源用于接收访问数据以及向访问数据的发送方反馈处理结果。
根据本发明的一个实施例,在步骤S101中,在当前的第i个检测周期,可获取辖区服务器的各个分区所配置的处理资源和带宽资源,从而可确定各个分区的当前配置状况,并在所配置的资源不能满足访问需求,并进行调整时,将当前配置状况作为调整的起点。
根据本发明的一个实施例,在步骤S102中,可在当前的第i个检测周期内的多个时刻,采集各个时刻的访问量和处理资源占用比例,从而确定各个分区在当前的第i个检测周期内的资源使用情况,并判断在下一个检测周期中是否需要修改各个分区的资源配置,以及作为确定调整资源配置的调整量的数据基础。
根据本发明的一个实施例,在步骤S103中,可基于各个分区在当前的第i个检测周期中的各个时刻的访问量和处理资源占用比例,确定处理资源响应时长。处理资源响应时长可表示分区接收访问至该分区通过自身的处理资源对该访问进行响应之间的时长,如果处理资源充足,或者该访问的处理资源占用量较小,则处理资源响应时长较短,反之,如果处理资源不充足,或者该访问的处理资源占用量较大,则处理资源响应时长较长。
根据本发明的一个实施例,步骤S103可包括:根据各个分区在多个时刻的访问量,获得各个分区的访问量向量;根据各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用向量;根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长;根据所述各个分区在多个时刻的访问量,获得各个分区的访问量波动函数;根据所述各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用波动函数;根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长;根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长。
根据本发明的一个实施例,可根据各个分区在多个时刻的访问量,确定各个分区的访问量向量,例如,每个时刻的访问量可作为访问量向量中的元素,即,访问量向量的维度等于多个时刻的数量,访问向量的元素即为每个时刻的访问量。
根据本发明的一个实施例,根据各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用向量,例如,每个时刻的处理资源占用比例可作为处理资源占用向量中的元素,即,处理资源占用向量的维度等于多个时刻的数量,处理资源占用向量的元素即为每个时刻的处理资源占用比例。
根据本发明的一个实施例,可基于以上访问量向量、处理资源占用向量和各时刻之间的时间间隔来确定第一响应时长,即,基于访问量向量和处理资源占用向量之间的相关性来确定第一响应时长。然而,访问量向量和处理资源占用向量是无法直接计算相似度来确定相关性的,首先,二者的元素的单位不一致,直接比较没有物理意义,再者,二者的波动存在时间差,例如,在某个分区接收到访问时,访问量立刻增大,而处理资源占用比例则需要一定响应时间才会增大,因此,二者即使存在相关性,但相似度也并不高,无法直接使用相似性来确定相关性。
根据本发明的一个实施例,为克服上述问题,本发明使用以下方法来确定访问量向量和处理资源占用向量的相关性,进而确定第一响应时长。根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长,包括:
根据公式(1)获得第一相似度,
(1)
其中,为处理资源占用向量,为第i个检测周期中第j个分区的处理资源占用向量中的第k个时刻的处理资源占用比例,/>为第i个检测周期中第j个分区的访问量向量中第k个时刻的访问量,k为小于或等于n的正整数,n为多个时刻的数量,/>为第i个检测周期中第j个分区的访问量向量中的元素最大值,/>为第i个检测周期中第j个分区的访问量向量中的元素最小值,/>为第s步的位移矩阵,s为大于或等于0且小于或等于n-1的整数,位移矩阵通过以下公式(2)表示:
(2)
表示在步数s为第k步的情况下,/>,否则,/>为在步数为s步的情况下,/>与/>之间的协方差矩阵,/>为/>的逆矩阵;确定使所述第一相似度达到最大值时的步数;根据使所述第一相似度达到最大值时的步数和所述各个时刻之间的时间间隔,确定所述第一响应时长。
根据本发明的一个实施例,在公式(1)中,由于访问量向量和处理资源占用向量的单位不一致,访问量向量中的元素为正整数,表示在同一时刻接收到的访问请求的数量,而处理资源占用向量中的元素为比例,例如,百分比等形式的比例,表示处理资源中被占用的资源数量与资源总量之比,因此,可首先统一二者的量纲,可将访问量向量进行归一化,例如,求解访问量向量中的每个元素,与访问量最大值(即,第i个检测周期中第j个分区的访问量向量中的元素最大值)和访问量最小值(即,第i个检测周期中第j个分区的访问量向量中的元素最小值)之差之间的比值,并获得由上述比值组成的向量,从而使该向量中的每个元素也为比值,与访问量向量的元素的取值范围和单位均一致。
根据本发明的一个实施例,尽管上述向量与访问量向量的取值范围和单位一致,但二者仍存在物理意义不一致以及无法直接确定相关性的问题。因此,直接求解上述向量与处理资源占用向量之间的相似度未能考虑二者之间的响应时间差带来的相似度差异,更无法求解响应时间差(即,第一响应时长)。因此,可利用以上公式(2)所示的位移矩阵对上述向量进行位移,并在每一步移位后,计算位移后的向量与处理资源占用向量之间的相似度,由于接收到访问引起访问量变化的时间早于资源占用比例发生变化的时间,因此,以上公式(2)所示的位移矩阵可将上述向量的元素进行向后位移,即,位移前的向量中的第一个元素后移移位,成为位移后的向量中的第二个元素,位移前的向量中的第二个元素后移移位,成为位移后的向量中的第三个元素……位移前的向量中的倒数第二个元素后移移位,成为位移后的向量中的最后一个元素,位移前的向量中的最后一个元素丢弃,且位移后的向量中的第一个元素补0。
根据本发明的一个实施例,每一步位移后,可通过公式(1)来计算位移后的向量与处理资源占用向量之间的相似度,并在n-1次位移后,得到n-1个相似度,n-1个相似度中的最大值即为第一相似度。
在示例中,位移矩阵的第1行元素为:第1行第1列为,表示在位移的步数s为0,即,不进行位移时,该元素为1,否则为0,第1行其他元素均为0。位移矩阵的第2行元素为:第2行第1列为/>,表示在位移的步数s为1时,该元素为1,否则为0,第2行第2列的元素为/>,其余元素为0。位移矩阵的第3行元素为:第3行第1列为/>,表示在位移的步数s为2时,该元素为1,否则为0,第3行第2列为/>,第3行第3列为,其余元素为0。以此类推,正向位移矩阵的第n行元素为:第n行第1列为,表示在位移的步数s为n-1时,该元素为1,否则为0,第n行第2列为,表示在位移的步数s为n-2时,该元素为1,否则为0……第n行第n列为。
根据本发明的一个实施例,使用以上位移后求解相似度,并确定多次位移后获得的多个相似度的最大值的方法,可克服访问量变化早于处理资源占用比例变化导致的时间差的问题,但二者仍然存在物理含义不一致的问题。因此,在每步位移后,利用公式(1)求解的相似度的过程中,使用公式(1)中协方差矩阵的逆矩阵可消除不同物理含义的向量的尺度差异,获得处理资源占用向量和位移后的向量在统计学上的特征距离或差异性。再使用1减去上述特征距离或差异性,可获得处理资源占用向量和位移后的向量的相似度,从而可将多次位移后的相似度最大值作为第一相似度。
根据本发明的一个实施例,以上第一相似度是多步位移后,计算每步位移时的相似度,并选择出的相似度的最大值,因此,第一相似度(即,相似度的最大值)与某个位移的步数相对应,即,在该步位移时,处理资源占用向量和位移后的向量之间的相似度达到最大值,该步位移的步数即为使所述第一相似度达到最大值时的步数。
根据本发明的一个实施例,如上所述,处理资源占用向量和访问量向量的维度均与第i个检测周期中的时刻数相等,因此,归一化处理后的访问量向量中的每个数据位可与一个时刻对应,每次位移一步,等同于归一化处理后的访问量向量中的所有数据向后移动一个时刻,因此,使所述第一相似度达到最大值时的步数,等同于使第一相似度达到最大值时移动的时刻的数量,该数量与各时刻时间的时间间隔相乘,可获得第一响应时长,即,分区接收访问引起的访问量变动和处理资源占用比例变动之间的时间差。
通过这种方式,使用位移后求解相似度,并确定多次位移后获得的多个相似度的最大值的方法,可克服访问量变化早于处理资源占用比例变化导致的时间差的问题,并对访问量向量进行归一化,克服了访问量向量与处理资源占用向量的取值范围和单位不同的问题,进一步地,使用处理资源占用向量与位移后的向量之间的协方差矩阵的逆矩阵来消除不同物理含义的尺度差异,从而得到准确性更高的第一相似度,并提升第一响应时长的准确性。
根据本发明的一个实施例,以上基于访问量向量和处理资源占用向量确定第一响应时长。还可以另一个角度来确定第二响应时长,即,以另一种方式来确定分区接收访问引起的访问量变动和处理资源占用比例变动之间的时间差,并使用两种方式获得的时间差进行相互校验,提升时间差的准确性。
根据本发明的一个实施例,可根据各个分区在多个时刻的访问量,获得各个分区的访问量波动函数,例如,可将各个时刻的访问量进行拟合,获得访问量波动函数,访问量波动函数可用于描述分区的访问量与时间之间的关系。
根据本发明的一个实施例,可根据各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用波动函数,例如,可将各个时刻的处理资源占用比例进行拟合,获得处理资源占用波动函数,处理资源占用波动函数可用于描述分区的处理资源占用比例与时间之间的关系。
根据本发明的一个实施例,可基于访问量波动函数和所述处理资源占用波动函数,确定第二响应时长,该步骤可包括:根据公式(3)获得第二相似度,
(3)
其中,t为第i个检测周期内的时刻,为第i个检测周期的开始时刻,/>为第i个检测周期的结束时刻,/>为访问量波动函数,/>为处理资源占用波动函数,/>为位移时长;确定使所述第二相似度达到最大值时的位移时长;将使所述第二相似度达到最大值时的位移时长作为所述第二响应时长。
根据本发明的一个实施例,如上所述,处理资源占用比例和访问量的取值范围和量纲不同,因此,可使用访问量波动函数与访问量最大值和访问量最小值之差的比值,来消除取值范围和量纲的差别。
根据本发明的一个实施例,由于分区接受访问引起的访问量变化和处理资源占用比例的变化之间存在时间差,因此,归一化后访问量波动函数与处理资源占用波动函数的波形相似度不高,而将归一化后的访问量波动函数平移后,可时二者的波形相似度提升,例如,将波形升高处平移至同一时刻,和/或将波形下降处平移至同一时刻等。为确定平移后二者的波形相似度的最大值,可利用位移时长对归一化后的访问量波动函数进行平移,时归一化后的访问量波动函数向后平移的平移量等于所述位移时长,并可在平移过程中确定归一化后的访问量波动函数与处理资源占用波动函数的乘积的积分最大值,将该积分最大值利用倍的反正切函数进行归一化,可得到访问量波动函数与处理资源占用波动函数的最大波形相似度,即,第二相似度。进一步地,在得到上述积分最大值时的平移量(即,位移时长)即为使所述第二相似度达到最大值时的位移时长。该位移时长即可作为分区接受访问引起的访问量变化和处理资源占用比例的变化之间存在时间差,即,第二响应时长。
通过这种方式,可利用归一化来消除处理资源占用比例和访问量的取值范围和量纲的差别,并使用波形平移后对归一化后的访问量波动函数与处理资源占用波动函数的乘积进行积分的方式,来求解访问量波动函数与处理资源占用波动函数的最大波形相似度,进而获得第二响应时长,提升第二响应时长的准确性。
根据本发明的一个实施例,以上获得了第一响应时长和第二响应时长,可使用二者进行互相校验,在示例中,可对二者进行加权求和,并使用加权求和的结果作为处理资源响应时长。
根据本发明的一个实施例,根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长,包括:根据公式(4),获得所述处理资源响应时长,
(4)
其中,为所述第一响应时长,/>为所述第二响应时长。
根据本发明的一个实施例,第一相似度表示对访问量向量归一化和位移处理后,得到的向量相似度的最大值,即,表示分区接收访问引起的访问量数据变化和资源占用比例变化的相似度的最大值,第二相似度则表示对访问量波动函数进行归一化和平移处理后,得到的波形相似度的最大值,即,表示分区接收访问引起的访问量波动和资源占用比例波动的相似度的最大值。二者均可表示分区接收访问引起的访问量和资源占用比例之间的关联性,因此,可利用二者分别在二者的总和中所占的比例作为权重,即,将第一相似度与第一相似度和第二相似度之和之间的比值作为第一响应时长的权重,并将第二相似度与第一相似度和第二相似度之和之间的比值作为第二响应时长的权重,从而对第一响应时长和第二响应时长进行加权求和,使得第一响应时长和第二响应时长进行互相校验,提升处理资源响应时长的准确性。
根据本发明的一个实施例,在步骤S104中,可基于各个分区在多个时刻的访问量和处理资源占用比例,以及以上获得的处理资源响应时长,确定各个分区的访问模式类型。例如,可确定某个分区所接收的访问数量是否巨大,和/或需要占用的处理资源是否巨大。进而可确定分区的配置是否足以满足访问需求。
根据本发明的一个实施例,步骤S104可包括以下中的一种:在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用高频率访问模式;在多个时刻的访问量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用低频率访问模式;在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值大于或等于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用高频率访问模式;在多个时刻的访量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用低频率访问模式。
根据本发明的一个实施例,在低占用高频率访问模式下,该分区所接受的访问量较大,但每次访问所占用的处理资源量较小,每个访问请求均可被该分区的处理资源迅速处理完毕,导致处理资源占用量较小,且处理资源响应时长较短。当然,也可能由于访问量巨大,导致巨大的访问量所累积的处理资源占用比例较大,甚至超过比例阈值,但由于单次访问的处理资源占用量较小,因此,即使访问量巨大,这些访问请求仍可被该分区的处理资源迅速处理完毕,使得处理资源响应时长较小。
根据本发明的一个实施例,在高占用低频率访问模式下,该分区所接受的访问量较小,但每次访问所占用的处理资源量较大,导致处理资源占用比例较大,且处理资源难以对所有访问及时响应,导致处理资源响应时长较长。
根据本发明的一个实施例,在高占用高频率访问模式下,该分区所接受的访问量较大,且每次访问所占用的处理资源量较大,导致处理资源占用比例较大,且处理资源难以对所有访问及时响应,导致处理资源响应时长较长。当然,也可能出现虽然访问量较大,且每次访问所占用的处理资源量较大,但处理资源响应时长较短的情况,可能由于访问量和单次访问的处理资源占用量虽大,但访问量在时间上的分布较为均匀,并未出现访问拥挤的情况,因此,未出现某些访问中的指令长时间得不到处理资源的处理的情况,但在这种情况下,仍存在处理资源或带宽资源不足的风险。
根据本发明的一个实施例,在低占用低频率访问模式下,该分区所接受的访问量较小,且每次访问所占用的处理资源量较小,每个访问请求均可被该分区的处理资源迅速处理完毕,导致处理资源占用量较小,且处理资源响应时长较短。
根据本发明的一个实施例,在通过上述方式确定访问模式类型后,可在步骤S105中根据各个分区的所述访问模式类型、各个分区在第i个检测周期处理资源和带宽资源,以及访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略。该步骤可包括:根据所述处理资源占用比例最大值与所述占用比例阈值之间的差距,以及第i个检测周期的处理资源,确定处理资源调整量,并根据多个时刻的访问量最大值与所述访问量阈值之间的差距,以及第i个检测周期的带宽资源,确定带宽资源调整量,其中,在低占用高频率访问模式下,所述带宽资源调整量为增量,所述处理资源调整量为减量,在高占用低频率访问模式下,所述处理资源调整量为增量,所述带宽资源调整量为减量,在高占用高频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为增量,在低占用低频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为减量。
在示例中,在低占用高频率访问模式下,需要接收的访问量较大,访问频率较高,带宽资源较为紧张,但处理资源占用比例较低,处理资源存在余量,因此,所述带宽资源调整量为增量,所述处理资源调整量为减量。带宽资源调整量可基于访问量最大值与访问量阈值之间的差距来确定,例如,该差距与访问量阈值之比为60%,则可将第i+1个检测周期的带宽资源增加60%,该增加的比例与第i个检测周期的带宽资源相乘,可获得带宽资源调整量。处理资源调整量可基于处理资源占用比例最大值与占用比例阈值之间的差距来确定,例如,处理资源占用比例最大值为30%,占用比例阈值为50%,差距为20%,该差距与占用比例阈值之比为40%,则可将第i+1个检测周期的处理资源减少40%,该减少的比例与第i个检测周期的处理资源相乘,可获得处理资源调整量。
在示例中,在高占用低频率访问模式下,需要接收的访问量较小,访问频率较低,带宽资源存在余量,但处理资源占用比例较高,处理资源较为紧张,因此,所述处理资源调整量为增量,所述带宽资源调整量为减量。带宽资源调整量可基于访问量最大值与访问量阈值之间的差距来确定,例如,该差距与访问量阈值之比为40%,则可将第i+1个检测周期的带宽资源减少40%,该减少的比例与第i个检测周期的带宽资源相乘,可获得带宽资源调整量。处理资源调整量可基于处理资源占用比例最大值与占用比例阈值之间的差距来确定,例如,处理资源占用比例最大值为80%,占用比例阈值为50%,差距为30%,该差距与占用比例阈值之比为60%,则可将第i+1个检测周期的处理资源增加60%,该增加的比例与第i个检测周期的处理资源相乘,可获得处理资源调整量。
在示例中,在高占用高频率访问模式下,需要接收的访问量较大,访问频率较高,带宽资源较为紧张,且处理资源占用比例较高,处理资源也较为紧张,因此,处理资源调整量和所述带宽资源调整量均为增量。带宽资源调整量可基于访问量最大值与访问量阈值之间的差距来确定,例如,该差距与访问量阈值之比为60%,则可将第i+1个检测周期的带宽资源增加60%,该增加的比例与第i个检测周期的带宽资源相乘,可获得带宽资源调整量。处理资源调整量可基于处理资源占用比例最大值与占用比例阈值之间的差距来确定,例如,处理资源占用比例最大值为80%,占用比例阈值为50%,差距为30%,该差距与占用比例阈值之比为60%,则可将第i+1个检测周期的处理资源增加60%,该增加的比例与第i个检测周期的处理资源相乘,可获得处理资源调整量。
在示例中,在低占用低频率访问模式下,需要接收的访问量较小,访问频率较低,带宽资源存在余量,且处理资源占用比例较低,处理资源存在余量,因此,处理资源调整量和所述带宽资源调整量均为减量。带宽资源调整量可基于访问量最大值与访问量阈值之间的差距来确定,例如,该差距与访问量阈值之比为40%,则可将第i+1个检测周期的带宽资源减少40%,该减少的比例与第i个检测周期的带宽资源相乘,可获得带宽资源调整量。处理资源调整量可基于处理资源占用比例最大值与占用比例阈值之间的差距来确定,例如,处理资源占用比例最大值为30%,占用比例阈值为50%,差距为20%,该差距与占用比例阈值之比为40%,则可将第i+1个检测周期的处理资源减少40%,该减少的比例与第i个检测周期的处理资源相乘,可获得处理资源调整量。
根据本发明的一个实施例,某个分区的配置调整量如果为增量,则该增量可来自配置调整量为减量的分区,例如,某个分区的处理资源调整量为增量,则该分区增加的处理资源调整量来自其他分区减少的处理资源调整量,类似地,某个分区的带宽资源调整量为增量,则该分区增加的带宽资源调整量来自其他分区减少的带宽资源调整量。然而,如果配置调整量为减量的分区所能提供的配置总量不足以满足所有配置调整量为增量的配置调增需求,则可按比例分配配置总量,例如,处理资源调整量为减量的分区所能提供的处理资源为100GB,而处理资源调整量为增量的2个分区所需的调整的处理资源量分别为120GB和80GB,处理资源的调增需求总共200GB,所能提供的处理资源不足以满足处理资源的调增需求,因此,可按比例分配所能提供的处理资源,即,第一个分区调增的处理资源量为60GB,第二个分区调增的处理资源量为40GB。
根据本发明的一个实施例,在步骤S106中,可按照以上配置调整策略对各个分区的带宽资源和处理资源进行调整,并在第i+1个检测周期中使用调整后的处理资源和带宽资源处理各个分区的访问请求。
根据本发明的实施例的基于数据涌流及波动性预测的辖区服务器配置方法,可在第i个检测周期获取各个分区的资源响应时长,从而确定各个分区的访问模式类型,从而确定每个分区配置的带宽资源和处理资源是否能够满足访问需求,如果不满足访问需求则可及时进行配置调整,从而能够在访问数据发生波动时及时响应访问需求,从而满足不断变化的访问需求。在确定资源响应时长的过程中,可使用位移后求解相似度,并确定多次位移后获得的多个相似度的最大值的方法,可克服访问量变化早于处理资源占用比例变化导致的时间差的问题,并对访问量向量进行归一化,克服了访问量向量与处理资源占用向量的取值范围和单位不同的问题,进一步地,使用处理资源占用向量与位移后的向量之间的协方差矩阵的逆矩阵来消除不同物理含义的尺度差异,从而得到准确性更高的第一相似度,并提升第一响应时长的准确性。并可利用归一化来消除处理资源占用比例和访问量的取值范围和量纲的差别,并使用波形平移后对归一化后的访问量波动函数与处理资源占用波动函数的乘积进行积分的方式,来求解访问量波动函数与处理资源占用波动函数的最大波形相似度,进而获得第二响应时长,提升第二响应时长的准确性。还可对第一响应时长和第二响应时长进行加权求和,使得第一响应时长和第二响应时长进行互相校验,提升处理资源响应时长的准确性。进一步地,可确定访问模式类型,并针对各种访问模式类型设置配置调整策略,从而更精确地满足访问需求,提升带宽资源和处理资源的利用率。
图2示例性地示出根据本发明实施例的基于数据涌流及波动性预测的辖区服务器配置***的示意图,如图2所示,所述***包括:
配置获取模块101,用于在第i个检测周期,获取辖区服务器的各个分区的处理资源和带宽资源,其中,i为正整数;
状态获取模块102,用于获取所述第i个检测周期内的各个分区在多个时刻的访问量和处理资源占用比例;
资源响应时长模块103,用于根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长;
访问模式类型模块104,用于根据所述各个分区在多个时刻的访问量和处理资源占用比例,以及所述处理资源响应时长,确定各个分区的访问模式类型;
配置调整策略模块105,用于根据所述各个分区的所述访问模式类型、所述各个分区在第i个检测周期处理资源和带宽资源,以及所述多个时刻的访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略,其中,所述配置调整策略包括带宽资源调整量和处理资源调整量;
配置模块106,用于根据所述配置调整策略,对所述各个分区在第i+1个检测周期的处理资源和带宽资源进行配置。
根据本发明的一个实施例,所述资源响应时长模块进一步用于:
根据各个分区在多个时刻的访问量,获得各个分区的访问量向量;
根据各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用向量;
根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长;
根据所述各个分区在多个时刻的访问量,获得各个分区的访问量波动函数;
根据所述各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用波动函数;
根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长;
根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长。
根据本发明的一个实施例,所述资源响应时长模块进一步用于:
根据公式
获得第一相似度,其中,为处理资源占用向量,/>为第i个检测周期中第j个分区的处理资源占用向量中的第k个时刻的处理资源占用比例,/>为第i个检测周期中第j个分区的访问量向量中第k个时刻的访问量,k为小于或等于n的正整数,n为多个时刻的数量,/>为第i个检测周期中第j个分区的访问量向量中的元素最大值,/>为第i个检测周期中第j个分区的访问量向量中的元素最小值,/>为第s步的位移矩阵,s为大于或等于0且小于或等于n-1的整数,
表示在步数s为第k步的情况下,/>,否则,/>为在步数为s步的情况下,/>与/>之间的协方差矩阵,/>为/>的逆矩阵;
确定使所述第一相似度达到最大值时的步数;
根据使所述第一相似度达到最大值时的步数和所述各个时刻之间的时间间隔,确定所述第一响应时长。
根据本发明的一个实施例,所述资源响应时长模块进一步用于:
根据公式
获得第二相似度,其中,t为第i个检测周期内的时刻,/>为第i个检测周期的开始时刻,/>为第i个检测周期的结束时刻,/>为访问量波动函数,/>为处理资源占用波动函数,/>为位移时长;
确定使所述第二相似度达到最大值时的位移时长;
将使所述第二相似度达到最大值时的位移时长作为所述第二响应时长。
根据本发明的一个实施例,所述资源响应时长模块进一步用于:
根据公式
获得所述处理资源响应时长,其中,/>为所述第一响应时长,/>为所述第二响应时长。
根据本发明的一个实施例,所述访问模式类型模块进一步用于以下中的一种:
在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用高频率访问模式;
在多个时刻的访问量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用低频率访问模式;
在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值大于或等于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用高频率访问模式;
在多个时刻的访量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用低频率访问模式。
根据本发明的一个实施例,所述配置调整策略模块进一步用于:
根据所述处理资源占用比例最大值与所述占用比例阈值之间的差距,以及第i个检测周期的处理资源,确定处理资源调整量,并根据多个时刻的访问量最大值与所述访问量阈值之间的差距,以及第i个检测周期的带宽资源,确定带宽资源调整量,其中,在低占用高频率访问模式下,所述带宽资源调整量为增量,所述处理资源调整量为减量,在高占用低频率访问模式下,所述处理资源调整量为增量,所述带宽资源调整量为减量,在高占用高频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为增量,在低占用低频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为减量。
根据本发明的一个实施例,提供一种基于数据涌流及波动性预测的辖区服务器配置设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行所述基于数据涌流及波动性预测的辖区服务器配置方法。
根据本发明的一个实施例,提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现所述基于数据涌流及波动性预测的辖区服务器配置方法。
本发明可以是方法、装置、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于数据涌流及波动性预测的辖区服务器配置方法,其特征在于,包括:
在第i个检测周期,获取辖区服务器的各个分区的处理资源和带宽资源,其中,i为正整数;
获取所述第i个检测周期内的各个分区在多个时刻的访问量和处理资源占用比例;
根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长;
根据所述各个分区在多个时刻的访问量和处理资源占用比例,以及所述处理资源响应时长,确定各个分区的访问模式类型;
根据所述各个分区的所述访问模式类型、所述各个分区在第i个检测周期处理资源和带宽资源,以及所述多个时刻的访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略,其中,所述配置调整策略包括带宽资源调整量和处理资源调整量;
根据所述配置调整策略,对所述各个分区在第i+1个检测周期的处理资源和带宽资源进行配置;
根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长,包括:
根据各个分区在多个时刻的访问量,获得各个分区的访问量向量;
根据各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用向量;
根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长;
根据所述各个分区在多个时刻的访问量,获得各个分区的访问量波动函数;
根据所述各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用波动函数;
根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长;
根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长;
根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长,包括:
根据公式
获得第一相似度,其中,/>为第i个检测周期中第j个分区的处理资源占用向量中的第k个时刻的处理资源占用比例,/>为第i个检测周期中第j个分区的访问量向量中第k个时刻的访问量,k为小于或等于n的正整数,n为多个时刻的数量,/>为第i个检测周期中第j个分区的访问量向量中的元素最大值,/>为第i个检测周期中第j个分区的访问量向量中的元素最小值,/>为第s步的位移矩阵,s为大于或等于0且小于或等于n-1的整数,
表示在步数s为第k步的情况下,/>,否则,/>为在步数为s步的情况下,/>与/>之间的协方差矩阵,/>为/>的逆矩阵;
确定使所述第一相似度达到最大值时的步数;
根据使所述第一相似度达到最大值时的步数和所述各个时刻之间的时间间隔,确定所述第一响应时长;
根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长,包括:
根据公式
获得第二相似度,其中,t为第i个检测周期内的时刻,/>为第i个检测周期的开始时刻,/>为第i个检测周期的结束时刻,/>为访问量波动函数,/>为处理资源占用波动函数,/>为位移时长;
确定使所述第二相似度达到最大值时的位移时长;
将使所述第二相似度达到最大值时的位移时长作为所述第二响应时长;
根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长,包括:
根据公式
获得所述处理资源响应时长,其中,/>为所述第一响应时长,/>为所述第二响应时长。
2.根据权利要求1所述的基于数据涌流及波动性预测的辖区服务器配置方法,其特征在于,根据所述各个分区在多个时刻的访问量和处理资源占用比例,以及所述处理资源响应时长,确定各个分区的访问模式类型,包括以下中的一种:
在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用高频率访问模式;
在多个时刻的访问量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用低频率访问模式;
在多个时刻的访问量最大值大于或等于访问量阈值,且处理资源占用比例最大值大于或等于占用比例阈值,且所述处理资源响应时长大于或等于时长阈值的情况下,将访问模式确定为高占用高频率访问模式;
在多个时刻的访量最大值小于访问量阈值,且处理资源占用比例最大值小于占用比例阈值,且所述处理资源响应时长小于时长阈值的情况下,将访问模式确定为低占用低频率访问模式。
3.根据权利要求2所述的基于数据涌流及波动性预测的辖区服务器配置方法,其特征在于,根据所述各个分区的所述访问模式类型、所述各个分区在第i个检测周期处理资源和带宽资源,以及所述多个时刻的访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略,包括:
根据所述处理资源占用比例最大值与所述占用比例阈值之间的差距,以及第i个检测周期的处理资源,确定处理资源调整量,并根据多个时刻的访问量最大值与所述访问量阈值之间的差距,以及第i个检测周期的带宽资源,确定带宽资源调整量,其中,在低占用高频率访问模式下,所述带宽资源调整量为增量,所述处理资源调整量为减量,在高占用低频率访问模式下,所述处理资源调整量为增量,所述带宽资源调整量为减量,在高占用高频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为增量,在低占用低频率访问模式下,所述处理资源调整量和所述带宽资源调整量均为减量。
4.一种基于数据涌流及波动性预测的辖区服务器配置***,其特征在于,包括:
配置获取模块,用于在第i个检测周期,获取辖区服务器的各个分区的处理资源和带宽资源,其中,i为正整数;
状态获取模块,用于获取所述第i个检测周期内的各个分区在多个时刻的访问量和处理资源占用比例;
资源响应时长模块,用于根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长;
访问模式类型模块,用于根据所述各个分区在多个时刻的访问量和处理资源占用比例,以及所述处理资源响应时长,确定各个分区的访问模式类型;
配置调整策略模块,用于根据所述各个分区的所述访问模式类型、所述各个分区在第i个检测周期处理资源和带宽资源,以及所述多个时刻的访问量和处理资源占用比例,确定各个分区在第i+1个检测周期的配置调整策略,其中,所述配置调整策略包括带宽资源调整量和处理资源调整量;
配置模块,用于根据所述配置调整策略,对所述各个分区在第i+1个检测周期的处理资源和带宽资源进行配置;
根据所述配置调整策略,对所述各个分区在第i+1个检测周期的处理资源和带宽资源进行配置;
根据所述各个分区在多个时刻的访问量和处理资源占用比例,确定处理资源响应时长,包括:
根据各个分区在多个时刻的访问量,获得各个分区的访问量向量;
根据各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用向量;
根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长;
根据所述各个分区在多个时刻的访问量,获得各个分区的访问量波动函数;
根据所述各个分区在多个时刻的处理资源占用比例,获得各个分区的处理资源占用波动函数;
根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长;
根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长;
根据所述访问量向量、所述处理资源占用向量、以及各个时刻之间的时间间隔,确定第一响应时长,包括:
根据公式
获得第一相似度,其中,/>为第i个检测周期中第j个分区的处理资源占用向量中的第k个时刻的处理资源占用比例,/>为第i个检测周期中第j个分区的访问量向量中第k个时刻的访问量,k为小于或等于n的正整数,n为多个时刻的数量,/>为第i个检测周期中第j个分区的访问量向量中的元素最大值,/>为第i个检测周期中第j个分区的访问量向量中的元素最小值,/>为第s步的位移矩阵,s为大于或等于0且小于或等于n-1的整数,
表示在步数s为第k步的情况下,/>,否则,/>为在步数为s步的情况下,/>与/>之间的协方差矩阵,/>为/>的逆矩阵;
确定使所述第一相似度达到最大值时的步数;
根据使所述第一相似度达到最大值时的步数和所述各个时刻之间的时间间隔,确定所述第一响应时长;
根据所述访问量波动函数和所述处理资源占用波动函数,确定第二响应时长,包括:
根据公式
获得第二相似度,其中,t为第i个检测周期内的时刻,/>为第i个检测周期的开始时刻,/>为第i个检测周期的结束时刻,/>为访问量波动函数,/>为处理资源占用波动函数,/>为位移时长;
确定使所述第二相似度达到最大值时的位移时长;
将使所述第二相似度达到最大值时的位移时长作为所述第二响应时长;
根据所述第一响应时长和所述第二响应时长,确定所述处理资源响应时长,包括:
根据公式
获得所述处理资源响应时长,其中,/>为所述第一响应时长,/>为所述第二响应时长。
5.一种基于数据涌流及波动性预测的辖区服务器配置设备,其特征在于,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1-3中任一项所述的方法。
6.一种计算机可读存储介质,其特征在于,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现权利要求1-3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311368351.3A CN117112236B (zh) | 2023-10-23 | 2023-10-23 | 基于数据涌流及波动性预测的辖区服务器配置方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311368351.3A CN117112236B (zh) | 2023-10-23 | 2023-10-23 | 基于数据涌流及波动性预测的辖区服务器配置方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117112236A CN117112236A (zh) | 2023-11-24 |
CN117112236B true CN117112236B (zh) | 2024-02-20 |
Family
ID=88809461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311368351.3A Active CN117112236B (zh) | 2023-10-23 | 2023-10-23 | 基于数据涌流及波动性预测的辖区服务器配置方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117112236B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6263359B1 (en) * | 1997-05-22 | 2001-07-17 | International Business Machines Corporation | Computer resource proportional utilization and response time scheduling |
CN101695034A (zh) * | 2009-10-09 | 2010-04-14 | 清华大学 | 一种web服务监控参数的调整装置和方法 |
CN104283946A (zh) * | 2014-09-26 | 2015-01-14 | 东北大学 | 一种单物理机下多虚拟机的资源自适应调整***及方法 |
CN107026877A (zh) * | 2016-01-29 | 2017-08-08 | 华为技术有限公司 | 云平台中管理资源的方法和装置 |
CN109783219A (zh) * | 2017-11-10 | 2019-05-21 | 北京信息科技大学 | 一种云资源优化调度方法及装置 |
CN111343244A (zh) * | 2018-08-23 | 2020-06-26 | 贵州白山云科技股份有限公司 | 云分发网络调度方法、装置及计算机可读存储介质 |
CN111625859A (zh) * | 2020-05-20 | 2020-09-04 | 北京百度网讯科技有限公司 | 一种资源的访问控制方法、装置、电子设备和存储介质 |
CN112131005A (zh) * | 2020-09-25 | 2020-12-25 | 新华三大数据技术有限公司 | 一种资源调整策略确定方法和装置 |
CN112416590A (zh) * | 2020-11-24 | 2021-02-26 | 平安普惠企业管理有限公司 | 服务器***资源调整方法、装置、计算机设备及存储介质 |
CN114205232A (zh) * | 2021-11-01 | 2022-03-18 | 湖北省楚天云有限公司 | 一种可自动扩容的接口服务平台 |
JP7103705B1 (ja) * | 2021-12-21 | 2022-07-20 | 北京穿楊科技有限公司 | クラスタに基づく容量縮小処理方法及び装置 |
CN115002044A (zh) * | 2022-05-26 | 2022-09-02 | 平安银行股份有限公司 | 控制数据传输的方法、装置、计算机设备及存储介质 |
CN115134368A (zh) * | 2022-08-31 | 2022-09-30 | 中信建投证券股份有限公司 | 一种负载均衡方法、装置、设备以及存储介质 |
CN115202889A (zh) * | 2022-09-13 | 2022-10-18 | 阿里巴巴(中国)有限公司 | 计算资源调整方法及计算*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7996820B2 (en) * | 2007-01-04 | 2011-08-09 | International Business Machines Corporation | Determining proportionate use of system resources by applications executing in a shared hosting environment |
CN106161525B (zh) * | 2015-04-03 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 一种多集群管理方法与设备 |
US20180109469A1 (en) * | 2016-10-17 | 2018-04-19 | International Business Machines Corporation | Systems and methods for controlling process priority for efficient resource allocation |
CN110198344A (zh) * | 2019-05-05 | 2019-09-03 | 网宿科技股份有限公司 | 一种资源调度方法及*** |
CN113055308B (zh) * | 2019-12-26 | 2024-03-05 | 华为云计算技术有限公司 | 带宽调度方法、流量传输方法及相关产品 |
-
2023
- 2023-10-23 CN CN202311368351.3A patent/CN117112236B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6263359B1 (en) * | 1997-05-22 | 2001-07-17 | International Business Machines Corporation | Computer resource proportional utilization and response time scheduling |
CN101695034A (zh) * | 2009-10-09 | 2010-04-14 | 清华大学 | 一种web服务监控参数的调整装置和方法 |
CN104283946A (zh) * | 2014-09-26 | 2015-01-14 | 东北大学 | 一种单物理机下多虚拟机的资源自适应调整***及方法 |
CN107026877A (zh) * | 2016-01-29 | 2017-08-08 | 华为技术有限公司 | 云平台中管理资源的方法和装置 |
CN109783219A (zh) * | 2017-11-10 | 2019-05-21 | 北京信息科技大学 | 一种云资源优化调度方法及装置 |
CN111343244A (zh) * | 2018-08-23 | 2020-06-26 | 贵州白山云科技股份有限公司 | 云分发网络调度方法、装置及计算机可读存储介质 |
CN111625859A (zh) * | 2020-05-20 | 2020-09-04 | 北京百度网讯科技有限公司 | 一种资源的访问控制方法、装置、电子设备和存储介质 |
CN112131005A (zh) * | 2020-09-25 | 2020-12-25 | 新华三大数据技术有限公司 | 一种资源调整策略确定方法和装置 |
CN112416590A (zh) * | 2020-11-24 | 2021-02-26 | 平安普惠企业管理有限公司 | 服务器***资源调整方法、装置、计算机设备及存储介质 |
CN114205232A (zh) * | 2021-11-01 | 2022-03-18 | 湖北省楚天云有限公司 | 一种可自动扩容的接口服务平台 |
JP7103705B1 (ja) * | 2021-12-21 | 2022-07-20 | 北京穿楊科技有限公司 | クラスタに基づく容量縮小処理方法及び装置 |
CN115002044A (zh) * | 2022-05-26 | 2022-09-02 | 平安银行股份有限公司 | 控制数据传输的方法、装置、计算机设备及存储介质 |
CN115134368A (zh) * | 2022-08-31 | 2022-09-30 | 中信建投证券股份有限公司 | 一种负载均衡方法、装置、设备以及存储介质 |
CN115202889A (zh) * | 2022-09-13 | 2022-10-18 | 阿里巴巴(中国)有限公司 | 计算资源调整方法及计算*** |
Non-Patent Citations (3)
Title |
---|
Dynamic Configuration of Reverse Proxy Cache based on Multi-Dimensional Time Series Prediction of Visit Traffic;Yang, ZZ等;PROCEEDINGS OF 2016 IEEE 7TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND SERVICE SCIENCE (ICSESS 2016);全文 * |
轻量级Web服务器Nginx的研究与优化;姚兆凡;中国优秀硕士学位论文全文数据库 信息科技辑;全文 * |
面向云存储的I/O资源效用优化调度算法研究;王健宗;谌炎俊;谢长生;;计算机研究与发展(第08期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117112236A (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110764714B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
CN109408590B (zh) | 分布式数据库的扩容方法、装置、设备及存储介质 | |
CN110636388A (zh) | 一种业务请求分配方法、***、电子设备及存储介质 | |
CN111142942A (zh) | 窗口数据的处理方法、装置、服务器及存储介质 | |
CN109407997B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
CN114490078A (zh) | 一种微服务的动态缩扩容方法、装置及设备 | |
CN115098960A (zh) | 设备剩余使用寿命预测方法和装置 | |
CN117112236B (zh) | 基于数据涌流及波动性预测的辖区服务器配置方法及*** | |
CN112506399B (zh) | 书籍阅读页面的信息发布方法、计算设备及存储介质 | |
CN112817757B (zh) | 预调整的资源弹性分配方法、装置、电子设备及存储介质 | |
CN113342474A (zh) | 客户流量的预测、模型训练的方法、设备及存储介质 | |
CN110287014B (zh) | 一种计算机***内存带宽调度方法、***及存储介质 | |
CN116150067A (zh) | 一种带宽调整方法、装置、电子设备和存储介质 | |
CN110069340B (zh) | 线程数评估方法及装置 | |
CN112365333B (zh) | 实时动态流量分配方法、***、电子设备及存储介质 | |
JP2001022729A (ja) | 予測モデルの選択方法 | |
CN114882713A (zh) | 基于多场景的信号控制方法、***、设备和存储介质 | |
CN113064554A (zh) | 基于分布式存储的最优存储节点匹配方法、装置及介质 | |
CN111767137B (zh) | 一种***部署方法、装置、电子设备及存储介质 | |
CN118036661B (zh) | 大语言模型混合精度量化方法、装置、电子设备及介质 | |
CN118069363A (zh) | 集群任务资源估算方法、装置及电子设备 | |
CN108270851B (zh) | 一种数据存储方法及装置 | |
CN117744466A (zh) | 适用于洪水多要素预报的自适应代理模型同步构建方法 | |
CN116260875A (zh) | 服务请求的限流方法、限流装置及电子设备 | |
CN117130557A (zh) | 一种固态硬盘请求处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |