CN111782394A - 一种基于响应时间感知的集群服务资源动态调整方法 - Google Patents

Abstract

本发明公开了一种基于响应时间感知的集群服务资源动态调整方法，该发明针对基于其它因素的调整方法下，以响应时间为衡量标准的服务质量难以保障的问题，提出以循环队列方式感知任务的服务时间，并通过监测分析各工作服务器中的任务调度队列，预估出后续任务的平均响应时间，最终以预估值为参考，反应式地调整资源量以满足服务质量要求。具体而言，已完成任务的服务时间持续被记录于循环队列，队列满时最新记录覆盖早期记录。到达资源调整时间点时，借助所记录的服务时间的均值对等待任务的响应时间进行预估，并以预估值为依据逐步调整工作服务器数量。以此方式持续调整工作服务器数量使之匹配任务量，有效保障了集群的服务质量水平。

Description

一种基于响应时间感知的集群服务资源动态调整方法

技术领域

本发明涉及计算机***结构领域，具体涉及一种基于响应时间感知的集群服务资源动态调整方法，更具体的涉及了抽取用于反映当前服务资源是否匹配当前负载状况的响应时间提示HR，基于该提示并采用参数值可变的线性函数f(λ，Cov_a，T_ms)，在资源匹配时更新用于资源需求量评估的评估参数值，在资源不匹配时使用最新的评估参数值评估出此时负载条件下所需的资源量，继而及时调整所提供的资源量使之与所需一致。

背景技术

集群中往往包含了大量服务器作为服务资源，而且所含服务器的数量在大多时间远多于实际所需。从而，通常有大量的服务器长期处于空闲状态，若依然将其保持在正常服务状态，那么将带来不必要的能耗浪费。在集群中可通过服务资源动态调整的方式，根据服务质量情况，若服务器数量过剩就将过剩服务器转入低能耗状态暂作保留，而在服务器数量不足时重新将保留服务器唤起进入工作状态，如此就可以兼顾服务质量与***能耗。然而在大量场景下，服务质量是以响应时间为衡量标准，可是在传统的集群服务资源动态调整方法中，普遍未能良好地感知响应时间。如此，传统的集群服务资源动态调整方法通常难以及时察觉服务质量的变化，易导致对服务资源调整的时机的延误，不利用保证集群的服务质量以及改善其能耗浪费。

因此，在以响应时间为衡量标准的服务质量要求下，良好地感知响应时间，做到对服务资源的及时调整对保证服务质量与改善能耗浪费有着重要意义。此外，若能较好地评估出所需的服务资源量，那么，就可以快速完成将服务资源量调整至实际所需的这一过程，否则，此过程将需花费较长的时间进行尝试性的调整。调整过程所需时间的延长会带来两方面的问题：首先，如果是需要增加服务资源量，就会使负载所含任务长期在资源不足的条件下运行，将给服务质量带来严重影响；其次，如果是减少服务资源量，就会延长过剩服务资源量的空闲时间，降低了对集群能耗浪费的改善效果。现有大多方法在评估所需服务资源量时，由于缺乏对响应时间的良好感知，其评估结果往往不太理想，所以对于以响应时间为衡量标准的服务质量要求而言，它们并不是好的选择。

发明内容

本发明的目的是为了缓解现有方法中的上述缺陷，提供一种基于响应时间感知的集群服务资源动态调整方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于响应时间感知的集群服务资源动态调整方法，所述的集群服务资源动态调整方法包括下列步骤：

S1、管理器通过响应时间提示(Hint of Response time，HR)抽取模块(HRExtractor Module，HREM)，依靠管理器具备的基本管理功能模块持续监测工作服务器的状态，从而周期性地抽取出HR，HR反应了响应时间的实时状况，故在抽取完毕后，将HR传递给判定模块(Judger Module，JM)后，JM就可以恰当地判定出当前提供的服务资源量与负载的匹配情况；

S2、JM通过将来自HREM的HR与服务质量要求的标准进行对比，以此判定当前服务资源是否不匹配于当前负载状况，若不匹配(对应“是”分支)，则发送“是”指令给需求评估模块(Demand Estimator Module，DEM)，“是”指令表示需要对服务资源提供量进行调整，而若匹配(对应“否”分支)，则发送“否”指令，“否”指令表示所提供的服务资源量无需调整；

S3、DEM在收到来自JM的“是”指令时，由于需要调整所提供的服务资源量且为了尽量使调整过程耗时短，DEM先评估出当前负载条件下所需的服务资源量，后将需求量信息告知管理器基本管理功能模块，而若收到来自JM的“否”指令时，由于无需调整所提供的服务资源量，即表示此时的服务资源量是适应于当前负载状况的，为使后续评估能基于最新的匹配模式，DEM就采用最新获取的资源供给信息对评估参数进行更新；

S4、管理器基本管理功能模块若收到来自JM所告知的需求量信息，首先统计出服务资源池中工作服务器的数量，如果数量超出被告知的需求量，则采用状态控制的方式，将多出的工作服务器转换为低能耗状态以作保留，反之如果数量低于被告知的需求量，就通过唤起保留服务器进行补足，这种状态控制式的资源量调整充分发挥了服务器自身状态转换的便利优势，可降低调整难度并缩短调整耗时。

进一步地，所述的一种基于响应时间感知的集群服务资源动态调整方法，当中所述的HR是具有预测性质的反应了响应时间的提示信息，HR的获取依赖于所设置的用于记录近期任务服务时间的循环队列，该队列不断地将最新完成任务的服务时长进行记录，在队列满的情况下，最新记录覆盖早期记录，在抽取HR时，首先计算循环队列中所有记录的均值得到平均服务时间(记作T_ms)，然后查询每台工作服务器中任务调度队列的等待任务数量，分别计算出各自等待任务的响应时间预估值(RT)的均值(MRT)，对于等待排序顺序为i的任务，计算RT的计算式为RT_i＝T_c-T_ri+i×T_ms，其中，RT下标i为该任务的等待排序顺序，T_c表示当前时间，T_ri为接收到等待排序顺序为i的任务时的时间，那么有

在得到每台工作服务器的MRT后，还需对这些值进行平均计算，最终平均值

作为HR，式中的m为工作服务器的数量。

进一步地，所述的服务质量要求的标准为对于任务平均响应时间的特定期望值，由于HR是具有预测性质的反应了响应时间的提示信息，JM得到来自于DEM的HR后，以该期望值对HR进行比较式的衡量，即可判断出当前服务资源是否不匹配于当前负载状况，具体而言，如果HR高于该期望值，预示着当前服务资源量对于所要求的服务质量而言存在不足，后期将有极大可能造成服务质量要求得不到满足，而如果HR远低于期望值，预示着当前服务资源量对于所要求的服务质量而言是过剩的，后期将有极大可能带来能耗浪费。

进一步地，所述的评估当前负载条件下所需的服务资源量，综合考虑了多方面的关键负载条件因素，包含有负载中任务的到来率(λ)，到来间隔不均匀程度(用到来间隔的协方差Cov_a反映)，任务的平均服务时间(用取得的T_ms反映)，考虑到服务资源量与负载匹配模式的不确定行，设置有四个评估参数用于构成一个线性函数f(λ，Cov_a，T_ms)用于进行评估，该线性函数的具体表达式为f(λ，Cov_a，T_ms)＝α₁·λT_ms+α₂·Cov_aT_ms+α₃·λCov_a+α₄·λCov_aT_ms，通过代值计算得出的函数值，最终作为对所需工作服务器数量的评估值。

进一步地，所述的更新评估参数，需持续监测并记录前期任务的λ、Cov_a的实际值，另外对于近期符合服务质量要求的各周期，需记录从循环队列中获得的各T_ms值，各周期对应一组真实数值，将各周期所提供的工作服务器数量作为函数值，以及相应的λ、Cov_a、T_ms值代入f(λ，Cov_a，T_ms)表达式等号的两端，以此得到多组线性无关等式组后，优先求解出对应最新周期的等式组，得到能反应最新情况的α₁、α₂、α₃、α₄的值，最后将这组值作为更新值来更新这四个评估参数。

本发明相对于现有方法具有如下的优点及效果：

(1)对于大量以响应时间为衡量标准的服务质量要求的场景，现有的集群服务资源动态调整方法普遍未对响应时间做出良好感知，本发明所述方法抽取具有预测性质的反应响应时间情况的提示信息HR，可有效察觉出服务质量的变化，从而有利于对服务资源量的及时调整。

(2)本发明通过参数值可变的线性函数f(λ，Cov_a，T_ms)对资源需求量做出评估，由于该函数综合考虑了多方面的关键负载条件因素，评估时可达到较高的准确度，此外，该函数中包含α₁、α₂、α₃、α₄四个数值可变的参数，这四个参数会随时间依据最近负载情况进行更新，能长期保证评估的有效性。

(3)本发明的应用实现便利，所述的HR以及线性函数不仅直观而且计算难度小，涉及到的各模块执行及判断逻辑简单，在服务资源量调整时直接借助管理器基本管理功能模块进行状态控制，可实现服务资源量的快速调整使其快速响应服务质量的变化，可达成服务质量与***能耗有效兼顾的最终效果。

附图说明

图1是本发明公开的基于响应时间感知的集群服务资源动态调整方法的工作流程图；

图2是本发明适用的服务集群的结构示意图；

图3是该服务集群下任务调度的示意图；

图4是本发明中获取HR的数据流图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1和图2所示，本发明是一种基于响应时间感知的集群服务资源动态调整方法，应用在服务集群***环境下：

此环境下，***包含管理器以及服务资源池。服务资源池由多台同构的服务器构成，这些服务器可以刻在管理器的控制下进行状态转换，将正常工作的服务器标注为“工作”状态(工作服务器)，而转入低能耗状态(可为睡眠、待机等)不提供服务的服务器被标注为“保留”状态(保留服务器)。通过对各服务器状态进行合理的转换，这两种状态的服务器可以相互转换，工作服务器用于提供服务并保证服务质量，而保留服务器处于低能耗状态可显著降低***整体能耗开销。该***下，来自外部的用户负载首先由管理器接收，然后将负载中所包含的任务逐一分发给各工作服务器，为保证工作服务器的负载均衡，任务转发时以当前负载最轻的工作服务器作为转发目标。任务被工作服务器接收后，以传统的先来先服务方式得到调度执行。

为了更清晰地阐明本发明的应用场景，以下结合该服务集群下任务调度的示意图(图3)、和本发明中获取HR的数据流图(图4)再作详细分析。

如图3所示，负载由管理器接收后，负载所包含任务通过管理器逐一分发给各工作服务器。各工作服务器将收到的任务以到来先后顺序加入任务调度队列中，从而以先来先服务的方式调度，最终CPU完成该任务。对于每台工作服务器而言，其调度队列中各任务的响应时间是可估计的。如图3所示，首先假设每个任务需要的执行时间均相等(设为T_ms的值，即记录服务时间的循环队列中所有记录的均值)，对于某工作服务器调度队列中的第一个等待任务t₁来说，只需等待正在执行的任务完成，就可得到调度，那么其响应时间(也就是等待的时长)就可预估为T_c-T_r+T_ms，当中T_c表示当前时间，T_r为服务器接收到此任务时的时间，T_c-T_r就为任务在当前时刻已等待的时长。同理，对于各等待任务来说，对应响应时间预估值RT可计算为RT_i＝T_c-T_ri+i×T_ms，i代表各等待任务在调度队列中的顺序排序号。那么，对于某工作服务器，其所有等待任务的平均响应时间预估值MRT就为

k为等待任务的数量。进一步地将所有工作服务器对应的MRT求平均值UMRT，即计算

(m为工作服务器的数量)，UMRT反映了当前工作服务器数量下，***的平均响应时间情况，故而将其作为响应时间提示HR。

如图4所示，为抽取HR时所涉及数据的传递过程。首先，管理器获取***内最新完成任务的服务时间，这些服务时间随后被记录到循环队列中。在记录最新完成任务服务时间的同时，管理器同时监测各工作服务器内调度队列中等待任务的有关信息(包括当前等待任务数量k、各等待任务的接收时间T_ri)。为了减少对服务资源的频繁调整次数，可设置调整周期，以固定或变化的周期调整服务资源量。当到达资源量调整的时刻时，通过记录有最新服务时间的循环队列，获取到最近的平均服务时间T_ms。随后，利用T_ms、k、T_ri以及当前时间T_c，逐一求出各工作服务器对各自等待任务的平均响应时间预估值MRT。最终，对已求得的所有工作服务器的MRT求其出平均值UMRT，该值即为最终的HR传递给JM用于判断是否需要进行资源调整。有关资源调整的功能主要由需求评估模块(DEM)完成。

DEM负责两项工作，其一为在无需进行服务资源调整时，更新评估参数，其二为在需要进行服务资源调整时评估出所需的服务资源量。DEM在进行评估参数更新时，首先将前期在服务资源量匹配负载需求的时期内获取到的多组λ、Cov_a、T_ms值，再连同各时期所提供的工作服务器数量作为函数值，代入到f(λ，Cov_a，T_ms)表达式等号两端。在求解所需评估参数α₁、α₂、α₃、α₄时，需要多组线性无关的代值后的f(λ，Cov_a，T_ms)等式，为反映***最新状况，选取代值的f(λ，Cov_a，T_ms)等式时优先使用代入值最新的等式。DEM在调整服务资源量时，则将当前时刻的λ、Cov_a、T_ms的值代入确定了评估参数值的函数f(λ，Cov_a，T_ms)，最后得出的函数值即所需工作服务器数量的评估值。依据此评估值，DEM通过管理器基本管理功能模块，以状态控制的方式，通过唤起保留服务器或将工作服务器转入低能耗状态，完成对服务资源量的调整。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于响应时间感知的集群服务资源动态调整方法，其特征在于，所述的集群服务资源动态调整方法包括下列步骤：

S1、管理器通过响应时间提示(Hint of Response time，HR)抽取模块(HR ExtractorModule，HREM)，依靠管理器具备的基本管理功能模块持续监测工作服务器的状态，从而周期性地抽取出HR，在抽取完毕后，将所抽取出的HR传递给判定模块(Judger Module，JM)；

S2、JM将来自HREM的HR与服务质量要求的标准进行对比，然后判定当前服务资源是否不匹配于当前负载状况，若不匹配(对应“是”分支)，则发送“是”指令给需求评估模块(Demand Estimator Module，DEM)，而若匹配(对应“否”分支)，则发送“否”指令；

S3、DEM在收到来自JM的“是”指令时，评估出当前负载条件下所需的服务资源量，并将需求量信息告知管理器基本管理功能模块，而若收到来自JM的“否”指令时，就对用于评估的参数进行更新；

S4、管理器基本管理功能模块若收到来自JM所告知的需求量信息，则统计出服务资源池中工作服务器的数量，如果数量超出被告知的需求量，则采用状态控制的方式，将多出的工作服务器转换为低能耗状态以作保留，反之如果数量低于被告知的需求量，就通过唤起保留服务器进行补足。

2.根据权利要求1所述的一种基于响应时间感知的集群服务资源动态调整方法，其特征在于，所述的步骤S1中HR的获取依赖于所设置的用于记录近期任务服务时间的循环队列，在抽取HR时，首先计算循环队列中所有记录的均值得到平均服务时间(记作T_ms)，然后查询每台工作服务器中任务调度队列的等待任务数量，分别计算出各自等待任务的响应时间预估值(RT)的均值(MRT)，对于等待排序顺序为i的任务，计算RT的计算式为RT_i＝T_c-T_ri+i×T_ms，其中，RT下标i为该任务的等待排序顺序，T_c表示当前时间，T_ri为接收到等待排序顺序为i的任务时的时间，那么有

在得到每台工作服务器的MRT后，还需对这些值进行平均计算，最终平均值

作为HR，式中的m为工作服务器的数量。

3.根据权利要求1所述的一种基于响应时间感知的集群服务资源动态调整方法，其特征在于，所述的步骤S2中服务质量要求的标准为对于任务平均响应时间的特定期望值，JM得到来自于DEM的HR后，以该期望值对HR进行衡量，如果HR高于该期望值，预示着当前服务资源量对于所要求的服务质量而言存在不足，而如果HR远低于期望值，预示着当前服务资源量对于所要求的服务质量而言是过剩的。

4.根据权利要求1所述的一种基于响应时间感知的集群服务资源动态调整方法，其特征在于，所述的步骤S3中在评估当前负载条件下所需的服务资源量时，综合考虑了多方面的负载条件因素，包含有负载中任务的到来率(λ)，到来间隔不均匀程度(用到来间隔的协方差Cov_a反映)，任务的平均服务时间(用取得的T_ms反映)，具体通过计算一个多参数的线性函数f(λ，Cov_a，T_ms)＝α₁·λT_ms+α₂·Cov_aT_ms+α₃·λCov_a+α₄·λCov_aT_ms，将所得数值作为评估结果，即，所需工作服务器数量的评估值。

5.根据权利要求1所述的一种基于响应时间感知的集群服务资源动态调整方法，其特征在于，所述的步骤S3中在更新评估参数α₁、α₂、α₃、α₄时，需持续监测并记录前期任务的λ、Cov_a的实际值，另外对于近期符合服务质量要求的各周期，需记录从循环队列中获得的各T_ms值，各周期对应一组数值，将相应的λ、Cov_a、T_ms的实际值和各周期所提供的工作服务器数量代入f(λ，Cov_a，T_ms)，在得到多组线性无关的等式后，优先求解出对应最新周期的等式组，以得到α₁、α₂、α₃、α₄的值，最后将这组值作为α₁、α₂、α₃、α₄的更新值来更新此四个评估参数。

Images