CN110928683A - 基于两类密集型虚拟机的边缘计算资源分配方法 - Google Patents

Abstract

基于两类密集型虚拟机边缘计算资源分配方法，综合考虑了边缘服务器中IO密集型和CPU密集型虚拟机对资源分配的要求，将虚拟机状态、上传数据类型权重和***加速比、任务完成时间等分别引入两类虚拟机资源分配计算算法中，动态生成IO密集型虚拟机优先级队列和CPU密集型虚拟机所需CPU核心数，可以实现边缘服务器资源的合理分配，从而有效降低了由于密集计算和高资源消耗等对成本和时延造成的影响。克服了传统启发式方法和代价函数等对优先级的设置人为因素影响较大而不利于边缘服务器进行资源分配的问题，最终提高了资源分配的效率。

Description

基于两类密集型虚拟机的边缘计算资源分配方法

技术领域

本发明属于边缘计算资源分配技术领域，具体涉及基于两类密集型虚拟机的边缘计算资源分配方法。

背景技术

在工业制造过程中，工序越来越复杂，采集的基础数据具有多源、异构性，同时由于工业软硬件平台具有较强的独立性和封闭性，使得部署在近制造装备端的边缘计算在数据解析和存储能力上面临极大挑战。因此，通过边缘端服务器资源的合理分配实现服务器资源的充分利用，进一步提高数据存储和计算的速度和效率显得十分重要。虚拟机优先级的计算是进行边缘端服务器资源分配至关重要的一环，虚拟机优先级设置是否合理直接影响边缘端服务器资源分配的准确性。

传统的边缘计算资源分配方法大多假定边缘计算服务器的计算能力和存储容量为无限制状态，已有的资源分配仅考虑计算资源，存储资源分配问题较少涉及，且优先级的设置通常采取代价函数或随机方法，受人为因素影响较大。实际上，优先级的计算与网络性能、数据特征、任务类型、计算能力及存储效率等密切相关，这增大了云端协同计算架构下边缘计算资源分配阈值确定的难度。同时，由于制造物理单元具有动态伸缩性，直接用传统的优先级设置方法难以准确地反映边缘服务器对资源的需求。上述缺点可能会导致边缘服务器运行过程中资源分配难以被及时调整，继而影响边缘计算的效率。

发明内容

为了克服现有技术存在的缺点，本发明提供了一种基于两类密集型虚拟机边缘计算资源分配方法，将IO密集型虚拟机和CPU密集型虚拟机分别进行处理，针对IO密集型虚拟机，结合二阶差分法等生成IO密集型虚拟机优先级队列；针对CPU密集型虚拟机，根据虚拟机对物理机性能的影响、任务完成时间等计算CPU密集型虚拟机的实时需求，并用于边缘计算资源分配，以提升边缘端服务器数据存储效率和计算速度，减少时延，节省成本。

为了达到上述目的，本发明所采用的技术方案为：

基于两类密集型虚拟机的边缘计算资源分配方法，具体步骤如下：

A.计算某个IO密集型虚拟机V_i在采样时刻t_i收到来自终端设备发送的数据τ_i,

其中，N表示向边缘端服务器发送数据的终端设备数，n表示某一终端设备上传数据类型的个数，α_jk为上传的数据类型对应的数据规模大小,ε表示采样和计算产生的误差；

B.对IO密集型虚拟机V_i收到的数据进行二阶差分，获得数据上传速率增量Δv：

假设IO密集型虚拟机V_i处理数据的平均速度为v_i,则需要时间t′_i将t_i时刻发送的数据全部存储到数据库中，即

再将IO密集型虚拟机V_i的处理时间t′_i分为三个部分t′_i,t′_i+1,t′_i+2，表示需要经过三个阶段才能将数据存储到数据库中，得到数据上传速率增量Δv，

Δv＝τ_i+2-2τ_i+1+τ_i

其中，τ_i+2，τ_i+1，τ_i分别对应t′_i+2,t′_i+1,t′_i时刻虚拟机V_i存储到数据库中的数据量；

C.根据上传速率增量Δv判断IO密集型虚拟机V_i所有可能的状态，用集合status＝{1,2,3,4,5,6}来表示，其中1为无数据状态，2为减少状态，3为稳定状态，4为增加状态，5为预警状态，6为超量状态；

D.计算IO密集型虚拟机V_i当前状态与前一个状态相同的概率

其中，ξ_i表示虚拟机当前状态与前一个状态相同的次数，num_i为状态集合status的真子集，表示虚拟机V_i工作时段下状态变化集合；

E.计算IO密集型虚拟机V_i存储数据的优先级p_i，

其中，Sⁱ _pre表示IO密集型虚拟机V_i软分配的预存储空间大小，Sⁱ _post表示虚拟机V_i在t_i时刻已存储到存储节点的数据大小；

F.计算控制节点中的控制器对IO密集型虚拟机V_i进行资源配置的优先级P_i，P_i值越大，说明该虚拟机越需要及时分配到更多的计算资源，以提高数据存储的速率，

其中，W为不同类型的数据对应的权重集合，W＝{w₁,w₂,...,w_n}，n表示终端设备上传数据类型的数目；

G.给边缘服务器中的每个IO密集型虚拟机分配一个优先级P_i并建立最大优先级队列P，通过优先级队列P的变化对IO密集型虚拟机的资源配置进行相应的更新，优化并合理分配存储资源；

H.计算某个CPU密集型虚拟机V_i′中所有任务在并行伪分布条件下执行所需时间Time，

其中，time表示单个任务执行的平均时间，C为CPU核心数，T为CPU密集型虚拟机V_i′中同时执行任务的个数；

I.计算CPU密集型虚拟机V_i′的加速比sp，

其中，R_n为CPU密集型虚拟机V_i′在并行伪分布式条件下完成任务的最小执行时间，R_d为CPU密集型虚拟机V_i′在并行分布式条件下完成任务的最小执行时间；

J.当虚拟机数量超过宿主机CPU核心数C时，随着虚拟机数量的增加，物理机性能逐渐降低，影响因子为θ，得到虚拟机个数G和影响因子θ的关系，

其中，G为虚拟机个数；

K.定义CPU密集型虚拟机V_i′中所有任务在并行分布条件下执行所需时间Time′，

其中，sp为加速比，θ为影响因子，Time为CPU密集型虚拟机V_i′中所有任务在并行伪分布条件下执行所需时间；

L.设置CPU密集型虚拟机V_i′中所有任务要求完成的时间上限Req_Time'＝Time_com+Time_cor，其中，Time_com为任务实际完成时间，Time_cor为通信延迟时间，所有任务能顺利完成，需满足Time'≤Req_Time'，若不满足，则需要对计算资源即CPU核心数进行分配，具体过程是：假设b个任务中有d个未按时完成的任务b′＝{b′₁,b′₂,...,b′_d}，其执行时间为

对应的要求完成的时间上限为

则当前情况下，CPU密集型虚拟机V_i′需分配的计算资源如下式所示：

其中，

为CPU密集型虚拟机V_i′需分配的CPU核心数。

本发明的有益效果为：

本发明综合考虑了边缘服务器中IO密集型和CPU密集型虚拟机对资源分配的要求，将虚拟机状态、上传数据类型权重和***加速比、任务完成时间等分别引入两类虚拟机资源分配优先级计算算法中，可以实现边缘服务器资源的合理分配，从而有效降低了由于密集计算和高资源消耗等对成本和时延造成的影响。克服了传统随机方法和代价函数等对优先级的设置人为因素影响较大而不利于边缘服务器进行资源分配的问题，最终提高了资源分配的效率。

附图说明

图1为本发明的流程图；

图2为资源分配结果图；

图3为本发明多任务并发执行与其他方法的时间比较图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照图1，基于两类密集型虚拟机的边缘计算资源分配方法，包括以下步骤：

A.计算某个IO密集型虚拟机V_i∈V＝{V₁,V₂,…,V_Q}，Q为虚拟机数，在采样时刻t_i收到来自终端设备发送的数据τ_i,

其中，N表示向边缘端服务器发送数据的终端设备数，n表示某一终端设备上传数据类型集合S_j＝{s_j1,s_j2,…,s_jn}中元素个数，α_jk∈α_j＝{α_j1,α_j2,...α_jk,...α_jn}为上传数据类型对应的数据规模大小,ε表示采样和计算产生的误差；

B.对IO密集型虚拟机V_i收到的数据进行二阶差分，获得数据上传速率增量Δv：

假设虚拟机V_i处理数据的平均速度为v_i,则需要时间t′_i将t_i时刻发送的数据全部存储到数据库中，即

再将IO密集型虚拟机V_i的处理时间t′_i分为三个部分t′_i,t′_t+1,t′_i+2，表示需要经过三个阶段才能将数据存储到数据库中，得到数据上传速率增量Δv，

Δv＝τ_i+2-2τ_i+1+τ_i

其中，τ_i+2，τ_i+1，τ_i分别对应t′_i+2,t′_i+1,t′_i时刻虚拟机V_i存储到数据库中的数据量；

C.根据上传速率增量Δv判断IO密集型虚拟机V_i的所有可能状态，用集合status＝{1,2,3,4,5,6}来表示，其中1为无数据状态，2为减少状态，3为稳定状态，4为增加状态，5为预警状态，6为超量状态；设定：当Δv≈-τ_i时，在该时间段虚拟机没有收到终端设备发送的数据，为无数据状态；当-τ_i<Δv<0时，在该时间段终端设备上传的数据在减少，为减少状态；当Δv≈0时，在该时间段终端设备上传的数据基本保持不变，为稳定状态；当Δv<M₀时，在该时间段终端设备上传的数据在增加，为增加状态；当M₀≤Δv<M₁时，在该时间段终端设备上传的数据已经超过预警值M₀，为预警状态；当Δv≥M₁时，在该时间段终端设备上传的数据超过存储节点的实际物理存储量，为超量状态，需要通过增加硬盘空间或者优化数据存储方案来解决终端设备数据上传的速率，其中M₁为边缘端服务器存储空间的实际存储大小。

D.计算IO密集型虚拟机V_i当前状态与前一个状态相同的概率

其中，ξ_i表示虚拟机当前状态与前一个状态相同的次数，num_i为状态集合status的真子集，表示虚拟机V_i工作时段下的状态变化集合；

E.计算IO密集型虚拟机V_i存储数据的优先级p_i，

其中，Sⁱ _pre表示虚拟机V_i软分配的预存储空间大小，Sⁱ _post表示虚拟机V_i在t_i时刻已存储到存储节点的数据大小；

F.计算控制节点中的控制器对虚拟机V_i进行资源配置的优先级P_i，P_i值越大，说明该虚拟机越需要及时分配到更多的计算资源，以提高数据存储的速率，

其中，W为不同类型的数据对应的权重集合，W＝{w₁,w₂,...,w_n}；

G.给边缘服务器中的每个IO密集型虚拟机分配一个优先级P_i并建立最大优先级队列P，通过优先级队列P的变化对IO密集型虚拟机的资源配置进行相应的更新，优化并合理分配存储资源；

H.计算某个CPU密集型虚拟机V_i′中所有任务在并行伪分布条件下执行所需时间Time，

其中，time表示单个任务执行的平均时间，C为CPU核心数，T为CPU密集型虚拟机V_i′中同时执行任务的个数；

I.计算CPU密集型虚拟机V_i′的加速比sp，

其中，R_n为CPU密集型虚拟机V_i′在并行伪分布式条件下完成任务的最小执行时间，R_d为CPU密集型虚拟机V_i′在并行分布式条件下完成任务的最小执行时间；

J.当虚拟机数量超过宿主机CPU核心数C时，随着虚拟机数量的增加，物理机性能逐渐降低，影响因子为θ，得到虚拟机个数G和影响因子θ的关系，

其中，G为虚拟机个数；

K.定义CPU密集型虚拟机V_i′中所有任务在并行分布条件下执行所需时间Time′，

其中，sp为加速比，θ为影响因子，Time为CPU密集型虚拟机V_i′中所有任务在并行伪分布条件下执行所需时间；

L.设置CPU密集型虚拟机V_i′中所有任务要求完成的时间上限Req_Time'＝Time_com+Time_cor，其中，Time_com为任务实际完成时间，Time_cor为通信延迟时间，所有任务能顺利完成，需满足Time'≤Req_Time'，若不满足，则需要对计算资源即CPU核心数进行分配，具体过程是：假设b个任务中有d个未按时完成的任务b′＝{b′₁,b′₂,...,b′_d}，其执行时间为

对应的要求完成的时间上限为

则当前情况下，CPU密集型虚拟机V_i′需分配的计算资源如下式所示：

其中，

为CPU密集型虚拟机V_i′需分配的CPU核心数；

M.为了证明本发明方法的有效性，将其与不同的方法进行比较，作进一步描述。本发明通过VMware VSphere虚拟化平台创建边缘端服务器的虚拟环境，包括1个Controller节点，4个IO密集型虚拟机，3个CPU密集型虚拟机。

首先，分别在4个IO密集型虚拟机上运行资源分配器的client服务，监听所在虚拟机的IO性能，通过计算得到优先级并发送给Controller节点，Controller节点上运行资源分配器的server服务，收集IO密集型虚拟机的优先级，根据最大优先级列表来响应IO密集型虚拟机的资源请求。本发明采用的算法与目前流行启发式算法---遗传算法相比较，不难发现本发明采用的算法在保证采样宽度充足的情况下，可为IO密集型虚拟机最优响应分配资源。而遗传算法由于采用随机数具有不确定性，资源响应不够合理，例如7s～23s之间，资源分配时间过于紧凑，导致部分资源可能重复分配；60s处资源分配没有考虑到59s处数据继续升高的可能性，鲁棒性不够。因此，本发明算法能较好地根据业务需求，自适应地为IO密集型虚拟机分配资源，具体结果如图2所示。

接着，分别在3个CPU密集型虚拟机上运行Hadoop和Spark分布式存储和计算框架。针对常见的CPU密集型应用程序如WordCount，Sort，TeraSort，RandomWriter等，通过HiBench生成不同规模的测试数据集存储在HDFS文件***中并提交给Spark执行相应的任务，本发明采用的算法从虚拟机对物理机性能的影响及不同配置的虚拟机对任务执行时间的影响两个维度出发，计算出CPU密集型虚拟机最佳资源分配方法。与目前流行的遗传算法相比，实验在6个任务并发执行100次后的完成时间如图3所示，其中，(a)为Task-1WordCount执行时间比较，(b)为Task-2 Sort执行时间比较，(c)为Task-3 TeraSort执行时间比较，(d)为Task-4 RandomWriter执行时间比较，(e)为Task-5 Grep执行时间比较，(f)为Task-6 TestDFSIO执行时间比较，本发明采用的方法具有更高的运行效率。

Claims (1)

1.一种基于两类密集型虚拟机的边缘计算资源分配方法，具体步骤如下：

A.计算某个IO密集型虚拟机V_i在采样时刻t_i收到来自终端设备发送的数据τ_i，即

其中，N表示向边缘端服务器发送数据的终端设备数，n表示某一终端设备上传数据类型的个数，α_jk为上传的数据类型对应的数据规模大小，ε表示采样和计算产生的误差；

B.对IO密集型虚拟机V_i收到的数据进行二阶差分，获得数据上传速率增量Δv：

首先假设IO密集型虚拟机V_i处理数据的平均速度为v_i,则需要时间t_i′将t_i时刻发送的数据全部存储到数据库中，即

再将IO密集型虚拟机V_i的处理时间t_i′分为三个部分t′_i,t′_i+1,t′_i+2，表示需要经过三个阶段才能将数据存储到数据库中，得到数据上传速率增量Δv，

Δv＝τ_i+2-2τ_i+1+τ_i

其中，τ_i+2，τ_i+1，τ_i分别对应t′_i+2,t′_i+1,t_i′时刻IO密集型虚拟机V_i存储到数据库中的数据量；

C.根据上传速率增量Δv判断IO密集型虚拟机V_i所有可能的状态，用集合status＝{1,2,3,4,5,6}来表示，其中1为无数据状态，2为减少状态，3为稳定状态，4为增加状态，5为预警状态，6为超量状态；

D.计算IO密集型虚拟机V_i当前状态与前一个状态相同的概率

其中，ξ_i表示虚拟机当前状态与前一个状态相同的次数，num_i为状态集合status的真子集，表示虚拟机V_i工作时段下状态变化集合；

E.计算虚拟机V_i存储数据的优先级p_i，

其中，Sⁱ _pre表示IO密集型虚拟机V_i软分配的预存储空间大小，Sⁱ _post表示虚拟机V_i在t_i时刻已存储到存储节点的数据大小；

F.计算控制节点中的控制器对IO密集型虚拟机V_i进行资源配置的优先级P_i，P_i值越大，说明该虚拟机越需要及时分配到更多的计算资源，以提高数据存储的速率，

其中，W为不同类型的数据对应的权重集合，W＝{w₁,w₂,...,w_n}；

G.给边缘服务器中的每个IO密集型虚拟机分配一个优先级P_i并建立最大优先级队列P，通过优先级队列P的变化对IO密集型虚拟机的资源配置进行相应的更新，优化并合理分配存储资源；

H.计算某个CPU密集型虚拟机V_i′中所有任务在并行伪分布条件下执行所需时间Time，

其中，time表示单个任务执行的平均时间，C为CPU核心数，T为CPU密集型虚拟机V_i′中同时执行任务的个数；

I.计算CPU密集型虚拟机V_i′的加速比sp，

其中，R_n为CPU密集型虚拟机V_i′在并行伪分布式条件下完成任务的最小执行时间，R_d为CPU密集型虚拟机V_i′在并行分布式条件下完成任务的最小执行时间；

J.当虚拟机数量超过宿主机CPU核心数C时，随着虚拟机数量的增加，物理机性能逐渐降低，影响因子为θ，得到虚拟机个数G和影响因子θ的关系，

其中，G为虚拟机个数；

K.定义CPU密集型虚拟机V_i′中所有任务在并行分布条件下执行所需时间Time′，

其中，sp为加速比，θ为影响因子，Time为CPU密集型虚拟机V_i′中所有任务在并行伪分布条件下执行所需时间；

L.设置CPU密集型虚拟机V_i′中所有任务要求完成的时间上限Req_Time'＝Time_com+Time_cor，其中，Time_com为任务实际完成时间，Time_cor为通信延迟时间，所有任务能顺利完成，需满足Time'≤Req_Time'，若不满足，则需要对计算资源即CPU核心数进行分配，具体过程是：假设b个任务中有d个未按时完成的任务b′＝{b′₁,b′₂,...,b′_d}，其执行时间为

对应的要求完成的时间上限为

则当前情况下，CPU密集型虚拟机V_i′需分配的计算资源如下式所示：

其中，

为CPU密集型虚拟机V_i′需分配的CPU核心数。

Images