CN109684083A - 一种面向边缘-云异构下的多级事务调度分配策略 - Google Patents

Abstract

本发明提出了一种面向边缘‑云异构下的多级事务调度分配策略，实现步骤如下：首先收集所有数据源处产生的所有事务的信息，事务的信息包括该事务的数据大小、事务计算量的大小、接收数据的大小和数据来源、发送数据的大小和数据去向等。其次，利用这些事务信息整理形成一个完整的事务依赖关系图，用一个有向无环图表示。然后，判断事务是在云端还是边缘服务器处理，利用合理的事务优先级启发式算法，判断事务的优先级，并形成一个优先级从高到低的事务队列。最后，根据资源节点之间的负载均衡、事务等待时间、事务紧急程度和资源节点功耗决定执行事务的资源节点，找到实现最优资源分配方案，从而达到提升***效能的目的。

Description

一种面向边缘-云异构下的多级事务调度分配策略

技术领域

本发明属于广域网络体系结构领域，具体涉及一种面向边缘-云异构下的多级事务调度分配策略。

背景技术

随着互联网技术的不断发展，大数据的时代也随之到来。同时，物联网技术的快速发展和云服务的推动使得云计算模型已经不能很好的解决现在的问题。据思科全球云指数的预估，到2019年，全球会有将近500亿的事物连接到互联网中，全球数据中心总数据流量预计将达到10.4ZB。在这个高度信息化的时代，互联网面临着多重严峻的挑战：大量数据冗余、云端处理能力进入瓶颈、网络带宽达到上限、事务处理效率降低、云层功率负载提高、事务处理延迟变大等。以上的问题都是由于云计算的发展进入瓶颈期和对于处理业务的QoS要求逐渐增高之间的矛盾造成的。边缘计算的出现，弥补了传统云计算模型的各种缺陷，它的理念完全适应了互联网向物联网时代发展的基本形态要求——去中心化。边缘计算的理念是将云计算扩展到网络边缘处理，使从边缘终端获取的数据能够在接近边缘的地方完成计算，同时，不需要长期存储的数据也不必传输到云服务中心备份，相对减少了网络带宽的占用，降低了云端的功耗和负载。这种分布式计算模式能够弥补集中式计算模式的缺点，摆脱了集中式网络环境的约束，保障了边缘节点及其用户的数据安全。但是边缘计算也存在如下的缺点：边缘计算节点缺失了云计算模型的强大计算效能，不具备足够的资源应对复杂而庞大的数据集和计算事务；边缘计算模型也难以兼容异构型事务，即无法在一个边缘的计算资源节点集成多种智能化的信息处理方式；边缘式处理降低了云端处理事务的负载和功耗，同时为各个边缘节点之间带来负载不均衡的问题。

采取边缘计算和云计算相结合的模型可以完整地发挥出整个网络架构的优势。边缘云协同架构将计算量较大、数据量较小、延迟敏感较低的事务传输到云端执行，将计算量较小、数据量较大、延迟敏感较高的事务保留在边缘服务器执行，让边缘协同作为新型网络架构，成为一种最优的选择。在这个万物相联的时代，边缘计算和云计算的结合将成为网络架构发展的整体趋势。Harshit Gupta等人提出了一个名为iFogSim的模拟器，用于模拟物联网和雾结合的异构环境，并测量资源管理技术在延迟，网络拥塞，能耗和成本方面的影响。此外，在RAM消耗和执行时间方面，仿真工具包的可扩展性在不同情况下得到验证。作为当前学术界标准的边云协同模拟器，很多研究者都在iFogSim模拟器的基础上进行深入的研究，试图在“边缘云”的异构网络框架中寻求技术上的突破。

在边云协同架构下，合理的资源分配和事务调度的方式，可以充分发挥边缘计算和云计算的各类优势。面对这种NP完全问题，现阶段有些学者已经致力于在边缘和云组成的架构中研究合理的资源分配和事务调度的算法。韩奎奎、谢在鹏等人研究了一种改进的遗传算法(IGA)，该算法将适应度值得判断引入到亲代变异操作中，克服了基本遗传算法(SGA)在变异操作中的盲目性，但是遗传算法作为一种随机搜索技术，它的复杂度并没有降低，虽然分配的结果更为合理，但是可能会在资源分配阶段造成较高的时间开销。张黎明和张向利二人针对现有的表调度算法优先级选取单一、优先级相同时事务随机调度导致某些重要事务延迟处理的问题,提出了一种双优先级事务调度算法(DPSA)，但是在时间的过程中只是针对特定的事务依赖关系进行算法测试，无法保证算法的普遍适应性，同时过程中未考虑边缘节点之间的负载均衡问题。Xuan-Qui Pham等人提出一种基于启发式的算法，适用于处理多种事务类型的边缘节点，其主要目标是实现云资源的完工时间和开销成本之间的平衡这种启发式算法具有较快的资源分配速度，但是也没有考虑到边缘节点的负载均衡。Mohammed Islam Naas等人提出了对iFogSim的扩展，并行化了Floyd-Warshall算法，该算法在iFogSim中用于计算节点之间的所有最短路径以模拟数据传输。以便能够使用旨在优化Fog和IoT上下文中的数据放置的策略来建模和模拟场景，优化事务的执行时间和内存利用率，但是该研究忽视了事务之间的相互依赖关系。

发明内容

本发明为了解决依赖型事务的任务调度问题，提出了一种面向边缘-云异构下的多级事务调度分配策略。该发明针对的实际情况有以下几点基本原则：(1)从不同数据源整理获取的事务之间可能会存在依赖关系。假设存在A、B、C三个事务，事务C需要事务A和事务B两个事务执行完成后的结果作为输入的数据集进行计算，这种情况就可以说是事务C和事务A、事务B存在事务依赖关系。(2)部分事务的执行依靠云存储数据，即当事务所需数据从云端下载到执行事务的资源节点才可以开始执行事务。(3)事务都是原子性事务，即每个事务大小都是最小的基本单位，不可再分。

面向边缘-云异构协同网络计算模型下的多级事务调度管理策略实现步骤如下：首先收集所有数据源处产生的所有事务的信息，事务的信息包括该事务的数据大小、事务计算量的大小、接收数据的大小和数据来源、发送数据的大小和数据去向等。其次，利用这些事务信息整理形成一个完整的事务依赖关系图，用有向无环图表示。然后，利用合理的事务优先级启发式算法，判断事务的优先级，并形成一个优先级从高到低的事务队列。最后，根据资源节点之间的负载均衡、事务等待时间、事务紧急程度和资源节点功耗决定执行事务的资源节点，找到实现最优资源分配方案，从而达到提升***效能的目的。

为达到上述目的，本发明采用以下技术方案。

一种面向边缘-云异构下的多级事务调度分配策略，其特征在于，包括以下步骤：

步骤1，收集所有待处理事务的信息进行整理，此处待处理的信息包括事务t_k的计算工作量最大延迟容忍时间向其他事务t_l传输的数据量前导事务的数量N_p和后继事务数量N_s、前导事务集合P(t_k)和后继事务集合S(t_k)。其中所述的入口事务不存在前导事务，前导事务集合由该事务t_k的所有前导事务组成，所述的前导事务是指执行事务t_k前必须首先执行的事务。出口事务不存在后继事务，后继事务集合由该事务t_k的所有后继事务组成，所述的后继事务是指在事务t_k执行完成之后才可以执行的事务。将所有收集的事务信息整理成事务集合T＝{t₁,t₂,t₃,...,t_k,...,t_n}和事务依赖关系集E，E包含事务间的依赖关系，表示事务t_k和事务t_l的依赖关系，利用事务集合和事务依赖关系集合形成一个T-DAG图。

步骤2，将整个边缘-云协同架构下的所有资源节点包括云服务器和边缘服务器，两两相关联，形成一个R-CG图。R-CG中所有的点组成资源集合R＝{r₁,r₂,r₃,...,r_i,...,r_m}，图上每个点代表一个资源节点r_i，每个资源节点r_i需要保存的信息包括：资源节点的计算能力和计算功率R-CG图中所有的边组成资源关联集合每个边缘需要保存的信息包括：资源r_i和资源r_j之间传输数据的带宽以及资源r_i和r_j之间的距离

步骤3，在步骤1存储事务信息的基础上进行提炼，确定事务调度算法执行的入口事务集T_entry和出口事务集T_exit，其中入口事务不存在前导事务，出口事务不存在后继事务。

步骤4，判断事务是在边缘服务器还是云端执行。判断事务执行位置是按照从边缘设备接收事务的顺序进行。若判断结果为事务在云端执行，则该事务将按照执行顺序，等待发送到云端处理，并将事务放入事务优先级队列Q中，所依赖的前导事务之后(两个事务不存在依赖关系的前提下，默认在云端处理的事务比在边缘端处理的事务优先级要高)，计算该事务的执行时间；若判断结果为事务在边缘服务器执行，则通过本发明中的启发式事务调度算法计算事务的优先级，生成非递减的事务优先级队列Q。当所有事务判断优先级结束后，进入步骤5，否则，重复执行步骤4。

其中，判断事务执行位置的方法如下：

首先，计算事务t_k预估执行时间和事务的预估传输时间事务预估执行时间和传输时间如公式(1)、(2)所示：

其中，ω_cloud表示云端服务器的计算能力，r_j∈P(r_i)表示执行事务t_l的资源节点r_j在执行事务t_k的资源节点r_j的前导集合中，表示从资源节点r_i到云端的所有带宽的均值。

其次，比较事务预估在云端执行时间和事务的预估传输时间之间的关系：当时，将事务t_k传输到云端服务器执行；否则，在边缘服务器执行。

其中，所述的启发式事务调度算法计算事务t_k优先级的公式(3)如下：

其中，表示所有资源节点的平均工作能力；表示其它所有可能潜在r_j节点资源节点到资源节点r_i的平均带宽；r_j∈P(r_i)表示资源节点r_j在r_i的前导集合中；表示资源节点r_i到其它所有可能潜在r_j节点资源节点的平均带宽；r_j∈S(r_i)表示资源节点r_j在r_i的后继集合中；表示事务t_k的前导事务t_l的优先级数值；t_k≡T_entry表示事务t_k是一个事务入口，t_k≠T_entry表示事务t_k不是事务入口。

步骤5，按照事务优先级队列Q的顺序计算每个事务在不同资源节点的评估函数，评估函数最小的资源节点即为执行当前事务的最优资源节点。

其中，事务t_k执行的评估函数如下：

其中，

其中，为事务t_k的待处理紧急程度，即等待的时间不能超过事务最大延迟容忍时间。为事务t_k的等待时间。以下是和的计算公式：

其中，r_j∈S(r_i)表示执行事务t_l的资源节点r_j在执行事务t_k的资源节点r_j的后继集合中，为计算功耗，为传输功耗，q_h表示在事务优先级队列Q中的第h个事务，ρ_send表示数据传输在单位长度和单位时间内的功率。以上的公式按照之前排列好的事务优先级队列Q的事务顺序计算在不同资源节点上的评估函数，使得当前事务评估函数最小的资源节点即为执行当前事务的最优资源节点。当优先级队列中的事务全部完成了资源分配，资源分配阶段结束，生成事务-资源分配映射方案；若没有，则不断重复步骤5。

步骤6，根据步骤4和步骤5制定的事务-资源分配映射方案，按照事务优先级队列Q的顺序在最优资源节点上执行事务。

与现有技术相比，本发明具有以下优点：

面向边缘-云异构协同网络计算模型下的多级事务调度管理策略可应用于一切边缘和云端相结合的异构网络架构，同时适应处理事务具有相关依赖性的常见情况。该策略由于根据多因素，采取多级判断优先级，并将事务进行合理地调度。相较于其它的算法，保证了事务执行的效率，充分发挥资源性能，保证资源节点之间的合理分配，降低了功耗，提高了整个架构的服务质量。

附图说明

为使本发明的目的，方案更加通俗易懂，下面将结合附图对本发明进一步说明。

图1为本发明流程图；

图2为边缘-云异构网络架构图；

图3为事务分配图。

具体实施方式

为使本发明的目的，技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。

本发明所涉及的是一种面向边缘-云异构下的多级事务调度分配策略，如图2所示，边缘-云异构网络架构以一个云服务器、四个边缘服务器为例，一共需要处理10个具有依赖关系的事务。在进行事务调度之前，整个网络架构能够获取所有事务的相关信息，根据事务信息和网络带宽、资源节点计算能力和功率，制定出一套最优的事务调度分配方案。

步骤1，收集所有边缘服务器接收到的待处理事务信息进行整理。假设接收到边缘节点发出10个事务节点请求，按照事务请求顺序形成事务集合T＝{t₁,t₂,t₃,...,t₁₀}和事务依赖集合整理接收到的事务如图3的T-DAG图所示，有向边上的数字表示的是从前导事务到该事务的后继事务传输的数据量。假设把T-DAG图中的事务t₄作为示例，图中显示出的信息有：事务t₄向事务t₈传输的数据量事务t₄向事务t₉传输的数据量事务t₄的前导事务集合P(t₄)＝{t₁}，N_p(t₄)＝1；事务t₄的后继机事务集合S(t₄)＝{t₈,t₉}，N_s(t₄)＝2。

步骤2，将整个边缘-云异构网络中的云服务器和所有边缘服务器两两相关联，形成一个计算资源节点群的R-CG图，如图2所示。R-CG中所有的点组成的资源集合R＝{r₁,r₂,r₃,r₄,r_cloud}。R-CG图中所有的边组成资源关联集合每个资源节点具有一个确定的工作能力 和功率每个无向边包含资源r_i和资源r_j之间传输数据的带宽和传输距离

步骤3，在步骤1存储事务信息的基础上进行提炼，确定事务调度算法执行的入口事务集和出口事务集。如图3所示，整批具有依赖关系事务的入口事务集T_entry＝{t₁}，出口事务集T_exit＝{t₁₀}。

步骤4，在遵从事务执行顺序的前提下，先根据事务的相关信息判断是在边缘服务器还是云端执行。首先，计算事务t_k预估执行时间和事务的预估传输时间事务预估执行时间和传输时间如权利要求书中公式(1)和(2)所示。当时，即A＝100，就将事务t_k传输到云端服务器执行，则计算该事务的执行时间；否则事务在边缘服务器执行，通过本发明中的启发式算法计算事务的优先级，生成非递减的事务优先级队列Q。从事务t₁开始，逐一计算所有事务的优先级，基本原则是将较小的优先数值放在优先级的前列，较大的优先数值放在优先级的后面，但是遵守事务的先后依赖关系。事务优先级启发式算法公式如权利要求书中的公式(3)所示。事务按照计算的优先级非递减的顺序放入事务优先级队列Q中。

步骤5，在步骤4中事务优先级确定的情况下，计算衡量每个事务在不同资源节点的评估函数。该评估函数会综合考虑事务延迟敏感程度事务等待时间计算功耗和传输功耗总和当评估函数达到最小时，说明当前事务t_k在资源节点r_i执行达到多目标权衡下的最佳事务和资源的映射。资源分配的评估函数如权利要求书的公式(4)所示。公式(4)中的变量求解由公式(5)-(9)做出了合理的解释。资源分配评估阶段按照事务优先级队列Q的事务顺序进行，使得当前事务评估函数最小的资源节点即为执行当前事务的最优资源节点。通过以上的公式进行事务到资源节点映射的迭代，即可在保持事务依赖关系和事务优先级的情况下，将所有的事务分配到最优资源节点，实现在边缘-云异构下的事务调度分配最优解。

步骤6，在生成事务优先级队列Q的前提下，根据步骤4和步骤5制定的事务-资源分配映射方案，按照事务优先级队列Q的顺序在最优资源节点上执行事务。

Claims (1)

1.一种面向边缘-云异构下的多级事务调度分配策略，其特征在于，包括以下步骤：

步骤1，收集所有待处理事务的信息并整理，此处待处理的信息包括事务t_k的计算工作量最大延迟容忍时间向其他事务t_l传输的数据量其中，若事务t_k是入口事务，则传输数据量为事务的信息还包括：前导事务的数量N_p(t_k)和后继事务数量N_s(t_k)、前导事务集合P(t_k)和后继事务集合S(t_k)，其中所述的入口事务不存在前导事务，前导事务集合由该事务t_k的所有前导事务组成，所述的前导事务是指执行事务t_k前必须首先执行的事务；出口事务不存在后继事务，后继事务集合由该事务t_k的所有后继事务组成，所述的后继事务是指在事务t_k执行完成之后才可以执行的事务；将所有收集的事务信息整理成事务集合T＝{t₁,t₂,t₃,...,t_k,...,t_n}和事务依赖关系集合E，E包含事务间的依赖关系，其中表示事务t_k和事务t_l的依赖关系，利用事务集合和事务依赖关系集合形成一个T-DAG图；

步骤2，将整个边缘-云协同架构下的所有资源节点，包括云服务器和边缘服务器，两两相关联，形成一个R-CG图；R-CG中所有的点组成资源集合R＝{r₁,r₂,r₃,...,r_i,...,r_m}，图上每个点代表一个资源节点r_i，每个资源节点r_i需要保存的信息包括：资源节点的计算能力和计算功率R-CG图中所有的边组成资源关联集合每个边缘需要保存的信息包括：资源r_i和资源r_j之间传输数据的带宽以及资源r_i和r_j之间的距离

步骤3，在步骤1存储事务信息的基础上进行提炼，确定事务调度算法执行的入口事务集T_entry和出口事务集T_exit，其中入口事务不存在前导事务，出口事务不存在后继事务；

步骤4，在遵从事务执行顺序的前提下，判断事务是在边缘服务器还是云端执行；判断事务执行位置是按照从边缘设备接收事务的顺序进行；首先，定义一个空的优先级事务队列，若判断结果为事务在云端执行，则该事务将按照执行顺序，等待发送到云端处理，并将事务放入事务优先级队列Q中，所依赖的前导事务之后，其中两个事务不存在依赖关系的前提下，默认在云端处理的事务比在边缘处理的事务优先级要高，事务放入优先级队列之后计算该事务的执行时间；若判断结果为事务在边缘服务器执行，则通过本发明中的启发式事务调度算法计算事务的优先级，生成非递减的事务优先级队列Q；当所有事务判断优先级结束后，进入步骤5，否则，重复执行步骤4；

其中，判断事务t_k执行位置的方法如下：

首先，计算事务t_k预估在云端的执行时间和事务的预估传输时间事务预估执行时间和传输时间如公式(1)、(2)所示：

其中，ω_cloud表示云端服务器的计算能力，r_j∈P(r_i)表示执行事务t_l的资源节点r_j在执行事务t_k的资源节点r_j的前导集合中，表示从资源节点r_i到云端的所有带宽的均值；

其次，比较事务预估在云端执行时间和事务的预估传输时间之间的关系：当时，将事务t_k传输到云端服务器执行；否则，在边缘服务器执行；

其中，所述的启发式事务调度算法计算事务t_k优先级的公式(3)如下：

其中，表示所有资源节点的平均工作能力；表示其它所有可能潜在r_j节点资源节点到资源节点r_i的平均带宽；r_j∈P(r_i)表示资源节点r_j在r_i的前导集合中；表示资源节点r_i到其它所有可能潜在r_j节点资源节点的平均带宽；r_j∈S(r_i)表示资源节点r_j在r_i的后继集合中；表示事务t_k的前导事务t_l的优先级数值；t_k≡T_entry表示事务t_k是一个事务入口，t_k≠T_entry表示事务t_k不是事务入口；

步骤5，按照事务优先级队列Q的顺序计算每个事务在不同边缘节点的评估函数，评估函数最小的资源节点即为执行当前事务的最优资源节点；其中，事务t_k执行的评估函数如下：

其中，

其中，为事务t_k的待处理紧急程度，即等待的时间不能超过事务最大延迟容忍时间；为事务t_k的等待时间；以下是和的计算公式：

其中q_h∈Q,r_i是执行事务q_h的资源节点(8)

其中，r_j∈S(r_i)表示执行事务t_l的资源节点r_j在执行事务t_k的资源节点r_j的后继集合中，为计算功耗，为传输功耗，q_h表示在事务优先级队列Q中的第h个事务，ρ_send表示数据传输在单位长度和单位时间内的功率；以上的公式按照之前排列好的事务优先级队列Q的事务顺序计算在不同资源节点上的评估函数，使得当前事务评估函数最小的资源节点即为执行当前事务的最优资源节点；当优先级队列中的事务全部完成了资源分配，资源分配阶段结束，，生成事务-资源分配映射方案；若没有，则不断重复步骤5；

步骤6，在步骤4和步骤5安排好事务优先级对列Q的前提下，开始按照事务优先级队列Q中的顺序执行事务，事务按照步骤4和步骤5生成的资源分配映射方案，在最优资源节点上执行。