CN114327925A - 一种电力数据实时计算调度优化方法及*** - Google Patents
一种电力数据实时计算调度优化方法及*** Download PDFInfo
- Publication number
- CN114327925A CN114327925A CN202111161277.9A CN202111161277A CN114327925A CN 114327925 A CN114327925 A CN 114327925A CN 202111161277 A CN202111161277 A CN 202111161277A CN 114327925 A CN114327925 A CN 114327925A
- Authority
- CN
- China
- Prior art keywords
- scheduling
- task
- time
- algorithm
- power data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005457 optimization Methods 0.000 title claims abstract description 26
- 238000004364 calculation method Methods 0.000 title claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 56
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- KDYFGRWQOYBRFD-UHFFFAOYSA-N succinic acid Chemical compound OC(=O)CCC(O)=O KDYFGRWQOYBRFD-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明属于智能电网、云计算技术领域，提供了一种电力数据实时计算调度优化方法及***。该方法包括，获取待调度的任务，基于待调度的任务构建有向无环图；引入任务执行时延参数改进调度算法；基于改进调度算法，得到负载状态反馈模型；利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果。
Description
技术领域
本发明属于智能电网、云计算技术领域，尤其涉及一种电力数据实时计算调度优化方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着电力数据采集范围与频度增加，电力数据的实时计算量也呈现几何级的增长，如何将数据实时计算任务执行的总体负载“合理”分配到各个任务执行节点上，避免各节点的处理能力和I/O能力成为指令执行的瓶颈，是迫切要解决的问题。目前，最常用的方法是应用云计算技术，通过任务负载均衡的方式，调整各个节点上的负载分配情况，进行节点间的负载平衡，从而最大限度地利用现有***资源，实现用户服务和扩展性能的最大化。
负载均衡技术需要解决节点负载状况定义、节点状态获取和节点负载调整等三个问题。贝叶斯分类是基于贝叶斯公式的概率推理，即当样本或事件存在各种不确定因素，但明确其发生概率的条件下，如何完成推理和决策任务。贝叶斯网络是常用的数学模型，其以概率推理为基础的图形化网，使用有向无环图(Directed Acyclic Graph，DAG)表示属性间的依赖关系，使用条件概率表，描述属性间依赖程度或联合概率分布。当前的研究成果，针对海量数据在云计算环境中任务调度算法复杂度高、任务分配不够合理等问题,仅从某种程度上提高了单调度单元的负载均衡效率，并不能适应电力数据实时计算条件下复杂计算任务关联运行的业务场景。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种电力数据实时计算调度优化方法及***，其在综合评估电力数据实时计算任务在多优先级任务排序执行情况与单任务执行对队列执行影响情况，采用HEFT算法，引入任务执行时延参数对其反馈性改进，通过服务设备向多调度器返回自身执行任务的动态成本评估，依据评估结果来控制任务调度。在上述研究基础上，使用贝叶斯网络模型对算法调度结果进行学习，得到调度结果，对于电力数据实时计算的动态负载均衡问题的研究具有较高的实际应用价值。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种电力数据实时计算调度优化方法。
一种电力数据实时计算调度优化方法，包括：
获取待调度的任务，基于待调度的任务构建有向无环图；
引入任务执行时延参数改进调度算法；基于改进调度算法，得到负载状态反馈模型；
利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；
采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果。
进一步地，所述引入任务执行时延参数改进调度算法包括：在HEFT调度算法中，以rank值最大的任务优先进行调度，通过引入任务执行时延参数对HEFT算法进行改进。
进一步地，所述任务执行时延参数＝(任务所在设备高优先级任务的执行时间和+当前任务之后任务的时间增量和)/任务总时间。
进一步地，所述改进调度算法的调度策略包括：
步骤(11)：计算当前任务的时间占用度为τ时的设备当前任务执行时延参数；
步骤(12)计算任务的rank值，并对其进行降序排列，输出排列结果队列Q；
步骤(13)为第一个任务选择能令其最早完工的设备，并将此任务移除；
步骤(14)重复步骤(13)直到Q中所有任务被移除。
进一步地，所述利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果的过程包括：
步骤(21)：利用负载状态反馈模型对随机生成的任务数量为N的有向无环图任务进行负载均衡调度，并记录第一调度结果；
步骤(22)：选取每个服务设备上子任务的处理时间、排序和时延参数为训练集的特征值，以第一调度结果进行标签分类，并构建数据集D；
步骤(23)：利用贝叶斯决策对数据集D进行处理，得到每个子任务分配到不同服务设备上的概率；
步骤(24)：将步骤(23)中获得的概率作为新的特征值加入原数据集D，形成数据集D’；
步骤(25)：在D’中计算任务分配的先验概率；
步骤(26)：在训练集D’中，随机获取子任务，计算该任务调度到不同服务设备上的后验概率；
步骤(27)：使用贝叶斯网络模型预测第一调度结果；
步骤(28)：重复步骤(26)和步骤(27)，直到所有子任务完成预测；
步骤(29)：完成调度后，输出第二调度结果。
进一步地，所述利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度的规则包括：使用设备当前任务执行时延参数概念以最小化设备任务占用时间，设备按照预设的到达顺序进行任务分配。
本发明的第二个方面提供一种电力数据实时计算调度优化***。
一种电力数据实时计算调度优化***，包括：
数据获取模块，其被配置为：获取待调度的任务，基于待调度的任务构建有向无环图；
负载状态反馈模块，其被配置为：引入任务执行时延参数改进调度算法；基于改进调度算法，得到负载状态反馈模型；
负载均衡模块，其被配置为：利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；
输出模块，其被配置为：采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果。
进一步地，所述***包括：数据存储模块，其被配置为：存储并验证各阶段的数据信息。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的电力数据实时计算调度优化方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的电力数据实时计算调度优化方法中的步骤。
与现有技术相比，本发明的有益效果是：
在本发明中，引入了任务执行时延参数Occupancy(O)，对流行的HEFT调度算法进行改进。
本发明提出基于贝叶斯网络的动态负载均衡算法，利用基于贝叶斯网络的有向无环图结构，能够清晰的描述任务之间的关联性和先后调度顺序，解决了任务分配不够合理的问题。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一所述的电力数据实时计算调度优化方法的流程图；
图2是根据本发明实施例一所述的负载状态反馈模型调度策略流程图；
图3是根据本发明实施例一所述的贝叶斯网络模型构建流程图；
图4是根据本发明实施例一所述的贝叶斯网络示意图；
图5是根据本发明实施例一所述的线损计算示例；
图6是根据本发明实施例一所述的反窃电分析示例；
图7是根据本发明实施例一所述的停电智能研判示例；
图8是根据本发明实施例二所述的电力数据实时计算调度优化***的示意图；
图9是根据本发明实施例一所述的算法效率对比图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本发明的各种实施例的方法和***的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例一
如图1所示，本实施例提供了一种电力数据实时计算调度优化方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和***，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
获取待调度的任务，基于待调度的任务构建有向无环图；
引入任务执行时延参数改进调度算法；基于改进调度算法，得到负载状态反馈模型；
利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；
采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果。
本实施例可以将第二调度结果反馈给对应的终端设备。
具体的，本实施例的技术方案可以根据以下内容实现：
参考图1、图2、图3、图4所示，该方法包括：
A.基于任务构建通用的有向无环图(DAG)模型：
DAG模型任务表示为G＝(V，E)。G代表任务，集合V＝{v1,v2，…，vn}，其中每一个元素代表一个子任务，|V|代表永远有一个DAG任务中子任务的数量。D＝{d1，d2，…,dn}表示待处理任务中设备的集合，|D|为***中设备的数量。
B.引入任务执行时延参数改进HEFT算法
在HEFT调度算法中，以rank值最大的任务优先进行调度，其计算公式为：
上式中，succ(vi)为vi的所有后继任务，Wi为任务vi在不同设备上的平均执行时间，c为任务间的通信代价。当vi为出口节点时，ranki＝Wi。令
得到，
其中，d表示云计算环境下可用的设备的数量。r(dj，vi)表示任务vi在设备dj上的执行的时间成本。当设备dj处理任务vi出现延迟时，有time(vi)>r(dj，vi)。此时，我们引入设备当前任务执行时延参数Occupancy(O)，有
time(vi)＝(1+O)r(dj，vi)，O≥0 (4)
时延参数的取值可控制任务vi的rank大小，表示设备dj的任务执行负载状态。因此，现在我们有
在计算设备当前任务执行时延参数时，本实施例使用了任务所在设备高优先级任务的执行时间和当前任务之后任务的时间增量总和，从而构建下述公式。
其中，f为任务执行优先级高于当前任务的任务数量，ti为第i个高优先级任务的执行时间，τ为当前***任务的执行时间，T为任务总时间。
将(6)式代入(5)式，得，
本发明算法使用设备当前任务执行时延参数概念以最小化设备任务占用时间，利用此算法，设备可以按照一定的到达顺序进行任务分配，具体调度策略如下：
步骤(11)：计算设备当前任务执行时延参数。计算当前任务的时间占用度为τ时的设备当前任务执行时延参数。
步骤(12)：计算任务片的rank值。根据上述公式计算rank值，并对其进行降序排列，输出排列结果队列Q。
步骤(13)：选择最早完工设备。为第一个任务选择能令其最早完工的设备，并将此任务移除。
步骤(14)：重复步骤(13)。重复步骤(13)直到Q中所有任务被移除。
C.使用贝叶斯网络模型对改进HEFT算法的调度结果进行学习。
本发明设计了基于贝叶斯网络的互联感知动态负载均衡算法，该算法使用贝叶斯网络模型对改进HEFT算法的调度结果进行学习。
本发明构建贝叶斯网络模型，需要确定模型变量节点、确定网络结构、定义概率表计算后验概率三个步骤，具体流程图3所示。
(1)首先设计模型；
(2)确定初始变量并准备数据；
(3)判断数据是否合理，若是，进入(4)；否则，返回(2)
(4)构建贝叶斯网络模型；
(5)获取先验分布；
(6)构建条件概率分布；
(7)判断搜寻是否结束，若是，进入(8)；否则，根据专家知识/机器学习/公式定义对(4)的贝叶斯网络模型进行调整；
(8)生成后验概率。
本发明基于贝叶斯网络的DAG结构，能够清晰的描述任务之间的关联性和先后调度顺序，在负载均衡实现过程中，先前任务的调度结果直接影响后继任务的调度，其网络结构如图4所示。具体算法过程如下：
步骤(21)：利用改进HEFT负载状态反馈模型对随机生成的任务数量为N的DAG任务进行负载均衡调度，并记录调度结果。
步骤(22)：选取每个服务设备上子任务的处理时间、排序和时延参数为训练集的特征值，以调度结果进行标签分类，并构建数据集D。
步骤(23)：利用贝叶斯决策对数据集D进行处理，得到每个子任务分配到不同服务设备上的概率。
步骤(24)：将步骤(23)中获得的概率作为新的特征值加入原数据集D，形成数据集D’。
步骤(25)：在D’中计算任务分配的先验概率。
步骤(26)：在训练集D’中，随机获取子任务，计算该任务调度到不同服务设备上的后验概率。
步骤(27)：使用贝叶斯网络模型预测调度结果。
步骤(28)：重复步骤(26)和步骤(27)，直到所有子任务完成预测。
步骤(29)：完成调度后，输出调度结果。
为了测试本发明所提出的一种基于改进HEFT算法与贝叶斯网络的电力数据实时计算调度优化方法的实用性和高效性，实验采用线损计算、反窃电分析与停电智能研判三个实时计算任务作为模板，进行模拟计算，如图5、图6、图7所示。
测试阶段，实验所用的计算设备操作***为Windows10，CPU为i52.4GHz，内存为16GB，使用Python3.8为开发语言，Pycharm2020为程序开发IDE，实验中的测试算例和DAG任务均为python程序按规则随机生成。为了建立综合数据实验，每个任务模板生成1500个任务，共计4500个任务。每个模板测试三次，每次均为三个模板的任务混合执行。第一次每个模板执行200个任务，共计600个任务；第二次每个模板执行500个任务，共计1500个任务；第三次每个模板执行1500个任务，共计4500个任务。每次执行记录各个子任务执行时间以及任务整体执行时间。任务执行结果如表1、表2、表3所示：
表1线损计算模板任务平均执行时间表
表2反窃电分析任务平均执行时间表
表3停电智能研判平均执行时间表
本发明实验选取如图5、图6、图7和表1、表2、表3所示的三个模板任务为待调度任务进行负载均衡调度。通过任务数量的增加可以看出，在一定范围内，事实上随着任务数量的增加，基于贝叶斯网络的互联感知负载均衡算法可以提升对改进HEFT算法负载状态反馈模型的学习效果；同时，当任务数量超过一定数值时，模拟效果不再提升。
本发明实验利用4000个任务进行负载均衡调度，剩余500个任务进行算法执行效果的测试。在改进HEFT算法负载状态反馈模型中，选取T＝20，计算本实施例算法和其他流行算法负载均衡调度完工时间的比对。以本实施例提出的基于贝叶斯网络得互联感知动态负载均衡算法为基准，与流行算法HEFT、HHDS、PCH等比较算法完工时间，实验结果如图9所示。
实验结果表明，本实施例提出的基于贝叶斯网络的互联感知负载均衡算法的完工时间显著优于流行的HEFT、HHDS、PCH算法。
实施例二
本实施例提供了一种电力数据实时计算调度优化***。
一种电力数据实时计算调度优化***，包括：
数据获取模块，其被配置为：获取待调度的任务，基于待调度的任务构建有向无环图；
负载状态反馈模块，其被配置为：引入任务执行时延参数改进调度算法；基于改进调度算法，得到负载状态反馈模型；
负载均衡模块，其被配置为：利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；
输出模块，其被配置为：采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果。
具体的，本实施例的技术方案可以根据以下内容实现：
参考图8所示，该***包括：数据输入模块，获得负载数据，进行数据预处理；负载状态反馈模块，计算任务执行时延参数，根据rank值进行任务分配；负载均衡模块，使用基于贝叶斯网络的互联感知动态负载均衡算法对改进HEFT算法的调度结果进行学习，输出调度结果；数据存储模块，存储并验证各阶段的数据信息。
其中，数据输入模块，数据集特征的选取及数量直接决定贝叶斯模型对本发明提出的改进HEFT调度算法的学习效果，进而影响调度的结果，在选择数据集的属性时，要尽可能的选取对其调度结果有着重要影响的参数。本发明算法的优势在于它能够动态获取设备的状态，进而影响rank值，减少了任务片的设备竞争。本发明所设计的输入数据集的结构，在属性上由子任务在每一台设备上的处理时间，rank，rank'，设备当前任务执行时延参数Occupancy(O)，子任务分配至每一台设备上的概率组成，分类的标签为设备的编号。
其中，负载状态反馈模块，包括基于任务构建通用的DAG模型和利用本发明提出的基于改进HEFT算法的负载状态反馈模型进行任务分配，该模块使用设备当前任务执行时延参数概念以最小化设备任务占用时间，设备可以按照一定的到达顺序进行任务分配。
其中，负载均衡模块，包括：在基于改进HEFT算法的负载状态反馈模型的基础上，设计基于贝叶斯网络的互联感知动态负载均衡算法，对改进HEFT算法的调度结果进行学习，该模块能够清晰的描述任务之间的关联性和先后调度顺序，结合云计算互联感知动态负载均衡调度的实际情况，基于依赖关系进行贝叶斯网络的构建和负载均衡调度，并输出调度结果。
其中，数据存储模块，包括：存储并验证各阶段的数据信息，该模块能够利用数据回溯技术保存完整的数据处理过程，保证调度结果的可靠性。
此处需要说明的是，上述数据获取模块、负载状态反馈模块、负载均衡模块和输出模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的电力数据实时计算调度优化方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的电力数据实时计算调度优化方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种电力数据实时计算调度优化方法，其特征在于，包括：
获取待调度的任务，基于待调度的任务构建有向无环图；
引入任务执行时延参数改进调度算法；基于改进调度算法，得到负载状态反馈模型；
利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；
采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果。
2.根据权利要求1所述的电力数据实时计算调度优化方法，其特征在于，所述引入任务执行时延参数改进调度算法包括：在HEFT调度算法中，以rank值最大的任务优先进行调度，通过引入任务执行时延参数对HEFT算法进行改进。
3.根据权利要求1所述的电力数据实时计算调度优化方法，其特征在于，所述任务执行时延参数＝(任务所在设备高优先级任务的执行时间和+当前任务之后任务的时间增量和)/任务总时间。
4.根据权利要求1所述的电力数据实时计算调度优化方法，其特征在于，所述改进调度算法的调度策略包括：
步骤(11)：计算当前任务的时间占用度为τ时的设备当前任务执行时延参数；
步骤(12)计算任务的rank值，并对其进行降序排列，输出排列结果队列Q；
步骤(13)为第一个任务选择能令其最早完工的设备，并将此任务移除；
步骤(14)重复步骤(13)直到Q中所有任务被移除。
5.根据权利要求1所述的电力数据实时计算调度优化方法，其特征在于，所述利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果的过程包括：
步骤(21)：利用负载状态反馈模型对随机生成的任务数量为N的有向无环图任务进行负载均衡调度，并记录第一调度结果；
步骤(22)：选取每个服务设备上子任务的处理时间、排序和时延参数为训练集的特征值，以第一调度结果进行标签分类，并构建数据集D；
步骤(23)：利用贝叶斯决策对数据集D进行处理，得到每个子任务分配到不同服务设备上的概率；
步骤(24)：将步骤(23)中获得的概率作为新的特征值加入原数据集D，形成数据集D’；
步骤(25)：在D’中计算任务分配的先验概率；
步骤(26)：在训练集D’中，随机获取子任务，计算该任务调度到不同服务设备上的后验概率；
步骤(27)：使用贝叶斯网络模型预测第一调度结果；
步骤(28)：重复步骤(26)和步骤(27)，直到所有子任务完成预测；
步骤(29)：完成调度后，输出第二调度结果。
6.根据权利要求1所述的电力数据实时计算调度优化方法，其特征在于，所述利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度的规则包括：使用设备当前任务执行时延参数概念以最小化设备任务占用时间，设备按照预设的到达顺序进行任务分配。
7.一种电力数据实时计算调度优化***，其特征在于，包括：
数据获取模块，其被配置为：获取待调度的任务，基于待调度的任务构建有向无环图；
负载状态反馈模块，其被配置为：引入任务执行时延参数改进调度算法；基于改进调度算法，得到负载状态反馈模型；
负载均衡模块，其被配置为：利用所述负载状态反馈模型对所述有向无环图进行负载均衡调度，得到第一调度结果；
输出模块，其被配置为：采用贝叶斯网络模型对所述第一调度结果进行学习，得到第二调度结果。
8.根据权利要求1所述的电力数据实时计算调度优化***，其特征在于，所述***包括：数据存储模块，其被配置为：存储并验证各阶段的数据信息。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的电力数据实时计算调度优化方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的电力数据实时计算调度优化方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111161277.9A CN114327925A (zh) | 2021-09-30 | 2021-09-30 | 一种电力数据实时计算调度优化方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111161277.9A CN114327925A (zh) | 2021-09-30 | 2021-09-30 | 一种电力数据实时计算调度优化方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114327925A true CN114327925A (zh) | 2022-04-12 |
Family
ID=81045049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111161277.9A Pending CN114327925A (zh) | 2021-09-30 | 2021-09-30 | 一种电力数据实时计算调度优化方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114327925A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114756358A (zh) * | 2022-06-15 | 2022-07-15 | 苏州浪潮智能科技有限公司 | 一种dag任务调度方法、装置、设备及存储介质 |
-
2021
- 2021-09-30 CN CN202111161277.9A patent/CN114327925A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114756358A (zh) * | 2022-06-15 | 2022-07-15 | 苏州浪潮智能科技有限公司 | 一种dag任务调度方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200257968A1 (en) | Self-learning scheduler for application orchestration on shared compute cluster | |
| CN109992404A (zh) | 集群计算资源调度方法、装置、设备及介质 | |
| CN114756358B (zh) | 一种dag任务调度方法、装置、设备及存储介质 | |
| CN113064879A (zh) | 数据库参数调整方法、装置及计算机可读存储介质 | |
| CN103092683A (zh) | 用于数据分析的基于启发式的调度 | |
| Nguyen et al. | Scaling upf instances in 5g/6g core with deep reinforcement learning | |
| CN117271101B (zh) | 一种算子融合方法、装置、电子设备及存储介质 | |
| CN108270805A (zh) | 用于数据处理的资源分配方法及装置 | |
| Razavi et al. | FA2: Fast, accurate autoscaling for serving deep learning inference with SLA guarantees | |
| CN114675975B (zh) | 一种基于强化学习的作业调度方法、装置及设备 | |
| CN114327925A (zh) | 一种电力数据实时计算调度优化方法及*** | |
| CN115794323A (zh) | 任务调度方法、装置、服务器和存储介质 | |
| Jang et al. | Fast quality driven selection of composite Web services | |
| Malz et al. | Agent-based test case prioritization | |
| Vahidipour et al. | Priority assignment in queuing systems with unknown characteristics using learning automata and adaptive stochastic Petri nets | |
| JP7009971B2 (ja) | プロセススケジューリング装置およびプロセススケジューリング方法 | |
| CN106874215B (zh) | 一种基于Spark算子的序列化存储优化方法 | |
| CN112632615B (zh) | 基于混合云环境的科学工作流数据布局方法 | |
| Prado et al. | On providing quality of service in grid computing through multi-objective swarm-based knowledge acquisition in fuzzy schedulers | |
| CN115904708A (zh) | 一种ai平台动态加权调度方法、装置及存储介质 | |
| Jafarpour et al. | QoS-aware Selection of Web Service Compositions using Harmony Search Algorithm. | |
| Megahed et al. | A stochastic optimization approach for cloud elasticity | |
| Addis et al. | Function placement and acceleration for in-network federated learning services | |
| Liu et al. | Scheduling tasks with Markov-chain based constraints | |
| Lin et al. | Dynamic load balancing in cloud-based multimedia system using genetic algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |