CN118034939A - 基于动态i/o负载感知的并行任务调度方法 - Google Patents

Abstract

本发明公开了基于动态I/O负载感知的并行任务调度方法，涉及数据处理相关领域，该方法包括：根据并行任务进程中的通信协议，确定各个任务的任务路径进行动态I/O并行任务进程识别，获取节点计算复杂度，筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点，输出N个负载节点对应的N个备选负载节点库，建立概率寻优输出模型对N个备选负载节点库中每个备选负载节点库进行寻优，以输出N个备选负载节点对N个负载节点进行节点跳转，解决现有并行任务调度缺乏动态I/O负载感知，导致运行过程中易出现过负载的技术问题，实现监测***中I/O负载的变化，动态地调整并行任务的执行顺序和分配资源，避免出现过负载的技术效果。

Description

基于动态I/O负载感知的并行任务调度方法

技术领域

本申请涉及数据处理相关领域，尤其涉及基于动态I/O负载感知的并行任务调度方法。

背景技术

随着计算机技术的不断发展和进步，越来越多的并行计算任务需要高效地进行调度，以保证***性能的最大化。并行计算任务调度作为一个重要的领域，在提高计算效率、降低能耗、提升***可靠性方面起着至关重要的作用，而现有并行任务调度存在缺乏动态I/O负载感知，从而导致运行过程中易出现过负载的技术问题。

发明内容

本申请通过提供基于动态I/O负载感知的并行任务调度方法，解决现有并行任务调度缺乏动态I/O负载感知，导致运行过程中易出现过负载的技术问题，实现监测***中I/O负载的变化，动态地调整并行任务的执行顺序和分配资源，避免出现过负载的技术效果。

本申请提供基于动态I/O负载感知的并行任务调度方法，所述方法应用于基于动态I/O负载感知的并行任务调度***，包括：获取并行任务进程，根据所述并行任务进程中各个任务对应的通信协议，确定各个任务的任务路径；对各个任务的任务路径中涉及的所有负载节点进行动态I/O并行任务进程识别，获取节点计算复杂度，获取所述节点计算复杂度的表达式为：

；

其中，为节点计算复杂度，/>为对应节点的任务进程总数量，/>为对应节点单次并行处理的任务进程数量，对于/>的任务进程由对应节点进行并行处理，对于的任务进程由对应节点进行顺序处理，/>为每个任务进程的计算复杂度，为对应节点当前顺序执行的进程数；筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点，输出所述N个负载节点对应的N个备选负载节点库，其中，所述N个负载节点与所述N个备选负载节点库一一对应；建立概率寻优输出模型，根据所述概率寻优输出模型对所述N个备选负载节点库中每个备选负载节点库进行寻优，以输出N个备选负载节点；基于所述N个备选负载节点对所述N个负载节点进行节点跳转。

在可能的实现方式中，输出所述N个负载节点对应的N个备选负载节点库，其中，构建N个备选负载节点库，执行以下处理：对所述N个负载节点的节点功能属性进行分析，获取各个负载节点的功能属性参数，其中，所述功能属性参数包括网络吞吐量、信道带宽、节点通信范围以及处理器性能；按照所述功能属性参数对初始化备选负载节点库中各个负载节点进行功能相似性识别，输出相似性算子；将大于预设相似性算子的负载节点进行备选标识，对应构建N个备选负载节点库。

在可能的实现方式中，执行以下处理：获取集群负载节点网络；基于所述集群负载节点网络，确定所述N个负载节点所处的节点层中小于所述预设节点计算复杂度的负载节点，输出所述N个负载节点对应的N个初始化备选负载节点库。

在可能的实现方式中，执行以下处理：建立概率寻优输出模型，其中，所述概率寻优输出模型包括被选择概率计算层、被选择重复识别层以及寻优更新反馈层；根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，以输出每个备选负载节点库对应寻优得到的备选负载节点，作为N个备选负载节点库一一对应的N个备选负载节点。

在可能的实现方式中，根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优执行以下处理：根据所述被选择概率计算层对同一备选负载节点库中的备选负载节点进行被选择概率赋值，输出每个备选负载节点库中被选择概率最大的标识负载节点；其中，所述被选择概率赋值包括第一赋值因子和第二赋值因子，所述第一赋值因子为相似性算子的大小，所述第二赋值因子为节点计算复杂度大小；在所述被选择重复识别层中，对每个备选负载节点库中的标识负载节点进行重复性识别，若存在标识负载节点的重复性选择，反馈至所述寻优更新反馈层进行寻优更新。

在可能的实现方式中，执行以下处理：若存在标识负载节点的重复性选择，且重复次数达到预设占比，根据所述寻优更新反馈层对重复标识负载节点进行处理，包括保留重复标识负载节点中被选择概率最大的标识负载节点，针对剩余重复标识负载节点寻优更新为被选择概率次大的标识负载节点。

本申请还提供了基于动态I/O负载感知的并行任务调度***，包括：路径确定模块，所述路径确定模块用于获取并行任务进程，根据所述并行任务进程中各个任务对应的通信协议，确定各个任务的任务路径；第一识别模块，所述第一识别模块用于对各个任务的任务路径中涉及的所有负载节点进行动态I/O并行任务进程识别，获取节点计算复杂度；第一计算模块，所述第一计算模块用于筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点，输出所述N个负载节点对应的N个备选负载节点库，其中，所述N个负载节点与所述N个备选负载节点库一一对应；寻优模块，所述寻优模块用于建立概率寻优输出模型，根据所述概率寻优输出模型对所述N个备选负载节点库中每个备选负载节点库进行寻优，以输出N个备选负载节点；节点跳转模块，所述节点跳转模块用于基于所述N个备选负载节点对所述N个负载节点进行节点跳转。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请提供的基于动态I/O负载感知的并行任务调度方法，解决现有并行任务调度缺乏动态I/O负载感知，导致运行过程中易出现过负载的技术问题，实现监测***中I/O负载的变化，动态地调整并行任务的执行顺序和分配资源，避免出现过负载的技术效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的附图作简单的介绍，本申请中使用了流程图来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1为本申请实施例提供的基于动态I/O负载感知的并行任务调度方法的流程示意图；

图2为本申请实施例提供的基于动态I/O负载感知的并行任务调度***的结构示意图。

具体实施方式

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步的详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序。术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的。

本申请实施例提供了基于动态I/O负载感知的并行任务调度方法，所述方法应用于基于动态I/O负载感知的并行任务调度***，解决现有并行任务调度缺乏动态I/O负载感知，导致运行过程中易出现过负载的技术问题，实现监测***中I/O负载的变化，动态地调整并行任务的执行顺序和分配资源，避免出现过负载的技术效果。如图1所示，所述方法包括：

步骤A100，获取并行任务进程，根据所述并行任务进程中各个任务对应的通信协议，确定各个任务的任务路径；

基于并行任务对当前正在运行或计划运行的并行任务进程列表进行调取，继而再根据并行任务进程中各个任务对应的通信协议进行分析，是指对每个并行任务进程所使用的通信协议进行任务之间如何交换数据、同步操作和共享资源的分析，进一步的，基于每个任务所使用的通信协议，可以确定该任务的任务路径，其任务路径是指任务在执行过程中需要访问的网络节点、计算资源、存储位置等，为后期实现对基于动态I/O负载感知进行并行任务的调度作为重要参考依据。

执行步骤A200，对各个任务的任务路径中涉及的所有负载节点进行动态I/O并行任务进程识别，获取节点计算复杂度，获取所述节点计算复杂度的表达式为：

；

其中，为节点计算复杂度，/>为对应节点的任务进程总数量，P为对应节点单次并行处理的任务进程数量，对于/>的任务进程由对应节点进行并行处理，对于的任务进程由对应节点进行顺序处理，/>为每个任务进程的计算复杂度，为对应节点当前顺序执行的进程数；

首先对上述所确定的各个任务的任务路径内所涉及的所有负载节点进行动态I/O并行任务进程识别，该负载节点是指在任务执行过程中承担计算、存储或通信负载的***组件，如服务器、存储设备或网络节点，通过分析各个任务的任务路径，可以确定在任务执行过程中被访问的负载节点，并且承载任务的I/O（输入/输出）操作，进一步的对每个负载节点进行动态I/O并行任务进程识别，是指可以通过分析I/O请求的源进程、目标地址、数据大小和时间戳等信息来实时监控节点的I/O操作，并识别出同时进行的多个I/O请求是否属于同一并行任务进程，最终通过节点计算复杂度的表达式对负载节点在执行任务时所需的计算资源和时间的节点计算复杂度进行计算，节点计算复杂度的表达式为：

；

其中，为节点计算复杂度，/>为对应节点的任务进程总数量，/>为对应节点单次并行处理的任务进程数量，对于/>的任务进程由对应节点进行并行处理，对于的任务进程由对应节点进行顺序处理，/>为每个任务进程的计算复杂度，为对应节点当前顺序执行的进程数。

综合以上信息，可以评估出每个负载节点的计算复杂度，计算所获的节点计算复杂度对于优化并行任务进程的执行顺序、分配计算资源以及预测任务完成时间对并行任务进行更精细的调度和优化。

执行步骤A300，筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点，输出所述N个负载节点对应的N个备选负载节点库，其中，所述N个负载节点与所述N个备选负载节点库一一对应；为了更精准的对并行任务进行动态调度，需要对上述计算所获的并行任务内的负载节点的计算复杂度与预设节点计算复杂度进行比较筛选，其预设节点计算复杂度可以是基于历史数据、性能测试结果或***资源限制进行确定所获，将收集到的节点计算复杂度数据与预设的阈值进行比较。筛选出那些计算复杂度超过预设阈值的节点，从而对N个负载节点进行获取，在一种可能的实现方式中，步骤A300进一步包括步骤A310，对所述N个负载节点的节点功能属性进行分析，获取各个负载节点的功能属性参数，其中，所述功能属性参数包括网络吞吐量、信道带宽、节点通信范围以及处理器性能；基于上述所获的N个负载节点依次进行节点功能属性的分析，其功能属性分析可以包含对N个负载节点的网络吞吐量、信道带宽、节点通信范围、处理器性能等，其网络吞吐量分析是指对N个负载节点在网络通信中能够处理的最大数据量，分析网络吞吐量可以帮助确定节点在处理大量数据传输时的性能表现，其信道带宽评估是指节点通信信道的数据传输容量，评估信道带宽有助于了解节点在数据传输速度方面的限制，其节点通信范围是指节点能够与其他节点进行有效通信的物理距离或覆盖范围，节点通信范围的确定影响着节点之间的连接性以及通信延迟，其处理器性能是指节点中央处理器（CPU）执行计算任务的速度和效率，评估处理器性能可以帮助确定节点在处理复杂计算任务时的能力，在此基础上获取各个负载节点的功能属性参数。

进一步的执行步骤A320，按照所述功能属性参数对初始化备选负载节点库中各个负载节点进行功能相似性识别，输出相似性算子；执行步骤A330，将大于预设相似性算子的负载节点进行备选标识，对应构建N个备选负载节点库。

将上述所获的各个负载节点的功能属性参数作为基础参照数据，对初始化备选负载节点库中所包含的每个负载节点进行功能上的相似识别，首先可以基于网络吞吐量、信道带宽、节点通信范围以及处理器性能等功能属性参数的差异来计算功能相似性度量标准，其功能相似性度量标准用于量化两个负载节点之间在功能属性上的相似性，并按照功能相似性度量标准计算初始化备选负载节点库中的每个负载节点之间的功能相似性算子，同时将计算所获的相似性算子进行对应数据，该相似性算子为两个节点在功能上的相似程度，进一步的，将计算出的功能相似性算子与预设的阈值进行比较，筛选出那些大于预设相似性算子的负载节点对，所筛选出的负载节点在功能上具有较高的相似性，对于每个筛选出的相似负载节点对，选择其中一个节点作为备选负载节点，并进行备选标识，每个备选负载节点库包含一组在功能上相似的备选负载节点，备选负载节点可以用于在需要时接替原始负载节点的任务，以实现负载均衡、故障恢复或资源优化等目标，最终根据筛选和标记的结果，构建N个备选负载节点库。

在将大于预设相似性算子的负载节点进行备选标识之后，在一种可能的实现方式中，步骤A330进一步包括步骤A331，获取集群负载节点网络；执行步骤A332，基于所述集群负载节点网络，确定所述N个负载节点所处的节点层中小于所述预设节点计算复杂度的负载节点，输出所述N个负载节点对应的N个初始化备选负载节点库。

通过查询集群配置文件、使用网络管理工具或调用集群管理API来获取负载节点之间的连接关系、网络层次结构以及各节点的位置和角色等信息，在此基础上获取集群负载节点网络拓扑结构，且在集群负载节点网络内负载节点通常按照其功能、位置或性能等特性被组织成不同的层次（如边缘节点层、汇聚节点层、核心节点层等），进一步，为了更精准地构建N个初始化备选负载节点库，需要对N个负载节点所处的节点层中小于预设节点计算复杂度的负载节点进行确定，可以通过比较节点的网络地址、连接关系或配置信息来确定每个已知的N个负载节点分别处于哪个节点层，并在每个确定的节点层中通过收集节点的资源使用情况、性能指标或运行的任务信息来评估其计算复杂度，并与预设阈值进行比较，筛选出计算复杂度小于预设阈值的负载节点，将每个筛选出来的计算复杂度较小的负载节点添加到对应的初始化备选负载节点库中，输出N个负载节点对应的N个初始化备选负载节点库，且N个负载节点与所述N个备选负载节点库为一一对应的关系，N个初始化备选负载节点库可以用于优化任务调度、提高***弹性和容错能力。

执行步骤A400，建立概率寻优输出模型，根据所述概率寻优输出模型对所述N个备选负载节点库中每个备选负载节点库进行寻优，以输出N个备选负载节点；在一种可能的实现方式中，步骤A400进一步包括步骤A410，建立概率寻优输出模型，其中，所述概率寻优输出模型包括被选择概率计算层、被选择重复识别层以及寻优更新反馈层；

在建立概率寻优输出模型之前首先对模型内的主要层次进行确定，即被选择概率计算层、被选择重复识别层和寻优更新反馈层，被选择概率计算层是用于负责计算每个备选负载节点被选择的概率，即计算可以基于各种因素，如节点的历史性能、当前负载、资源可用性以及与任务的匹配程度等，被选择重复识别层用于识别并处理被重复选择的节点，以确保寻优过程的多样性和避免局部最优解，寻优更新反馈层是用于根据实际的任务执行结果来更新模型的参数和策略，以实现寻优过程的持续改进，通过这三个层次的协同工作，概率寻优输出模型能够在考虑多种因素的基础上，有效地选择负载节点并执行任务。

进一步的执行步骤A420，根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，以输出每个备选负载节点库对应寻优得到的备选负载节点，作为N个备选负载节点库一一对应的N个备选负载节点。通过概率寻优输出模型对所述N个备选负载节点库中每个备选负载节点库进行寻优，是指根据被选择概率计算层、被选择重复识别层以及寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，在一种可能的实现方式中，步骤A420进一步包括步骤A421，根据所述被选择概率计算层对同一备选负载节点库中的备选负载节点进行被选择概率赋值，输出每个备选负载节点库中被选择概率最大的标识负载节点；其中，所述被选择概率赋值包括第一赋值因子和第二赋值因子，所述第一赋值因子为相似性算子的大小，所述第二赋值因子为节点计算复杂度大小；

首先基于被选择概率计算层对同一备选负载节点库中的备选负载节点进行被选择概率赋值，其中，被选择概率赋值包括第一赋值因子和第二赋值因子，第一赋值因子为相似性算子的大小，其相似度越大、赋值越大，第二赋值因子为节点，计算复杂度大小，其复杂度越大，赋值越小，进一步的，将相似性算子的大小和节点计算复杂度大小结合起来，为每个备选负载节点计算一个被选择概率，被选择概率的计算方式可以是通过第一赋值因子与第二赋值因子进行加权的组合方式，且权重可以根据实际需求进行调整，以反映不同因子在选择过程中的重要性，进一步的在每个备选负载节点库中，根据计算出的被选择概率，选择概率最大的节点作为标识负载节点，标识负载节点代表了在当前库中最适合处理任务或请求的节点，从而输出每个备选负载节点库中被选择概率最大的标识负载节点。

进一步地执行步骤A422，在所述被选择重复识别层中，对每个备选负载节点库中的标识负载节点进行重复性识别，若存在标识负载节点的重复性选择，反馈至所述寻优更新反馈层进行寻优更新。执行步骤A4221，若存在标识负载节点的重复性选择，且重复次数达到预设占比，根据所述寻优更新反馈层对重复标识负载节点进行处理，包括保留重复标识负载节点中被选择概率最大的标识负载节点，针对剩余重复标识负载节点寻优更新为被选择概率次大的标识负载节点。

首先基于被选择重复识别层内进行每个备选负载节点库中的标识负载节点的重复性识别，即对于每个备选负载节点库中的标识负载节点，进行重复性检查，通过跟踪每个标识负载节点被选择的次数将标识负载节点在多个请求或任务中被重复选择进行识别提取，若存在标识负载节点的重复性选择，即同一个标识负载节点被多次选择，则反馈信息至所述寻优更新反馈层，所反馈的信息可以包含重复标识负载节点的标识、重复次数以及可能的性能影响等，当接收到重复性选择的反馈后，寻优更新反馈层将启动寻优更新过程，进一步地，当存在标识负载节点的重复性选择，并且重复次数达到预设的占比阈值（例如，超过总选择次数的某个百分比），则需要保留重复标识负载节点中被选择概率最大的标识负载节点，即该节点在性能或匹配度上表现最好，并通过重新计算选择概率并重新分配任务或请求对于剩余的重复标识负载节点，进行寻优更新，选择被选择概率次大的标识负载节点进行替换，同时还可以通过重新计算相似性算子和节点计算复杂度，以及重新赋值给每个备选负载节点对整个备选负载节点库中被选择概率进行更新计算，以反映新的节点选择和性能情况，不断地优化节点选择策略，以适应不断变化的负载和资源情况。

接下来执行步骤A500，基于所述N个备选负载节点对所述N个负载节点进行节点跳转。

以任务完成、错误发生、性能下降、负载增加或其他预设的条件作为基础数据对N个备选负载节点进行节点跳转的条件进行设定，当需要进行节点跳转后，需要基于多种因素，如节点的负载情况、性能、资源可用性、任务的特定需求等对目标节点进行确定，继而可以通过停止当前节点的任务执行、保存中间状态、将任务或数据迁移到目标节点等执行跳转操作，并在执行跳转后，通过标记当前节点为不可用、更新目标节点的负载信息、更新任务的状态等对N个负载节点进行节点跳转后进行节点状态的更新，进而为实现对基于动态I/O负载感知进行并行任务的调度做保障。

本申请实施例解决现有并行任务调度缺乏动态I/O负载感知，导致运行过程中易出现过负载的技术问题，实现监测***中I/O负载的变化，动态地调整并行任务的执行顺序和分配资源，避免出现过负载的技术效果。

在上文中，参照图1详细描述了根据本发明实施例的基于动态I/O负载感知的并行任务调度方法。接下来，将参照图2描述根据本发明实施例的基于动态I/O负载感知的并行任务调度***。

根据本发明实施例的基于动态I/O负载感知的并行任务调度***，用于解决现有并行任务调度缺乏动态I/O负载感知，导致运行过程中易出现过负载的技术问题，实现监测***中I/O负载的变化，动态地调整并行任务的执行顺序和分配资源，避免出现过负载的技术效果。基于动态I/O负载感知的并行任务调度***包括：路径确定模块10、第一识别模块20、第一计算模块30、寻优模块40、节点跳转模块50。

路径确定模块10，所述路径确定模块10用于获取并行任务进程，根据所述并行任务进程中各个任务对应的通信协议，确定各个任务的任务路径；

第一识别模块20，所述第一识别模块20用于对各个任务的任务路径中涉及的所有负载节点进行动态I/O并行任务进程识别，获取节点计算复杂度，获取所述节点计算复杂度的表达式为：

；

其中，为节点计算复杂度，/>为对应节点的任务进程总数量，/>为对应节点单次并行处理的任务进程数量，对于/>的任务进程由对应节点进行并行处理，对于的任务进程由对应节点进行顺序处理，/>为每个任务进程的计算复杂度，为对应节点当前顺序执行的进程数；

第一计算模块30，所述第一计算模块30用于筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点，输出所述N个负载节点对应的N个备选负载节点库，其中，所述N个负载节点与所述N个备选负载节点库一一对应；

寻优模块40，所述寻优模块40用于建立概率寻优输出模型，根据所述概率寻优输出模型对所述N个备选负载节点库中每个备选负载节点库进行寻优，以输出N个备选负载节点；

节点跳转模块50，所述节点跳转模块50用于基于所述N个备选负载节点对所述N个负载节点进行节点跳转。

下面，将详细描述第一计算模块30的具体配置。如上文中所述，输出所述N个负载节点对应的N个备选负载节点库，其中，构建N个备选负载节点库，第一计算模块30可以进一步包括：第一分析单元用于对所述N个负载节点的节点功能属性进行分析，获取各个负载节点的功能属性参数，其中，所述功能属性参数包括网络吞吐量、信道带宽、节点通信范围以及处理器性能；第二识别单元用于按照所述功能属性参数对初始化备选负载节点库中各个负载节点进行功能相似性识别，输出相似性算子；第一标识单元用于将大于预设相似性算子的负载节点进行备选标识，对应构建N个备选负载节点库。

下面，将详细描述第二识别单元的具体配置。如上文中所述，第二识别单元可以进一步包括：网络获取单元用于取集群负载节点网络；第一节点输出单元用于基于所述集群负载节点网络，确定所述N个负载节点所处的节点层中小于所述预设节点计算复杂度的负载节点，输出所述N个负载节点对应的N个初始化备选负载节点库。

下面，将详细描述寻优模块40的具体配置。如上文中所述，寻优模块40可以进一步包括：模型建立单元用于建立概率寻优输出模型，其中，所述概率寻优输出模型包括被选择概率计算层、被选择重复识别层以及寻优更新反馈层；第一寻优单元用于根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，以输出每个备选负载节点库对应寻优得到的备选负载节点，作为N个备选负载节点库一一对应的N个备选负载节点。

下面，将详细描述第一寻优单元的具体配置。如上文中所述，根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，第一寻优单元可以进一步包括：第二节点输出单元用于根据所述被选择概率计算层对同一备选负载节点库中的备选负载节点进行被选择概率赋值，输出每个备选负载节点库中被选择概率最大的标识负载节点；

其中，所述被选择概率赋值包括第一赋值因子和第二赋值因子，所述第一赋值因子为相似性算子的大小，所述第二赋值因子为节点计算复杂度大小；

第三识别单元用于在所述被选择重复识别层中，对每个备选负载节点库中的标识负载节点进行重复性识别，若存在标识负载节点的重复性选择，反馈至所述寻优更新反馈层进行寻优更新。

下面，将详细描述第三识别单元的具体配置。如上文中所述，第三识别单元可以进一步包括：寻优更新单元用于若存在标识负载节点的重复性选择，且重复次数达到预设占比，根据所述寻优更新反馈层对重复标识负载节点进行处理，包括保留重复标识负载节点中被选择概率最大的标识负载节点，针对剩余重复标识负载节点寻优更新为被选择概率次大的标识负载节点。

本发明实施例所提供的基于动态I/O负载感知的并行任务调度***可执行本发明任意实施例所提供的基于动态I/O负载感知的并行任务调度方法，具备执行方法相应的功能模块和有益效果。

虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合和替代。任何在本申请的精神和原则之内所做的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (7)

1.基于动态I/O负载感知的并行任务调度方法，其特征在于，所述方法包括：

获取并行任务进程，根据所述并行任务进程中各个任务对应的通信协议，确定各个任务的任务路径；

对各个任务的任务路径中涉及的所有负载节点进行动态I/O并行任务进程识别，获取节点计算复杂度，获取所述节点计算复杂度的表达式为：

；

其中，为节点计算复杂度，/>为对应节点的任务进程总数量，/>为对应节点单次并行处理的任务进程数量，对于/>的任务进程由对应节点进行并行处理，对于/>的任务进程由对应节点进行顺序处理，/>为每个任务进程的计算复杂度，/>为对应节点当前顺序执行的进程数；

筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点，输出所述N个负载节点对应的N个备选负载节点库，其中，所述N个负载节点与所述N个备选负载节点库一一对应；

建立概率寻优输出模型，根据所述概率寻优输出模型对所述N个备选负载节点库中每个备选负载节点库进行寻优，以输出N个备选负载节点；

基于所述N个备选负载节点对所述N个负载节点进行节点跳转。

2.如权利要求1所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，输出所述N个负载节点对应的N个备选负载节点库，其中，构建N个备选负载节点库的方法包括：

对所述N个负载节点的节点功能属性进行分析，获取各个负载节点的功能属性参数，其中，所述功能属性参数包括网络吞吐量、信道带宽、节点通信范围以及处理器性能；

按照所述功能属性参数对初始化备选负载节点库中各个负载节点进行功能相似性识别，输出相似性算子；

将大于预设相似性算子的负载节点进行备选标识，对应构建N个备选负载节点库。

3.如权利要求2所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，所述方法包括：

获取集群负载节点网络；

基于所述集群负载节点网络，确定所述N个负载节点所处的节点层中小于所述预设节点计算复杂度的负载节点，输出所述N个负载节点对应的N个初始化备选负载节点库。

4.如权利要求1所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，所述方法还包括：

建立概率寻优输出模型，其中，所述概率寻优输出模型包括被选择概率计算层、被选择重复识别层以及寻优更新反馈层；

根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，以输出每个备选负载节点库对应寻优得到的备选负载节点，作为N个备选负载节点库一一对应的N个备选负载节点。

5.如权利要求4所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，根据所述被选择概率计算层、所述被选择重复识别层以及所述寻优更新反馈层分别对每个备选负载节点库中的备选负载节点进行寻优，包括：

根据所述被选择概率计算层对同一备选负载节点库中的备选负载节点进行被选择概率赋值，输出每个备选负载节点库中被选择概率最大的标识负载节点；

其中，所述被选择概率赋值包括第一赋值因子和第二赋值因子，所述第一赋值因子为相似性算子的大小，所述第二赋值因子为节点计算复杂度大小；

在所述被选择重复识别层中，对每个备选负载节点库中的标识负载节点进行重复性识别，若存在标识负载节点的重复性选择，反馈至所述寻优更新反馈层进行寻优更新。

6.如权利要求5所述的基于动态I/O负载感知的并行任务调度方法，其特征在于，若存在标识负载节点的重复性选择，且重复次数达到预设占比，根据所述寻优更新反馈层对重复标识负载节点进行处理，包括保留重复标识负载节点中被选择概率最大的标识负载节点，针对剩余重复标识负载节点寻优更新为被选择概率次大的标识负载节点。

7.基于动态I/O负载感知的并行任务调度***，其特征在于，所述***用于实施权利要求1-6任一项所述的基于动态I/O负载感知的并行任务调度方法，所述方法包括：

路径确定模块，所述路径确定模块用于获取并行任务进程，根据所述并行任务进程中各个任务对应的通信协议，确定各个任务的任务路径；

第一识别模块，所述第一识别模块用于对各个任务的任务路径中涉及的所有负载节点进行动态I/O并行任务进程识别，获取节点计算复杂度；

第一计算模块，所述第一计算模块用于筛选节点计算复杂度大于预设节点计算复杂度的N个负载节点，输出所述N个负载节点对应的N个备选负载节点库，其中，所述N个负载节点与所述N个备选负载节点库一一对应；

寻优模块，所述寻优模块用于建立概率寻优输出模型，根据所述概率寻优输出模型对所述N个备选负载节点库中每个备选负载节点库进行寻优，以输出N个备选负载节点；

节点跳转模块，所述节点跳转模块用于基于所述N个备选负载节点对所述N个负载节点进行节点跳转。