CN117707797B - 基于分布式云平台的任务调度方法、装置及相关设备 - Google Patents

Abstract

本发明涉及任务调度领域，公开了一种基于分布式云平台的任务调度方法、装置及相关设备，所述方法包括：获取目标从节点发送的任务请求，所述任务请求包括基于所述目标从节点上各任务确定的图结构特征；基于所述目标从节点所在区域的主节点上的特征提取模块，针对所述图结构特征上的每个任务节点，对所述任务节点以及所述任务节点的领域信息进行特征聚合处理，得到聚合图结构特征；将所述聚合图结构特征输入到深度强化学***台的任务调度的智能化，降低调度节点的网络负载。

Description

基于分布式云平台的任务调度方法、装置及相关设备

技术领域

本发明涉及任务调度领域，尤其涉及一种基于分布式云平台的任务调度方法、装置、计算机设备及存储介质。

背景技术

在网络数据***式增长的时代，云平台因其高性能计算能力越来越受到人们的欢迎。目前使用的分布式云平台是一种将云计算服务分布式下沉到边缘节点的新兴云平台架构，该分布式云平台由虚拟机或容器驱动的方式使得计算资源可以更好地隔离与管理。但由于接入云平台的终端设备呈现***式增长，云平台的调度方式为用户将业务发送至调度节点，调度节点生成调度策略之后将业务数据中转至目标计算节点，导致调度阶段的网络负载重。

因此，现有的云平台的调度节点存在网络负载重的问题。

发明内容

本发明实施例提供一种基于分布式云平台的任务调度方法、装置、计算机设备和存储介质，以提高基于分布式云平台的任务调度的智能化，降低调度节点的网络负载。

为了解决上述技术问题，本申请实施例提供一种基于分布式云平台的任务调度方法，包括：

获取目标从节点发送的任务请求，所述任务请求包括基于所述目标从节点上各任务确定的图结构特征 ；

基于所述目标从节点所在区域的主节点上的特征提取模块 ，针对所述图结构特征上的每个任务节点，对所述任务节点以及所述任务节点的领域信息进行特征聚合处理，得到聚合图结构特征；

将所述聚合图结构特征输入到深度强化学习模块中，得到所述目标从节点的任务调度策略；

根据所述任务调度策略，对所述目标从节点上各任务进行调度分配。

为了解决上述技术问题，本申请实施例还提供一种基于分布式云平台的任务调度装置，包括：

任务请求获取模块，用于获取目标从节点发送的任务请求，所述任务请求包括基于所述目标从节点上各任务确定对应的图结构特征 ；

聚合模块，用于基于所述目标从节点所在区域的主节点上的特征提取模块 ，针对所述图结构特征上的每个任务节点，对所述任务节点以及所述任务节点的领域信息进行特征聚合处理，得到聚合图结构特征；

任务调度策略确定模块，用于将所述聚合图结构特征输入到深度强化学习模块中，得到所述目标从节点的任务调度策略；

调度模块，用于根据所述任务调度策略，对所述目标从节点上各任务进行调度分配。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于分布式云平台的任务调度方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于分布式云平台的任务调度方法的步骤。

本发明实施例提供的基于分布式云平台的任务调度方法、装置、计算机设备及存储介质，通过获取目标从节点发送的任务请求，所述任务请求包括基于所述目标从节点上各任务确定的图结构特征；基于所述目标从节点所在区域的主节点上的特征提取模块，针对所述图结构特征上的每个任务节点，对所述任务节点以及所述任务节点的领域信息进行特征聚合处理，得到聚合图结构特征；将所述聚合图结构特征输入到深度强化学***台的任务调度的智能化，降低调度节点的网络负载。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性***架构图；

图2是本申请的基于分布式云平台的任务调度方法的一个实施例的流程图；

图3是本申请的基于分布式云平台的任务调度方法的一具体实施例的调度应用框架示意图；

图4是本申请的基于分布式云平台的任务调度方法的又一具体实施例的调度应用框架示意图；

图5是本申请的基于分布式云平台的任务调度方法的另一具体实施例的调度应用框架示意图；

图6是根据本申请的基于分布式云平台的任务调度装置的一个实施例的结构示意图；

图7是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，如图1所示，分布式云平台100可以包括多个区域，每个区域可以包括从节点101、102、103，网络104和主节点105。网络104用以在从节点101、102、103和主节点105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用从节点101、102、103通过网络104与主节点105交互，以接收或发送消息等。

从节点101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器( Moving Picture Eperts GroupAudio Layer III，动态影像专家压缩标准音频层面3 )、MP4(Moving Picture EpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4 )播放器、膝上型便携计算机和台式计算机等等。

主节点105可以是提供各种服务的主节点，例如对从节点101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，由于分布式云平台在地理位置上广泛分布，提供给客户端延迟更低、容错性和可用性更好的服务。在本申请实施例中，将分布式云平台划分为不同的服务区域，每个区域内包括多个分布式云节点，在一个区域内，分布式云节点可以包括一个主节点和多个从节点，主节点负责管理和协调同一区域内的所有从节点。同一区域内的从节点的负载情况周期性报告给该区域的主节点。

示例性的，以一个基站的信号覆盖范围为一个服务区域。主节点可以直接选择基站里面或者附近的云节点。随着边缘计算和物联网技术的发展，一些基站开始集成一定程度的计算能力。一个服务区域下有很多从节点，比如路边监控等等都可以算作一个从节点，可以提供服务。

需要说明的是，本申请实施例所提供的基于分布式云平台的任务调度方法由目标区域的主节点执行，相应地，基于分布式云平台的任务调度装置设置于目标区域的主节点中。

应该理解，图1中的从节点、网络和主节点的数目仅仅是示意性的。根据实现需要，可以具有任意数目的从节点、网络和主节点，本申请实施例中的从节点101、102、103具体可以对应的是实际生产中的应用***。

请参阅图2，图2示出本发明实施例提供的一种基于分布式云平台的任务调度方法，以该方法应用在图1中的目标区域的主节点为例进行说明，分布式云平台中目标区域的主节点，所述分布式云平台包括多个区域，每个所述区域包括主节点以及多个从节点，详述如下：

S201、获取目标从节点发送的任务请求，任务请求包括基于目标从节点上各任务确定的图结构特征。

其中，目标从节点是指在目标区域中发起任务请求的从节点。任务请求是指对目标从节点上的任务进行任务调度的请求。

在本申请实施例中，其具体是，基于目标从节点所在区域的主节点，获取目标从节点发送的任务请求。

在本申请实施例中，图结构特征是指根据目标从节点上各任务之间的优先级约束以及依赖关系构建得到的图结构特征。在图结构特征中，包括顶点以及连接两个顶点之间的边。其中，顶点即为任务节点，用于表示目标从节点上的任务，顶点的数量与目标从节点上的任务数量相等。边表示任务之间的继承顺序。

在本申请实施例中，图结构特征可以是有向无环图。图结构特征也可以是仅包括任务顶点以及任务顶点之间的连接关系的结构图。图结构特征的具体内容可根据实际情况进行调整，本申请实施例不做限制。

示例性的，图结构特征为有向无环图，工作流通常由顶点和边组成的有向无环图进行表示。有向无环图是一个元组G=<T,E>，其中，T是工作流任务对应的顶点集，N表示任务总数，/>是反映任务间数据依赖关系的有向边集。 例如，边/>意味着/>和/>之间存在优先约束，即/>是/>的直接前驱（父），/>是/>的直接后继（子）。 每个边/>都有一个权重来表示从/>到/>传输的数据的大小。 一个任务可以有一个或多个父任务或子任务，在执行完所有父任务并且接收到任务所需的所有输入数据之前，该任务不能执行。

通过有向无环图，让目标从节点所在区域的主节点（调度节点）细粒度地理解目标从节点上业务（各任务组成）的特征。同时，由于发送图结构特征比发送各任务的全部数据的数量少，提高了任务请求的发送速率。

S202、基于目标从节点所在区域的主节点上的特征提取模块 ，针对图结构特征上的每个任务节点，对任务节点以及任务节点的领域信息进行特征聚合处理，得到聚合图结构特征。

其中，特征提取模块包括用于提取图结构特征的全局特征的模块。特征提取模块的实现方式为图神经网络，图神经网络包括但不限于递归神经网络、循环神经网络、马尔可夫网络，其具体选择可根据图结构特征的调整而进行调整，本申请实施例不做限制。

在本申请实施例中，领域信息是指与任务节点具有连接关系的节点对应的信息。该具有连接关系的节点包括邻居节点以及多跳节点。多跳节点是指与任务节点具有连接关系的非邻居节点的其他节点。

在本申请实施例中，其具体是，基于目标从节点所在区域的主节点上的特征提取模块 ，针对图结构特征上的每个任务节点，在每个任务节点上聚合领域信息，学习任务之间的依赖关系（边的关系信息）和特征表示，从而形成图结构特征对应的全局特征，即聚合图结构特征。

S203、将聚合图结构特征输入到深度强化学习模块中，得到目标从节点的任务调度策略。

其中，深度强化学习模块包括智能体，用于接收目标从节点的相关信息，并根据目标从节点的相关信息，智能化决策对目标从节点上各任务的任务调度策略。该任务调度策略包括计算任务调度策略以及通信任务调度策略。

在本申请实施例中，任务请求包括与目标从节点相连的至少一个其他从节点的信道状态信息，其中，目标从节点可以通过探测数据包发送与接收，在发送任务请求前评估目标从节点与各个区域从节点之间的信道状态信息，并将该信道状态信息作为任务请求中的一个数据发送给目标从节点所在区域的主节点。

S204、根据任务调度策略，对目标从节点上各任务进行调度分配。

其中，其具体过程为主节点向目标从节点回复任务调度策略，目标从节点根据任务调度策略对目标从节点上各任务进行调度分配。

在本实施例中，通过获取目标从节点发送的任务请求，任务请求包括基于目标从节点上各任务确定的图结构特征；基于目标从节点所在区域的主节点上的特征提取模块，针对图结构特征上的每个任务节点，对任务节点以及任务节点的领域信息进行特征聚合处理，得到聚合图结构特征；将聚合图结构特征输入到深度强化学***台的任务调度的智能化，降低调度节点的网络负载。

请参阅图3，图3是本申请的基于分布式云平台的任务调度方法的一具体实施例的调度应用框架示意图，如图3所示，客户端（目标从节点）为发送业务请求（任务请求）做准备，客户端向客户端所在区域的主节点发送业务请求，主节点根据获取的信息确定资源调度策略，并向目标从节点回复资源调度策略（任务调度策略），客户端根据任务调度策略发送业务数据（各任务相关数据）。

在该实施例中，将聚合图结构特征输入到深度强化学习模块中，得到目标从节点的任务调度策略之前，还包括：

基于目标从节点所在区域的主节点上的感知机模块，对信道状态信息进行特征提取，得到信道状态特征。

其中，感知机模块可以是单层感知机模块，也可以是多层感知机模块，其具体可根据实际情况进行调整，本申请实施例不做限制。

在该实施例中，使用目标从节点所在区域的主节点上的感知机模块处理信道状态信息，目标从节点到各个从节点的信道状态信息表示为，其中/>表示客户端到第/>个从节点的信道状态信息，J是服务区域中从节点的数量。将目标从节点到各个从节点的信道状态信息作为输入，经过多层感知机网络，提取其特征表示，得到信道状态特征。

在本申请实施例中，在获取目标从节点发送的任务请求之前，还包括：

获取目标从节点所在区域的各从节点在每一时间步上的负载特征。

当满足时序特征提取条件时，基于目标从节点所在区域的主节点，对负载特征进行时序特征提取，确定目标从节点所在区域的各从节点的时序特征。

在该实施例中，可以理解的是，主节点负责管理和协调同一区域内所有从节点，从节点的负载情况周期性或者实时报告给其区域所在的主节点。

在该实施例中，目标从节点所在区域的主节点周期性或者实时获取目标从节点所在区域的各从节点在每一时间步上的负载特征。

可以理解的是，每个从节点中包含多个容器，在从节点内部，一个容器会计算一个或几个任务，表示第/>个从节点上第/>个容器的整体负载情况，其中/>表示CPU利用率、/>表示内存使用率、/>，/>表示磁盘I/O速率。用矩阵M表示每个时间步中区域分布式云的负载情况。服务区域中有N个从节点，每个从节点有K个容器。则可以按照如下公式（1）表示矩阵M。

（1）

在该实施例中，获取目标从节点所在区域的各从节点在每一时间步上的负载特征的方式包括但不限于循环神经网络、递归神经网络。其具体选择可根据实际情况进行调整，本申请实施例不做限制。

示例性的，循环神经网络按照从节点顺序对T个时间步的区域分布式云负载情况提取时序特征（对矩阵M提取时序特征），其中，每个时间步的输入是/>矩阵中的一行。T为时间步的总数，所有时间步的输入按时间顺序组成序列，其中N是每个中的节点数。循环神经网络按照时间步遍历输入序列，对每个/>矩阵中的每一行数据进行处理，形成每个节点的时序特征，并对得到的时序特征进行拼接，得到目标从节点所在区域的各从节点的时序特征。

在本申请实施例中，时序特征提取条件包括获取目标从节点发送的任务请求，将聚合图结构特征输入到深度强化学习模块中，得到目标从节点的任务调度策略，包括：将信道状态特征、聚合图结构特征以及时序特征输入到深度强化学习模块中 ，得到目标从节点的任务调度策略。

在本申请实施例中，任务调度策略包括计算任务调度策略，深度强化学习模块包括估计网络子模块和调度子模块，估计网络子模块的输出为调度子模块的输入，估计网络子模块包括状态价值函数估计网络和优势函数估计网络，状态价值函数估计网络和优势函数估计网络共享输入深度强化学习模块的特征。

得到目标从节点的任务调度策略，包括：

获取状态价值函数估计网络的第一输出值和优势函数估计网络的第二输出值。

将第一输出值和第二输出值作为调度子模块的输入，调度子模块还包括状态价值网络。

基于状态价值网络中设置的预定状态价值条件，对第一输出值和第二输出值进行计算资源分析，并根据得到的计算资源结果信息，确定对目标从节点的计算任务调度策略，计算资源结果信息至少包括计算资源结果信息对应的从节点。

其中，调度子模块为状态价值网络，可以理解的是，状态价值函数估计网络和优势函数估计网络以及状态价值网络均有对应的函数实现，其具体可根据实际情况调整，本申请实施例不做限制。

其中，将信道状态特征、聚合图结构特征以及时序特征作为状态输入，输入深度强化学习模块的智能体中，以使深度强化学习模块确定目标从节点的计算任务调度策略。

其中，深度强化学***台的计算资源状态（各从节点的状态）、信道状态信息以及目标从节点的各任务。

其中，信道状态特征、聚合图结构特征以及时序特征被估计网络子模块中的估计网络共享，估计网络子模块包括状态价值函数估计网络和优势函数估计网络，两个估计网络的输出值组成调度子模块的输入。调度子模块为状态价值函数Q，Q以最大化奖励值为目标，总共输出δ个值，δ由动作空间决定，动作空间是深度强化学习模块的策略空间，动作空间具有多个维度，其维度包括从节点序号、四个计算资源的规格大小、参考码本。动作的所有维度的取值不得超出其对应资源约束范围，δ是动作中不同维度取值的总数量。取出使得输出Q值序列最大的动作作为针对当前状态的资源调度策略，即根据得到的计算资源结果信息，确定对目标从节点的计算任务调度策略，计算资源结果信息至少包括计算资源结果信息对应的从节点。

其中，在确定计算任务调度策略的过程中，还需要进行目标函数的优化过程。

示例性的，以各任务执行时间和成本作为双重优化目标，各任务的执行时间T分为传输时间和计算时间/>。任务执行的成本主要是从节点上的计算能耗P。

则可以按照如下公式（2）来进行目标函数的优化：

（2）

其中，是过去所有任务的平均执行时间，/>是平均计算能耗。/>是权衡因子用来调整深度强化学习模块调度的重点是放在时间上还是能耗上。/>用于监测执行失败的情况。如果任务执行失败或资源分配不合理，导致 />、/>或P趋于无穷大，则会引入一个负值来惩罚这种情况。

深度强化学习模块根据状态为当前任务做出计算方面的决策，即选择一个最合适的从节点和计算资源。值得注意的是，计算资源的选择是为当前业务的计算限定其最大使用的CPU利用率、内存使用率/>、磁盘I/O速率/>，/>。为减小动作空间的维度。

具体的，请参阅图4，图4为本申请的基于分布式云平台的任务调度方法的又一具体实施例的调度应用框架示意图，如图4所示，深度强化学***台的多个输入（信道状态特征、聚合图结构特征以及时序特征），根据智能体上的智能体决策网络以及奖励函数，进行从节点选择，计算资源规格的确定以及参考码本的选择，其中，参考码本的选择可根据定制化码本池进行构造，从而确定对目标从节点的计算任务调度策略（从节点选择，计算资源规格的确定等）以及通信任务调度策略（参考码本的选择）。

在本申请实施例中，任务调度策略包括通信任务调度策略，得到目标从节点的任务调度策略，包括：

将聚合图结构特征与目标从节点上各任务的历史记录进行聚类处理，确定与聚合图结构特征对应的第一参考码本，其中，目标从节点上各任务的历史记录包括历史聚合图结构特征以及与历史聚合图结构特征对应的第二参考码本。

基于预定码本池，将第一参考码本与预定码本池中的码本进行相似度计算，并根据计算得到的结果确定对目标从节点的通信任务调度策略。

在本申请实施例中，第一参考码本为目标从节点向各从节点发送任务时的参考码本。

可以理解的是，在传统的通信资源调度场景下，一次性传输大容量数据（例如，大文件或大规模数据集）会给无线通信网络带来巨大的负载和加剧资源竞争。通信方面的决策是模糊的，可以通过参考码本来确定目标从节点向各从节点发送任务时的参考码本，参考码本的规格与数据传输时间息息相关。

在本申请实施例中，参考码本包括但不限于IrSCMA码本（Irregular Sparse CodeMultiple Access，非正规稀疏码分多址）、LDS_CDMA码本（low-density spreading CDMA，低密度扩频CDMA）、LDS-OFDM码本（low-density spreading OFDM，低密度扩频OFDM）、MUSA码本（Multi User Shared Access，多用户共享接入）。则预定码本池为参考码本对应的码本池。例如，当参考码本为IrSCMA码本时，预定码本池为IrSCMA码本对应的码本池。参考码本以及预定码本池的具体内容可根据实际情况进行调整，本申请实施例不做限制。

示例性的，为解决上述问题，深度强化学习模块给予的IrSCMA码本 仅作为该任务的参考码本，从同属于一类的历史任务对应的码本中提取该时刻未使用的码本以及总IrSCMA码本池（预定码本池）中构造针对当前任务的定制化码本池，支持目标从节点上各任务的细粒化数据传输，从而提高通信效率降低网络负载。也就是说，码本与通信有关，若动作空间太大，通信直接按照参考码本去调度。

在本申请实施例中，其具体过程为；将聚合图结构特征或者图结构特征与历史记录（[聚合图结构特征，第二参考码本]）进行聚类，从中获得相似任务的参考码本（第一参考码本）。然后从第一参考码本出发，通过与IrSCMA码本池中其他码本的结构相似度计算，结构相似度的计算是码本的行数、列数、非零行的位置、数量和其中元素取值。

示例性的，参考码本为A，IrSCMA中其他码本表示为。NZ(A)表示A中的非零行的索引集合，NZ(B) 表示B中的非零行的索引集合。其中，，其中，/>表示码本的行数、表示码本的列数、/>表示码本的非零行数。/> ，分别是矩阵A和B的非零行元素的标准差。按照如下公式（3）计算相似度：

（3）

通过上述方式，筛选出与参考码本相似度在范围的码本，码本相似度过小会增减传输过程中数据间的干扰，过大又会使任务的传输达不到细粒度，最终共同构成针对当前任务的定制化IrSCMA码本池。码本数量不小于目标从节点内部任务的数量。

需要理解的是，在通常情况下，继承关系涉及到某些任务必须在其他任务之前完成，这对于任务计算顺序的影响是显著的。然而，对于数据传输而言，任务之间的依赖关系更多地关注数据的可用性，而非任务的顺序性。因此，任务之间的继承关系对于数据传输的顺序并没有直接影响，数据的可用性可能会根据任务执行的实际情况和需求进行调整和优化。此外，数据是并行传输的意味着可以同时处理多个数据传输任务，而不必等待之前的传输完成。

请参阅图5，图5为本申请的基于分布式云平台的任务调度方法中在IrSCMA中通过johnson规则的调度应用框架示意图。

如图5所示，根据图结构特征中任务之间的继承关系将任务划分为数据传输的不同阶段，具体而言，将所有的入口任务视为第一个阶段，入口任务的直接后继任务视为第二个阶段，以此类推，直到没有直接后继任务的出口任务被视为最后一个阶段。每个任务都要被先编码后调制，每个并行的IrSCMA发送设备可以同时执行数据块的编码和传输操作，但一个任务的两个操作均由同一个IrSCMA发送设备执行。以最小化makespan为目标，利用johnson规则优化两个工序不同任务执行的重叠时间。在每一个阶段中，根据Johnson规则重新调整任务数据包的顺序，使得最后一个完成第二个工序传输的任务的结束时间（makespan）最小化。对于每个任务首先确定编码和传输两个操作的所需时间。将每个阶段中所有任务按照第一个工序所需的时间排序。对于第一阶段的排好序的任务，再按照第二个工序传输时间最短的顺序重新调整每个阶段中任务的顺序，按照调整后的顺序传输任务，以最小化最后一个完成第二个工序传输的任务结束时间。目标从节点上各任务（业务）的数据被目标从节点（客户端）直接传输至决策指定的从节点上。

其中，Johnson规则是一种现有的流水线调度方法。其具体过程包括：

a、列出业务的工序矩阵，每个阶段的任务的工序矩阵视为一个单独的子工序矩阵；

b、在每个子工序矩阵中选出加工时间最短的工序。如果该工序属于第1工序，则将该工序所属工件排在前面。反之，最小工序是第2工序，则将该工序所属的工件排在最后面；

c、将已排序的任务从工序矩阵中消去；

d、继续按步骤a、b、c进行排序，若所有任务都已排定投产顺序，排序即告结束。

在本申请实施例中，在IrSCMA中通过johnson规则来减少数据传输时间。

在本申请实施例中，实现调度策略下发至用户、业务数据直接发送至从节点的同时，结合IrSCMA通信技术，有效缓解调度节点的网络拥塞情况。进一步的，基于深度强化学习的混合资源分配方法，利用图卷积神经网络提取业务的有向无环图特征，通过将深度强化学习的注意力转移到计算资源的分配，同时采用模糊化的方式处理通信资源分配，加速决策过程。最后，使用聚类算法从历史调度记录和IrSCMA码本池构建针对当前业务的定制化码本池，将任务之间的继承关系转化为数据传输的不同阶段，利用Johnson规则优化整个传输过程的时间开销，以提高传输效率和整体性能。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图6示出与上述实施例基于分布式云平台的任务调度方法一一对应的基于分布式云平台的任务调度装置的原理框图。如图6所示，该基于分布式云平台的任务调度装置包括任务请求获取模块301、聚合模块302、任务调度策略确定模块303和调度模块304。各功能模块详细说明如下：

任务请求获取模块301，用于获取目标从节点发送的任务请求，其中，任务请求包括基于目标从节点上各任务确定对应的图结构特征 。

聚合模块302，用于基于目标从节点所在区域的主节点上的特征提取模块 ，针对图结构特征上的每个任务节点，对任务节点以及任务节点的领域信息进行特征聚合处理，得到聚合图结构特征。

任务调度策略确定模块303，用于将聚合图结构特征输入到深度强化学习模块中，得到目标从节点的任务调度策略。

调度模块304，用于根据任务调度策略，对目标从节点上各任务进行调度分配。

可选的，在本申请实施例中的装置上，任务请求包括与目标从节点相连的至少一个其他从节点的信道状态信息。

在任务调度策略确定模块303之前，任务调度策略确定模块之前，还包括：

信道状态特征确定模块，用于基于目标从节点所在区域的主节点上的感知机模块，对信道状态信息进行特征提取，得到信道状态特征。

可选的，在本申请实施例中的装置上，在任务调度策略确定模块303之前，在获取目标从节点发送的任务请求之前，还包括：

负载特征获取模块，用于获取目标从节点所在区域的各从节点在每一时间步上的负载特征。

时序特征获取模块，用于当满足时序特征提取条件时，基于目标从节点所在区域的主节点，对负载特征进行时序特征提取，确定目标从节点所在区域的各从节点的时序特征。

可选的，在本申请实施例中的装置上，时序特征提取条件包括获取目标从节点发送的任务请求，任务调度策略确定模块303中，将聚合图结构特征输入到深度强化学习模块中，得到目标从节点的任务调度策略，包括：

任务调度策略确定单元，用于将信道状态特征、聚合图结构特征以及时序特征输入到深度强化学习模块中 ，得到目标从节点的任务调度策略。

可选的，在本申请实施例中的装置上，任务调度策略包括计算任务调度策略，深度强化学习模块包括估计网络子模块和调度子模块，估计网络子模块的输出为调度子模块的输入，估计网络子模块包括状态价值函数估计网络和优势函数估计网络，状态价值函数估计网络和优势函数估计网络共享输入深度强化学习模块的特征。

任务调度策略确定模块303中，得到目标从节点的任务调度策略，包括：

输出值确定单元，用于获取状态价值函数估计网络的第一输出值和优势函数估计网络的第二输出值。

输入单元，用于将第一输出值和第二输出值作为调度子模块的输入，调度子模块还包括状态价值网络。

计算任务调度策略确定单元，用于基于状态价值网络中设置的预定状态价值条件，对第一输出值和第二输出值进行计算资源分析，并根据得到的计算资源结果信息，确定对目标从节点的计算任务调度策略，计算资源结果信息至少包括计算资源结果信息对应的从节点。

可选的，在本申请实施例中的装置上，任务调度策略包括通信任务调度策略，任务调度策略确定模块303中，得到目标从节点的任务调度策略，包括：

第二参考码本确定单元，用于将聚合图结构特征与目标从节点上各任务的历史记录进行聚类处理，确定与聚合图结构特征对应的第一参考码本，其中，目标从节点上各任务的历史记录包括历史聚合图结构特征以及与历史聚合图结构特征对应的第二参考码本。

通信任务调度策略确定单元，用于基于预定码本池，将第一参考码本与预定码本池中的码本进行相似度计算，并根据计算得到的结果确定对目标从节点的通信任务调度策略。

关于基于分布式云平台的任务调度装置的具体限定可以参见上文中对于基于分布式云平台的任务调度方法的限定，在此不再赘述。上述基于分布式云平台的任务调度装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过***总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端主节点等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或D界面显示存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作***和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于分布式云平台的任务调度方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台从节点（可以是手机，计算机，主节点，空调器，或者网络设备等）执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (9)

1.一种基于分布式云平台的任务调度方法，其特征在于，所述方法应用于分布式云平台中目标区域的主节点，所述分布式云平台包括多个区域，每个所述区域包括主节点以及多个从节点，所述基于分布式云平台的任务调度方法包括：

获取目标从节点发送的任务请求，其中，所述任务请求包括基于所述目标从节点上各任务确定的图结构特征、与所述目标从节点相连的至少一个其他从节点的信道状态信息，以及所述目标从节点所在区域的各从节点的时序特征；

基于所述目标从节点所在区域的主节点上的特征提取模块，针对所述图结构特征上的每个任务节点，对所述任务节点以及所述任务节点的领域信息进行特征聚合处理，得到聚合图结构特征，所述领域信息是指与所述任务节点具有连接关系的节点对应的信息；

将基于所述信道状态信息获取的信道状态特征、所述聚合图结构特征以及所述时序特征输入到深度强化学习模块中，得到所述目标从节点的任务调度策略；

根据所述任务调度策略，对所述目标从节点上各任务进行调度分配。

2.根据权利要求1所述的基于分布式云平台的任务调度方法，其特征在于，所述将所述聚合图结构特征输入到深度强化学习模块中，得到所述目标从节点的任务调度策略之前，还包括：

基于所述目标从节点所在区域的主节点上的感知机模块，对所述信道状态信息进行特征提取，得到信道状态特征。

3.根据权利要求2所述的基于分布式云平台的任务调度方法，其特征在于，在所述获取目标从节点发送的任务请求之前，还包括：

获取所述目标从节点所在区域的各从节点在每一时间步上的负载特征；

当满足时序特征提取条件时，基于所述目标从节点所在区域的主节点，对所述负载特征进行时序特征提取，确定所述目标从节点所在区域的各从节点的时序特征，所述时序特征提取条件包括获取目标从节点发送的任务请求。

4.根据权利要求1所述的基于分布式云平台的任务调度方法，其特征在于，所述任务调度策略包括计算任务调度策略，所述深度强化学习模块包括估计网络子模块和调度子模块，所述估计网络子模块的输出为所述调度子模块的输入，所述估计网络子模块包括状态价值函数估计网络和优势函数估计网络，所述状态价值函数估计网络和所述优势函数估计网络共享输入所述深度强化学习模块的特征；

所述得到所述目标从节点的任务调度策略，包括：

获取所述状态价值函数估计网络的第一输出值和所述优势函数估计网络的第二输出值；

将所述第一输出值和所述第二输出值作为所述调度子模块的输入，所述调度子模块还包括状态价值网络；

基于所述状态价值网络中设置的预定状态价值条件，对所述第一输出值和所述第二输出值进行计算资源分析，并根据得到的计算资源结果信息，确定对所述目标从节点的计算任务调度策略，所述计算资源结果信息至少包括计算资源结果信息对应的从节点。

5.根据权利要求1所述的基于分布式云平台的任务调度方法，其特征在于，所述任务调度策略包括通信任务调度策略，所述得到所述目标从节点的任务调度策略，包括：

将所述聚合图结构特征与所述目标从节点上各任务的历史记录进行聚类处理，确定与所述聚合图结构特征对应的第一参考码本，其中，所述目标从节点上各任务的历史记录包括历史聚合图结构特征以及与所述历史聚合图结构特征对应的第二参考码本；

基于预定码本池，将所述第一参考码本与所述预定码本池中的码本进行相似度计算，并根据计算得到的结果确定对所述目标从节点的通信任务调度策略。

6.一种基于分布式云平台的任务调度装置，其特征在于，所述基于分布式云平台的任务调度装置包括：

任务请求获取模块，用于获取目标从节点发送的任务请求，其中，所述任务请求包括基于所述目标从节点上各任务确定对应的图结构特征、与所述目标从节点相连的至少一个其他从节点的信道状态信息，以及所述目标从节点所在区域的各从节点的时序特征；

聚合模块，用于基于所述目标从节点所在区域的主节点上的特征提取模块，针对所述图结构特征上的每个任务节点，对所述任务节点以及所述任务节点的领域信息进行特征聚合处理，得到聚合图结构特征，所述领域信息是指与所述任务节点具有连接关系的节点对应的信息；

任务调度策略确定模块，用于将基于所述信道状态信息获取的信道状态特征、所述聚合图结构特征以及所述时序特征输入到深度强化学习模块中，得到所述目标从节点的任务调度策略；

调度模块，用于根据所述任务调度策略，对所述目标从节点上各任务进行调度分配。

7.如权利要求6所述的基于分布式云平台的任务调度装置，其特征在于，所述任务调度策略确定模块之前，还包括：

信道状态特征确定模块，用于基于所述目标从节点所在区域的主节点上的感知机模块，对所述信道状态信息进行特征提取，得到信道状态特征。

8.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于分布式云平台的任务调度方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于分布式云平台的任务调度方法。