CN115794322A - 一种面向大型移动设备移动数据中心的任务调度方法 - Google Patents

一种面向大型移动设备移动数据中心的任务调度方法 Download PDF

Info

Publication number
CN115794322A
CN115794322A CN202111062549.XA CN202111062549A CN115794322A CN 115794322 A CN115794322 A CN 115794322A CN 202111062549 A CN202111062549 A CN 202111062549A CN 115794322 A CN115794322 A CN 115794322A
Authority
CN
China
Prior art keywords
task
server
data
time
tasks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111062549.XA
Other languages
English (en)
Inventor
丁有伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Chinese Medicine
Original Assignee
Nanjing University of Chinese Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Chinese Medicine filed Critical Nanjing University of Chinese Medicine
Priority to CN202111062549.XA priority Critical patent/CN115794322A/zh
Publication of CN115794322A publication Critical patent/CN115794322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Multi Processors (AREA)

Abstract

本发明公开了一种面向大型移动设备移动数据中心的任务调度方法。该方法的步骤包括：①任务接收：收集移动数据中心、数据存储以及当前待调度的所有任务信息；②触发型任务调度：根据任务提交时间、数据传输时间、任务调度时间、任务时延约束等因素将任务分配到满足时延约束的服务器上执行；③交互型任务调度：按任务提交先后次序，将每个任务分配到多个存储待处理数据的服务器上分布式执行，减少任务处理时间；④任务迁移：若服务器上同时分配触发型任务和交互型任务，优先执行触发型任务，再根据等待时间和迁移时间判定是否将交互型任务迁移到其他服务器执行。本发明能显著提高大型移动设备移动数据中心任务执行效率，降低任务处理时延。

Description

一种面向大型移动设备移动数据中心的任务调度方法
技术领域
本发明涉及一种用于大型移动设备上构建移动数据中心所需的任务调度方法，属于移动设备数据处理领域。
背景技术
随着物联网、大数据和人工智能等技术的发展，飞机、舰船等大型移动设备的智能化水平越来越高，宛如移动的智能堡垒，其高度智能化的背后是大量高精度传感器和高性能数据处理技术的支撑。任务调度是高性能数据处理的关键技术，根据数据处理的任务特征和数据处理资源的分布情况，将任务按照特定顺序分配到数据处理资源上执行。传统的移动设备由于数据采集和处理较少，通常采用集中式的数据处理方式，即所有的数据任务均由一台服务器统一处理，服务器按一定顺序依次处理每一个任务。随着传感器数量增加、数据采集频繁和规模增大、数据处理任务数量和复杂程度的增长，以及任务处理实时性和可靠性的约束，单一的服务器已经无法满足数据处理的需求，因此目前大型移动设备通常在设备的不同位置配置多个服务器，并将这些服务器组织成移动数据中心的形式，使用分布式技术提高任务处理的高效性和可靠性。但是移动数据中心在物理架构和应用需求方面与传统的数据中心存在较大的差距，包括服务器数量少且相互之间通过高速数据总线直连、任务类型少且多为感知数据的监控预警或统计分析、数据可靠性要求高且一旦丢失无法恢复、任务处理实时性高且响应不及时会导致严重后果等，因此，为了保证移动设备数据处理的高效性，需要研究面向大型移动设备移动数据中心的任务调度方法。
传统移动设备的任务调度本质上是各任务竞争唯一的服务器的使用权，通常根据任务的某些约束如响应时间、资源需求等计算任务的优先级，然后将任务按照优先级排序，优先级高的任务先执行，不适用于多服务器的任务调度。当前针对大型移动设备上移动数据中心的研究尚处于起步阶段，如飞机的分布式综合模块化航空电子***即利用分布式思想对飞机上各控制设备进行管理，但当前的研究主要集中在网络结构设计、硬件资源部署和安全性验证等方面，对任务调度方法的演技较少。分布式***的任务调度问题已经被证明为NP难问题，无法找到多项式复杂度的最优调度算法，因此多采用现有的优化模型或启发式策略寻找较优的调度方案。传统数据中心的任务调度方法已被广泛研究并产生很多高精度的调度算法，但这些方法不能适用于移动设备移动数据中心的任务调度中，原因在于：一是注重调度方案最优解的方法多采用遗传算法等工程类算法或者神经网络等深度学习算法，但此类方法需要大规模高性能计算资源的支持，而移动数据中心通常只配备几个服务器，可能导致任务的调度时间超过任务执行时间；二是注重资源利用率的调度方法通常面向计算密集型、数据密集型、网络密集型等多种类型的任务，而移动数据中心的任务大部分为数据密集型任务，可能会导致大量任务集中在某个服务器上影响任务响应时间；三是注重算法性能的调度方法通常面向特定应用为每个任务设定一种贪心分配策略，一般基于本地的局部信息进行贪心且分配好的任务不进行抢占和迁移，而是移动数据中心可以方便的获取全局信息和任务迁移，且高实时性的任务必须支持抢占执行。
综上所述，面向移动设备移动数据中心的任务调度方法需要综合考虑移动数据中心的网络结构特征和移动设备的数据处理任务特征，如服务器数量和计算能力、服务器连接方式、任务类型、任务响应时间、任务超时影响等因素。高效的调度算法既可以快速将每个任务分配到合适的服务器上执行，也可以保证每个任务在限定时间内完成，为移动设备的智能控制提供技术支撑。
发明内容
本发明提供一种面向大型移动设备移动数据中心的任务调度方法，旨在根据移动数据中心的结构特征和移动设备的任务特征对移动设备最常见的触发型和交互型任务进行调度，综合考虑数据的存储分布、任务的紧急程度、高速总线的传输能力、服务器的计算能力、任务的迁移代价等因素进行任务的排序、分配、抢占和迁移，提高移动数据中心任务调度的性能和精度。
本发明采用的技术方案如下：
一种面向大型移动设备移动数据中心的任务调度方法，具体包括如下步骤：
(1)任务接收：收集移动数据中心的相关信息、数据存储分布情况以及移动设备当前需要调度的所有触发型和交互型任务的相关信息等；
(2)触发型任务调度：触发型任务的调度以保障任务响应时间为前提，根据任务提交时间、数据传输时间、任务调度时间、任务时延约束等因素进行任务分配，确保触发型任务可以在时延约束内完成；
(3)交互型任务调度：按照任务提交时间先后依次进行调度，根据每个任务待处理数据集的分布情况，利用分布式思想将任务处理分布到多个存储待处理数据的服务器上同时处理，降低交互型任务的处理时间；
(4)任务迁移：在移动设备运行过程中，若交互型任务执行过程中接收到对时延约束更严格的触发型任务时，触发型任务抢占服务器处理资源，综合考虑任务等待时间和任务迁移时间判定原交互型任务的后续执行方式。
本发明的有益效果为：
(1)综合考虑移动数据中心的结构特征和移动设备的任务特征，调度方法与应用需求契合，保证移动数据中心任务调度的高效性和正确性。
(2)提取移动设备最常用的两种任务作为调度对象，在调度过程的排序、分配、抢占和迁移阶段充分考虑了任务的特征，确保任务调度方法的实用性。
(3)任务调度过程各步骤操作简单，调度算法本身计算复杂度低，适用于移动数据中心服务器数量少、计算资源不足的特征，确保任务调度的高效性。
附图说明
图1是本发明面向大型移动设备移动数据中心任务调度方法的网络架构。
图2是本发明面向大型移动设备移动数据中心任务调度方法的具体流程。
图3是本发明实施例的资源配置预测过程。
具体实施方式
下面根据实施例进一步说明本发明的技术方案。
本发明所提出的任务调度方法主要用于飞机、舰船等大型移动设备上构建的移动数据中心，对移动设备上各类数据处理任务在移动数据中心各服务器上的执行进行调度，保证各任务快速调度到合适的服务器上执行并能够在限定时间内处理完成。移动设备的智能控制通常基于大量的数据处理任务，主要包括因满足预设条件而触发的触发型任务和正常分析控制需要的交互型任务两类，一般而言触发型任务常为各类异常或预警任务，对任务处理的响应时间要求较高，而交互型任务对响应时间的要求不太严格。调度方法既要考虑移动数据中心的结构特征，还需要考虑不同任务的特征。
大型移动设备的移动数据网络架构参见图1，每个服务器负责对一片物理区域内传感器采集数据的存储和处理，服务器之间通过高速数据总线两两直接相连，每个物理区域内的传感器通过专用总线唯一连接到负责该片区域的服务器。
目前面向大型移动设备移动数据中心的任务调度方法主要有两类，一是使用集中式调度方法，将所有任务排序后唯一的服务器上依次执行，不涉及到任务到服务器的分配问题；二是使用传统数据中心的调度方法，但未考虑移动数据中心服务器数量少、计算资源不足以及移动设备任务的特征。提出的面向大型移动设备移动数据中心的任务调度方法的调度流程如图2所示。本发明从移动设备的任务特征和移动数据中心的结构特征出发，综合考虑数据存储分布、服务器规模和处理能力约束、数据处理任务的数据需求和响应时间约束，提高任务调度过程的高效性和调度结果的准确性。具体的任务调度过程包括如下四个步骤：
1、任务接收：收集移动数据中心的相关信息、数据存储分布情况以及移动设备当前需要调度的所有任务信息，具体信息包括：
①移动数据中心的m个服务器P＝{P1,P2,…,Pm}接收当前需要处理的各类任务，包括触发型任务集合
Figure BDA0003257208550000041
和交互型任务集合
Figure BDA0003257208550000042
其中NT和NI分别为触发型任务和交互型任务的数量，m表示移动数据中心服务器的数量；
②收集触发型任务信息：每个触发型任务的相关信息
Figure BDA0003257208550000043
其中1≤i≤NT，ati和χi分别表示任务
Figure BDA0003257208550000044
的提交时间以及单位数据量的计算复杂系数，wi表示任务
Figure BDA0003257208550000045
待处理的数据量，wi中存储在服务器Pj上的数据量为wi,j，即wi＝(wi,1,wi,2,L,wi,m)，1≤j≤m；
③收集交互型任务信息：每个交互型任务的相关信息
Figure BDA0003257208550000046
其中ati表示任务
Figure BDA0003257208550000047
的到达时间，χi表示任务
Figure BDA0003257208550000048
中单位数据量的计算复杂系数，Xi＝(xj,k)s×m表示任务
Figure BDA0003257208550000049
待处理的数据集在各服务器上的分布情况，任务
Figure BDA00032572085500000410
处理的大规模数据集Di分成s个分片{Di,1,Di,2,…,Di,s}存储在不同的服务器上，若第j个数据分片Di,j存储在服务器Pk上则xj,k＝1，否则xj,k＝0，1≤i≤NI，1≤k≤m，1≤j≤s。
2、触发型任务调度：触发型任务的调度以保障任务响应时间为前提，具体过程如下：
①计算数据传输时间：计算每个任务
Figure BDA00032572085500000411
在P＝{P1,P2,…,Pm}的每个服务器Pj上执行时任务待处理数据传输到Pj的数据传输时间
Figure BDA00032572085500000412
任务在所有服务器上执行的数据传输时间集合
Figure BDA00032572085500000413
其中1≤i≤NT，1≤j≤m，dk,j表示服务器Pk与Pj之间的数据传输距离，若k＝j表示服务器自身的数据存储，即dj,j＝0，τ表示单位数据量传输单位距离所用时间；
②任务排序：计算每个任务
Figure BDA00032572085500000416
在所有服务器上执行的最小传输时间
Figure BDA00032572085500000414
将所有触发型任务
Figure BDA00032572085500000415
按照最小传输时间的降序排序，按照数据传输时间由大到小的顺序依次调度每一个任务；
③计算资源需求：对于每个任务
Figure BDA0003257208550000051
任务处理剩余时间
Figure BDA0003257208550000052
任务的总计算量
Figure BDA0003257208550000053
对服务器的最低处理资源需求
Figure BDA0003257208550000054
其中ati表示任务
Figure BDA0003257208550000055
的触发时间，TthresholdT表示触发型任务的最大允许延时，ct为当前时间；
④任务分配：对于每个任务
Figure BDA0003257208550000056
最小的数据传输时间对应的服务器为
Figure BDA0003257208550000057
判断服务器Pk上可用的数据处理资源ActiveResource(Pk)是否满足任务
Figure BDA0003257208550000058
的最低处理资源需求，如果
Figure BDA0003257208550000059
则将任务
Figure BDA00032572085500000510
分配到服务器
Figure BDA00032572085500000511
上执行；若
Figure BDA00032572085500000512
重复执行①～④，将任务
Figure BDA00032572085500000513
在服务器集合P′＝P-{Pk}＝{P1,P2,…,Pk-1,Pk+1,…,Pm}上进行任务分配；
⑤任务缓存：若当前所有服务器均不能满足任务
Figure BDA00032572085500000514
的处理资源需求，则将任务
Figure BDA00032572085500000515
加入任务缓存队列，与下一时刻用户提交的触发型任务一起进行调度。
3、交互型任务调度：交互型任务按照任务提交时间先后依次进行调度，对于每个分析型任务
Figure BDA00032572085500000516
根据其待处理数据集的分布情况Xi＝(xj,k)s×m，将任务
Figure BDA00032572085500000526
分配到合适的服务器上执行，调度过程如下：
①选择候选服务器：每个服务器Pj上存储的任务
Figure BDA00032572085500000517
待处理的数据分片集合为DCi,j，待处理的数据分片数量
Figure BDA00032572085500000518
所有DCi,j≠Φ的服务器均为任务
Figure BDA00032572085500000519
可调度的候选服务器，所有候选服务器的集合为PC＝{Pj|DCi,j≠Φ,1≤j≤m}，其中s为任务
Figure BDA00032572085500000520
待处理的数据分片数量，1≤j≤m，1≤i≤NI；
②任务分配：从候选服务器集合PC中选择待处理数据分片最少的服务器Pk∈PC用于执行任务
Figure BDA00032572085500000521
负责其存储的待处理数据分片集合DCi,k的处理，其中1≤k≤m；
③候选服务器更新：更新每个候选服务器Pj∈PC存储的待处理数据分片DCi,j＝DCi,j-DCi,k，若DCi,j＝Φ，则将其从候选服务器集合中移除，其中Pk为当前已分配用来执行任务
Figure BDA00032572085500000522
的服务器，1≤j≤m；
④终止分配：循环执行步骤②③，直到任务
Figure BDA00032572085500000523
待处理的数据分片均被分配的服务器处理，即
Figure BDA00032572085500000524
且每个服务器处理的数据分片不同，即
Figure BDA00032572085500000525
其中1≤j,k≤m，j≠k；
⑤计算任务处理时间：任务
Figure BDA0003257208550000061
的处理时间
Figure BDA0003257208550000062
其中每个服务器的任务处理时间
Figure BDA0003257208550000063
其中
Figure BDA0003257208550000064
表示Pj实际处理的任务
Figure BDA0003257208550000065
的数据分片数量，υ为每个数据分片的单位数据量，resourcej为Pj上当前可用的数据处理资源,χi表示任务
Figure BDA0003257208550000066
中单位数据量的计算复杂系数，1≤j≤m。
4、任务迁移：当服务器Pj在执行交互型任务
Figure BDA0003257208550000067
的过程中接收到触发型任务
Figure BDA0003257208550000068
时，需要决定交互型任务
Figure BDA0003257208550000069
的是否需要迁移到其他服务器上执行，还是在当前服务器上等待触发型任务完成后继续执行，具体过程如下：
①任务等待判定：若交互型任务
Figure BDA00032572085500000610
在服务器Pj上的预期处理时间为
Figure BDA00032572085500000611
交互型任务
Figure BDA00032572085500000612
的处理时间为
Figure BDA00032572085500000613
触发型任务
Figure BDA00032572085500000614
在服务器Pj上的执行时间为
Figure BDA00032572085500000615
当
Figure BDA00032572085500000616
时不需要将交互型任务
Figure BDA00032572085500000617
迁移到其他服务器Pj上执行，其中1≤i≤NI，1≤j≤m，1≤h≤NT；
②任务迁移判定：若移动数据中心内未执行该交互任务的服务器集合为PM，将当前服务器Pj上未完成的交互任务
Figure BDA00032572085500000618
和未处理的数据
Figure BDA00032572085500000619
迁移到PM中任一拥有足够数据处理资源的服务器Pk上继续执行，未处理数据
Figure BDA00032572085500000620
从服务器Pj迁移到Pk的数据传输时间
Figure BDA00032572085500000621
当
Figure BDA00032572085500000622
时进行任务迁移，当
Figure BDA00032572085500000623
时等待触发型任务
Figure BDA00032572085500000624
执行完成后继续执行原交互型任务
Figure BDA00032572085500000625
其中dj,k表示服务器Pj到Pk的传输距离，
Figure BDA00032572085500000626
表示迁移的数据量，τ为服务器之间单位长度高速总线上传输单位数据量所需时间，
Figure BDA00032572085500000627
为触发型任务
Figure BDA00032572085500000628
在服务器Pj上的执行时间。
实施例
本实施例的资源配置预测过程参见图3，具体过程为：若某移动设备的移动数据中心由3个服务器{P1,P2,P3}和若干传感器构成，任务调度过程如下：
①若t1时刻提交交互型任务J1，其处理的数据集包含四个数据分片{D1,D2,D3,D4}，其中服务器P1上存储{D1,D3}，P2上存储{D1,D2}，P3上存储{D2,D4}；
②交互型任务J1的调度过程如下：首先计算当前的候选服务器PC＝{P1,P2,P3}，每个服务器均存储了两个待处理数据分片分别为{D1,D3}、{D1,D2}、{D2,D4}，随机选择服务器P1用来处理数据分片D1和D3；服务器P1、P2和P3的待处理数据分片更新为Φ、{D2}和{D2,D4}，候选服务器集合更新为{P2,P3}，选择待处理数据分片最少的服务器P2用来处理数据分片D2；服务器P1、P2和P3的待处理数据分片更新为Φ、Φ和{D4}，候选服务器集合更新为{P3}，选择服务器P3用来处理数据分片D4，此时任务J1调度完成；
③若每个数据分片的处理时间为2s，则服务P1、P2和P3分别需要4s、2s和2s完成各自的数据处理，任务J1的完成时间为4s；
④若交互型任务J1提交1s后的t2时刻提交了触发型任务J2，需要处理的数据分别为P1上的w1、P2上的w2和P3上的w3，若任务J2在服务器P1、P2和P3上执行分别需要0.5s、0.2s和0.4s进行数据传输；
⑤若触发型任务J2在提交时立即进行调度，其最大允许时延为1s，若任务J2在服务器P1、P2和P3上执行最大的任务处理时间分别为0.5s、0.8s和0.6s；首先尝试将任务J2分配到服务器P2执行，若服务器P2的可用资源可以满足任务J2的需求，则将触发型任务J2分配到服务器P2上执行；
⑥在t2时刻即可将触发型任务J2分配到服务器P2上执行，再经过0.2s后任务J2所需处理的数据全部传输到服务器P2上，此时P2上正在执行交互式任务J1；此时服务器P2暂停交互式任务J1的执行，转而执行触发型任务J2；
⑦任务J1在服务器P2上执行1.2s后被暂停，触发型任务J2需要占用服务器P2的时间为0.8s，若服务器P2在执行完任务J2后继续执行任务J1，则服务器P2对任务J1的数据处理时间为2.8s，小于任务J1的处理时间4s，因此服务器P2上对任务J1的处理不迁移，等待触发型任务J2执行完成后继续在P2上进行任务J1的数据分片{D2}的处理；
⑧最终可以得到，交互型任务J1在提交4s后完成执行，执行过程由服务器P1、P2和P3共同完成；触发型任务J2在提交后0.2s内完成数据从P1和P3到P2的数据传输，随后0.8s内在服务器P2上完成执行；由于数据处理与数据传输使用的服务器资源不同，因此在任务J2提交后的0.2s内，服务P1和P3同时完成任务J1的数据处理和任务J2的数据传输。
本实施例中介绍的仅是示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围，对于表示在说明书附图中的示例性实施方式中的术语并不是对本发明的限定，在说明书附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义；另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

Claims (5)

1.一种面向大型移动设备移动数据中心的任务调度方法，其特征在于，该方法具体包括如下步骤：
(1)任务接收：收集移动数据中心的相关信息、数据存储分布情况以及移动设备当前需要调度的所有触发型和交互型任务的相关信息；
(2)触发型任务调度：触发型任务的调度以保障任务响应时间为前提，根据任务提交时间、数据传输时间、任务调度时间、任务时延约束进行任务分配，确保触发型任务可以在时延约束内完成；
(3)交互型任务调度：按照任务提交时间先后依次进行调度，根据每个任务待处理数据集的分布情况，利用分布式思想将任务处理分布到多个存储待处理数据的服务器上同时处理，降低交互型任务的处理时间；
(4)任务迁移：在移动设备运行过程中，若交互型任务执行过程中接收到对时延约束更严格的触发型任务时，触发型任务抢占服务器处理资源，综合考虑任务等待时间和任务迁移时间判定原交互型任务的后续执行方式。
2.根据权利要求1所述的一种面向大型移动设备移动数据中心的任务调度方法，其特征在于，所述步骤(2)的具体步骤如下：
①计算数据传输时间：根据移动数据中心的结构以及每个任务待处理的数据集来源，计算每个触发型任务在每个服务器上执行需要的待处理数据传输时间；
②任务排序：统计每个任务在每个服务器上执行所需的最小传输时间，将所有触发型任务按最小传输时间的降序排序，优先调度数据传输最大的任务；
③计算资源需求：计算每个任务的剩余时间、任务的总计算量，以及对服务器的最低处理资源需求；
④任务分配：将每个任务预分配到最小数据传输时间的服务器上，判断该服务器上的可用资源是否可以满足任务的最低处理资源需求，如果满足则将任务分配到该服务器上执行，否则重复执行步骤(2)的①～④步，将该任务分配到其他可以在最短时间内完成处理的服务器上执行；
⑤任务缓存：若当前所有服务器均不能满足任务的处理资源需求，则将任务加入任务缓存队列，与下一时刻用户提交的触发型任务一起进行调度。
3.根据权利要求1所述的一种面向大型移动设备移动数据中心的任务调度方法，其特征在于，所述步骤(3)的具体步骤如下：
①选择候选服务器：将每个交互型任务待处理数据进行分片，所有存储待处理数据分片的服务器均为候选服务器，每个候选服务器上存储的当前任务待处理的所有数据分片构成该服务器的待处理数据分片集合；
②任务分配：将候选服务器中待处理数据分片数量最少的服务器分配用以执行当前任务的部分数据处理操作，该服务器执行的数据处理操作主要针对其存储的当前任务的待处理数据分片集合；
③候选服务器更新：从每个候选服务器的待处理数据分片集合中移除当前已分配执行的数据分片，从候选服务器中移除待处理数据分片集合为空的服务器；
④终止分配：循环执行步骤(3)的②、③步，直到当前交互型任务待处理的所有数据分片均被分配到候选服务器处理；
⑤计算任务处理时间：计算每个被选定的候选服务器处理待处理数据分片集合的处理时间，当前任务的处理时间为所有被选定的候选服务器的处理时间的最大值。
4.根据权利要求1所述的一种面向大型移动设备移动数据中心的任务调度方法，其特征在于，所述步骤(4)的具体步骤如下：
①任务等待判定：若当前抢占服务器的触发型任务的处理时间与被抢占的交互型任务在该服务器上的预期处理时间之和不超过被抢占的交互型任务的处理时间，则被抢占的交互型任务等待抢占服务器的触发型任务执行完成后继续在原服务器上执行；
②任务迁移判定：若当前被抢占的交互型任务将剩余未出处理的数据分片迁移到其他服务器的数据传输时间小于抢占服务器的触发型任务的执行时间，则将被抢占的交互型任务的未处理部分迁移到其他服务器上执行。
5.根据权利要求1所述的一种面向大型移动设备移动数据中心的任务调度方法，其特征在于，具体的任务调度过程包括如下四个步骤：
(1)、任务接收：收集移动数据中心的相关信息、数据存储分布情况以及移动设备当前需要调度的所有任务信息，具体信息包括：
①移动数据中心的m个服务器P＝{P1,P2,…,Pm}接收当前需要处理的各类任务，包括触发型任务集合
Figure FDA0003257208540000021
和交互型任务集合
Figure FDA0003257208540000022
其中NT和NI分别为触发型任务和交互型任务的数量，m表示移动数据中心服务器的数量；
②收集触发型任务信息：每个触发型任务的相关信息
Figure FDA0003257208540000023
其中1≤i≤NT，ati和χi分别表示任务
Figure FDA0003257208540000024
的提交时间以及单位数据量的计算复杂系数，wi表示任务
Figure FDA0003257208540000025
待处理的数据量，wi中存储在服务器Pj上的数据量为wi,j，即wi＝(wi,1,wi,2,L,wi,m)，1≤j≤m；
③收集交互型任务信息：每个交互型任务的相关信息
Figure FDA0003257208540000031
其中ati表示任务
Figure FDA0003257208540000032
的到达时间，χi表示任务
Figure FDA0003257208540000033
中单位数据量的计算复杂系数，Xi＝(xj,k)s×m表示任务
Figure FDA0003257208540000034
待处理的数据集在各服务器上的分布情况，任务
Figure FDA0003257208540000035
处理的大规模数据集Di分成s个分片{Di,1,Di,2,…,Di,s}存储在不同的服务器上，若第j个数据分片Di,j存储在服务器Pk上则xj,k＝1，否则xj,k＝0，1≤i≤NI，1≤k≤m，1≤j≤s；
(2)、触发型任务调度：触发型任务的调度以保障任务响应时间为前提，具体过程如下：
①计算数据传输时间：计算每个任务
Figure FDA0003257208540000036
在P＝{P1,P2,…,Pm}的每个服务器Pj上执行时任务待处理数据传输到Pj的数据传输时间
Figure FDA0003257208540000037
任务在所有服务器上执行的数据传输时间集合
Figure FDA0003257208540000038
其中1≤i≤NT，1≤j≤m，dk,j表示服务器Pk与Pj之间的数据传输距离，若k＝j表示服务器自身的数据存储，即dj,j＝0，τ表示单位数据量传输单位距离所用时间；
②任务排序：计算每个任务
Figure FDA0003257208540000039
在所有服务器上执行的最小传输时间
Figure FDA00032572085400000310
将所有触发型任务
Figure FDA00032572085400000324
按照最小传输时间的降序排序，按照数据传输时间由大到小的顺序依次调度每一个任务；
③计算资源需求：对于每个任务
Figure FDA00032572085400000311
任务处理剩余时间
Figure FDA00032572085400000312
任务的总计算量
Figure FDA00032572085400000313
对服务器的最低处理资源需求
Figure FDA00032572085400000314
其中ati表示任务
Figure FDA00032572085400000315
的触发时间，TthresholdT表示触发型任务的最大允许延时，ct为当前时间；
④任务分配：对于每个任务
Figure FDA00032572085400000316
最小的数据传输时间对应的服务器为
Figure FDA00032572085400000317
判断服务器Pk上可用的数据处理资源ActiveResource(Pk)是否满足任务
Figure FDA00032572085400000318
的最低处理资源需求，如果
Figure FDA00032572085400000319
则将任务
Figure FDA00032572085400000320
分配到服务器
Figure FDA00032572085400000321
上执行；若
Figure FDA00032572085400000322
重复执行①～④，将任务
Figure FDA00032572085400000323
在服务器集合P′＝P-{Pk}＝{P1,P2,…,Pk-1,Pk+1,…,Pm}上进行任务分配；
⑤任务缓存：若当前所有服务器均不能满足任务
Figure FDA0003257208540000041
的处理资源需求，则将任务
Figure FDA0003257208540000042
加入任务缓存队列，与下一时刻用户提交的触发型任务一起进行调度；
(3)、交互型任务调度：交互型任务按照任务提交时间先后依次进行调度，对于每个分析型任务
Figure FDA0003257208540000043
根据其待处理数据集的分布情况Xi＝(xj,k)s×m，将任务
Figure FDA0003257208540000044
分配到合适的服务器上执行，调度过程如下：
①选择候选服务器：每个服务器Pj上存储的任务
Figure FDA0003257208540000045
待处理的数据分片集合为DCi,j，待处理的数据分片数量
Figure FDA0003257208540000046
所有DCi,j≠Φ的服务器均为任务
Figure FDA0003257208540000047
可调度的候选服务器，所有候选服务器的集合为PC＝{Pj|DCi,j≠Φ,1≤j≤m}，其中s为任务
Figure FDA0003257208540000048
待处理的数据分片数量，1≤j≤m，1≤i≤NI；
②任务分配：从候选服务器集合PC中选择待处理数据分片最少的服务器Pk∈PC用于执行任务
Figure FDA0003257208540000049
负责其存储的待处理数据分片集合DCi,k的处理，其中1≤k≤m；
③候选服务器更新：更新每个候选服务器Pj∈PC存储的待处理数据分片DCi,j＝DCi,j-DCi,k，若DCi,j＝Φ，则将其从候选服务器集合中移除，其中Pk为当前已分配用来执行任务
Figure FDA00032572085400000410
的服务器，1≤j≤m；
④终止分配：循环执行步骤②、③，直到任务
Figure FDA00032572085400000411
待处理的数据分片均被分配的服务器处理，即
Figure FDA00032572085400000412
且每个服务器处理的数据分片不同，即
Figure FDA00032572085400000413
其中1≤j,k≤m，j≠k；
⑤计算任务处理时间：任务
Figure FDA00032572085400000414
的处理时间
Figure FDA00032572085400000415
其中每个服务器的任务处理时间
Figure FDA00032572085400000416
其中
Figure FDA00032572085400000417
表示Pj实际处理的任务
Figure FDA00032572085400000418
的数据分片数量，υ为每个数据分片的单位数据量，resourcej为Pj上当前可用的数据处理资源,χi表示任务
Figure FDA00032572085400000419
中单位数据量的计算复杂系数，1≤j≤m；
(4)、任务迁移：当服务器Pj在执行交互型任务
Figure FDA00032572085400000420
的过程中接收到触发型任务
Figure FDA00032572085400000421
时，需要决定交互型任务
Figure FDA00032572085400000422
的是否需要迁移到其他服务器上执行，还是在当前服务器上等待触发型任务完成后继续执行，具体过程如下：
①任务等待判定：若交互型任务
Figure FDA00032572085400000423
在服务器Pj上的预期处理时间为
Figure FDA00032572085400000424
交互型任务
Figure FDA00032572085400000425
的处理时间为
Figure FDA0003257208540000051
触发型任务
Figure FDA0003257208540000052
在服务器Pj上的执行时间为
Figure FDA0003257208540000053
当
Figure FDA0003257208540000054
时不需要将交互型任务
Figure FDA0003257208540000055
迁移到其他服务器Pj上执行，其中1≤i≤NI，1≤j≤m，1≤h≤NT；
②任务迁移判定：若移动数据中心内未执行该交互任务的服务器集合为PM，将当前服务器Pj上未完成的交互任务
Figure FDA0003257208540000056
和未处理的数据
Figure FDA0003257208540000057
迁移到PM中任一拥有足够数据处理资源的服务器Pk上继续执行，未处理数据
Figure FDA0003257208540000058
从服务器Pj迁移到Pk的数据传输时间
Figure FDA0003257208540000059
当
Figure FDA00032572085400000510
时进行任务迁移，当
Figure FDA00032572085400000511
时等待触发型任务
Figure FDA00032572085400000512
执行完成后继续执行原交互型任务
Figure FDA00032572085400000513
其中dj,k表示服务器Pj到Pk的传输距离，
Figure FDA00032572085400000514
表示迁移的数据量，τ为服务器之间单位长度高速总线上传输单位数据量所需时间，
Figure FDA00032572085400000515
为触发型任务
Figure FDA00032572085400000516
在服务器Pj上的执行时间。
CN202111062549.XA 2021-09-10 2021-09-10 一种面向大型移动设备移动数据中心的任务调度方法 Pending CN115794322A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111062549.XA CN115794322A (zh) 2021-09-10 2021-09-10 一种面向大型移动设备移动数据中心的任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111062549.XA CN115794322A (zh) 2021-09-10 2021-09-10 一种面向大型移动设备移动数据中心的任务调度方法

Publications (1)

Publication Number Publication Date
CN115794322A true CN115794322A (zh) 2023-03-14

Family

ID=85417294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111062549.XA Pending CN115794322A (zh) 2021-09-10 2021-09-10 一种面向大型移动设备移动数据中心的任务调度方法

Country Status (1)

Country Link
CN (1) CN115794322A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130790A (zh) * 2023-10-23 2023-11-28 云南蓝队云计算有限公司 一种云计算资源池动态调度方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130790A (zh) * 2023-10-23 2023-11-28 云南蓝队云计算有限公司 一种云计算资源池动态调度方法
CN117130790B (zh) * 2023-10-23 2023-12-29 云南蓝队云计算有限公司 一种云计算资源池动态调度方法

Similar Documents

Publication Publication Date Title
EP3399426B1 (en) Method and device for training model in distributed system
CN110442451B (zh) 一种面向深度学习的多类型gpu集群资源管理调度方法和***
CN108762896A (zh) 一种基于Hadoop集群任务调度方法及计算机设备
US9846589B2 (en) Virtual machine placement optimization with generalized organizational scenarios
US10783436B2 (en) Deep learning application distribution
CN107168782A (zh) 一种基于Spark与GPU的并行计算***
US20140059054A1 (en) Parallel generation of topics from documents
CN110347489B (zh) 一种基于Spark的多中心数据协同计算的流处理方法
CN113472597B (zh) 分布式卷积神经网络细粒度的参数传输调度方法及装置
WO2024021489A1 (zh) 一种任务调度方法、装置及Kubernetes调度器
CN105740059B (zh) 一种面向可分割任务的粒子群调度方法
CN116263701A (zh) 算力网络任务调度方法、装置、计算机设备及存储介质
CN108572872B (zh) 一种基于fpga可重构技术的资源管理方法
CN115794322A (zh) 一种面向大型移动设备移动数据中心的任务调度方法
CN111061565A (zh) 一种Spark环境下的两段式流水线任务调度方法及***
CN102184124B (zh) 任务调度方法及***
US20210390405A1 (en) Microservice-based training systems in heterogeneous graphic processor unit (gpu) cluster and operating method thereof
CN116700933B (zh) 一种面向异构算力联邦的多集群作业调度***和方法
CN116501828B (zh) 基于非结构化数据集的服务器无感知向量查询方法和***
CN109976873A (zh) 容器化分布式计算框架的调度方案获取方法及调度方法
Silberstein Building an online domain-specific computing service over non-dedicated grid and cloud resources: The superlink-online experience
CN109446641B (zh) 一种云计算服务***的多阶段可靠性建模分析方法
CN115080207A (zh) 基于容器集群的任务处理方法及装置
Khalil et al. Survey of Apache Spark optimized job scheduling in Big Data
Zhou et al. Training and Serving System of Foundation Models: A Comprehensive Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination