CN111290841B - 任务调度方法、装置、计算设备及存储介质 - Google Patents

任务调度方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN111290841B
CN111290841B CN201811501565.2A CN201811501565A CN111290841B CN 111290841 B CN111290841 B CN 111290841B CN 201811501565 A CN201811501565 A CN 201811501565A CN 111290841 B CN111290841 B CN 111290841B
Authority
CN
China
Prior art keywords
data
task
processing
group
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811501565.2A
Other languages
English (en)
Other versions
CN111290841A (zh
Inventor
邓湘军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN201811501565.2A priority Critical patent/CN111290841B/zh
Publication of CN111290841A publication Critical patent/CN111290841A/zh
Application granted granted Critical
Publication of CN111290841B publication Critical patent/CN111290841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了任务调度方法、装置、计算设备及存储介质。其中，一种任务调度方法包括：执行多次生成操作，生成对待处理数据的多个任务调度计划，其中，每个任务调度计划用于描述对所述待处理数据的多个数据分片的处理任务的执行计划，所述多个数据分片存储在集群中；从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。本申请的任务调度方案可以启发式发现各种任务调度计划，并使得不同任务调度计划中本地执行的任务量不同，从而选定执行效率最高的任务调度计划作为任务执行方式，进而提高集群处理待处理数据的负载均衡和提高任务执行效率。

Description

任务调度方法、装置、计算设备及存储介质
技术领域
本申请涉及数据处理技术领域，尤其涉及任务调度方法、装置、计算设备及存储介质。
背景技术
随着数据处理技术的发展，集群可以用于存储数据和分布式处理数据。例如，一些应用方案可以利用集群对视频进行存储和转码处理。为了提高数据处理效率，集群可以应用任务调度策略来分配数据处理任务。集群可以分为同构模式和异构模式。同构模式的集群是指集群中各计算节点的计算能力基本一致。异构模式的集群可以包括不同计算能力的计算节点。数据处理方案可以应用在异构或者同构模式的集群中。然而，现有的任务调度策略的负载均衡性有待提高。
发明内容
根据本申请一个方面，提供一种任务调度方法，所述方法包括：执行多次生成操作，生成对待处理数据的多个任务调度计划，其中，每个任务调度计划用于描述对所述待处理数据的多个数据分片的处理任务的执行计划，所述多个数据分片存储在集群中；以及从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。其中，每次执行的生成操作，包括：将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中不同次生成操作对应的第一数据分片组的总任务量不同；将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，将第一数据分片组中数据分片的任务分配方式作为第一任务分配计划；将所述第二数据分片组中任一个数据分片的处理任务分配到所述集群中未存储该数据分片的一个计算节点，将第二数据分片组中数据分片的任务分配方式作为第二任务分配计划；和将包含第一任务分配计划和第二任务分配计划的分配方式作为本次生成操作生成的一个任务调度计划。
在一些实施例中，所述待处理数据为待转码视频，所述多个数据分片为多个视频分片，所述多个数据分片中每个数据分片的处理任务量为每个视频分片的转码任务量。
在一些实施例中，所述方法进一步包括：在生成所述多个任务调度计划之前，获取所述待处理数据的多个数据分片中每个数据分片的处理任务量；获取所述集群中各计算节点的计算能力和各计算节点之间数据传输带宽，其中，各计算节点的计算能力用于描述各计算节点在单位时间里处理的任务量。
在一些实施例中，将所述多个数据分片划分成第一数据分片组和第二数据分片组，包括：在所述多次生成操作的第一次生成操作中，将所述多个数据分片的总任务量作为所述第一数据分片组的总任务量，根据所述第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中，所述第一数据分片组包括所述多个数据分片，所述第二数据分片组为空；在所述多次生成操作的第一次生成操作之外的任一次生成操作中，将第一数据分片组的总任务量设置为比上一次生成操作中第一数据分片组的总任务量减少一个量阈值，根据设置的第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组。
在一些实施例中，所述根据设置的第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组，包括：以所述设置的第一数据分片组的总任务量为基准，从所述多个数据分片中选定数据分片的集合作为所述第一数据分片组；将所述多个数据分片中不属于第一数据分片组的数据分片加入到第二数据分片组。
在一些实施例中，所述将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，包括：根据第一数据分片组中数据分片的处理任务量和所述集群中计算节点的计算能力，将所述第一数据分片组中任一个数据分片的处理任务分配到存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。
在一些实施例中，所述根据第一数据分片组中各数据分片的处理任务量和所述集群中各计算节点的计算能力，将所述第一数据分片组中任一个数据分片的处理任务分配到存储该数据分片的多个计算节点中的最早完成该数据分片的处理任务的一个计算节点中，包括：对于第一数据分片组中数据分片，按照处理任务量的降序，依次确定各数据分片的处理任务对应的计算节点。其中，对于第一数据分片中任一个数据分片，确定该数据分片的处理任务对应的计算节点，包括：确定所述集群中存储有该数据分片的副本的多个计算节点；确定所述存储有该数据分片的副本的多个计算节点中每个计算节点对该数据分片的处理任务的预期完成时间点，其中，每个计算节点对该数据分片的处理任务的预期完成时间点为：该计算节点执行该数据分片的处理任务的开始时间点加上对该数据分片的处理任务的任务处理时长而得到的时间值，每个计算节点的所述任务处理时长为：该数据分片的处理任务量与该计算节点的计算能力的比值，和该计算节点对该数据分片的处理任务的启动时长之和；从所述存储有该数据分片的副本的多个计算节点中，选定预期完成时间点最早的一个计算节点作为该数据分片的处理任务对应的计算节点。
在一些实施例中，所述将所述第二数据分片组中任一个数据分片的处理任务分配到所述集群中未存储该数据分片的一个计算节点，包括：根据第二数据分片组中数据分片的处理任务量、所述集群中计算节点的计算能力和各计算节点之间数据传输带宽，将所述第二数据分片组中任一个数据分片的处理任务分配到未存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。
在一些实施例中，所述根据第二数据分片组中数据分片的处理任务量、所述集群中计算节点的计算能力和各计算节点之间传输带宽，将所述第二数据分片组中任一个数据分片的处理任务分配到未存储该数据分片的多个计算节点中最早完成该数据分片的处理任务的一个计算节点中，包括：对于第二数据分片组中数据分片，按照处理任务量的降序，依次确定各数据分片的处理任务对应的计算节点。其中，对于第二数据分片中任一个数据分片，确定该数据分片的处理任务对应的计算节点，包括：确定所述集群中未存储该数据分片的多个计算节点；确定所述未存储该数据分片的多个计算节点中每个计算节点对该数据分片的处理任务的预期完成时间点，其中，每个计算节点对该数据分片的处理任务的预期完成时间点为：该计算节点执行该数据分片的处理任务的开始时间点加上对该数据分片的处理任务的任务处理时长而得到的时间值，每个计算节点的所述任务处理时长为：所述数据分片的处理任务量与该计算节点的计算能力的比值、所述数据分片传输到该计算节点的传输时长和该计算节点对该数据分片的处理任务的启动时长之和；从所述多个计算节点中，选定预期完成时间点最早的一个计算节点作为该数据分片的处理任务对应的计算节点。
在一些实施例中，所述从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式，包括：对于任一次生成操作生成的任务调度计划，确定所述集群中各计算节点根据该任务调度计划执行任务的完成时长；从各计算节点对应的完成时长中选定最大的完成时长作为与该任务调度计划对应的执行时长；选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。
根据本申请一个方面，提供一种任务调度装置，其特征在于，所述装置包括：
计划生成单元，用于执行多次生成操作，生成对待处理数据的多个任务调度计划，其中，每个任务调度计划用于描述对所述待处理数据的多个数据分片的处理任务的执行计划，所述多个数据分片存储在集群中；以及
计划选定单元，用于从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。
其中，所述计划生成单元每次执行的生成操作，包括：将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中不同次生成操作对应的第一数据分片组的总任务量不同；将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，将第一数据分片组中数据分片的任务分配方式作为第一任务分配计划；将所述第二数据分片组中任一个数据分片的处理任务分配到所述集群中未存储该数据分片的一个计算节点，将第二数据分片组中数据分片的任务分配方式作为第二任务分配计划；和将包含第一任务分配计划和第二任务分配计划的分配方式作为本次生成操作生成的一个任务调度计划。
根据本申请一方面，提供一种计算设备，包括：处理器；存储器；以及一个或多个程序，存储在该存储器中并被配置为由所述处理器执行，所述一个或多个程序包括用于执行根据本申请的任务调度方法的指令。
根据本申请一方面，提供一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据本申请的任务调度方法。
综上，根据本申请的任务调度方案可以启发式发现各种任务调度计划，并使得不同任务调度计划中本地执行的任务量不同，从而选定执行效率最高的任务调度计划作为任务执行方式，进而提高集群处理待处理数据的负载均衡和提高任务执行效率。特别是，本申请的任务调度方案充分考虑了数据在不同计算节点之间的传输时间，从而提高任务调度方案的建模精确性，进而提高对待处理数据的执行效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A示出了根据本申请一些实施例的应用场景100的示意图；
图1B示出了本申请一些实施例的一个视频的层次结构的示意图；
图2示出了根据本申请一些实施例的任务调度方法200的流程图；
图3示出了根据本申请一些实施例的执行生成操作的方法300的流程图；
图4示出了根据本申请一些实施例的划分数据分片组的方法400的流程图；
图5示出了根据本申请一些实施例的确定数据分片的处理任务对应的计算节点的方法500的流程图；
图6示出了根据本申请一些实施例的确定数据分片的处理任务对应的计算节点的方法600流程图；
图7示出了根据本申请一些实施例的选定任务调度计划的方法700的流程图；
图8示出了根据本申请一些实施例的任务调度方法800的流程图；
图9示出了根据本申请一些实施例的任务调度装置900的示意图；以及
图10示出了根据本申请一些实施例的一个计算设备的组成结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在一些应用场景中，集群可以存储各种待处理数据，并且可以执行对待处理数据的处理任务。集群可以利用任务调度方案来均衡各计算节点的任务负载，从而提高集群的数据处理效率。这里，待处理数据例如为待转码视频，但不限于此。在一些实施例中，待处理数据可以包括多个数据分片。数据分片例如可以是由视频内容分割而成的视频分片。数据分片可以分布式存储在集群中。集群可以基于任务调度方案来分配对数据分片的处理任务，以便均衡负载。下面以视频处理场景为例，对根据本申请的任务调度方案的应用场景进行示例性说明。图1A示出了根据本申请一些实施例的应用场景100的示意图。如图1A所示，应用场景包括视频存储设备110、分割设备120、预测设备130、集群140和合并设备150。
视频存储设备110例如可以是能够提供待转码视频的用户终端设备或者服务器等设备。这里，用户终端设备例如可以包括但不限于摄像机、掌上型计算机、可穿戴计算设备、个人数字助理(PDA)、平板计算机、笔记本电脑、台式计算机、移动电话、智能手机、增强型通用分组无线业务(EGPRS)移动电话、媒体播放器、导航设备、游戏控制台、电视机、或任意两个或更多的这些数据处理设备或其他数据处理设备的组合。服务器例如可以是硬件独立的服务器节点或者虚拟服务器等等。视频存储设备110可以提供电影、电视剧、综艺节目、体育比赛和用户直播等各种视频内容。
分割设备120可以将来自视频存储设备110的视频内容进行分割，以得到多个视频分片。对于一项视频内容而言，分割设备120可以采用各种适合的分割策略对视频分片的数量和大小进行控制。这里，分割设备120可以实现为服务器或者用户终端设备。图1B示出了本申请一些实施例的一个视频的层次结构的示意图。分割设备120可以将视频划分为视频分片序列。视频分片序列例如可以包括视频分片1、2、和3。视频分片2可以包括视频分片的头部信息和多个图像组(Group of pictures，缩写为GOP)，例如包括图像组1、2和3。图像组1例如可以包括图像组的头部信息和多个图像帧，例如包括图像帧1、2和3。图像帧1可以包括多个宏块组(Group of Blocks，缩写为GOB)，例如包括宏块组1、2、3。宏块组3例如可以包括多个宏块(Macroblock，缩写为MB)，例如宏块1、2、3、4和5。每个宏块可以包括亮度像素块和色度像素块。
预测设备130可以预测来自分割设备120的各视频分片的转码任务量。这里，转码任务量也可以称为转码复杂度。一个视频分片的转码复杂度可以表示为一个处理该视频分片的计算设备的计算能力与需要的转码时间的乘积。计算设备的计算能力用于描述计算设备在处理计算任务时的计算速度。预测期130可以实现为服务器或者用户终端设备。
集群140可以包括多个服务器节点。集群140可以是各种服务器集群架构，本申请对此不作限制。从软件角度而言，集群140例如可以是基于哈杜普(Hadoop)的服务器集群。另外，从硬件角度而言，集群140可以是同构模式的集群(即不同计算节点的计算能力一致)或者异构模式的集群(即不同计算节点的计算能力可以不同)。集群140可以分布式存储待转码视频的视频分片，还可以管理待转码视频的描述信息。这里，描述信息可以包括待转码视频的各视频分片的转码任务量。集群140可以利用服务器节点进行转码操作。在一些实施例中，集群140中服务器节点可以包括管理节点141和多个计算节点(例如142、143和144)。计算节点可以用于存储视频分片和对视频分片进行转码操作。这样，集群140可以生成各种码率格式的视频分片。从清晰度的角度划分，码率格式例如可以是低清、标清、720P和1080p等等。管理节点141可以根据各视频分片的转码任务量生成转码调度策略，并控制计算节点进行转码操作。
合并设备150可以将集群140转码得到的视频分片拼接为完整的视频。合并设备150还可以将完整的视频传输到视频存储设备110。合并设备150可以实现为服务器或者用户终端设备。
应用场景100中各设备可以通过一个或多个网络(未示出)进行通信。一个或多个网络的示例包括局域网(LAN)和广域网(WAN)等等。本申请的实施例可以使用任意网络协议来实现一个或多个网络，包括各种有线或无线协议，诸如，以太网、通用串行总线(USB)、FIREWIRE、全球移动通讯***(GSM)、增强数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、WiFi、IP语音(VOIP)，Wi-MAX，或任意其他适合的通信协议。
图2示出了根据本申请一些实施例的任务调度方法200的流程图。方法200可以由各种进行数据处理的集群执行，但不限于此。以图1的应用场景为例，方法200可以由集群140中的管理节点141执行。
在步骤S201中，执行多次生成操作，生成对待处理数据的多个任务调度计划。每次生成操作可以生成一个任务调度计划。其中，每个任务调度计划用于描述对待处理数据的多个数据分片的处理任务的执行计划。多个数据分片可以存储在集群140中。在一些实施例中，待处理数据例如为待转码视频。所述多个数据分片为多个视频分片。每个数据分片的处理任务量为每个视频分片的转码任务量。为了提高存储安全性，集群140可以存储每个视频分片的多个副本。
另外说明的是，步骤S201可以依次执行各次生成操作，也可以并行执行多次生成操作，本申请对此不做限制。在一些实施例中，步骤S201任一次执行生成操作的方式可以实施为方法300。
如图3所示，在步骤S301中，将待处理数据的多个数据分片划分成第一数据分片组和第二数据分片组。其中，不同次生成操作对应的第一数据分片组的总任务量不同。一个数据分片的处理任务量也可以称为计算复杂度。一个数据分片计算复杂度可以表示为一个处理该数据分片的计算设备的计算能力与需要的计算时间的乘积。在一些实施例中，集群140可以从预测设备130获取描述信息。描述信息可以包括视频分片的转码任务量。在一些实施例中，集群140可以对视频分片的转码任务量进行分析，从而得到关于待转码视频中各视频分片的转码任务量。另外说明的是，本申请的实施例可以采用各种划分策略划分不同次生成操作中第一数据分片组的总任务量。例如，本申请实施例可以使得：多次生成操作对应的多个第一数据分片组的总任务量在被排序时满足等差数列。其中，等差数列的差值例如为所述多个数据分片的处理任务量中最小的处理任务量。
在步骤S302中，将第一数据分片组中任一个数据分片的处理任务分配到集群140中存储该数据分片的一个计算节点，将第一数据分片组中数据分片的任务分配方式作为第一任务分配计划。步骤S302可以采用各种负载均衡策略将第一数据分片组中数据分片的处理任务分配到集群140中计算节点。
在步骤S303中，将第二数据分片组中任一个数据分片的处理任务分配到集群140中未存储该数据分片的一个计算节点，将第二数据分片组中数据分片的任务分配方式作为第二任务分配计划。步骤S303可以采用各种负载均衡策略将第一数据分片组中数据分片的处理任务分配到集群140中计算节点。
在步骤S304中，将包含第一任务分配计划和第二任务分配计划的分配方式作为本次生成操作生成的一个任务调度计划。
综上，通过步骤S302与S303的组合，方法300可以将第一数据分片组对应的处理任务进行本地执行，并且将第二数据分片组对应的处理任务进行异地执行。在此基础上，通过步骤S301-S303的组合，步骤S201可以利用多次生成操作，获取多个任务调度计划，并使得不同任务调度计划中本地执行的任务量不同(即第一数据分片组的总任务量不同)。
在步骤S202中，从多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。
综上，通过步骤S201和S202的组合，任务调度方法200可以启发式发现各种任务调度计划，并使得不同任务调度计划中本地执行的任务量不同，从而选定执行效率最高的任务调度计划作为任务执行方式，进而提高集群140处理待处理数据的负载均衡和提高任务执行效率。
在一些实施例中，步骤S301对第一数据分片组和第二数据分片组的划分操作方式，可以包括步骤S3011和S3012。在上述多次生成操作的第一次生成操作中，步骤S301可以执行步骤S3011，将多个数据分片的总任务量作为第一数据分片组的总任务量，根据第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组。其中，第一数据分片组包括所述多个数据分片，第二数据分片组为空。换言之，将待处理的数据分片全部划分到第一数据分片组中。
在上述第一次生成操作之外的任一次生成操作中，步骤S301可以执行步骤S3012，将第一数据分片组的总任务量设置为比上一次生成操作中第一数据分片组的总任务量减少一个量阈值。在迭代执行多次生成操作时，量阈值可以作为调节第一数据分片组的总任务量的步长值。例如，步骤S201可以迭代执行4次生成操作。各次生成操作中设置的第一数据分片组的总任务量为C1、C2、C3、C4。量阈值可以表示为Cstep，例如是待处理的多个数据分片的处理任务量中最小的处理任务量。C1和C2的差值为Cstep。类似地C2和C3的差值也为Cstep。在此基础上，步骤S3012根据设置的第一数据分片组的总任务量将多个数据分片划分成第一数据分片组和第二数据分片组。在一些实施例中，第一数据分片组的总任务量可以被设置为零(即将数据分片全部分配到第二数据分片组中)。
在一些实施例中，步骤S3012实施为方法400。在步骤S401中，以设置的第一数据分片组的总任务量为基准，从多个数据分片中选定数据分片的集合作为第一数据分片组。换言之，设置的第一数据分片组的总任务量为参考值，S401可以使得选定数据分片的实际总任务量接近于设置的总任务量。例如，步骤S401可以使得选定的数据分片的集合的任务量尽可能接近于且不超过设置的总任务量。
在步骤S402中，将待处理数据对应的全部数据分片中不属于第一数据分片组的数据分片加入到第二数据分片组。为了更形象说明步骤S3012的操作，下面举例说明。例如，待处理的数据分片一共包括N个数据分片。数据分片的集合V＝(v1，v2，v3，…，vN)，关于数据分片的数据大小的集合可以表示为S＝(s1，s2，s3，…，sN)，各数据分片的处理任务量的集合可以表示为C(c1，c2，c3，…，cN)。其中，数据分片vi的数据大小为si，处理任务量为ci。i为整数，取值范围为[1,N]。第一数据分片组可以表示为L，第一数据分片组可以表示为R。第一数据分片组L的总任务量可以表示为CL,第二数据分片组R的总任务量可以表示为CR。
待处理数据对应的全部数据分片的总任务量可以表示为Csum：
在一些实施例中，步骤S302更具体的实施方式为：根据第一数据分片组中数据分片的处理任务量和集群140中计算节点的计算能力，将第一数据分片组中任一个数据分片的处理任务分配到存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。这里，步骤S302通过将数据分片的处理任务分配到最早完成该数据的计算节点，可以使得第一数据分片组中数据分片的处理任务可以本地执行并且使得集群140中包含第一数据分片组中数据分片的计算节点负载均衡。
在一些实施例中，对于第一数据分片组中数据分片，步骤S302可以按照处理任务量的降序，依次确定各数据分片的处理任务对应的计算节点。这里，通过按照处理任务量的降序，步骤S302可以避免集群140中部分计算节点完成任务处理后处理空闲状态，从而提高集群140的负载均衡性。对于第一数据分片中任一个数据分片，步骤S302可以通过执行方法500，确定该数据分片的处理任务对应的计算节点。
如图5所示，在步骤S501中，确定集群140中存储有该数据分片的副本的多个计算节点。例如，数据分片A包括3个副本。3个副本分别存储在集群140的计算节点b1、b2和b3。步骤S501可以针对数据分片A，将计算节点b1、b2和b3确定为处理数据分片A的处理任务的备选节点。
在步骤S502中，确定存储有该数据分片的副本的多个计算节点中，每个计算节点对该数据分片的处理任务的预期完成时间点。例如，假如计算节点b1、b2和b3分别对数据分片A的处理任务进行执行。步骤S502可以确定计算节点b1、b2和b3各自的预期完成时间。其中，每个计算节点对该数据分片的处理任务的预期完成时间点为：该计算节点执行该数据分片的处理任务的开始时间点加上对该数据分片的处理任务的任务处理时长而得到的时间值。每个计算节点的所述任务处理时长为：该数据分片的处理任务量与该计算节点的计算能力的比值，和该计算节点对该数据分片的处理任务的启动时长之和。以数据分片A为例，计算节点b1对数据分片A的开始时间点t可以根据计算节点b1在执行数据分片A的处理任务之前所要执行的总任务量Ct的执行总时长T来确定。开始时间点t＝t0+T。t0表示计算节点b1第一次处理数据分片的开始时刻。
计算节点b1对数据分片A的任素处理时长TA＝cA/pb1+Ob1,其中，cA表示数据分片A的处理任务量。pb1表示计算节点b1的计算能力。Ob1,表示计算节点处理一个数据分片的处理任务的启动时长。
在步骤S503中，从存储有该数据分片的副本的多个计算节点中，选定预期完成时间点最早的一个计算节点作为该数据分片的处理任务对应的计算节点。在确定计算节点b2可以最早完成数据分片A的处理任务时，步骤S503可以将数据分片A的处理任务分配到计算节点b2,即将计算节点b2选定为与数据分片A的处理任务对应的计算节点。
综上，方法500可以将第一数据分片组中数据分片的处理任务分配到本地计算节点执行，并且可以按照最小完成时间的方式(即步骤S503选定最早完成数据分片的计算节点的方式)确定每个数据分片的任务分配方式时，从而可以保持集群140的负载均衡。
在一些实施例中，步骤S303可以根据第二数据分片组中数据分片的处理任务量、集群140中计算节点的计算能力和各计算节点之间数据传输带宽，将第二数据分片组中任一个数据分片的处理任务分配到未存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。
在一些实施例中，对于第二数据分片组中数据分片，步骤S303可以按照转码任务量的降序，依次确定各数据分片的处理任务对应的计算节点。通过按照转码任务量的降序确定第二数据分片组中数据分片对应的计算节点，步骤S303可以避免集群140中部分计算节点完成任务处理后处理空闲状态，从而提高集群140的负载均衡性。对于第二数据分片中任一个数据分片，步骤S303可以通过执行方法600，确定该数据分片的处理任务对应的计算节点。
如图6所示，在步骤S601中，确定集群140中未存储该数据分片的多个计算节点。例如集群140的计算节点集合J＝(j1，j2，…，jm)，m为正整数。例如，J中存储数据分片B的计算节点为j2、j3和j4。步骤S601可以将集合J中除去计算节点为j2、j3和j4的剩余计算节点作为用于梳理数据分片B的处理任务的备选计算节点。
在步骤S602中，确定未存储该数据分片的多个计算节点中每个计算节点对该数据分片的处理任务的预期完成时间点。其中，每个计算节点对该数据分片的处理任务的预期完成时间点为：该计算节点执行该数据分片的处理任务的开始时间点加上对该数据分片的处理任务的任务处理时长而得到的时间值。每个计算节点的所述任务处理时长为：数据分片的处理任务量与该计算节点的计算能力的比值、所述数据分片传输到该计算节点的传输时长和该计算节点对该数据分片的转码任务的启动时长之和。
以计算节点j1处理数据分片B的处理任务为例，计算节点j1的任务处理时长TB＝cB/pj1+Oj1+dB,j1其中，cB表示数据分片B的处理任务量，p j1表示计算节点j1的计算能力，Oj1表示计算节点j1对数据分片B的处理任务的启动时长。这里，任一个计算节点对不同数据分片的启动时长可以是一个常量。dB,j1表示数据分片B传输到计算节点j1的传输时长。
SB表示数据分片B的数据大小，W表示存储数据分片B的一个计算节点jx与计算节点j1的传输带宽。d为一个参考系数。在jx与计算节点j1同机柜时，d取值例如为1。在jx与计算节点j1不同机柜时，d取值例如为2。
在步骤S603中，从未存储该数据分片的多个计算节点中，选定预期完成时间点最早的一个计算节点作为该数据分片的处理任务对应的计算节点。
综上，方法600可以在按照最小完成时间方式对第二数据分片组中数据分片的处理任务进行分配时，对数据分片的数据传输时间进行考虑，从而可以提高对任务调度计划的完成时长的预测准确度(即，提高对任务调度计划的建模准确性)，进而可以提高集群的负载均衡性和对待处理数据的处理效率。
在一些实施例中，步骤S202可以实施为方法700。
如图7所示，在步骤S701中，对于任一次生成操作生成的任务调度计划，确定集群140中各计算节点根据该任务调度计划执行任务的完成时长。例如，集群140的计算节点集合J＝(j1，j2，…，jm)，计算节点ji上分配的总任务量为Cji。i为正整数，取值范围为[1,m]。计算节点ji执行Cji的完成时长为Tji。
在步骤S702中，从各计算节点对应的完成时长中选定最大的完成时长作为与该任务调度计划对应的执行时长。这里，执行时长是指集群140完成任务调度计划的处理时长。例如，对于任务调度计划P而言，集合J中完成时长最短的计算节点为j5。计算节点为j5的完成时长为Tj5。步骤S702可以将Tj5作为任务调度计划P的执行时长。
在步骤S703中，选定执行时长最短的一个任务调度计划作为对待处理数据的任务执行方式。综上，方法700可以对多个任务调度计划的执行时长进行比较，从而选定执行时长最短的任务调度计划作为对待处理数据的任务执行方式，从而提高对待处理数据的处理效率。
图8示出了根据本申请一些实施例的任务调度方法800的流程图。任务调度方法800例如可以由集群140执行。
如图8所示，在步骤S801中，获取所述待处理数据的多个数据分片中每个数据分片的处理任务量。
在步骤S802中，获取集群140中各计算节点的计算能力和各计算节点之间数据传输带宽，其中，各计算节点的计算能力用于描述各计算节点在单位时间里处理的任务量。
在步骤S803中，执行多次生成操作，生成对待处理数据的多个任务调度计划。每次生成操作可以生成一个任务调度计划。步骤S803更具体的实施方式与步骤S201一致，这里不再赘述。
在步骤S804中，从多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。步骤S804更具体的实施方式与步骤S202一致，这里不再赘述。
图9示出了根据本申请一些实施例的任务调度装置900的示意图。集群140的管理节点141例如可以包括任务调度装置900。装置900可以包括计划生成单元901和计划选定单元902。
计划生成单元901可以执行多次生成操作，生成对待处理数据的多个任务调度计划。其中，每个任务调度计划用于描述对所述待处理数据的多个数据分片的处理任务的执行计划。所述多个数据分片存储在集群中。
在一些实施例中，计划生成单元901每次执行的生成操作，包括：将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中不同次生成操作对应的第一数据分片组的总任务量不同；将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，将第一数据分片组中数据分片的任务分配方式作为第一任务分配计划；将所述第二数据分片组中任一个数据分片的处理任务分配到所述集群中未存储该数据分片的一个计算节点，将第二数据分片组中数据分片的任务分配方式作为第二任务分配计划；和将包含第一任务分配计划和第二任务分配计划的分配方式作为本次生成操作生成的一个任务调度计划。
在一些实施例中，所述待处理数据为待转码视频，所述多个数据分片为多个视频分片，所述多个数据分片中每个数据分片的处理任务量为每个视频分片的转码任务量。
在一些实施例中，装置900还可以包括第一获取单元903和第二获取单元904。在生成所述多个任务调度计划之前，第一获取单元903可以获取所述待处理数据的多个数据分片中每个数据分片的处理任务量。第二获取单元904可以获取集群140中各计算节点的计算能力和各计算节点之间数据传输带宽。其中，各计算节点的计算能力用于描述各计算节点在单位时间里处理的任务量。
在一些实施例中，计划生成单元901可以在所述多次生成操作的第一次生成操作中，将所述多个数据分片的总任务量作为所述第一数据分片组的总任务量，根据所述第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组。其中，第一数据分片组包括所述多个数据分片，所述第二数据分片组为空。在所述多次生成操作的第一次生成操作之外的任一次生成操作中，计划生成单元901可以将第一数据分片组的总任务量设置为比上一次生成操作中第一数据分片组的总任务量减少一个量阈值，根据设置的第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组。
在一些实施例中，计划生成单元901以所述设置的第一数据分片组的总任务量为基准，从所述多个数据分片中选定数据分片的集合作为所述第一数据分片组。计划生成单元901还可以将所述多个数据分片中不属于第一数据分片组的数据分片加入到第二数据分片组。
在一些实施例中，计划生成单元901根据第一数据分片组中数据分片的处理任务量和所述集群中计算节点的计算能力，将所述第一数据分片组中任一个数据分片的处理任务分配到存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。
在一些实施例中，对于第一数据分片组中数据分片，计划生成单元901按照处理任务量的降序，依次确定各数据分片的处理任务对应的计算节点。其中，对于第一数据分片中任一个数据分片，计划生成单元901可以根据下述方式确定该数据分片的处理任务对应的计算节点：确定所述集群中存储有该数据分片的副本的多个计算节点；确定所述存储有该数据分片的副本的多个计算节点中每个计算节点对该数据分片的处理任务的预期完成时间点，其中，每个计算节点对该数据分片的处理任务的预期完成时间点为：该计算节点执行该数据分片的处理任务的开始时间点加上对该数据分片的处理任务的任务处理时长而得到的时间值，每个计算节点的所述任务处理时长为：该数据分片的处理任务量与该计算节点的计算能力的比值，和该计算节点对该数据分片的处理任务的启动时长之和；从所述存储有该数据分片的副本的多个计算节点中，选定预期完成时间点最早的一个计算节点作为该数据分片的处理任务对应的计算节点。
在一些实施例中，计划生成单元901可以根据第二数据分片组中数据分片的处理任务量、所述集群中计算节点的计算能力和各计算节点之间数据传输带宽，将所述第二数据分片组中任一个数据分片的处理任务分配到未存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。
在一些实施例中，对于第二数据分片组中数据分片，计划生成单元901可以按照处理任务量的降序，依次确定各数据分片的处理任务对应的计算节点。其中，对于第二数据分片中任一个数据分片，计划生成单元901可以根据下述方式确定该数据分片的处理任务对应的计算节点：确定所述集群中未存储该数据分片的多个计算节点；确定所述未存储该数据分片的多个计算节点中每个计算节点对该数据分片的处理任务的预期完成时间点，其中，每个计算节点对该数据分片的处理任务的预期完成时间点为：该计算节点执行该数据分片的处理任务的开始时间点加上对该数据分片的处理任务的任务处理时长而得到的时间值，每个计算节点的所述任务处理时长为：所述数据分片的处理任务量与该计算节点的计算能力的比值、所述数据分片传输到该计算节点的传输时长和该计算节点对该数据分片的处理任务的启动时长之和；从所述多个计算节点中，选定预期完成时间点最早的一个计算节点作为该数据分片的处理任务对应的计算节点。
计划选定单元902可以从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。
在一些实施例中，对于任一次生成操作生成的任务调度计划，计划选定单元902确定所述集群中各计算节点根据该任务调度计划执行任务的完成时长。计划选定单元902还可以从各计算节点对应的完成时长中选定最大的完成时长作为与该任务调度计划对应的执行时长。计划选定单元902还可以选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。
综上，根据本申请的任务调度装置900可以启发式发现各种任务调度计划，并使得不同任务调度计划中本地执行的任务量不同，从而选定执行效率最高的任务调度计划作为任务执行方式，进而提高集群处理待处理数据的负载均衡和提高任务执行效率。特别是，本申请的任务调度装置900充分考虑了数据在不同计算节点之间的传输时间，从而提高任务调度方案的建模精确性，进而提高对待处理数据的执行效率。
图10示出了一个计算设备的组成结构图。这里，计算设备例如可以实现为集群140的管理节点141。如图10所示，该计算设备包括一个或者多个处理器(CPU)1002、通信模块1004、存储器1006、用户接口1010，以及用于互联这些组件的通信总线1008。
处理器1002可通过通信模块1004接收和发送数据以实现网络通信和/或本地通信。
用户接口1010包括一个或多个输出设备1012，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1410也包括一个或多个输入设备1014。用户接口1010例如可以接收遥控器的指令，但不限于此。
存储器1006可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。存储器1006存储处理器1002可执行的指令集，包括：操作***1016和应用1018。
操作***1016包括用于处理各种基本***服务和用于执行硬件相关任务的程序。在一些实施例中，应用1018可以包括图9所示任务调度装置900。
另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。
此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有数据处理程序，该数据处理程序用于执行本申请上述任务调度方法的任意一种实施例。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
以上所述仅为本申请的示例性实施例而已，并不用于限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (13)

1.一种任务调度方法，其特征在于，所述方法包括：
执行多次生成操作，生成对待处理数据的多个任务调度计划，其中，每个任务调度计划用于描述对所述待处理数据的多个数据分片的处理任务的执行计划，所述多个数据分片存储在集群中；以及
从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式；
其中，每次执行的生成操作，包括：
将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中不同次生成操作对应的第一数据分片组的总任务量不同；
将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，将第一数据分片组中数据分片的任务分配方式作为第一任务分配计划；
将所述第二数据分片组中任一个数据分片的处理任务分配到所述集群中未存储该数据分片的一个计算节点，将第二数据分片组中数据分片的任务分配方式作为第二任务分配计划；和
将包含第一任务分配计划和第二任务分配计划的分配方式作为本次生成操作生成的一个任务调度计划。
2.如权利要求1所述的方法，其特征在于，所述待处理数据为待转码视频，所述多个数据分片为多个视频分片，所述多个数据分片中每个数据分片的处理任务量为每个视频分片的转码任务量。
3.如权利要求1所述的方法，其特征在于，所述方法进一步包括：
在生成所述多个任务调度计划之前，获取所述待处理数据的多个数据分片中每个数据分片的处理任务量；
获取所述集群中各计算节点的计算能力和各计算节点之间数据传输带宽，其中，各计算节点的计算能力用于描述各计算节点在单位时间里处理的任务量。
4.如权利要求1所述的方法，其特征在于，将所述多个数据分片划分成第一数据分片组和第二数据分片组，包括：
在所述多次生成操作的第一次生成操作中，将所述多个数据分片的总任务量作为所述第一数据分片组的总任务量，根据所述第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中，所述第一数据分片组包括所述多个数据分片，所述第二数据分片组为空；
在所述多次生成操作的第一次生成操作之外的任一次生成操作中，将第一数据分片组的总任务量设置为比上一次生成操作中第一数据分片组的总任务量减少一个量阈值，根据设置的第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组。
5.如权利要求4所述的方法，其特征在于，所述根据设置的第一数据分片组的总任务量将所述多个数据分片划分成第一数据分片组和第二数据分片组，包括：
以所述设置的第一数据分片组的总任务量为基准，从所述多个数据分片中选定数据分片的集合作为所述第一数据分片组；
将所述多个数据分片中不属于第一数据分片组的数据分片加入到第二数据分片组。
6.如权利要求1-5中任一项所述的方法，其特征在于，所述将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，包括：
根据第一数据分片组中数据分片的处理任务量和所述集群中计算节点的计算能力，将所述第一数据分片组中任一个数据分片的处理任务分配到存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。
7.如权利要求6所述的方法，其特征在于，所述根据第一数据分片组中各数据分片的处理任务量和所述集群中各计算节点的计算能力，将所述第一数据分片组中任一个数据分片的处理任务分配到存储该数据分片的多个计算节点中的最早完成该数据分片的处理任务的一个计算节点中，包括：
对于第一数据分片组中数据分片，按照处理任务量的降序，依次确定各数据分片的处理任务对应的计算节点；
其中，对于第一数据分片中任一个数据分片，确定该数据分片的处理任务对应的计算节点，包括：
确定所述集群中存储有该数据分片的副本的多个计算节点；
确定所述存储有该数据分片的副本的多个计算节点中每个计算节点对该数据分片的处理任务的预期完成时间点，其中，每个计算节点对该数据分片的处理任务的预期完成时间点为：该计算节点执行该数据分片的处理任务的开始时间点加上对该数据分片的处理任务的任务处理时长而得到的时间值，每个计算节点的所述任务处理时长为：该数据分片的处理任务量与该计算节点的计算能力的比值，和该计算节点对该数据分片的处理任务的启动时长之和；
从所述存储有该数据分片的副本的多个计算节点中，选定预期完成时间点最早的一个计算节点作为该数据分片的处理任务对应的计算节点。
8.如权利要求1-5中任一项所述的方法，其特征在于，所述将所述第二数据分片组中任一个数据分片的处理任务分配到所述集群中未存储该数据分片的一个计算节点，包括：
根据第二数据分片组中数据分片的处理任务量、所述集群中计算节点的计算能力和各计算节点之间数据传输带宽，将所述第二数据分片组中任一个数据分片的处理任务分配到未存储该数据分片的多个计算节点中的能够最早完成该数据分片的处理任务的一个计算节点中。
9.如权利要求8所述的方法，其特征在于，所述根据第二数据分片组中数据分片的处理任务量、所述集群中计算节点的计算能力和各计算节点之间传输带宽，将所述第二数据分片组中任一个数据分片的处理任务分配到未存储该数据分片的多个计算节点中最早完成该数据分片的处理任务的一个计算节点中，包括：
对于第二数据分片组中数据分片，按照处理任务量的降序，依次确定各数据分片的处理任务对应的计算节点；
其中，对于第二数据分片中任一个数据分片，确定该数据分片的处理任务对应的计算节点，包括：
确定所述集群中未存储该数据分片的多个计算节点；
确定所述未存储该数据分片的多个计算节点中每个计算节点对该数据分片的处理任务的预期完成时间点，其中，每个计算节点对该数据分片的处理任务的预期完成时间点为：该计算节点执行该数据分片的处理任务的开始时间点加上对该数据分片的处理任务的任务处理时长而得到的时间值，每个计算节点的所述任务处理时长为：所述数据分片的处理任务量与该计算节点的计算能力的比值、所述数据分片传输到该计算节点的传输时长和该计算节点对该数据分片的处理任务的启动时长之和；
从所述多个计算节点中，选定预期完成时间点最早的一个计算节点作为该数据分片的处理任务对应的计算节点。
10.如权利要求1所述的方法，其特征在于，所述从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式，包括：
对于任一次生成操作生成的任务调度计划，确定所述集群中各计算节点根据该任务调度计划执行任务的完成时长；
从各计算节点对应的完成时长中选定最大的完成时长作为与该任务调度计划对应的执行时长；
选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式。
11.一种任务调度装置，其特征在于，所述装置包括：
计划生成单元，用于执行多次生成操作，生成对待处理数据的多个任务调度计划，其中，每个任务调度计划用于描述对所述待处理数据的多个数据分片的处理任务的执行计划，所述多个数据分片存储在集群中；以及
计划选定单元，用于从所述多个任务调度计划中，选定执行时长最短的一个任务调度计划作为对所述待处理数据的任务执行方式；
其中，所述计划生成单元每次执行的生成操作，包括：
将所述多个数据分片划分成第一数据分片组和第二数据分片组，其中不同次生成操作对应的第一数据分片组的总任务量不同；
将所述第一数据分片组中任一个数据分片的处理任务分配到所述集群中存储该数据分片的一个计算节点，将第一数据分片组中数据分片的任务分配方式作为第一任务分配计划；
将所述第二数据分片组中任一个数据分片的处理任务分配到所述集群中未存储该数据分片的一个计算节点，将第二数据分片组中数据分片的任务分配方式作为第二任务分配计划；和
将包含第一任务分配计划和第二任务分配计划的分配方式作为本次生成操作生成的一个任务调度计划。
12.一种计算设备，其特征在于包括：
处理器；
存储器；以及
一个或多个程序，存储在该存储器中并被配置为由所述处理器执行，所述一个或多个程序包括用于执行权利要求1-10中任一项所述的方法的指令。
13.一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-10中任一项所述的方法。
CN201811501565.2A 2018-12-10 2018-12-10 任务调度方法、装置、计算设备及存储介质 Active CN111290841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811501565.2A CN111290841B (zh) 2018-12-10 2018-12-10 任务调度方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811501565.2A CN111290841B (zh) 2018-12-10 2018-12-10 任务调度方法、装置、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN111290841A CN111290841A (zh) 2020-06-16
CN111290841B true CN111290841B (zh) 2024-04-05

Family

ID=71020760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811501565.2A Active CN111290841B (zh) 2018-12-10 2018-12-10 任务调度方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN111290841B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813524B (zh) * 2020-07-09 2023-09-08 北京奇艺世纪科技有限公司 一种任务执行方法、装置、电子设备和存储介质
CN112346845B (zh) * 2021-01-08 2021-04-16 腾讯科技（深圳）有限公司 编码任务的调度方法、装置、设备及存储介质
CN114510540A (zh) * 2022-04-19 2022-05-17 北京微芯感知科技有限公司 数据处理方法、计算存储分离***及区块链网络架构
CN114866334B (zh) * 2022-06-09 2023-11-24 中国工商银行股份有限公司 一种数据融合处理方法及装置
CN114862606B (zh) * 2022-06-13 2023-05-09 新疆益盛鑫创展科技有限公司 一种基于云服务的保险信息处理方法、装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693813B1 (en) * 2007-03-30 2010-04-06 Google Inc. Index server architecture using tiered and sharded phrase posting lists
CN103226467A (zh) * 2013-05-23 2013-07-31 中国人民解放军国防科学技术大学 数据并行处理方法、***及负载均衡调度器
CN104182279A (zh) * 2014-02-26 2014-12-03 无锡天脉聚源传媒科技有限公司 一种任务调度方法、装置及***
US9087012B1 (en) * 2014-06-04 2015-07-21 Pure Storage, Inc. Disaster recovery at high reliability in a storage cluster
CN105828105A (zh) * 2015-12-10 2016-08-03 广东亿迅科技有限公司 一种基于分布式环境的视频转码***及视频转码方法
WO2017008477A1 (zh) * 2015-07-14 2017-01-19 杭州海康威视数字技术股份有限公司 一种集群视频分析方法和***
CN108391142A (zh) * 2018-03-30 2018-08-10 腾讯科技（深圳）有限公司 一种视频增强的方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7693813B1 (en) * 2007-03-30 2010-04-06 Google Inc. Index server architecture using tiered and sharded phrase posting lists
CN103226467A (zh) * 2013-05-23 2013-07-31 中国人民解放军国防科学技术大学 数据并行处理方法、***及负载均衡调度器
CN104182279A (zh) * 2014-02-26 2014-12-03 无锡天脉聚源传媒科技有限公司 一种任务调度方法、装置及***
US9087012B1 (en) * 2014-06-04 2015-07-21 Pure Storage, Inc. Disaster recovery at high reliability in a storage cluster
WO2017008477A1 (zh) * 2015-07-14 2017-01-19 杭州海康威视数字技术股份有限公司 一种集群视频分析方法和***
CN105828105A (zh) * 2015-12-10 2016-08-03 广东亿迅科技有限公司 一种基于分布式环境的视频转码***及视频转码方法
CN108391142A (zh) * 2018-03-30 2018-08-10 腾讯科技（深圳）有限公司 一种视频增强的方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于节点集计算能力差异的Hadoop自适应任务调度算法;朱洁;李雯睿;王江平;赵红;;计算机应用;20160410(04);全文 *

Also Published As

Publication number Publication date
CN111290841A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111290841B (zh) 任务调度方法、装置、计算设备及存储介质
US10298969B2 (en) Architecture and method for high performance on demand video transcoding
Li et al. Cost-efficient and robust on-demand video transcoding using heterogeneous cloud services
CN107045456B (zh) 一种资源分配方法及资源管理器
KR102499076B1 (ko) 그래프 데이터 기반의 태스크 스케줄링 방법, 디바이스, 저장 매체 및 장치
CN109189563B (zh) 资源调度方法、装置、计算设备及存储介质
US9489231B2 (en) Selecting provisioning targets for new virtual machine instances
US20230024699A1 (en) System for high performance on-demand video transcoding
US20150133214A1 (en) Video encoding based on areas of interest
US11775350B2 (en) Compute resource estimation for function implementation on computing platform
Ahn et al. Competitive partial computation offloading for maximizing energy efficiency in mobile cloud computing
Meskar et al. Fair multi-resource allocation with external resource for mobile edge computing
JP7006607B2 (ja) 分散処理システム、分散処理方法、及び記録媒体
CN112148492A (zh) 一种考虑多用户移动性的服务部署和资源分配方法
Cao et al. A deep reinforcement learning approach to multi-component job scheduling in edge computing
WO2015042904A1 (zh) 一种多核***中资源池的调度方法、装置和***
US20230379268A1 (en) Resource scheduling method and system, electronic device, computer readable storage medium
JP6721800B2 (ja) 協調分散システム、協調分散管理装置、協調分散方法、及びプログラム
Mavromoustakis et al. Dynamic cloud resource migration for efficient 3D video processing in mobile computing environments
CN115840634B (zh) 业务执行方法、装置、设备及存储介质
Lee et al. Quality-aware transcoding task allocation under limited power in live-streaming systems
CN115525425B (zh) 基于云原生技术的联邦学习计算引擎编排方法及其设备
CN115361284B (zh) 一种基于sdn的虚拟网络功能的部署调整方法
WO2024116383A1 (ja) 基地局、無線通信システム、通信制御方法、及びプログラム
CN116112976B (zh) 设备计算迁移方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant