CN108762921A - 一种Spark集群***的在线优化分区的任务调度方法及装置 - Google Patents

一种Spark集群***的在线优化分区的任务调度方法及装置 Download PDF

Info

Publication number
CN108762921A
CN108762921A CN201810486385.5A CN201810486385A CN108762921A CN 108762921 A CN108762921 A CN 108762921A CN 201810486385 A CN201810486385 A CN 201810486385A CN 108762921 A CN108762921 A CN 108762921A
Authority
CN
China
Prior art keywords
task
cpu
memory
calculate node
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810486385.5A
Other languages
English (en)
Other versions
CN108762921B (zh
Inventor
田文洪
叶宇飞
王金
许凌霄
匡平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810486385.5A priority Critical patent/CN108762921B/zh
Publication of CN108762921A publication Critical patent/CN108762921A/zh
Application granted granted Critical
Publication of CN108762921B publication Critical patent/CN108762921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Devices For Executing Special Programs (AREA)

Abstract

本发明公开了一种Spark集群***的在线优化分区的任务调度方法，属于在线集群资源调度技术领域。本发明所述方法包括步骤：统计上游Stage输出数据量大小、参与作业执行的总CPU核数、内存总量以及用于拉取数据的内存比例；根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置优化的分区数量；监测计算节点的平均CPU利用率、内存利用率，对各计算节点的资源利用水平进行评估；降序排序所有节点的资源利用水平，优先调度任务给资源利用水平最高的节点执行；重复上述步骤直到所有任务调度完成。本发明能够自动配置优化的分区数量，提高集群的资源利用率，加快Spark作业的执行速度。

Description

一种Spark集群***的在线优化分区的任务调度方法及装置
技术领域
本发明属于在线集群资源调度技术领域，具体涉及一种Spark集群***的在线优化分区的任务调度方法及装置。
背景技术
Spark是一个以可靠、高效、可伸缩的方式对大量数据进行分布式处理的内存计算框架。Spark集群主要的构件部署分为Spark Client、SparkContext、ClusterManager、Worker和Executor等，如图1所示。Spark Client用于用户提交应用程序到Spark集群，而SparkContext用于负责与ClusterManager进行通信，进行资源的申请、任务的分配和监控等，负责作业执行的生命周期管理。ClusterManager提供了资源的分配与管理，在不同的运行模式下，担任的角色有所不同。当SparkContext对运行的作业进行划分并分配资源后，会把任务发送到Worker节点上的Executor进行运行。
许多应用程序的配置参数会影响Spark的执行性能，例如任务并行性，数据压缩以及Executor的资源配置。在Spark中，输入数据或中间数据被分成多个逻辑分区，集群中的每个计算节点处理一个或多个分区。用户可以配置每个Spark作业的分区数量和数据分区方式，不理想的任务分区或选择非最佳分区方案可能会显着增加工作负载的执行时间。例如，如果分区策略在计算阶段内启动太多任务，则会导致CPU和内存资源的竞争，从而导致性能下降。相反，如果启动的任务太少，***的资源利用率会降低，同样会导致性能下降。
Spark为用户提供了两种控制任务并行性的方法。一种方法是使用配置参数spark.default.parallelism，该参数为未指定分区数量时使用的默认任务数。第二种方法是使用重新分区API，它允许用户重新分区数据。Spark不支持在不同计算阶段之间更改数据并行性，除非用户在程序中手动通过重新分区API更改分区数。此种方法具有很大的局限性，因为分区的最佳数量可能受数据大小的影响，每次处理不同数据集时，用户都必须更改分区数并重新编译程序。
此外，不合适的任务调度方法可能会拖慢作业的执行进度，导致某些任务的完成时间比其他任务长得多。由于数据处理框架通常在计算阶段之间具有同步屏障，所以让处于同一阶段中的所有任务同时完成是至关重要的，以避免短腿任务阻碍其他运行速度快的任务。正确的数据分区方案以及任务调度方法是从底层硬件资源中提高性能的关键，但是，找到一个能够提供最佳性能的数据分区方案以及任务调度方法并非易事。这是因为，数据分析工作流程通常涉及复杂的算法，例如机器学习和图处理。因此，随着多个计算阶段的增加，所产生的任务执行计划可能变得非常复杂。此外，考虑到每个计算阶段不同，每个阶段的最佳分区数量也可能不同，这使问题更加复杂。
发明内容
本发明的目的是克服现有技术的缺陷，提供一种Spark集群***的在线优化分区的任务调度方法及装置。
本发明所提出的技术问题是这样解决的：
一种Spark集群***的在线优化分区的任务调度方法，包括以下步骤：
步骤1.统计上游Stage(阶段)输出数据量大小、参与作业执行的总CPU核数、内存总量和用于拉取数据的内存比例；
步骤2.根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置数据的分区数量；
步骤3.监测计算节点的平均CPU利用率和内存利用率，对各计算节点的资源利用水平进行评估；
步骤4.降序排列所有节点的资源利用水平，优先调度任务给资源利用水平最高的节点执行；
步骤5.重复步骤3-步骤4，直至所有任务调度完成。
步骤1中，上游Stage输出数据量大小其中，si为第i个计算节点上任务输出数据量大小，1≤i≤n，n为计算节点的数量；参与作业执行的总CPU核数其中，CPUapp(i)为第i个计算节点上用于应用程序的CPU核数；内存总量其中，Memapp(i)为第i个计算节点上用于应用程序的内存容量；用于拉取数据的内存比例α从Spark参数配置文件中读取。
步骤2中，用于拉取数据的内存容量的大小为Memoryapp×α，将输出数据量S与用于拉取数据的内存容量Memoryapp×α进行大小比对：
当S≤Memoryapp×α时，任务执行的轮数r＝1，数据的分区数为Coreapp；
当S＞Memoryapp×α时，任务执行的轮数r＝ceil(S/(Memoryapp×α))，其中ceil表示向上取整，数据的分区数为Coreapp×r。
步骤3中，为了减少计算节点CPU利用率或内存利用率的抖动误差，引入控制***理论中的一种负反馈调节机制，CPU利用率或内存利用率的负反馈调节机制为：
其中，tj为第j个时刻，j为≥0的整数，Ui(tj)为当前时刻第i个计算节点的CPU利用率或内存利用率，Ui(tj-1)为上一时刻的第i个计算节点的CPU利用率或内存利用率，Ui′(tj)为当前时刻第i个计算节点的CPU或内存利用率的监测值。
计算节点的资源利用水平是随着其资源使用状况动态变化的，需要在任务开始分配时对每个计算节点的资源利用水平进行度量，以此决定调度任务到哪个节点上执行。计算节点的资源利用水平由计算节点剩余可用CPU核数、CPU的主频大小、当前CPU利用率、当前内存利用率以及历史CPU利用率的熵值共同决定，即计算节点的资源利用水平与节点硬件属性以及资源利用率高度相关，计算节点剩余可用CPU核数越大、CPU的主频越大、当前CPU利用率越低、当前内存利用率越低、历史CPU利用率的熵值越小，该计算节点的资源利用水平越高，分配任务时具有优先分配权。
第i个计算节点的资源利用水平RLi的计算公式为：
RLi＝AvailableCoresi×Speedcpu×(1-Ri，cpu)×(1-Ri，mem)×(1-Ei)
其中，AvailableCoresi为第i个计算节点的可用CPU核数，Speedcpu为计算节点CPU的主频大小，Ri，cpu为第i个计算节点的当前CPU利用率大小，Ri，mem为第i个计算节点的当前内存利用率大小，Ei为第i个计算节点的历史CPU利用率的熵值，反映CPU利用率的波动。
第i个计算节点的历史CPU利用率的熵值Ei＝-(c1×log2c1+c2×log2c2)，其中，c1为历史CPU利用率中CPU利用率值大于等于CPU平均利用率的次数，c2为历史CPU利用率中CPU利用率值小于CPU平均利用率的次数。
步骤4中，任务分配时主要采取贪心策略，首先按照资源利用水平降序排列所有计算节点，然后遍历所有任务，将任务分配到资源利用水平最高的计算节点上，如果该计算节点的可用CPU核数大于每个任务需要的CPU核数(默认为1核)，则在当前计算节点上分配该任务，同时更新该计算节点的可用CPU核数，任务后续将在该计算节点上上以最大的数据本地性运行；如果任务需要分配多轮，则重复步骤3-4直到所有任务分配完成。
本发明还提供了一种Spark集群***的在线优化分区的任务调度装置，包括：
(1)信息收集模块：统计上游Stage输出数据量大小、参与作业执行的总CPU核数、内存总量和用于拉取数据的内存比例；
(2)分区优化模块：根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置数据的分区数量；
(3)节点监测模块：监测计算节点的平均CPU利用率和内存利用率，对各计算节点的资源利用水平进行评估；
(4)节点排序模块：按照资源利用水平降序或升序排列所有节点；
(5)任务分配模块：任务分配时主要采取贪心策略，优先调度任务给资源利用水平最高的节点；
(6)任务执行模块：用于按照任务分配模块决定的顺序执行任务。
本发明的有益效果是：
本发明能够自动配置优化的分区数量，充分利用集群的资源，加快任务执行速度。
附图说明
图1为Spark集群***的架构图；
图2为本发明所述Spark集群***的在线优化分区的任务调度方法流程图；
图3为本发明所述Spark集群***的在线优化分区的任务调度装置示意图；
图4为实施例所述方法的流程图。
具体实施方式
下面结合附图和实施例对本发明进行进一步的说明。
本实施例提供一种Spark集群***的在线优化分区的任务调度方法，其流程图如图2所示，包括以下步骤：
步骤1.统计上游Stage(阶段)输出数据量大小、参与作业执行的总CPU核数、内存总量和用于拉取数据的内存比例；
步骤2.根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置数据的分区数量；
步骤3.监测计算节点的平均CPU利用率和内存利用率，对各计算节点的资源利用水平进行评估；
步骤4.降序排列所有节点的资源利用水平，优先调度任务给资源利用水平最高的节点执行；
步骤5.重复步骤3-步骤4，直至所有任务调度完成。
步骤1中，上游Stage输出数据量大小其中，si为第i个计算节点上任务输出数据量大小，1≤i≤n，n为计算节点的数量；参与作业执行的总CPU核数其中，CPUapp(i)为第i个计算节点上用于应用程序的CPU核数；内存总量其中，Memapp(i)为第i个计算节点上用于应用程序的内存容量；用于拉取数据的内存比例α从Spark参数配置文件中读取。
步骤2中，用于拉取数据的内存容量的大小为Memoryapp×α，将输出数据量S与用于拉取数据的内存容量Memoryapp×α进行大小比对：
当S≤Memoryapp×α时，任务执行的轮数r＝1，数据的分区数为Coreapp；
当S＞Memoryapp×α时，任务执行的轮数r＝ceil(S/(Memoryapp×α))，其中ceil表示向上取整，数据的分区数为Coreapp×r。
步骤3中，为了减少计算节点CPU利用率或内存利用率的抖动误差，引入控制***理论中的一种负反馈调节机制，CPU利用率或内存利用率的负反馈调节机制为：
其中，tj为第j个时刻，j为≥0的整数，Ui(tj)为当前时刻第i个计算节点的CPU利用率或内存利用率，Ui(ti-1)为上一时刻的第i个计算节点的CPU利用率或内存利用率，Ui′(tj)为当前时刻第i个计算节点的CPU或内存利用率的监测值。
计算节点的资源利用水平是随着其资源使用状况动态变化的，需要在任务开始分配时对每个计算节点的资源利用水平进行度量，以此决定调度任务到哪个节点上执行。计算节点的资源利用水平由计算节点剩余可用CPU核数、CPU的主频大小、当前CPU利用率、当前内存利用率以及历史CPU利用率的熵值共同决定，即计算节点的资源利用水平与节点硬件属性以及资源利用率高度相关，计算节点剩余可用CPU核数越大、CPU的主频越大、当前CPU利用率越低、当前内存利用率越低、历史CPU利用率的熵值越小，该计算节点的资源利用水平越高，分配任务时具有优先分配权。
第i个计算节点的资源利用水平RLi的计算公式为：
RLi＝AvailableCoresi×Speedcpu×(1-Ri，cpu)×(1-Ri，mem)×(1-Ei)
其中，AvailableCoresi为第i个计算节点的可用CPU核数，Speedcpu为计算节点CPU的主频大小，Ri，cpu为第i个计算节点的当前CPU利用率大小，Ri，mem为第i个计算节点的当前内存利用率大小，Ei为第i个计算节点的历史CPU利用率的熵值，反映CPU利用率的波动。
第i个计算节点的历史CPU利用率的熵值Ei＝-(c1×log2c1+c2×log2c2)，其中，c1为历史CPU利用率中CPU利用率值大于等于CPU平均利用率的次数，c2为历史CPU利用率中CPU利用率值小于CPU平均利用率的次数。
步骤4中，任务分配时主要采取贪心策略，首先按照资源利用水平降序排列所有计算节点，然后遍历所有任务，将任务分配到资源利用水平最高的计算节点上，如果该计算节点的可用CPU核数大于每个任务需要的CPU核数(默认为1核)，则在当前计算节点上分配该任务，同时更新该计算节点的可用CPU核数，任务后续将在该计算节点上上以最大的数据本地性运行；如果任务需要分配多轮，则重复步骤3-4直到所有任务分配完成，如图4所示。
本实施例还提供了一种Spark集群***的在线优化分区的任务调度装置，其示意图如图3所示，包括：
(1)信息收集模块：统计上游Stage输出数据量大小、参与作业执行的总CPU核数、内存总量和用于拉取数据的内存比例；
(2)分区优化模块：根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置数据的分区数量；
(3)节点监测模块：监测计算节点的平均CPU利用率和内存利用率，对各计算节点的资源利用水平进行评估；
(4)节点排序模块：按照资源利用水平降序或升序排列所有节点；
(5)任务分配模块：任务分配时主要采取贪心策略，优先调度任务给资源利用水平最高的节点；
(6)任务执行模块：用于按照任务分配模块决定的顺序执行任务。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一台计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (7)

1.一种Spark集群***的在线优化分区的任务调度方法，其特征在于，包括以下步骤：
步骤1.统计上游Stage输出数据量大小、参与作业执行的总CPU核数、内存总量和用于拉取数据的内存比例；
步骤2.根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置数据的分区数量；
步骤3.监测计算节点的平均CPU利用率和内存利用率，对各计算节点的资源利用水平进行评估；
步骤4.降序排列所有节点的资源利用水平，优先调度任务给资源利用水平最高的节点执行；
步骤5.重复步骤3-步骤4，直至所有任务调度完成。
2.根据权利要求1所述的Spark集群***的在线优化分区的任务调度方法，其特征在于，步骤1中，上游Stage输出数据量大小其中，si为第i个计算节点上任务输出数据量大小，1≤i≤n，n为计算节点的数量；参与作业执行的总CPU核数其中，CPUapp(i)为第i个计算节点上用于应用程序的CPU核数；内存总量其中，Memapp(i)为第i个计算节点上用于应用程序的内存容量；用于拉取数据的内存比例α从Spark参数配置文件中读取。
3.根据权利要求2所述的Spark集群***的在线优化分区的任务调度方法，其特征在于，步骤2中，用于拉取数据的内存容量的大小为Memoryapp×α，将输出数据量S与用于拉取数据的内存容量Memoryapp×α进行大小比对：
当S≤Memoryapp×α时，任务执行的轮数r＝1，数据的分区数为Coreapp；
当S＞Memoryapp×α时，任务执行的轮数r＝ceil(S/(Memoryapp×α))，其中ceil表示向上取整，数据的分区数为Coreapp×r。
4.根据权利要求3所述的Spark集群***的在线优化分区的任务调度方法，其特征在于，步骤3中，为了减少计算节点CPU利用率或内存利用率的抖动误差，引入控制***理论中的一种负反馈调节机制，CPU利用率或内存利用率的负反馈调节机制为：
其中，tj为第j个时刻，j为≥0的整数，Ui(tj)为当前时刻第i个计算节点的CPU利用率或内存利用率，Ui(tj-1)为上一时刻的第i个计算节点的CPU利用率或内存利用率，Ui′(tj)为当前时刻第i个计算节点的CPU或内存利用率的监测值。
5.根据权利要求4所述的Spark集群***的在线优化分区的任务调度方法，其特征在于，步骤4中第i个计算节点的资源利用水平RLi的计算公式为：
RLi＝AvailableCoresi×Speedcpu×(1-Ri，cpu)×(1-Ri，mem)×(1-Ei)
其中，AvailableCoresi为第i个计算节点的可用CPU核数，Speedcpu为计算节点CPU的主频大小，Ri，cpu为第i个计算节点的当前CPU利用率大小，Ri，mem为第i个计算节点的当前内存利用率大小，Ei为第i个计算节点的历史CPU利用率的熵值，反映CPU利用率的波动；第i个计算节点的历史CPU利用率的熵值Ei＝-(c1×log2c1+c2×log2c2)，其中，c1为历史CPU利用率中CPU利用率值大于等于CPU平均利用率的次数，c2为历史CPU利用率中CPU利用率值小于CPU平均利用率的次数。
6.根据权利要求5所述的Spark集群***的在线优化分区的任务调度方法，其特征在于，任务分配时主要采取贪心策略，首先按照资源利用水平降序排列所有计算节点，然后遍历所有任务，将任务分配到资源利用水平最高的计算节点上，如果该计算节点的可用CPU核数大于每个任务需要的CPU核数，默认为1核，则在当前计算节点上分配该任务，同时更新该计算节点的可用CPU核数，任务后续将在该计算节点上上以最大的数据本地性运行；如果任务需要分配多轮，则重复步骤3-4直到所有任务分配完成。
7.一种利用权利要求1所述方法进行Spark集群***的在线优化分区的任务调度装置，其特征在于，包括：
(1)信息收集模块：统计上游Stage输出数据量大小、参与作业执行的总CPU核数、内存总量和用于拉取数据的内存比例；
(2)分区优化模块：根据输出数据量与用于拉取数据的内存容量的大小关系，计算任务执行的轮数，并设置数据的分区数量；
(3)节点监测模块：监测计算节点的平均CPU利用率和内存利用率，对各计算节点的资源利用水平进行评估；
(4)节点排序模块：按照资源利用水平降序或升序排列所有节点；
(5)任务分配模块：任务分配时主要采取贪心策略，优先调度任务给资源利用水平最高的节点；
(6)任务执行模块：用于按照任务分配模块决定的顺序执行任务。
CN201810486385.5A 2018-05-18 2018-05-18 一种Spark集群***的在线优化分区的任务调度方法及装置 Active CN108762921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810486385.5A CN108762921B (zh) 2018-05-18 2018-05-18 一种Spark集群***的在线优化分区的任务调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810486385.5A CN108762921B (zh) 2018-05-18 2018-05-18 一种Spark集群***的在线优化分区的任务调度方法及装置

Publications (2)

Publication Number Publication Date
CN108762921A true CN108762921A (zh) 2018-11-06
CN108762921B CN108762921B (zh) 2019-07-12

Family

ID=64007251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810486385.5A Active CN108762921B (zh) 2018-05-18 2018-05-18 一种Spark集群***的在线优化分区的任务调度方法及装置

Country Status (1)

Country Link
CN (1) CN108762921B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684082A (zh) * 2018-12-11 2019-04-26 中科恒运股份有限公司 基于规则算法的数据清洗方法及***
CN109739649A (zh) * 2018-12-28 2019-05-10 深圳前海微众银行股份有限公司 资源管理方法、装置、设备及计算机可读存储介质
CN110413389A (zh) * 2019-07-24 2019-11-05 浙江工业大学 一种资源不均衡Spark环境下的任务调度优化方法
CN110502343A (zh) * 2019-08-23 2019-11-26 深圳市新系区块链技术有限公司 一种资源分配方法、***、装置及计算机可读存储介质
CN110543367A (zh) * 2019-08-30 2019-12-06 联想(北京)有限公司 资源处理方法及其装置、电子设备和介质
CN110928666A (zh) * 2019-12-09 2020-03-27 湖南大学 一种Spark环境中基于内存优化任务并行度的方法和***
CN111813512A (zh) * 2020-06-23 2020-10-23 重庆邮电大学 一种基于动态分区的高能效Spark任务调度方法
CN113760489A (zh) * 2020-09-21 2021-12-07 北京沃东天骏信息技术有限公司 一种资源配置方法和装置
CN117527881A (zh) * 2023-11-20 2024-02-06 广东省电子商务认证有限公司 动态的密码机调度***及调度方法
US11954527B2 (en) 2020-12-09 2024-04-09 Industrial Technology Research Institute Machine learning system and resource allocation method thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243155A (zh) * 2015-10-29 2016-01-13 贵州电网有限责任公司电力调度控制中心 一种大数据抽取和交换***
CN105791431A (zh) * 2016-04-26 2016-07-20 北京邮电大学 一种在线分布式监控视频处理任务调度方法及装置
CN105868019A (zh) * 2016-02-01 2016-08-17 中国科学院大学 一种Spark平台性能自动优化方法
CN107168782A (zh) * 2017-04-24 2017-09-15 复旦大学 一种基于Spark与GPU的并行计算***
US9842000B2 (en) * 2015-09-18 2017-12-12 Salesforce.Com, Inc. Managing processing of long tail task sequences in a stream processing framework
CN107526546A (zh) * 2017-08-25 2017-12-29 深圳大学 一种Spark分布式计算数据处理方法及***
CN107609141A (zh) * 2017-09-20 2018-01-19 国网上海市电力公司 一种对大规模可再生能源数据进行快速概率建模方法
US20180074852A1 (en) * 2016-09-14 2018-03-15 Salesforce.Com, Inc. Compact Task Deployment for Stream Processing Systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842000B2 (en) * 2015-09-18 2017-12-12 Salesforce.Com, Inc. Managing processing of long tail task sequences in a stream processing framework
CN105243155A (zh) * 2015-10-29 2016-01-13 贵州电网有限责任公司电力调度控制中心 一种大数据抽取和交换***
CN105868019A (zh) * 2016-02-01 2016-08-17 中国科学院大学 一种Spark平台性能自动优化方法
CN105791431A (zh) * 2016-04-26 2016-07-20 北京邮电大学 一种在线分布式监控视频处理任务调度方法及装置
US20180074852A1 (en) * 2016-09-14 2018-03-15 Salesforce.Com, Inc. Compact Task Deployment for Stream Processing Systems
CN107168782A (zh) * 2017-04-24 2017-09-15 复旦大学 一种基于Spark与GPU的并行计算***
CN107526546A (zh) * 2017-08-25 2017-12-29 深圳大学 一种Spark分布式计算数据处理方法及***
CN107609141A (zh) * 2017-09-20 2018-01-19 国网上海市电力公司 一种对大规模可再生能源数据进行快速概率建模方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨志伟、郑烩、王嵩、杨坚、周乐乐: "异构Spark集群下自适应任务调度策略", 《计算机工程》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684082A (zh) * 2018-12-11 2019-04-26 中科恒运股份有限公司 基于规则算法的数据清洗方法及***
CN109739649A (zh) * 2018-12-28 2019-05-10 深圳前海微众银行股份有限公司 资源管理方法、装置、设备及计算机可读存储介质
CN110413389A (zh) * 2019-07-24 2019-11-05 浙江工业大学 一种资源不均衡Spark环境下的任务调度优化方法
CN110413389B (zh) * 2019-07-24 2021-09-28 浙江工业大学 一种资源不均衡Spark环境下的任务调度优化方法
CN110502343B (zh) * 2019-08-23 2022-05-06 深圳市新系区块链技术有限公司 一种资源分配方法、***、装置及计算机可读存储介质
CN110502343A (zh) * 2019-08-23 2019-11-26 深圳市新系区块链技术有限公司 一种资源分配方法、***、装置及计算机可读存储介质
CN110543367A (zh) * 2019-08-30 2019-12-06 联想(北京)有限公司 资源处理方法及其装置、电子设备和介质
CN110543367B (zh) * 2019-08-30 2022-07-26 联想(北京)有限公司 资源处理方法及其装置、电子设备和介质
CN110928666A (zh) * 2019-12-09 2020-03-27 湖南大学 一种Spark环境中基于内存优化任务并行度的方法和***
CN110928666B (zh) * 2019-12-09 2022-03-22 湖南大学 一种Spark环境中基于内存优化任务并行度的方法和***
CN111813512B (zh) * 2020-06-23 2022-11-25 重庆邮电大学 一种基于动态分区的高能效Spark任务调度方法
CN111813512A (zh) * 2020-06-23 2020-10-23 重庆邮电大学 一种基于动态分区的高能效Spark任务调度方法
CN113760489A (zh) * 2020-09-21 2021-12-07 北京沃东天骏信息技术有限公司 一种资源配置方法和装置
CN113760489B (zh) * 2020-09-21 2024-05-17 北京沃东天骏信息技术有限公司 一种资源配置方法和装置
US11954527B2 (en) 2020-12-09 2024-04-09 Industrial Technology Research Institute Machine learning system and resource allocation method thereof
CN117527881A (zh) * 2023-11-20 2024-02-06 广东省电子商务认证有限公司 动态的密码机调度***及调度方法

Also Published As

Publication number Publication date
CN108762921B (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN108762921B (zh) 一种Spark集群***的在线优化分区的任务调度方法及装置
CN103729248B (zh) 一种基于缓存感知的确定待迁移任务的方法和装置
JP6241300B2 (ja) ジョブスケジューリング装置、ジョブスケジューリング方法、およびジョブスケジューリングプログラム
CN107548490B (zh) 并行计算中的进度计
CN107704069B (zh) 一种基于能耗感知的Spark节能调度方法
US20070143759A1 (en) Scheduling and partitioning tasks via architecture-aware feedback information
CN103729246B (zh) 一种任务调度方法和装置
US10157155B2 (en) Operating system-managed interrupt steering in multiprocessor systems
CN103500123B (zh) 异构环境中并行计算调度方法
CN110321222A (zh) 基于决策树预测的数据并行作业资源分配方法
CN103593323A (zh) 一种MapReduce任务资源配置参数的机器学习方法
WO2015100995A1 (zh) 一种智能服务调度方法
CN114996001A (zh) 一种分布式机器学习任务gpu资源调度分配方法及***
CN113886034A (zh) 任务调度方法、***、电子设备及存储介质
CN108427602B (zh) 一种分布式计算任务的协同调度方法及装置
CN106681823A (zh) 一种处理MapReduce数据倾斜的负载均衡方法
CN106371924A (zh) 一种最小化MapReduce集群能耗的任务调度方法
CN114816715A (zh) 一种面向跨地域的流计算延迟优化方法及装置
CN108509280A (zh) 一种基于推送模型的分布式计算集群本地性调度方法
Wang et al. Dependency-aware network adaptive scheduling of data-intensive parallel jobs
CN110084507B (zh) 云计算环境下分级感知的科学工作流调度优化方法
CN115168058A (zh) 线程负载均衡方法、装置、设备及存储介质
CN114911613A (zh) 一种云际计算环境中跨集群资源高可用调度方法及***
CN109614222A (zh) 一种多线程资源分配方法
CN103440113A (zh) 一种磁盘io资源分配方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant