CN112965800A - 一种分布式计算任务调度*** - Google Patents

一种分布式计算任务调度*** Download PDF

Info

Publication number
CN112965800A
CN112965800A CN202110256742.0A CN202110256742A CN112965800A CN 112965800 A CN112965800 A CN 112965800A CN 202110256742 A CN202110256742 A CN 202110256742A CN 112965800 A CN112965800 A CN 112965800A
Authority
CN
China
Prior art keywords
scheduling
task
service
tasks
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110256742.0A
Other languages
English (en)
Inventor
王麟
王钞
余庆
李昕
石涛声
李涛
李君龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kunyao Network Technology Co ltd
Original Assignee
Shanghai Kunyao Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kunyao Network Technology Co ltd filed Critical Shanghai Kunyao Network Technology Co ltd
Priority to CN202110256742.0A priority Critical patent/CN112965800A/zh
Publication of CN112965800A publication Critical patent/CN112965800A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请的目的是提供一种分布式计算任务调度***。所述分布式计算任务调度***包括调度服务进程和调度本地服务；所述调度服务进程包括调度信息数据库、亲和性特征配置服务等组件；所述调度本地服务包括任务生成进程和任务领取进程；其中，所述调度信息数据库用于记录所述调度服务进程的后台数据；所述亲和性特征配置服务用于接收用户输入的资源使用模型，并把该资源使用模型以规则的方式写入到所述调度信息数据库中，供所述调度服务进程使用。与现有技术相比，本申请结合静态调度和动态调度的优点，既能适应计算异构环境，又能适应存储异构环境，可以在异构环境下实现高效调度。

Description

一种分布式计算任务调度***
技术领域
本申请涉及信息技术领域，尤其涉及一种分布式计算任务调度的技术。
背景技术
跟随技术演进路线，任务调度技术的发展经历了三代：宏调度、静态调度和两层调度。从广义上讲，任务调度分为静态调度和动态调度两大类。异构资源环境又分为计算异构和存储异构。目前的技术方案一般都是基于同构***，对异构***支持性较差。现有的宏调度技术方案扩展性差，集群规模受限，新的调度策略难以融入现有代码中。现有的静态调度技术方案适用于规模化的云计算，不适合其他异构环境。现有的两层调度技术方案的调度框架过于复杂，开发成本高，调度效率不高。
发明内容
本申请的一个目的是提供一种分布式计算任务调度***。
根据本申请的一个方面，提供了一种分布式计算任务调度***，其中，该***包括调度服务进程和调度本地服务；
所述调度服务进程包括调度信息数据库、亲和性特征配置服务等组件；
所述调度本地服务包括任务生成进程和任务领取进程；
所述调度信息数据库用于记录所述调度服务进程的后台数据；
所述亲和性特征配置服务用于接收用户输入的资源使用模型，并把该资源使用模型以规则的方式写入到所述调度信息数据库中，供所述调度服务进程使用。
在本申请提供的技术方案中，所述分布式计算任务调度***包括调度服务进程和调度本地服务；所述调度服务进程包括调度信息数据库、亲和性特征配置服务等组件；所述调度本地服务包括任务生成进程和任务领取进程；其中，所述调度信息数据库用于记录所述调度服务进程的后台数据；所述亲和性特征配置服务用于接收用户输入的资源使用模型，并把该资源使用模型以规则的方式写入到所述调度信息数据库中，供所述调度服务进程使用。与现有技术相比，本申请结合静态调度和动态调度的优点，既能适应计算异构环境，又能适应存储异构环境，可以在异构环境下实现高效调度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其他特征、目的和优点将会变得更明显：
图1是根据本申请实施例的一种分布式计算任务调度***结构示意图；
图2是根据本申请实施例的一种分布式计算任务调度***工作原理示意图；
图3是根据本申请实施例的一种将任务分拆为多个作业的示意图；
图4是根据本申请实施例的一种任务的状态转换示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的装置或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请实施例提供了一种分布式计算任务调度***，结合静态调度和动态调度的优点，既能适应计算异构环境，又能适应存储异构环境，可以在异构环境下实现高效调度。
在实际场景中，实现该***的设备可以是用户设备、网络设备或者用户设备与网络设备通过网络相集成所构成的设备。其中，所述用户设备包括但不限于智能手机、平板电脑、个人计算机(PC)等终端设备，所述网络设备包括但不限于网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现。在此，云由基于云计算(CloudComputing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
图1是根据本申请实施例的一种分布式计算任务调度***结构示意图，该***包括调度服务进程和调度本地服务；所述调度服务进程包括调度信息数据库、亲和性特征配置服务等组件；所述调度本地服务包括任务生成进程和任务领取进程；所述调度信息数据库用于记录所述调度服务进程的后台数据；所述亲和性特征配置服务用于接收用户输入的资源使用模型，并把该资源使用模型以规则的方式写入到所述调度信息数据库中，供所述调度服务进程使用。
例如，所述调度服务进程是所述调度信息数据库的配套进程，起到类似于全局的资源管理器的作用，服务于所述调度本地服务。所述调度服务进程与所述调度本地服务相比，所述调度服务进程是服务端，所述调度本地服务是客户端。所述调度服务进程包括所述调度信息数据库、所述亲和性特征配置服务等相关组件，而所述调度本地服务包括所述任务生成进程和所述任务领取进程。
在一些实施例中，所述调度信息数据库用于记录所述调度服务进程的后台数据；所述调度信息数据库记录的数据包括：异构资源的使用和分配情况，计算和存储的分配情况，节点和任务的映射关系，节点与各个子任务的映射关系，节点上内存和存储划分的方式，节点IP地址，任务类型，任务数量，资源亲和性配置信息等。
在一些实施例中，所述亲和性特征配置服务用于接收用户(例如管理员)输入的资源使用模型，并把该资源使用模型以规则的方式写入到所述调度信息数据库中，供所述调度服务进程直接使用。这种管理员直接配置的规则往往是最为高效或最具性价比的调度方式。在此，所述亲和性特征配置服务主要采用静态调度，静态调度在任务类型固定的场景下工作良好；而所述分布式计算任务调度***的其他组件则采用动态调度。对于异构计算环境和异构存储环境的任务调度，需要结合任务特性和资源特性进行综合调度。
所述调度本地服务包括所述任务生成进程和所述任务领取进程。在所述分布式计算任务调度***中，资源的池化是通过不同类型的资源抽象和资源隔离来实现的。计算资源的池化和隔离是通过cgroup技术来实现的，内存和外存资源的抽象可以利用操作***的成熟技术。所有资源的池化和隔离都可以被所述任务生成进程和所述任务领取进程所感知。
在一些实施例中，所述任务生成进程用于根据所述分布式计算任务调度***的目标，使用贪心法生成对于异构资源使用的任务，或者某个任务的子任务。在此，主要由任务类型和任务数量来规定；生成的任务数量往往会多于已经领取的任务。
在一些实施例中，所述任务领取进程用于根据所述分布式计算任务调度***本地对资源的感知和定价，向所述调度服务进程申领任务。例如，所述任务领取进程需要领取哪些任务，是根据本地对资源的感知和定价(一种对资源耗费计量的抽象方式)，向全局调度服务进程申领任务。
在一些实施例中，所述调度服务进程用于根据亲和性特征配置以及任务的流水化要求，响应特定的任务给所述任务领取进程。例如，全局调度服务进程会根据亲和性特征配置以及任务的流水化要求，响应特定的任务给所述调度本地服务，从而完成调度。本地调度服务活动任务之后，会调用本地资源(如计算或存储资源)来完成任务。
在一些实施例中，如图2所示，所述分布式计算任务调度***的主要组件包括调度服务进程(schedule service)、所述调度信息数据库、所述亲和性特征配置服务和所述调度本地服务。其中，所述调度服务进程和所述调度信息数据库都有冗余和负载均衡机制，所述调度本地服务包括任务生成和任务领取两个代理守护进程。此处的任务可以是经过任务拆分后的作业级别。任务对资源的亲和性是通过对任务对资源的需求特征进行分析而得出的。如图3所示，一个任务可以分拆为多个作业，并且不同作业之间可能存在依存关系或者是并行关系。事前的分析基本上可以定义任务对于某种资源的亲和性和反亲和性。这种亲和性标识，通过配置数据库的方式供所述调度服务进程读取。所述任务生成进程根据相应的策略(如静态策略和动态策略)感知资源情况，量化资源配额，决定给每一个应用分配多少资源。内存、外存和计算是资源的抽象表示，基于该资源，所述任务领取进程可以在所属集群中实例化分配任务类型(作业)和任务数量。所述调度信息数据库记录任务和资源的分配情况，任务的运行预期，资源的占用预期，以及任务的故障情况等。任务生成基于一定的算法策略(如公平调度)决定有多少资源可以分配给所属集群，而任务领取决定使用(接受)哪些资源，运行哪些任务。对于故障重启的任务，或者是具备依存关系前序任务，会以更高的优先级被调度。在空闲时，所述任务领取进程向所述调度服务进程注册。调度完成之后，所述任务领取进程把接受的任务和资源发送给所述调度服务进程，从而上报了任务执行情况和资源占用情况。
在一些实施例中，所述调度本地服务用于对任务的状态进行追踪，发现并上报所述***出现的异常情况。例如，所述调度服务进程中的任务具备如图4所示状态以及转换情况。在任务执行完成之后，任务的结果由所述任务领取进程上报，并由所述调度服务进程收集。
在此，异常处理需要处理以下异常情况：(1)完成：集合或实例正常完成(也称为“成功”)。(2)驱逐：由于(罕见)硬件故障，强制操作***升级(每台计算机每月约1个)，或由优先级较高的实例抢占或由于计算机已过期而对集合或实例进行了调度承诺，***不得不杀死一个或多个事例，以释放剩余的足够资源；大多数驱逐是实例而不是抽象集合，在几乎所有情况下，被驱逐的实例都将重新安排在同一集群中的其他位置。(3)杀死：用户直接或通过RPC到管理节点取消了集合或实例，或者如果它是退出或被杀死的父级作业的子级，则直接取消。(4)失败：集合或实例由于自身的问题(例如段错误)或试图使用超出其要求的资源(例如，由于内存泄漏或配置错误)而意外终止。(5)任务漂移：当前上下文的保存，进行飘移；资源情况不能就近的情况，阶段任务的飘移。
在一些实施例中，所述调度本地服务能够发现和上报大多数异常情况，包括完成、驱逐、杀死、失败、任务漂移等。只有在很少的场景，比如所述调度本地服务所在的服务器故障、网络故障等，需要所述调度服务进程来发现和处理。比如所述调度服务进程长时间连不上某一个计算任务，则超过一定时间之后，把该计算节点相关的任务全部标记为故障，把该节点驱逐出去，并重新调度。
在一些实施例中，所述***调度任务的过程包括任务分析阶段、任务拆分阶段、资源映射阶段和结果收集阶段。
例如，根据任务的不同特点以及对资源的使用情况，任务可以分为计算密集型和IO密集型。对于计算密集型，任务分为CPU亲和性和GPU亲和性；对于IO密集型，任务分为内存亲和性和磁盘亲和性。对任务进行拆分，确定任务的优先级和依存关系，并对资源进行量化，确定资源的规格是调度***的基础工作。
为了做好任务拆分和资源规划，事前的分析对调度效果起着至关重要的作用。从总体上说，分析可以分为离线分析和在线分析。事前分析属于离线分析的范畴。业务的开发人员通过对业务模型的深入理解，可以更好地定义任务拆分的规模和方法。运维人员在***的采购和部署阶段，对资源的信息非常了解，提前进行分析、量化、规划，可以有效地利用物理资源。在这个阶段中，任务对资源的亲和性以及资源的池化是两种重要的工作。任务对资源的亲和性是通过对任务对资源的需求特征进行分析而得出的。如图3所示，一个任务可以分拆为多个作业，并且不同作业之间可能存在依存关系或者是并行关系。事前的分析基本上可以定义任务对于某种资源的亲和性和反亲和性。
在一些实施例中，所述任务分析阶段包括离线分析和在线分析；其中，所述调度本地服务通过收集任务以及任务的各个阶段在线运行情况，获得各个子任务的资源亲和情况来完成所述在线分析。
例如，所述离线分析包括：提前对任务以及任务的各个阶段进行bench测试，获得各个子任务的资源亲和情况(如运行时长、资源占用等)。获得的数据特征直接作为亲和性特征数据库的配置。具体地，可以通过线下辅助工具来完成，比如bench测试工具。
例如，所述在线分析包括：收集任务以及任务的各个阶段再运行情况，获得各个子任务的资源亲和情况(如运行时长、资源占用等)。获得整个集群的运行性价比报告，然后根据***的资源配比对任务的分配进行调整，即为动态调度。具体地，通过所述调度本地服务进程来完成。
在一些实施例中，在所述任务拆分阶段，所述调度服务进程和所述调度本地服务配合工作，分别根据静态和动态对任务进行拆分。
例如，一个任务的各个子任务不一定都在一台机器上，可以分布在整个集群中。可以分别根据静态和动态对任务进行拆分，具体地，通过所述调度服务进程和所述调度本地服务配合完成。
在一些实施例中，在所述资源映射阶段，所述调度本地服务配合工作，根据任务的拆分情况对资源进行拆分。
例如，资源映射是根据任务的拆分情况，对资源进行拆分。在此，可以使用docker技术、container技术等。任务的拆分和释放都是自动化的，任务拆分的同时也是任务执行的开始。具体地，通过所述调度本地服务配合完成。
在一些实施例中，在所述结果收集阶段，通过所述调度服务进程和所述调度本地服务配合完成。例如，一个任务具备多个子任务时，有些任务之间是并行的，有些任务是流水化的。所有子任务都完成，整个任务才能完成。任务的编排包含了流水化信息，对于时间有要求的任务，会优先调度流水化任务线上因为等待时间久而饥饿的任务。
综上所述，本申请实施例提供的分布式计算任务调度***，既能适应同构***，又能适应异构***；既结合了静态调度的优势，又发挥了动态调度的效果；能够解决异构环境下的任务与资源的最佳匹配问题。在同等硬件资源和算法情况下，本申请实施例提供的分布式计算任务调度***可以提升总体效能4-5倍。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据程序指令运行的计算机设备的工作存储器中。在此，本申请的一些实施例提供了一种计算设备，该设备包括用于存储计算机程序指令的存储器和用于执行计算机程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发所述设备执行前述本申请的多个实施例的方法和/或技术方案。
此外，本申请的一些实施例还提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机可读指令可被处理器执行以实现前述本申请的多个实施例的方法和/或技术方案。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一些实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种分布式计算任务调度***，其中，该***包括调度服务进程和调度本地服务；
所述调度服务进程包括调度信息数据库、亲和性特征配置服务等组件；
所述调度本地服务包括任务生成进程和任务领取进程；
所述调度信息数据库用于记录所述调度服务进程的后台数据；
所述亲和性特征配置服务用于接收用户输入的资源使用模型，并把该资源使用模型以规则的方式写入到所述调度信息数据库中，供所述调度服务进程使用。
2.根据权利要求1所述的***，其中，所述任务生成进程用于根据所述***的目标生成对于异构资源使用的任务，或者所述任务的子任务。
3.根据权利要求1所述的***，其中，所述任务领取进程用于根据所述***本地对资源的感知和定价，向所述调度服务进程申领任务。
4.根据权利要求3所述的***，其中，所述调度服务进程用于根据亲和性特征配置以及任务的流水化要求，响应特定的任务给所述任务领取进程。
5.根据权利要求1所述的***，其中，所述调度信息数据库记录的数据包括：
异构资源的使用和分配情况，计算和存储的分配情况，节点和任务的映射关系，节点与各个子任务的映射关系，节点上内存和存储划分的方式，节点IP地址，任务类型，任务数量，资源亲和性配置信息。
6.根据权利要求1所述的***，其中，所述调度本地服务用于对任务的状态进行追踪，发现并上报所述***出现的异常情况。
7.根据权利要求1所述的***，其中，所述***调度任务的过程包括任务分析阶段、任务拆分阶段、资源映射阶段和结果收集阶段。
8.根据权利要求7所述的***，其中，所述任务分析阶段包括离线分析和在线分析；其中，所述调度本地服务通过收集任务以及任务的各个阶段在线运行情况，获得各个子任务的资源亲和情况来完成所述在线分析。
9.根据权利要求7所述的***，其中，在所述任务拆分阶段，所述调度服务进程和所述调度本地服务配合工作，分别根据静态和动态对任务进行拆分。
10.根据权利要求7所述的***，其中，在所述资源映射阶段，所述调度本地服务配合工作，根据任务的拆分情况对资源进行拆分。
CN202110256742.0A 2021-03-09 2021-03-09 一种分布式计算任务调度*** Pending CN112965800A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110256742.0A CN112965800A (zh) 2021-03-09 2021-03-09 一种分布式计算任务调度***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110256742.0A CN112965800A (zh) 2021-03-09 2021-03-09 一种分布式计算任务调度***

Publications (1)

Publication Number Publication Date
CN112965800A true CN112965800A (zh) 2021-06-15

Family

ID=76277103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110256742.0A Pending CN112965800A (zh) 2021-03-09 2021-03-09 一种分布式计算任务调度***

Country Status (1)

Country Link
CN (1) CN112965800A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153573A (zh) * 2016-03-02 2017-09-12 阿里巴巴集团控股有限公司 分布式任务处理方法和装置
CN107436806A (zh) * 2016-05-27 2017-12-05 苏宁云商集团股份有限公司 一种资源调度方法及***
US20180321979A1 (en) * 2017-05-04 2018-11-08 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing a scheduler with preemptive termination of existing workloads to free resources for high priority items
CN110753107A (zh) * 2019-10-21 2020-02-04 中国科学院空间应用工程与技术中心 天基云雾计算架构下的资源调度***、方法和存储介质
CN112162865A (zh) * 2020-11-03 2021-01-01 中国工商银行股份有限公司 服务器的调度方法、装置和服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153573A (zh) * 2016-03-02 2017-09-12 阿里巴巴集团控股有限公司 分布式任务处理方法和装置
CN107436806A (zh) * 2016-05-27 2017-12-05 苏宁云商集团股份有限公司 一种资源调度方法及***
US20180321979A1 (en) * 2017-05-04 2018-11-08 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing a scheduler with preemptive termination of existing workloads to free resources for high priority items
CN110753107A (zh) * 2019-10-21 2020-02-04 中国科学院空间应用工程与技术中心 天基云雾计算架构下的资源调度***、方法和存储介质
CN112162865A (zh) * 2020-11-03 2021-01-01 中国工商银行股份有限公司 服务器的调度方法、装置和服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张守祥等: "《综采工作面自动化监控网络》", vol. 1, 煤炭工业出版社, pages: 71 *

Similar Documents

Publication Publication Date Title
Silva et al. Cloudbench: Experiment automation for cloud environments
Ganapathi et al. Statistics-driven workload modeling for the cloud
US9275172B2 (en) Systems and methods for analyzing performance of virtual environments
Zhu et al. A performance interference model for managing consolidated workloads in QoS-aware clouds
US8762993B2 (en) Method, system and program product for capturing central processing unit (CPU) utilization for a virtual machine
CN111625331B (zh) 任务调度方法、装置、平台、服务器及存储介质
US9870269B1 (en) Job allocation in a clustered environment
US20070118839A1 (en) Method and apparatus for grid project modeling language
US9250886B2 (en) Optimizing provisioning workflows in cloud computing
Gunther et al. Hadoop superlinear scalability
US20050132379A1 (en) Method, system and software for allocating information handling system resources in response to high availability cluster fail-over events
Setzer et al. Decision support for virtual machine reassignments in enterprise data centers
WO2019060502A1 (en) SYSTEM AND METHOD FOR ASSIGNING SHARED COMPUTER RESOURCES
Han et al. Refining microservices placement employing workload profiling over multiple kubernetes clusters
CN105868070A (zh) 确定任务消耗资源的方法及装置
US20210263718A1 (en) Generating predictive metrics for virtualized deployments
CN114416849A (zh) 数据处理方法、装置、电子设备及存储介质
US20210286647A1 (en) Embedded persistent queue
Büyüktanır et al. Provisioning system for application virtualization environments
CN112580816A (zh) 机器学习训练资源管理
Iglesias et al. A methodology for online consolidation of tasks through more accurate resource estimations
Agavane Improve Load Balancing Performance and Efficiency Using Equally Spread Current Execution Algorithm working with response time clustering in Microservices
CN115858499A (zh) 一种数据库分区处理方法、装置、计算机设备和存储介质
Wang et al. Improving utilization through dynamic VM resource allocation in hybrid cloud environment
CN112965800A (zh) 一种分布式计算任务调度***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination