CN110908795B - 云计算集群混部作业调度方法、装置、服务器及存储装置 - Google Patents

云计算集群混部作业调度方法、装置、服务器及存储装置 Download PDF

Info

Publication number
CN110908795B
CN110908795B CN201911065641.4A CN201911065641A CN110908795B CN 110908795 B CN110908795 B CN 110908795B CN 201911065641 A CN201911065641 A CN 201911065641A CN 110908795 B CN110908795 B CN 110908795B
Authority
CN
China
Prior art keywords
job scheduling
server
mixed
scheduling request
deployment mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911065641.4A
Other languages
English (en)
Other versions
CN110908795A (zh
Inventor
叶可江
陈文艳
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201911065641.4A priority Critical patent/CN110908795B/zh
Priority to PCT/CN2019/125432 priority patent/WO2021088207A1/zh
Publication of CN110908795A publication Critical patent/CN110908795A/zh
Application granted granted Critical
Publication of CN110908795B publication Critical patent/CN110908795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种云计算集群混部作业调度方法、装置、服务器及存储装置，其中方法包括：分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值；基于最大资源值模拟将多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率；基于硬件事件发生频率计算每种混合部署模式的推荐评分；当接收到作业调度请求时，确认满足作业调度请求的所需资源；筛选出符合所需资源的服务器列表，并从服务器列表中确认推荐评分最高的目标混合部署模式；根据目标混合部署模式对作业调度请求进行***调度。本发明通过在资源层面和硬件事件层面对作业调度请求进行双层混合部署，以提升云服务器整体资源利用率。

Description

云计算集群混部作业调度方法、装置、服务器及存储装置
技术领域
本申请涉及云计算技术领域，特别是涉及一种云计算集群混部作业调度方法、装置、服务器及存储装置。
背景技术
云计算服务因其高扩展性、按需服务以及极其廉价的特性而被广泛应用于数据中心服务平台，越来越多的企业和个人选择利用云计算平台运行应用程序。随之云集群中的服务类型越来越多样化，对作业调度的要求也越来越高。为了提升云计算集群整体的资源利用率，云数据中心相关人员开始逐步重视对物理主机的混合利用。
目前，提升云计算集群资源利用率主要从两个方面进行。一是负载特征分析与资源预测，该方法通过对负载的历史运行日志进行分析，采用服务器学习模型等进行预测下一时刻的资源消耗情况，从而进行合理的资源分配。该方式在一定程度上缩短了资源请求与实际资源消耗的差距，减少服务器资源超售的情况。二是集群中的混部策略的部署，主要是将实时型业务和计算型业务混部在同一台物理机中。但是，目前大部分的作业调度方案考虑的是单个层面，即资源层的资源需求或者作业本身的调度优先级，采用的方法有神经网络、蚁群算法等经典启发式算法，排队论等，或者是基于经典算法模型的改进策略，其忽略了混合部署时，不同类型的负载之间互相干扰而导致服务器集群性能下降的问题。
发明内容
本申请提供一种云计算集群混部作业调度方法、装置、服务器及存储装置，以解决现有的作业调度方案因负载之间互相干扰而导致服务器集群性能下降的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种云计算集群混部作业调度方法，其包括：
分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值；
基于最大资源值模拟将多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率；
基于硬件事件发生频率计算每种混合部署模式的推荐评分；
当接收到作业调度请求时，确认满足作业调度请求的所需资源；
筛选出符合所需资源的服务器列表，并从服务器列表中确认推荐评分最高的目标混合部署模式；
根据目标混合部署模式对作业调度请求进行***调度。
作为本发明的进一步改进，所述每种混合部署模式的推荐评分的计算公式为：
Figure BDA0002259237040000021
其中，Tw1w2为w1、w2两种负载类型混合部署时的推荐评分，SHEM＝{IPC,BPM,LLCM……}，w1、w2分别代表不同类型的负载，ratei表示w1、w2混合部署运行时w1的硬件事件发生频率与w1单独部署运行时的硬件事件发生频率的比值，αi为预先设定的硬件事件的权重。
作为本发明的进一步改进，基于所述最大资源值模拟将所述多种负载类型混合部署至服务器的步骤之前，还包括：
当出现新的负载类型时，通过相似性分析确认与新的负载类型最接近的负载类型，以确认新的负载类型所需的最大资源值。
作为本发明的进一步改进，确认满足作业调度请求的所需资源的步骤之后，还包括：
判断是否有服务器满足作业调度请求的所需资源；
若有，则执行筛选出符合所需资源的服务器列表以及后续步骤。
若无，则保持作业调度请求，并继续等待，直至有满足所需资源的服务器。
作为本发明的进一步改进，确认满足作业调度请求的所需资源的步骤之后，还包括：
初始化作业调度请求的优先级；
判断优先级是否为零；
若优先级为零，则直接执行***调度操作；
若优先级不为零，则执行筛选出符合所需资源的服务器列表以及后续步骤。
作为本发明的进一步改进，筛选出符合所需资源的服务器列表的步骤，包括：
判断是否存在符合所需资源的服务器；
若存在，则筛选出符合所需资源的服务器，得到服务器列表；
若不存在，则将优先级减一，并再次执行判断优先级是否为零以及后续步骤。
作为本发明的进一步改进，从服务器列表中确认推荐评分最高的目标混合部署模式的步骤，包括：
判断服务器列表中是否存在符合作业调度请求与多种负载类型的混合部署模式；
若存在，则将符合作业调度请求与多种负载类型的混合部署模式中推荐评分最高的混合部署模式作为目标混合部署模式；
若不存在，则将优先级减一，并再次执行判断优先级是否为零以及后续步骤。
为了解决上述问题，本发明还提供了一种云计算集群混合部署作业调度装置，其包括：
分析模块，用于分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值；
模拟模块，用于基于最大资源值模拟将多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率；
计算模块，用于基于硬件事件发生频率计算每种混合部署模式的推荐评分；
确认模块，用于当接收到作业调度请求时，确认满足作业调度请求的所需资源；
筛选模块，用于筛选出符合所需资源的服务器列表，并从服务器列表中确认推荐评分最高的目标混合部署模式；
调度模块，用于根据目标混合部署模式对作业调度请求进行***调度。
为了解决上述问题，本发明还提供了一种服务器，服务器包括处理器、与处理器耦接的存储器，其中，
存储器存储有用于实现上述中任一项的云计算集群混部作业调度方法的程序指令；
处理器用于执行存储器存储的程序指令以对作业调度请求进行调度。
为了解决上述问题，本发明还提供了一种存储装置，存储有能够实现上述中任一项的云计算集群混部作业调度方法的程序文件。
本申请的有益效果是：本发明通过分析不同负载类型混合部署时，各硬件事件发生特征，从而得到不同负载类型混合部署形成的混合部署模式的推荐评分，在接接收到作业调度请求时，确认作业调度请求所需资源，再从满足所需资源的服务器中筛选出作业调度请求与其他负载混合部署时推荐评分最高的混合部署模式，并根据此混合部署模式对作业调度请求进行***调度，其综合考虑了资源和不同负载之间的干扰情况两个方面，避免了因负载之间互相干扰而导致服务器性能下降的问题，提升云服务器整体资源利用率。
附图说明
图1是本发明第一实施例的云计算集群混部作业调度方法的流程示意图；
图2是本发明第二实施例的云计算集群混部作业调度方法的流程示意图；
图3是本发明第三实施例的云计算集群混部作业调度方法的流程示意图；
图4是本发明第四实施例的云计算集群混部作业调度方法的流程示意图；
图5是本发明实施例的云计算集群混部作业调度装置的结构示意图；
图6是本发明实施例的服务器的结构示意图；
图7是本发明实施例的存储装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的云计算集群混部作业调度方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：
步骤S1，分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值。
需要说明的是，多种负载类型的历史运行日志数据需要预先进行采集，并且，历史运行日志数据包括CPU利用率、内存利用率、磁盘占用大小、网络I/O等属性值，采样频率可以设置为每隔60秒采样一次。
具体地，通过分析每种负载类型的历史运行日志数据，即可得到每种负载类型运行时所需的最大资源值，该资源值包括负载运行时所需的CPU、内存等资源。
步骤S2，基于最大资源值模拟将多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率。
需要说明的是，硬件事件包括Instructions per Cycle、Branch predictionmisses、Context switches、Cache misses、L1 data cache load misses、Last levelcache misses、dTLB load misses、iTLB load misses等。
具体地，在获取每种负载类型运行时所需的最大资源值之后，同样获取服务器的资源情况，根据每种负载类型运行时所需的最大资源值模拟将每种负载类型混合部署至服务器，再通过分析混合部署模式下硬件事件的特征，从而获知硬件事件的发生频率。
步骤S3，基于硬件事件发生频率计算每种混合部署模式的推荐评分。
需要说明的是，每种混合部署模式的推荐评分的计算公式为：
Figure BDA0002259237040000071
其中，Tw1w2为w1、w2两种负载类型混合部署时的推荐评分，SHEM＝{IPC,BPM,LLCM……}(即硬件事件)，w1、w2分别代表不同类型的负载，ratei表示w1、w2混合部署运行时w1的硬件事件发生频率与w1单独部署运行时的硬件事件发生频率的比值，w1单独部署运行时的硬件事件发生频率可提前获取，αi为预先设定的硬件事件的权重。
步骤S4，当接收到作业调度请求时，确认满足作业调度请求的所需资源。
步骤S5，筛选出符合所需资源的服务器列表，并从服务器列表中确认推荐评分最高的目标混合部署模式。
具体地，获取各个服务器的当前剩余的资源，再根据所需资源筛选出符合要求的服务器，组合成一个服务器列表，再根据作业调度请求和已经运行的负载确认服务器列表中推荐评分最高的目标混合部署模式。
步骤S6，根据目标混合部署模式对作业调度请求进行***调度。
本实施例通过分析不同负载类型混合部署时，各硬件事件发生特征，从而得到不同负载类型混合部署形成的混合部署模式的推荐评分，在接接收到作业调度请求时，确认作业调度请求所需资源，再从满足所需资源的服务器中筛选出作业调度请求与其他负载混合部署时推荐评分最高的混合部署模式，并根据此混合部署模式对作业调度请求进行***调度，其综合考虑了资源和不同负载之间的干扰情况两个方面，避免了因负载之间互相干扰而导致服务器性能下降的问题，提升云服务器整体资源利用率。
将本发明的云计算集群混部作业调度方法应用于云计算集群混部作业调度装置的过程中，还存在新的类型的负载进入的情况，因此，上述实施例的基础上，其他实施例中，如图2所示，步骤S2之前，还包括：
步骤S10，当出现新的负载类型时，通过相似性分析确认与新的负载类型最接近的负载类型，以确认新的负载类型所需的最大资源值。
在本实施例中，当出现新的负载类型时，对该新出现的负载类型与已有的负载类型进行相似性分析，从而确认与该新的负载类型最接近的负载类型，进而对新的负载类型的所需的最大资源值作出预测，再根据预测的最大资源值将新的负载类型和已有的负载类型模拟混合部署的场景，从而提高该本发明实施例提供的云计算集群混部作业调度方法的泛用性。
将本发明的云计算集群混部作业调度方法应用于云计算集群混部作业调度装置的过程中，还需要判断是否有服务器满足作业调度请求所需资源，因此，上述实施例的基础上，其他实施例中，如图3所示，步骤S4之后，还包括：
步骤S20，判断是否有服务器满足作业调度请求的所需资源。若有，则执行步骤S5～步骤S6；若无，则执行步骤21。
步骤S21，保持作业调度请求，并继续等待，直至有满足所需资源的服务器。
本实施例中，在确认作业调度请求的所需资源之后，获取所有的服务器的剩余资源，并判断其中是否有满足作业调度请求的所需资源，若无，则保持该作业调度请求，并继续等待，并循环判断是否有满足作业调度请求所需资源的服务器，直至有满足所需资源的服务器为止。
将本发明的云计算集群混部作业调度方法应用于云计算集群混部作业调度装置的过程中，还需要对作业调度请求设置优先级，因此，上述实施例的基础上，其他实施例中，如图4所示，步骤S4之后，还包括：
步骤S30，初始化作业调度请求的优先级。
具体地，初始化作业调度请求的优先级P＝M，其中，M为预先设定的优先级阈值，即允许的最大重复调度次数。
步骤S31，判断优先级是否为零。若优先级为零，执行步骤S32；若优先级不为零，则执行步骤S5～步骤S6。
步骤S32，直接执行***调度操作。
本实施例中，根据作业调度请求的优先级确认是否需要优先对作业调度请求进行处理。
进一步的，在上述实施例的基础上，步骤S5包括：
步骤S33，判断是否存在符合所需资源的服务器。若存在，则执行步骤S34～步骤S35；若不存在，则将优先级减一，并再次执行步骤S31及后续步骤。
步骤S34，筛选出符合所需资源的服务器，得到服务器列表。
步骤S35，判断服务器列表中是否存在符合作业调度请求与多种负载类型的混合部署模式。若存在，则执行步骤S36；若不存在，则将优先级减一，并再次执行步骤S31及后续步骤。
步骤S36，将符合作业调度请求与多种负载类型的混合部署模式中推荐评分最高的混合部署模式作为目标混合部署模式。
本实施例中，为了避免作业调度请求等待的时间过长，每判定一次不存在符合所需资源的服务器或服务器列表中不存在符合作业调度请求与多种负载类型的混合部署模式时，将作业调度请求的优先级减一，直至优先级降为零时，对该作业调度请求进行***调度。
图5展示了本发明云计算集群混合部署作业调度装置的结构示意图。如图5所示，该云计算集群混合部署作业调度装置1包括分析模块10、模拟模块11、计算模块12、确认模块13、筛选模块14和调度模块15。
其中，分析模块10，用于分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值；模拟模块11，用于基于最大资源值模拟将多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率；计算模块12，用于基于硬件事件发生频率计算每种混合部署模式的推荐评分；确认模块13，用于当接收到作业调度请求时，确认满足作业调度请求的所需资源；筛选模块14，用于筛选出符合所需资源的服务器列表，并从服务器列表中确认推荐评分最高的目标混合部署模式；调度模块15，用于根据目标混合部署模式对作业调度请求进行***调度。
可选地，每种混合部署模式的推荐评分的计算公式为：
Figure BDA0002259237040000101
其中，Tw1w2为w1、w2两种负载类型混合部署时的推荐评分，SHEM＝{IPC,BPM,LLCM……}，w1、w2分别代表不同类型的负载，ratei表示w1、w2混合部署运行时w1的硬件事件发生频率与w1单独部署运行时的硬件事件发生频率的比值，αi为预先设定的硬件事件的权重。
可选地，模拟模块11基于最大资源值模拟将多种负载类型混合部署至服务器的操作之前，还包括：当出现新的负载类型时，通过相似性分析确认与新的负载类型最接近的负载类型，以确认新的负载类型所需的最大资源值。
可选地，确认模块13确认满足作业调度请求的所需资源的操作之后，还包括判断是否有服务器满足作业调度请求的所需资源；若有，则筛选模块14和调度模块15执行后续操作；若无，则保持作业调度请求，并继续等待，直至有满足所需资源的服务器。
可选地，确认模块13确认满足作业调度请求的所需资源的操作之后，还包括初始化作业调度请求的优先级；判断优先级是否为零；若优先级为零，则直接执行***调度操作；若优先级不为零，则筛选模块14和调度模块15执行后续操作；筛选模块14筛选出符合所需资源的服务器列表，并从服务器列表中确认推荐评分最高的目标混合部署模式的操作可以为：判断是否存在符合所需资源的服务器；若存在，则筛选出符合所需资源的服务器，得到服务器列表；若不存在，则将优先级减一，并再次执行判断优先级是否为零以及后续操作；在得到服务器列表之后，还包括：判断服务器列表中是否存在符合作业调度请求与多种负载类型的混合部署模式；若存在，则将符合作业调度请求与多种负载类型的混合部署模式中推荐评分最高的混合部署模式作为目标混合部署模式；若不存在，则将优先级减一，并再次执行判断优先级是否为零以及后续操作。
请参阅图6，图6为本发明实施例的服务器的结构示意图。如图6所示，该服务器60包括处理器61及和处理器61耦接的存储器62。
存储器62存储有用于实现上述任一实施例所述的云计算集群混部作业调度方法的程序指令。
处理器61用于执行存储器62存储的程序指令以对作业调度请求进行调度。
其中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图7，图7为本发明实施例的存储装置的结构示意图。本发明实施例的存储装置存储有能够实现上述所有方法的程序文件71，其中，该程序文件71可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等服务器设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种云计算集群混部作业调度方法，其特征在于，其包括：
分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值；
基于所述最大资源值模拟将所述多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率；
基于所述硬件事件发生频率计算每种混合部署模式的推荐评分；
当接收到作业调度请求时，确认满足所述作业调度请求的所需资源；
筛选出符合所述所需资源的服务器列表，并从所述服务器列表中确认推荐评分最高的目标混合部署模式；
根据所述目标混合部署模式对所述作业调度请求进行***调度；
其中，所述硬件事件包括：Instructions per Cycle、Branch prediction misses、Context switches、Cache misses、L1 data cacheload misses、Last level cachemisses、dTLB load misses、iTLB load misses；
所述每种混合部署模式的推荐评分的计算公式为：
Figure FDA0003665245060000011
其中，Tw1w2为w1、w2两种负载类型混合部署时的推荐评分，SHEM＝{IPC,BPM,LLCM……}，w1、w2分别代表不同类型的负载，ratei表示w1、w2混合部署运行时w1的硬件事件发生频率与w1单独部署运行时的硬件事件发生频率的比值，αi为预先设定的硬件事件的权重。
2.根据权利要求1所述的云计算集群混部作业调度方法，其特征在于，所述基于所述最大资源值模拟将所述多种负载类型混合部署至服务器的步骤之前，还包括：
当出现新的负载类型时，通过相似性分析确认与所述新的负载类型最接近的负载类型，以确认所述新的负载类型所需的最大资源值。
3.根据权利要求1所述的云计算集群混部作业调度方法，其特征在于，所述确认满足所述作业调度请求的所需资源的步骤之后，还包括：
判断是否有服务器满足所述作业调度请求的所需资源；
若有，则执行筛选出符合所述所需资源的服务器列表以及后续步骤；
若无，则保持所述作业调度请求，并继续等待，直至有满足所需资源的服务器。
4.根据权利要求1所述的云计算集群混部作业调度方法，其特征在于，所述确认满足所述作业调度请求的所需资源的步骤之后，还包括：
初始化所述作业调度请求的优先级；
判断所述优先级是否为零；
若所述优先级为零，则直接执行***调度操作；
若所述优先级不为零，则执行筛选出符合所述所需资源的服务器列表以及后续步骤。
5.根据权利要求4所述的云计算集群混部作业调度方法，其特征在于，所述筛选出符合所述所需资源的服务器列表的步骤，包括：
判断是否存在符合所述所需资源的服务器；
若存在，则筛选出符合所述所需资源的服务器，得到服务器列表；
若不存在，则将所述优先级减一，并再次执行判断所述优先级是否为零以及后续步骤。
6.根据权利要求5所述的云计算集群混部作业调度方法，其特征在于，所述从所述服务器列表中确认推荐评分最高的目标混合部署模式的步骤，包括：
判断所述服务器列表中是否存在符合所述作业调度请求与所述多种负载类型的混合部署模式；
若存在，则将符合所述作业调度请求与所述多种负载类型的混合部署模式中推荐评分最高的混合部署模式作为目标混合部署模式；
若不存在，则将所述优先级减一，并再次执行判断所述优先级是否为零以及后续步骤。
7.一种利用权利要求1所述云计算集群混部作业调度方法的云计算集群混合部署作业调度装置，其特征在于，其包括：
分析模块，用于分析预先获取的多种负载类型的历史运行日志数据，确认每种负载类型运行时所需的最大资源值；
模拟模块，用于基于所述最大资源值模拟将所述多种负载类型混合部署至服务器，并获取每种混合部署模式下硬件事件的发生频率；
计算模块，用于基于所述硬件事件发生频率计算每种混合部署模式的推荐评分；
确认模块，用于当接收到作业调度请求时，确认满足所述作业调度请求的所需资源；
筛选模块，用于筛选出符合所述所需资源的服务器列表，并从所述服务器列表中确认推荐评分最高的目标混合部署模式；
调度模块，用于根据所述目标混合部署模式对所述作业调度请求进行***调度。
8.一种服务器，其特征在于，所述服务器包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有用于实现如权利要求1-6中任一项所述的云计算集群混部作业调度方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以对作业调度请求进行调度。
9.一种存储装置，其特征在于，存储有能够实现如权利要求1-6中任一项所述的云计算集群混部作业调度方法的程序文件。
CN201911065641.4A 2019-11-04 2019-11-04 云计算集群混部作业调度方法、装置、服务器及存储装置 Active CN110908795B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911065641.4A CN110908795B (zh) 2019-11-04 2019-11-04 云计算集群混部作业调度方法、装置、服务器及存储装置
PCT/CN2019/125432 WO2021088207A1 (zh) 2019-11-04 2019-12-14 云计算集群混部作业调度方法、装置、服务器及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911065641.4A CN110908795B (zh) 2019-11-04 2019-11-04 云计算集群混部作业调度方法、装置、服务器及存储装置

Publications (2)

Publication Number Publication Date
CN110908795A CN110908795A (zh) 2020-03-24
CN110908795B true CN110908795B (zh) 2022-08-19

Family

ID=69814818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911065641.4A Active CN110908795B (zh) 2019-11-04 2019-11-04 云计算集群混部作业调度方法、装置、服务器及存储装置

Country Status (2)

Country Link
CN (1) CN110908795B (zh)
WO (1) WO2021088207A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858070B (zh) * 2020-08-05 2023-12-01 中国工商银行股份有限公司 计算资源配置方法、装置、设备以及存储介质
CN112162791B (zh) * 2020-09-25 2022-12-30 天津大学 一种分布式深度学习任务混部后的性能预测方法
CN112559282A (zh) * 2020-12-08 2021-03-26 海光信息技术股份有限公司 功耗监测***、相关方法、装置、处理器及介质
CN112506619B (zh) * 2020-12-18 2023-08-04 北京百度网讯科技有限公司 作业处理方法、装置、电子设备和存储介质
CN112668011B (zh) * 2020-12-29 2022-03-01 广东电网有限责任公司电力调度控制中心 一种云容器集群的部署方法及***
CN113075994B (zh) * 2021-04-26 2023-05-30 华南理工大学 面向x86和arm混合云计算的节能调度***、方法和存储介质
CN113407192B (zh) * 2021-06-30 2023-07-04 竹间智能科技（上海）有限公司 模型部署方法和设备
CN113434258B (zh) * 2021-07-07 2024-04-12 京东科技控股股份有限公司 模型部署方法、装置、设备和计算机存储介质
CN113672382B (zh) * 2021-07-20 2024-03-26 北京达佳互联信息技术有限公司 一种业务资源分配方法、装置、电子设备和存储介质
CN114143322B (zh) * 2021-11-25 2024-02-27 ***数智科技有限公司 一种混合云场景中计算资源的配置行动评估方法
CN114338683B (zh) * 2021-12-27 2024-04-30 中国电信股份有限公司 调度请求处理方法、装置、存储介质及电子设备
CN114020584B (zh) * 2022-01-05 2022-05-03 北京并行科技股份有限公司 一种作业分流方法、装置及计算设备
CN116382892B (zh) * 2023-02-08 2023-10-27 深圳市融聚汇信息科技有限公司 一种基于多云融合以及云服务的负载均衡方法及装置
CN116932228B (zh) * 2023-09-14 2023-12-12 湖南希赛网络科技有限公司 一种基于志愿者计算的边缘ai任务调度和资源管理***
CN117893334B (zh) * 2024-03-15 2024-07-05 国任财产保险股份有限公司 一种基于大数据的保险任务分配方法及***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106548262B (zh) * 2015-09-21 2020-11-06 阿里巴巴集团控股有限公司 用于处理任务的资源的调度方法、装置和***
CN106095550A (zh) * 2016-06-07 2016-11-09 百度在线网络技术（北京）有限公司 一种计算任务调度方法和装置
CN107656806A (zh) * 2016-07-25 2018-02-02 华为技术有限公司 一种资源分配方法和资源分配装置
CN106407137A (zh) * 2016-09-18 2017-02-15 中国科学技术大学苏州研究院 基于邻域模型的协同过滤推荐算法的硬件加速器和方法
CN106878389B (zh) * 2017-01-04 2020-02-07 北京百度网讯科技有限公司 用于在云***中进行资源调度的方法和装置
CN107404523A (zh) * 2017-07-21 2017-11-28 中国石油大学(华东) 云平台自适应资源调度***和方法
US10346279B2 (en) * 2017-07-25 2019-07-09 Citrix Systems, Inc. Method for optimized canary deployments for improved customer experience
CN108023958B (zh) * 2017-12-08 2020-06-23 中电莱斯信息***有限公司 一种基于云平台资源监视的资源调度***
CN108234612B (zh) * 2017-12-23 2021-07-06 北京卫星信息工程研究所 多终端模式的高分资源动态分配与按需服务发布***
CN109308222B (zh) * 2018-09-12 2021-09-03 上海丕休智能科技有限公司 基于统一建模环境的去中心化软硬件资源云平台搭建方法

Also Published As

Publication number Publication date
WO2021088207A1 (zh) 2021-05-14
CN110908795A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN110908795B (zh) 云计算集群混部作业调度方法、装置、服务器及存储装置
CN108829494B (zh) 基于负载预测的容器云平台智能资源优化方法
CN110570075B (zh) 一种电力业务边缘计算任务分配方法及装置
CN112416585B (zh) 面向深度学习的gpu资源管理与智能化调度方法
CN103425535A (zh) 云环境下的敏捷弹性伸缩方法
CN109992422A (zh) 一种面向gpu资源的任务调度方法、装置和***
CN105306277A (zh) 消息队列的消息调度方法及消息调度装置
CN106528288A (zh) 一种资源管理方法、装置和***
Caglar et al. Intelligent, performance interference-aware resource management for iot cloud backends
Tang et al. Nanily: A qos-aware scheduling for dnn inference workload in clouds
CN115033340A (zh) 一种宿主机的选择方法及相关装置
CN105740085A (zh) 容错处理方法及装置
CN111860853A (zh) 在线预测***、设备、方法及电子设备
CN114625500A (zh) 云环境下拓扑感知的微服务应用调度的方法及应用
CN107203256B (zh) 一种网络功能虚拟化场景下的节能分配方法与装置
Zikos et al. A clairvoyant site allocation policy based on service demands of jobs in a computational grid
CN110796591A (zh) 一种gpu卡的使用方法及相关设备
CN109783236A (zh) 用于输出信息的方法和装置
CN109168049B (zh) 直播节目的等级评价方法、装置、存储介质及服务器
CN114936089A (zh) 资源调度方法、***、设备及存储介质
CN114296872A (zh) 用于容器集群管理***的调度方法及装置
Eng et al. An Estimation-Based Dynamic Load Balancing Algorithm for Efficient Load Distribution and Balancing in Heterogeneous Grid Computing Environment
Petrovska et al. Sequential Series-Based Prediction Model in Adaptive Cloud Resource Allocation for Data Processing and Security
CN112114972B (zh) 数据倾斜的预测方法及装置
CN114338536B (zh) 基于区块链的调度方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant