CN106874115A - 一种虚拟机资源分配方法及分布式虚拟机资源调度*** - Google Patents

一种虚拟机资源分配方法及分布式虚拟机资源调度*** Download PDF

Info

Publication number
CN106874115A
CN106874115A CN201710050381.8A CN201710050381A CN106874115A CN 106874115 A CN106874115 A CN 106874115A CN 201710050381 A CN201710050381 A CN 201710050381A CN 106874115 A CN106874115 A CN 106874115A
Authority
CN
China
Prior art keywords
virtual machine
resource
resources
scheduler
distribution method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710050381.8A
Other languages
English (en)
Inventor
李广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Virtual Nuclear Technology Co Ltd
Original Assignee
Hangzhou Virtual Nuclear Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Virtual Nuclear Technology Co Ltd filed Critical Hangzhou Virtual Nuclear Technology Co Ltd
Priority to CN201710050381.8A priority Critical patent/CN106874115A/zh
Publication of CN106874115A publication Critical patent/CN106874115A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种虚拟机资源分配方法，以及应用该分配方法的分布式虚拟机资源调度***，用于云计算平台，软件运营，平台运营以及数据运营等过程中对虚拟机资源进行调度。本发明通过将调度器分布式地部署于多个网络服务器节点，使调度器去中心化，没有控制中心，独立完成本节点调度任务；从而使调度任务及资源的功能控制过程精简化，可以快速响应用户请求。

Description

一种虚拟机资源分配方法及分布式虚拟机资源调度***
技术领域
本发明涉及一种虚拟机资源分配方法，以及应用该分配方法的分布式虚拟机资源调度***，用于云计算平台，软件运营，平台运营以及数据运营等过程中对虚拟机资源进行调度，属于计算机应用技术领域。
背景技术
计算机虚拟化技术将计算和处理建立在虚拟的基础上，抽象计算机的物理资源，隔离硬件与软件。利用虚拟化技术可将机群抽象成具有共享内存特征的虚拟机，支持共享内存编程模式，从而克服机群的不足。
现有技术中，对虚拟机资源的调度往往采用集中式调度模式，或者，双层资源调度模式，前者如：***云计算平台的MapReduce,其主要采用集中式调度模式，故只有一个中心调度器，所有请求必须提交给主调度器，由其决定如何响应请求，分配及管理资源。整个调度器由master,user,worker三种进程执行，master负责任务调度，均衡控制，worker负责执行master分配的任务，user负责管理用户请求。这种调度模式的缺点是中心调度器的负担很重，大规模的计算任务会明显影响相应用户求的时间；后者如：hadoop YARN调度器,YARN采用了双层资源调度模型，在第一层中，ResourceManager中的资源调度器将资源分配给各个ApplicationMaster；在第二层中，AppplicationMaster再进一步将资源分配给它的内部的各个任务。YARN资源调度器采用了主资源公平调度算法(Dominant ResourceFainess，DRF)，该算法扩展了最大最小(max-min fairness)算法，使其能够支持多维资源的调度。缺点是框架对资源分割管理粒度细及种类多，导致调度过程非常繁琐，而且出现作业故障时只能重启服务，给管理者造成困扰。
发明内容
本发明针对现有技术中虚拟机的调度模式存在用户响应时间长、调度过程繁琐、调度器稳定性、调度器与节点强耦合等技术问题，提供一种虚拟机资源分配方法，以及应用该分配方法的分布式虚拟机资源调度***，使调度任务及资源的功能控制过程智能化、精简化，快速响应用户请求。
为此，本发明采用如下技术方案：
一种虚拟机资源分配方法，包含如下步骤：
S1：将用户表示为用户集表示U＝{U1,U2,U3,…,Un}，将虚拟机资源池表示为资源集R＝{R1,R2,R3,…,Rn}；
S2：调度器寻求策略S使得在资源集R中合理选择Rn分配给有资源需求的Un，其中：
Un中需考虑如下因素：P-优先级，T-请求时间，N-用户数量，D-用户域；
Rn中需考虑如下因素：T-资源类型，L-资源负荷，D-资源域，N-资源数量；
策略S抽象成向量矩阵关系，即U·S＝R，S＝R·U-1
用户Ui＝{Pi,Ti,Di,Ni},为N阶可变向量组；
资源Ri＝{Ti,Li,Di,Ni},为N阶可变向量组；
其中P,T,N向量组同原集合，D向量组由softmax回归算法分类决定；输入变量为N维IP地址集A＝{Ai}及访问时序集M＝{Mi}，
分类标签根据资源服务节点标定为Q＝{Qi}，
即由输入列(Ai,Mi)及标签Qi根据softmax算法分类。
本发明的另一方面，提供一种分布式虚拟机资源调度***，采用上述虚拟机资源分配方法对虚拟机资源进行分配，包括：
由若干网络服务器组成的网络服务器组，各网络服务器对服务请求进行管理和控制，并将服务请求抽象封装后提交给调度器；
由若干调度器组成的调度器组，调度器分别分布于多个网络服务器节点，各调度器负责处理网络服务器传递的数据，采用上述虚拟机资源分配方法对虚拟机资源进行分配，并通过使用动态配置的算法计算虚拟机资源分配结果，再返回给网络服务器；以及，
由若干虚拟机组成的虚拟机资源池：各虚拟机分别对服务请求进行处理。
进一步地，所述动态配置的算法是指从配置文件读取写好的配置。
进一步地，网络服务器、调度器以及虚拟机组成一个计算服务节点，所有的计算服务节点具有相同的虚拟机资源及运行相同的程序。
本发明通过设置多个服务节点，部署相应的服务后，每个节点有相同的调度器及计算资源，一个客户端请求到达后，可以随机分配给任何一个节点，节点通过调度算法计算得到资源分配结果后，无论资源位于那个节点，客户端请求都可以在本节点得到响应；同时，由于各个节点是弱连接，去除其中任何一个节点，余下的各节点都会继续提供服务而没有任何其他影响；此外，调度算法加入了机器学习的能力，可以根据用户请求历史情况动态分陪资源域，从而影响算法的结果，而算法是可以动态调配的，即调度器会动态读取算法配置脚本决定使用何种调度算法。
因此，本发明具有如下有益效果：
1.快速响应请求，通过将调度器分布式地部署于多个网络服务器节点，使调度器去中心化，没有控制中心，独立完成本节点调度任务；从而使调度任务及资源的功能控制过程精简化，可以快速响应用户请求；
2.高可用，调度器之间没有显式的连接，没有逻辑数据流，调度器并行分布在多个节点上，具有高可用性，高容错性的优点；同时，调度器所在的服务节点可以任意退出服务集群而不会影响服务集群的功能；
3.智能化，利用多种机器学习算法动态决定资源分配，调度算法与调度器主体分离，可以动态决定调度算法；
附图说明
图1为本发明的结构框图；
图2为本发明实施例的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细描述，本发明中与现有技术相同的部分将参考现有技术。
实施例1：
本发明的虚拟机资源分配方法，包含如下步骤：
S1：将用户表示为用户集表示U＝{U1,U2,U3,…,Un}，将虚拟机资源池表示为资源集R＝{R1,R2,R3,…,Rn}；
S2：调度器寻求策略S使得在资源集R中合理选择Rn分配给有资源需求的Un，其中：
Un中需考虑如下因素：P-优先级，T-请求时间，N-用户数量，D-用户域；
Rn中需考虑如下因素：T-资源类型，L-资源负荷，D-资源域，N-资源数量；
策略S抽象成向量矩阵关系，即U·S＝R，S＝R·U-1
用户Ui＝{Pi,Ti,Di,Ni},为N可变阶向量组；
资源Ri＝{Ti,Li,Di,Ni},为N可变阶向量组；
其中P,T,N向量组同原集合，D向量组由softmax回归算法分类决定；输入变量为N维IP地址集A＝{Ai}及访问时序集M＝{Mi}，
分类标签根据资源服务节点标定为Q＝{Qi}，
即由输入列(Ai,Mi)及标签Qi根据softmax算法分类。
实施例2：
如图1所示，本发明的分布式全平衡虚拟机资源调度***，采用上述虚拟机资源分配方法对虚拟机资源进行分配，包括：
由若干网络服务器组成的网络服务器组，各网络服务器对服务请求进行管理和控制，并将服务请求抽象封装后提交给调度器；
由若干调度器组成的调度器组，调度器分别分布于多个网络服务器节点，各调度器负责处理网络服务器传递的数据，采用上述虚拟机资源分配方法对虚拟机资源进行分配，并通过使用动态配置的算法计算虚拟机资源分配结果，再返回给网络服务器；以及，
由若干虚拟机组成的虚拟机资源池：各虚拟机分别对服务请求进行处理。
所述动态配置的算法是指从配置文件读取写好的配置，例如读取到如下内容：
IF nodes>1000；THEN schedule_calc＝MATRIX
ELSE schedule_calc＝FIFO
表示如果服务节点数大于1000时采用矩阵算法，否则采用FIFO算法。
本发明的分布式全平衡虚拟机资源调度***中，网络服务器、调度器以及虚拟机组成一个计算服务节点，所有的计算服务节点具有同质性，即：有相同的虚拟机资源及运行相同的程序。
图2示出了本发明的分布式全平衡虚拟机资源调度***的一个具体应用实例，如图2所示，本发明的虚拟机资源分配方法，包含如下步骤：
首先，将用户表示为用户集表示U＝{U1,U2,U3,…,Un}，将虚拟机资源池表示为资源集R＝{R1,R2,R3,…,Rn}；
随后，网络服务器获取到终端用户请求，并形成下表所示数据发送给调度器：
假令有8个用户，其P，优先级，T，请求时间，N，用户数量，D，用户域分配如下表：
U1 U2 U3 U4 U5 U6 U7 U8
P 10 7 19 -2 9 -1 -8 11
T 3 4 2 7 8 1 5 6
N 8 8 8 8 8 8 8 8
D 2 2 4 3 2 1 1 2
此表可以表示成矩阵U：
之后，调度器发送计算资源查询命令给控制器，得到返回的数据如下表，假令有6个虚拟机，其T，资源类型，L，资源负荷，D，资源域，N，资源数量分配如下表：
V1 V2 V3 V4 V5 V6
T 10 7 19 -2 9 -1
L 3 4 2 7 8 1
D 2 2 4 3 2 1
N 6 6 6 6 6 6
此表可以表示成矩阵V：
根据调度器智能算法可以计算计算资源分配矩阵
S＝U·V-1
即，S＝{1，3，0，0，0，3},表示3，4，5号虚拟机空闲，可以分配请求，故将请求结果以数据表形式返回给网络服务器；
最后，网络服务器响应用户请求。

Claims (4)

1.一种虚拟机资源分配方法，包含如下步骤：
S1：将用户表示为用户集表示U＝{U1,U2,U3,…,Un}，将虚拟机资源池表示为资源集R＝{R1,R2,R3,…,Rn}；
S2：调度器寻求策略S使得在资源集R中合理选择Rn分配给有资源需求的Un，其中：
Un中需考虑如下因素：P-优先级，T-请求时间，N-用户数量，D-用户域；
Rn中需考虑如下因素：T-资源类型，L-资源负荷，D-资源域，N-资源数量；
策略S抽象成向量矩阵关系，即U·S＝R，S＝R·U-1
用户Ui＝{Pi,Ti,Di,Ni},为N阶可变向量组；
资源Ri＝{Ti,Li,Di,Ni},为N阶可变向量组；
其中P,T,N向量组同原集合，D向量组由softmax回归算法分类决定；输入变量为N维IP地址集A＝{Ai}及访问时序集M＝{Mi}，
分类标签根据资源服务节点标定为Q＝{Qi}，
即由输入列(Ai,Mi)及标签Qi根据softmax算法分类。
2.一种分布式虚拟机资源调度***，采用权利要求1所述的虚拟机资源分配方法对虚拟机资源进行分配，包括：
由若干网络服务器组成的网络服务器组，各网络服务器对服务请求进行管理和控制，并将服务请求抽象封装后提交给调度器；
由若干调度器组成的调度器组，调度器分别分布于多个网络服务器节点，各调度器负责处理网络服务器传递的数据，采用上述虚拟机资源分配方法对虚拟机资源进行分配，并通过使用动态配置的算法计算虚拟机资源分配结果，再返回给网络服务器；以及，
由若干虚拟机组成的虚拟机资源池：各虚拟机分别对服务请求进行处理。
3.根据权利要求2所述的分布式虚拟机资源调度***，其特征在于：所述动态配置的算法是指从配置文件读取写好的配置。
4.根据权利要求2所述的分布式虚拟机资源调度***，其特征在于：网络服务器、调度器以及虚拟机组成一个计算服务节点，所有的计算服务节点具有相同的虚拟机资源及运行相同的程序。
CN201710050381.8A 2017-01-20 2017-01-20 一种虚拟机资源分配方法及分布式虚拟机资源调度*** Pending CN106874115A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710050381.8A CN106874115A (zh) 2017-01-20 2017-01-20 一种虚拟机资源分配方法及分布式虚拟机资源调度***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710050381.8A CN106874115A (zh) 2017-01-20 2017-01-20 一种虚拟机资源分配方法及分布式虚拟机资源调度***

Publications (1)

Publication Number Publication Date
CN106874115A true CN106874115A (zh) 2017-06-20

Family

ID=59159129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710050381.8A Pending CN106874115A (zh) 2017-01-20 2017-01-20 一种虚拟机资源分配方法及分布式虚拟机资源调度***

Country Status (1)

Country Link
CN (1) CN106874115A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107453929A (zh) * 2017-09-22 2017-12-08 中国联合网络通信集团有限公司 集群***自构建方法、装置及集群***
CN109656689A (zh) * 2018-12-12 2019-04-19 万兴科技股份有限公司 任务处理***和任务处理方法
CN109684065A (zh) * 2018-12-26 2019-04-26 北京云联万维技术有限公司 一种资源调度方法、装置及***
CN110299984A (zh) * 2019-06-05 2019-10-01 上海易点时空网络有限公司 适用于车载多媒体的空闲发现方法及装置
CN110399223A (zh) * 2019-07-25 2019-11-01 河南卓豆信息技术有限公司 一种云网络服务资源调度方法
WO2021051772A1 (en) * 2019-09-19 2021-03-25 Huawei Technologies Co., Ltd. Method and apparatus for vectorized resource scheduling in distributed computing systems using tensors
CN112579267A (zh) * 2020-09-28 2021-03-30 京信数据科技有限公司 一种去中心化大数据作业流调度方法及装置
CN115686802A (zh) * 2023-01-03 2023-02-03 海马云（天津）信息技术有限公司 云计算集群调度***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度***和方法
WO2016029974A1 (en) * 2014-08-29 2016-03-03 Nec Europe Ltd. Method for operating a virtual network infrastructure
CN106209682A (zh) * 2016-07-08 2016-12-07 北京百度网讯科技有限公司 业务调度方法、装置和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104065745A (zh) * 2014-07-07 2014-09-24 电子科技大学 云计算动态资源调度***和方法
WO2016029974A1 (en) * 2014-08-29 2016-03-03 Nec Europe Ltd. Method for operating a virtual network infrastructure
CN106209682A (zh) * 2016-07-08 2016-12-07 北京百度网讯科技有限公司 业务调度方法、装置和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张小庆: "基于云计算环境的资源提供优化方法研究", 《中国博士学位论文全文数据库》 *
王梅: "云计算环境中的资源调度策略研究及仿真分析", 《中国优秀硕士学位论文全文数据库》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107453929A (zh) * 2017-09-22 2017-12-08 中国联合网络通信集团有限公司 集群***自构建方法、装置及集群***
CN109656689A (zh) * 2018-12-12 2019-04-19 万兴科技股份有限公司 任务处理***和任务处理方法
CN109684065A (zh) * 2018-12-26 2019-04-26 北京云联万维技术有限公司 一种资源调度方法、装置及***
CN109684065B (zh) * 2018-12-26 2020-11-03 北京云联万维技术有限公司 一种资源调度方法、装置及***
CN110299984A (zh) * 2019-06-05 2019-10-01 上海易点时空网络有限公司 适用于车载多媒体的空闲发现方法及装置
CN110399223A (zh) * 2019-07-25 2019-11-01 河南卓豆信息技术有限公司 一种云网络服务资源调度方法
WO2021051772A1 (en) * 2019-09-19 2021-03-25 Huawei Technologies Co., Ltd. Method and apparatus for vectorized resource scheduling in distributed computing systems using tensors
US11907770B2 (en) 2019-09-19 2024-02-20 Huawei Cloud Computing Technologies Co., Ltd. Method and apparatus for vectorized resource scheduling in distributed computing systems using tensors
CN112579267A (zh) * 2020-09-28 2021-03-30 京信数据科技有限公司 一种去中心化大数据作业流调度方法及装置
CN115686802A (zh) * 2023-01-03 2023-02-03 海马云（天津）信息技术有限公司 云计算集群调度***

Similar Documents

Publication Publication Date Title
CN106874115A (zh) 一种虚拟机资源分配方法及分布式虚拟机资源调度***
CN107038069B (zh) Hadoop平台下动态标签匹配DLMS调度方法
CN109684065B (zh) 一种资源调度方法、装置及***
CN104881325B (zh) 一种资源调度方法和资源调度***
CN103593242B (zh) 基于Yarn框架的资源共享控制***
CN103970609B (zh) 一种基于改进蚁群算法的云数据中心任务调度方法
US7689996B2 (en) Method to distribute programs using remote Java objects
CN114741207B (zh) 一种基于多维度组合并行的gpu资源调度方法和***
CN107515786B (zh) 资源分配方法、主装置、从装置和分布式计算***
CN110597639B (zh) Cpu分配控制方法、装置、服务器及存储介质
US20180246765A1 (en) System and method for scheduling jobs in distributed datacenters
CN106055381A (zh) 一种创建虚拟机的方法和装置
CN107864211B (zh) 集群资源调度方法及***
CN110221920B (zh) 部署方法、装置、存储介质及***
CN107018091A (zh) 资源请求的调度方法和装置
CN107483364A (zh) 一种Hadoop Yarn网络带宽资源调度、隔离方法和装置
CN102708003A (zh) 一种云平台下的资源分配方法
CN109471725A (zh) 资源分配方法、装置和服务器
Yakubu et al. Enhancing cloud performance using task scheduling strategy based on resource ranking and resource partitioning
Li et al. Cost-efficient fault-tolerant workflow scheduling for deadline-constrained microservice-based applications in clouds
CN111796932A (zh) 一种gpu资源调度方法
CN112306642A (zh) 一种基于稳定匹配博弈理论的工作流调度方法
CN116680078A (zh) 云计算资源调度方法、装置、设备以及计算机存储介质
CN101889265B (zh) 内核处理器分组
CN111522637B (zh) 一种基于成本效益的storm任务调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20211022

AD01 Patent right deemed abandoned