CN109739640A - 一种基于申威架构的容器资源管理*** - Google Patents

一种基于申威架构的容器资源管理*** Download PDF

Info

Publication number
CN109739640A
CN109739640A CN201811528322.8A CN201811528322A CN109739640A CN 109739640 A CN109739640 A CN 109739640A CN 201811528322 A CN201811528322 A CN 201811528322A CN 109739640 A CN109739640 A CN 109739640A
Authority
CN
China
Prior art keywords
container
resource
service
resource management
container resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811528322.8A
Other languages
English (en)
Inventor
孙渊博
王泊涵
秦鹏
邹琴
李墈婧
李佳珍
刘硕
杨飞
许建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Computer Technology and Applications
Original Assignee
Beijing Institute of Computer Technology and Applications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Computer Technology and Applications filed Critical Beijing Institute of Computer Technology and Applications
Priority to CN201811528322.8A priority Critical patent/CN109739640A/zh
Publication of CN109739640A publication Critical patent/CN109739640A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种本发明一种基于申威架构的容器资源管理***，其中，包括服务接口对资源调度请求数据进行封装，将封装报文格式同时进行任务转发给容器资源管理控制服务；容器资源管理控制服务收到服务接口的资源调度封装报文会进行解析并同时发起容器资源调度器查询请求，检查容器资源调度器活动状态，容器资源调度器将计算节点的计算能力反馈给容器资源管理控制服务,由容器资源管理控制服务决定多个容器资源调度器提供计算服务；本发明一种基于申威平台的容器资源管理***，可对容器集群资源细粒度划分，充分发挥处理器性能，解决了申威体系架构下容器资源管理***的缺失。

Description

一种基于申威架构的容器资源管理***
技术领域
本发明涉及申威架构，特别涉及一种基于申威架构的容器资源管理***。
背景技术
现今，容器技术发展迅速，容器云规模越来越大，容器是物理计算节点资源分配与调度的基本单元，封装软件运行时环境，为开发者提供用于构建，发布和运行应用的平台。作为新虚拟化技术,以其在云计算领域中体积小、部署快、秒级启动和快速迁移著称。在虚拟化平台中，越来越多的采用容器。
在容器数量的不断扩大，容器集群资源的调度管理显得极为重要。在X86体系架构中容器管理技术已经非常成熟，基于国产申威构的容器管理技术目前还不存在。由于架构体系不同，X86架构下容器资源管理***无法运行在申威平台，导致容器技术在申威平台发展遇到瓶颈，严重影响了申威平台容器云生态建设。
发明内容
本发明的目的在于提供一种基于申威架构的容器资源管理***，用于解决上述现有技术的问题。
本发明一种基于申威架构的容器资源管理***，其中，包括服务接口、容器资源管理控制服务及容器资源调度器；服务接口对资源调度请求数据进行封装，将封装报文格式同时进行任务转发给容器资源管理控制服务；容器资源管理控制服务收到服务接口的资源调度封装报文会进行解析并同时发起容器资源调度器查询请求，检查容器资源调度器活动状态，容器资源调度器将计算节点的计算能力反馈给容器资源管理控制服务,由容器资源管理控制服务决定多个容器资源调度器提供计算服务；容器资源调度器在收到容器资源管理控制服务的计算任务之后需要对本节点的CPU资源进行细粒度的划分，运行用户所需的最小计算单位资源，响应用户计算服务同时将计算节点剩余计算资源反馈至容器资源管理控制服务，容器资源管理控制服务进行统一维护各个计算节点的容器资源调度器反馈的计算资源，由容器资源管理控制服务将统计信息转发至服务接口；每个计算节点上的资源调度每隔一个时间周期，通过服务接口报告自身状态，服务接口接收资源调度状态信息后，将计算节点状态信息更新。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，还包括：代理服务，用户发起资源调度请求至代理服务，代理服务将资源调度请求转发给服务接口的身份认证***对用户权限进行验证，验证通过之后服务接口对资源调度请求数据进行封装，将封装报文格式同时进行任务转发给容器资源管理控制服务。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，容器资源管理控制服务包括：容器副本控制器、计算节点控制器、资源分配控制器以及命名空间控制器。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，资源调度调用服务接口的监听接口监听容器信息，如果监听到新的容器副本被调度绑定到本节点，则执行对应容器的创建和启动逻辑；如果监听到组对象被删除，则删除本节点上的相应的容器；如果监听到修改组信息，则资源调度监听到变化后，会相应地修改本节点的组容器。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，服务接口用于提供容器集群资源抽象对象的删、改以及查。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，容器副本控制器如果发现组副本数量超过预期值，则容器副本控制会销毁一些组副本；反之，容器副本控制会自动创建新的组副本，直到符合条件的组副本数量达到预设值。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，资源分配控制器确保指定的资源对象在任何时候都不会超量占用***物理资源。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，命名空间控制器用于定时通过服务接口读取这些服务信息。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，计算节点控制器用于通过服务接口实时获取节点的相关信息，管理和监控集群中的各个节点的相关控制功能以及节点的工作。
根据本发明的基于申威架构的容器资源管理***的一实施例，其中，容器资源调度器用于是将待调度的组按照调度算法和调度策略绑定到集群中的某个计算节点上，并将绑定信息写入键值缓存中。
本发明的目的就是提出一种基于申威平台的容器资源管理***，管理一定数量级的容器集群，优化合理调度利用申威处理器的计算资源。实现对容器资源分配、调度策略、高可用管理、部署运行、服务发现、扩容、缩容。通过调度***可对容器集群资源细粒度划分，充分发挥处理器性能，解决了申威体系架构下容器资源管理***的缺失。
附图说明
图1所示为本发明基于申威架构的容器资源管理***的模块图；
图2所示为容器资源管理控制服务的模块图；
图3所示为容器资源调度器的应用示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1所示为本发明基于申威架构的容器资源管理***的模块图，如图1所示，本发明提供了一种基于申威平台的容器资源管理***,包括服务接口、容器资源管理控制服务及容器资源调度器。服务接口、容器资源管理控制服务、容器资源调度器的核心***调用在申威架构下进行了性能优化与***调用封装，针对申威CPU完成了文件描述符操作优化、网络操作优化、进程间通信及互斥锁信号量等***调用封装。在基于申威指令集的虚拟化技术中实现了基于容器资源的调度。
如图1所示，用户发起资源调度请求至代理服务，代理服务将资源调度请求转发给服务接口的身份认证***对用户权限进行验证，验证通过之后服务接口对资源调度请求数据进行封装，将封装报文格式同时进行任务转发给容器资源管理控制服务。容器资源管理控制服务收到服务接口的资源调度封装报文会进行解析并同时发起容器资源调度器查询请求，检查容器资源调度器活动状态。容器资源调度器将计算节点的计算能力反馈给容器资源管理控制服务,最终由容器资源管理控制服务决定由哪个容器资源调度器提供计算服务。
如图1所示，容器资源调度器在收到容器资源管理控制服务的计算任务之后需要对本节点的CPU资源进行细粒度的划分，运行用户所需的最小计算单位资源。响应用户计算服务同时将计算节点剩余计算资源反馈至容器资源管理控制服务，容器资源管理控制服务进行统一维护各个计算节点的容器资源调度器反馈的计算资源，最终由容器资源管理控制服务将统计信息转发至服务接口。服务接口的核心功能是提供了容器集群资源抽象对象如节点对象、资源对象、服务对象以及对资源抽象对象的删、改、查。服务接口成为资源管理***内部各个功能模块之间数据交互和通信的中心枢纽，是整个资源管理***的数据总线和数据中心。
如图1所示，服务接口作为容器集群资源管理***的核心，负责集群各功能模块之间的通信。集群内的各个功能模块通过服务接口将信息存入键值缓存，当需要获取和操作这些数据时，则通过服务接口提供的开发接口(用获得、列表或监听方法)来实现，从而实现各模块之间的信息交互。
如图1所示，每个计算节点上的资源调度每隔一个时间周期，通过服务接口的开发接口报告自身状态，服务接口接收资源调度状态信息后，将计算节点状态信息更新键值缓存中。资源调度调用服务接口的监听接口监听容器信息，如果监听到新的容器副本被调度绑定到本节点，则执行对应容器的创建和启动逻辑；如果监听到组对象被删除，则删除本节点上的相应的容器；如果监听到修改组信息，则资源调度监听到变化后，会相应地修改本节点的组容器。
图2所示为容器资源管理控制服务的模块图，如图2所示，容器资源管理控制服务指容器集群内部的管理控制中心，负责集群内的服务副本、服务端点、命名空间、服务账号、资源定额的管理，当某个计算节点意外宕机时，资源控制管理服务会及时发现此故障并执行自动化修复流程，确保集群始终处于预期的工作状态。
如图2所示，在容器集群中，每个控制服务都是一个操纵***，通过服务接口提供的接口实时监控整个集群随后，里的每个资源对象的当前状态，当发生各种故障导致***状态发生变化时，会尝试着将***状态从“现有状态”修正到“期望状态”。
如图2所示，容器副本控制器的核心作用是确保在任何时候集群中一个资源所关联的组副本数量保持预设值。如果发现组副本数量超过预期值，则容器副本控制会销毁一些组副本；反之，容器副本控制会自动创建新的组副本，直到符合条件的组副本数量达到预设值。需要注意的一点是：只有当组的重启策略是永久的时候，容器副本控制才会管理该组的操作。在通常情况下，组对象被成功创建后不会消失，唯一的例外是当组处于成功或失败状态的时间过长(超时参数由***设定)时，该组会被***自动回收，管理该组的副本控制器将在其他工作节点上重新创建、运行该组副本。
如图2所示，计算节点控制器指节点控制管理该功能模块通过服务接口实时获取节点的相关信息，实现管理和监控集群中的各个节点的相关控制功能以及节点的核心工作。
如图2所示，资源分配控制器是属于资源管理***的高级功能，资源配额管理确保了指定的资源对象在任何时候都不会超量占用***物理资源，避免了由于某些容器或实现的缺陷导致整个***运行紊乱甚至意外宕机，对整个集群的平稳运行和稳定性有非常重要的作用。
如图2所示，命名空间控制器负责定时通过服务接口读取这些服务信息。如果命名空间被开发接口标识为优雅删除，则将该命名空间的状态设置成“结束”并保存到键值缓存中。同时命名空间控制删除该名称下的服务账户、资源、组、密钥验证、存储卷、组范围、资源质量控制和事件等资源对象的生命周期。
图3所示为容器资源调度器的应用示意图，如图3所示，调度计划服务在整个资源管理***中承担了“承上启下”的重要功能，“承上”是指它负责接收控制管理创建的新组，为其安排一个目标计算节点；启下”是指安置工作完成后，目标计算节点上的资源调度服务进程接管后继工作，负责组生命周期。
如图3所示，调度计划服务的作用是将待调度的组(开发接口新创建的组、控制管理为补足副本而创建的组等)按照特定的调度算法和调度策略绑定到集群中的某个合适的计算节点上，并将绑定信息写入键值缓存中。在整个调度过程中涉及三个对象包括待调度组列表、可用计算节点列表，以及调度算法和策略。通过调度算法调度为待调度组列表的每个组从计算节点列表中选择最适合的计算节点。目标节点上的资源调度服务通过服务接口监听到调度计划服务产生的组绑定事件，然后获取对应的组清单，下载容器镜像，并启动容器。
本发明的目的就是提出一种基于申威平台的容器资源管理***，管理一定数量级的容器集群，优化合理调度利用申威处理器的计算资源。实现对容器资源分配、调度策略、高可用管理、部署运行、服务发现、扩容、缩容。通过调度***可对容器集群资源细粒度划分，充分发挥处理器性能，解决了申威体系架构下容器资源管理***的缺失。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于申威架构的容器资源管理***，其特征在于，包括服务接口、容器资源管理控制服务及容器资源调度器；
服务接口对资源调度请求数据进行封装，将封装报文格式同时进行任务转发给容器资源管理控制服务；容器资源管理控制服务收到服务接口的资源调度封装报文会进行解析并同时发起容器资源调度器查询请求，检查容器资源调度器活动状态，容器资源调度器将计算节点的计算能力反馈给容器资源管理控制服务,由容器资源管理控制服务决定多个容器资源调度器提供计算服务；
容器资源调度器在收到容器资源管理控制服务的计算任务之后需要对本节点的CPU资源进行细粒度的划分，运行用户所需的最小计算单位资源，响应用户计算服务同时将计算节点剩余计算资源反馈至容器资源管理控制服务，容器资源管理控制服务进行统一维护各个计算节点的容器资源调度器反馈的计算资源，由容器资源管理控制服务将统计信息转发至服务接口；每个计算节点上的资源调度每隔一个时间周期，通过服务接口报告自身状态，服务接口接收资源调度状态信息后，将计算节点状态信息更新。
2.如权利要求1所述的基于申威架构的容器资源管理***，其特征在于，还包括：代理服务，用户发起资源调度请求至代理服务，代理服务将资源调度请求转发给服务接口的身份认证***对用户权限进行验证，验证通过之后服务接口对资源调度请求数据进行封装，将封装报文格式同时进行任务转发给容器资源管理控制服务。
3.如权利要求1所述的基于申威架构的容器资源管理***，其特征在于，容器资源管理控制服务包括：容器副本控制器、计算节点控制器、资源分配控制器以及命名空间控制器。
4.如权利要求1所述的基于申威架构的容器资源管理***，其特征在于，资源调度调用服务接口的监听接口监听容器信息，如果监听到新的容器副本被调度绑定到本节点，则执行对应容器的创建和启动逻辑；如果监听到组对象被删除，则删除本节点上的相应的容器；如果监听到修改组信息，则资源调度监听到变化后，会相应地修改本节点的组容器。
5.如权利要求1所述的基于申威架构的容器资源管理***，其特征在于，服务接口用于提供容器集群资源抽象对象的删、改以及查。
6.如权利要求3所述的基于申威架构的容器资源管理***，其特征在于，容器副本控制器如果发现组副本数量超过预期值，则容器副本控制会销毁一些组副本；反之，容器副本控制会自动创建新的组副本，直到符合条件的组副本数量达到预设值。
7.如权利要求1所述的基于申威架构的容器资源管理***，其特征在于，资源分配控制器确保指定的资源对象在任何时候都不会超量占用***物理资源。
8.如权利要求1所述的基于申威架构的容器资源管理***，其特征在于，命名空间控制器用于定时通过服务接口读取这些服务信息。
9.如权利要求1所述的基于申威架构的容器资源管理***，其特征在于，计算节点控制器用于通过服务接口实时获取节点的相关信息，管理和监控集群中的各个节点的相关控制功能以及节点的工作。
10.如权利要求1所述的基于申威架构的容器资源管理***，其特征在于，容器资源调度器用于是将待调度的组按照调度算法和调度策略绑定到集群中的某个计算节点上，并将绑定信息写入键值缓存中。
CN201811528322.8A 2018-12-13 2018-12-13 一种基于申威架构的容器资源管理*** Pending CN109739640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811528322.8A CN109739640A (zh) 2018-12-13 2018-12-13 一种基于申威架构的容器资源管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811528322.8A CN109739640A (zh) 2018-12-13 2018-12-13 一种基于申威架构的容器资源管理***

Publications (1)

Publication Number Publication Date
CN109739640A true CN109739640A (zh) 2019-05-10

Family

ID=66359354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811528322.8A Pending CN109739640A (zh) 2018-12-13 2018-12-13 一种基于申威架构的容器资源管理***

Country Status (1)

Country Link
CN (1) CN109739640A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651276A (zh) * 2020-06-04 2020-09-11 杭州海康威视***技术有限公司 一种调度方法、装置及电子设备
CN113037794A (zh) * 2019-12-25 2021-06-25 马上消费金融股份有限公司 计算资源配置调度方法、装置及***
CN113312165A (zh) * 2021-07-28 2021-08-27 浙江大华技术股份有限公司 一种任务处理方法及装置
WO2021249368A1 (zh) * 2020-06-08 2021-12-16 阿里巴巴集团控股有限公司 基于多容器共享异构计算设备实现故障隔离的方法及装置
CN115328651A (zh) * 2022-08-12 2022-11-11 扬州万方科技股份有限公司 基于国产vpx服务器的轻量化微云***
US11663037B2 (en) 2020-09-29 2023-05-30 Beijing Baidu Netcom Science And Technology Co., Ltd. Service information processing method, apparatus, device and computer storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105577779A (zh) * 2015-12-21 2016-05-11 用友网络科技股份有限公司 一种容器化部署大企业私有云的方法和***
CN106991035A (zh) * 2017-04-06 2017-07-28 北京计算机技术及应用研究所 一种基于微服务架构的主机监控***
US20170317914A1 (en) * 2016-04-27 2017-11-02 Electronics And Telecommunications Research Institute Apparatus for testing and developing products of network computing based on open-source virtualized cloud
CN108040079A (zh) * 2017-10-26 2018-05-15 山东浪潮云服务信息科技有限公司 基于国产cpu和操作***的分布式容器集群服务发现方法
US20180137139A1 (en) * 2016-11-16 2018-05-17 Commvault Systems, Inc. Dynamically configuring a proxy server using containerization for concurrent and/or overlapping backup, restore, and/or test operations
CN108089909A (zh) * 2016-11-22 2018-05-29 深圳先进技术研究院 docker集群管理调度方法及***
CN108829509A (zh) * 2018-05-03 2018-11-16 山东汇贸电子口岸有限公司 基于国产cpu和操作***的分布式容器集群框架资源管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105577779A (zh) * 2015-12-21 2016-05-11 用友网络科技股份有限公司 一种容器化部署大企业私有云的方法和***
US20170317914A1 (en) * 2016-04-27 2017-11-02 Electronics And Telecommunications Research Institute Apparatus for testing and developing products of network computing based on open-source virtualized cloud
US20180137139A1 (en) * 2016-11-16 2018-05-17 Commvault Systems, Inc. Dynamically configuring a proxy server using containerization for concurrent and/or overlapping backup, restore, and/or test operations
CN108089909A (zh) * 2016-11-22 2018-05-29 深圳先进技术研究院 docker集群管理调度方法及***
CN106991035A (zh) * 2017-04-06 2017-07-28 北京计算机技术及应用研究所 一种基于微服务架构的主机监控***
CN108040079A (zh) * 2017-10-26 2018-05-15 山东浪潮云服务信息科技有限公司 基于国产cpu和操作***的分布式容器集群服务发现方法
CN108829509A (zh) * 2018-05-03 2018-11-16 山东汇贸电子口岸有限公司 基于国产cpu和操作***的分布式容器集群框架资源管理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113037794A (zh) * 2019-12-25 2021-06-25 马上消费金融股份有限公司 计算资源配置调度方法、装置及***
CN113037794B (zh) * 2019-12-25 2023-04-18 马上消费金融股份有限公司 计算资源配置调度方法、装置及***
CN111651276A (zh) * 2020-06-04 2020-09-11 杭州海康威视***技术有限公司 一种调度方法、装置及电子设备
WO2021249368A1 (zh) * 2020-06-08 2021-12-16 阿里巴巴集团控股有限公司 基于多容器共享异构计算设备实现故障隔离的方法及装置
US11663037B2 (en) 2020-09-29 2023-05-30 Beijing Baidu Netcom Science And Technology Co., Ltd. Service information processing method, apparatus, device and computer storage medium
CN113312165A (zh) * 2021-07-28 2021-08-27 浙江大华技术股份有限公司 一种任务处理方法及装置
CN113312165B (zh) * 2021-07-28 2021-11-16 浙江大华技术股份有限公司 一种任务处理方法及装置
CN115328651A (zh) * 2022-08-12 2022-11-11 扬州万方科技股份有限公司 基于国产vpx服务器的轻量化微云***

Similar Documents

Publication Publication Date Title
CN109739640A (zh) 一种基于申威架构的容器资源管理***
US10292044B2 (en) Apparatus for end-user transparent utilization of computational, storage, and network capacity of mobile devices, and associated methods
CN102346460B (zh) 一种基于事务的服务控制***及其控制方法
CN109885389A (zh) 一种基于容器的并行深度学习调度训练方法及***
EP2899947A1 (en) Component oriented hybrid cloud operating system architecture and communication method thereof
CN109992354A (zh) 容器处理方法、装置、主体服务器、***和存储介质
CN114666333B (zh) 一种基于多租户理论面向云计算资源调度问题的控制方法
CN109194538A (zh) 基于分布式协调的测试方法、装置、服务器及存储介质
Tsai et al. Two-tier multi-tenancy scaling and load balancing
CN104503832B (zh) 一种公平和效率均衡的虚拟机调度***及方法
CN101710281B (zh) 基于Agent的动态集成开发平台***和方法
CN108076156A (zh) 一种基于中国云产品的混合云***
CN111240806B (zh) 一种分布式容器镜像构建调度方法
CN113064744A (zh) 任务处理方法、装置、计算机可读介质及电子设备
CN114138434B (zh) 一种大数据任务调度***
CN108924249A (zh) 一种部署OpenStack平台的方法及装置
CN110740047B (zh) 一种网络切片管理编排***
CN106385330A (zh) 一种网络功能虚拟化编排器的实现方法及装置
US12026536B2 (en) Rightsizing virtual machine deployments in a cloud computing environment
CN109873714A (zh) 云计算节点配置更新方法及终端设备
CN109218086A (zh) 一种交换网构建方法与***
CN113873040B (zh) 基于区块链的电力物联网跨域服务功能链编排方法
CN113672336A (zh) 一种k8s容器集群部署方法、装置、设备及可读存储介质
CN107273196A (zh) 生物信息学高性能计算作业调度及***管理套件
CN114615268B (zh) 基于Kubernetes集群的服务网络、监控节点、容器节点及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190510