CN115297112A - 一种基于Kubernetes的动态资源配额及调度组件 - Google Patents
一种基于Kubernetes的动态资源配额及调度组件 Download PDFInfo
- Publication number
- CN115297112A CN115297112A CN202210912913.5A CN202210912913A CN115297112A CN 115297112 A CN115297112 A CN 115297112A CN 202210912913 A CN202210912913 A CN 202210912913A CN 115297112 A CN115297112 A CN 115297112A
- Authority
- CN
- China
- Prior art keywords
- resource
- node
- pod
- quota
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims abstract description 11
- 230000006978 adaptation Effects 0.000 claims abstract description 5
- 238000012544 monitoring process Methods 0.000 claims description 45
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 5
- 238000005311 autocorrelation function Methods 0.000 claims description 4
- 238000013523 data management Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 3
- 230000001131 transforming effect Effects 0.000 abstract 2
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Environmental & Geological Engineering (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于Kubernetes的动态资源配额及调度组件，该组件包括：获取Kubernetes集群中的应用服务的历史资源使用量；采用ARIMA和LSTM预测模型分析各应用资源使用量并进行动态调整配额；获取每个Node节点的各资源实际使用量；从多个维度评估节点Node和待调度Pod的适配程度；将待调度Pod调度至目标Node节点。本发明提供的组件对传统Kubernetes资源配额方法进行改造，利用时间序列预测模型预测Pod资源使用量并动态调整配额；将Kubernetnes调度模块改造，利用节点Node实际资源使用量，从CPU、内存、网络带宽、磁盘IO和优先级等维度进行评估将Pod调度到目标节点Node。降低Kubernetes用户在部署应用时确定资源使用量的难度，解决了数据密集型或I/O密集型应用调度不均衡的问题。
Description
技术领域
本发明属于云计算技术领域，具体为一种基于Kubernetes的动态资源配额及调度组件。
背景技术
Kubernetes是一个开源的容器集群管理***，为大规模容器组提供了编排、自动化部署、服务发现以及资源调度功能，为使用者提供了一整套容器化应用的解决方案。其使用场景非常广泛，已经成为了行业标准。然而当前Kubernetes在资源分配和调度上还存在以下不足：
1)Kubernetes将给Pod分配资源的权力交于用户，让用户根据需求请求资源。在实际场景中，据统计，在大约70％的情况下，用户请求的资源超过了所需的资源，而应用资源过度分配会导致吞吐量和集群资源利用率降低，过少分配虽然可以在各节点中部署更多的服务，但在业务繁忙时会使应用争夺资源，导致任务等待时间增加。
2)Kubernetes默认调度器，在衡量节点资源容量时，是通过节点上已经部署的应用申请资源的总和，属于静态值，并不能准确表示节点实际负载，且调度时只关注CPU和内存，因此在对文件存储、镜像中心以及一些数据密集型应用进行调度时，会将多个该类型应用调度到少数重复节点，造成节点资源瓶颈。
发明内容
本发明的目的在于提供一种基于Kubernetes的动态资源配额及调度组件，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于Kubernetes的动态资源配额及调度组件，包括通过时间序列模型预测Pod未来一段时间资源使用量并动态调整，利用节点的实际负载信息从CPU、内存、网络带宽、磁盘I/O和节点高优应用部署情况五个方面为Pod选择最合适的Node节点进行部署，进一步包括：
资源监控模块，用于监控、告警和采集数据，具体为监控Kubernetes集群中各个节点的各种资源实际使用情况，当节点负载过高时发送告警信息给管理人员，同时为用户提供查询资源负载功能；
动态资源配额模块，用于对Pod资源使用量进行预测，并根据预测值和当前Pod资源配额值进行对比，若超过或低于阈值区间，则对Pod申请的资源量进行调整，具体为为用户提供应用服务自动调整配额功能；
动态调度模块，用于调度还未绑定节点的Pod，通过监控模块获取到的各节点信息，从多个维度衡量Pod与每个Node节点的适配程度，最后选择最适合的节点Node将Pod部署在Node节点上。
优选的，所述资源监控模块包括：
指标监控单元，用于监控Kubernetes集群中各个节点的CPU、内存、网络带宽、磁盘I/O实时使用情况、监控节点上各个Pod的资源实际使用情况以及Pod工作工作状态；
告警管理单元，用于对监控数据出现异常的Node节点、Pod进行告警，通过用户制定的告警规则，包括Node节点和Pod的资源使用量是否超过阈值、Pod接口工作状态是否能正常对外提供服务；
数据管理单元，用于采集监控获取到的各资源历史数据，对异常数据进行处理，对数据进行封装，为用户查询接口。
优选的，所述动态资源配额模块包括：
资源预测单元，用于根据监控模块获取到的Pod历史资源使用量，使用时间序列预测模型预测该Pod接下来一段时间资源使用量；
动态调整单元，用于比对资源预测单元获取到的Pod资源使用量和当前Pod资源使用量，根据两者之间误差，实现是否对Pod进行动态配额；
优选的，所述资源预测单元进一步包括：
获取资源使用量，包括CPU、内存、网络带宽以及磁盘I/O；
线性预测，采用ARIMA预测模型分析获取到的Pod各资源使用量；
非线性预测，根据真实值与线性预测值的差，采用LSTM模型，对残差预测；
模型检验，通过均方根误差、平均绝对误差以及平均绝对百分比误差对预测模型检验；
预测结果，通过线性与非线性之和得到最终预测值。
优选的，所述动态调度模块包括：
预选调度单元，用于对所有节点继续预检查，包括网络带宽剩余量、端口占用、磁盘空间是否充足，排除不符合要求的节点；
优选调度单元，用于对符合条件的节点，量化选择出与Pod最合适的节点，采用各资源方差来描述各资源负载均衡程度；
绑定单元，用于将Pod部署到得分最高的Node节点上。
与现有技术相比，本发明所达到的有益效果在于：针对部署Pod前无法明确配额值，通过构建模型预测Pod未来一段时间资源使用量，进行动态调整，从而保证服务质量，提高用户体验；针对面对磁盘I/O和数据密集型应用时，将多个该类型应用调度到同一节点，通过监控获取节点实时负载，从更多维度对节点进行评估，从而使各个节点资源负载更加均衡，提高企业集群的资源利用率和负载均衡程度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，下面将结合服务对本发明作优选的详细描述，其中：
图1是本发明一种基于Kubernetes的动态资源配额及调度组件的总体架构图；
图2是本发明一种基于Kubernetes的动态资源配额及调度组件流程图；
图3是本发明实施例资源监控模块流程图；
图4是本发明实施例动态资源配额模块流程图；
图5是本发明实施例动态调度模块流程图；
图6是ARIMA和LSTM组合预测模型流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本领域技术人员可由本说明书所描述的内容轻易地了解本发明的其他优点与功效，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本文使用术语“Kubernetes”，是一个开源的跨平台容器集群管理***，可以用于自动部署、扩展和管理容器化应用程序，Kubernetes在架构设计上，为设计结构上定义了一系列的扩展点，使用户可以根据自身需求进行扩展，这样可以使之满足多种不同的工作负载；
本文使用术语“Prometheus”，Prometheus是一套开源的***监控报警框架，能够对Kubernetes集群中的资源进行监控，并将数据存储与时序数据库中进行展示。
本文使用术语“Pod”，Pod是可以在Kubernetes中创建和管理的、最小的可部署的计算单元，它是一个或多个容器的组合。
本文使用术语“Node”，Node是Kubernetes集群的工作节点，可以是物理机也可以是虚拟机。
本文使用术语“ARIMA”，ARIMA是一种对自回归移动平均模型进行优化扩展的时间序列建模方法，因为自回归移动平均模型要求时间序列满足平稳性，但现实生活中的数据大多数不具备平稳性，所以不能直接使用，但可以对原始时间序列进行差分，若差分后的序列能够通过稳定性检查，变得平稳，则可以继续使用。
本文使用术语“LSTM”，长短期记忆神经网络(LSTM)是在1997年提出，用以解决循环神经网络模型出现的梯度消失和梯度***的问题的改进模型。
实施例1：一种基于Kubernetes的动态资源配额及调度组件，组件总体架构图如图1所示，总体包括4层分别为基础设施层、数据存储层、业务逻辑层和交互层，本发明主要部分为位于业务逻辑层，功能包括通过时间序列模型预测Pod未来一段时间资源使用量并动态调整，利用节点的实际负载信息从CPU、内存、网络带宽、磁盘I/O和节点高优应用部署情况五个方面为Pod选择最合适的Node节点进行部署，进一步包括：
资源监控模块，用于监控、告警和采集数据，具体为监控Kubernetes集群中各个节点的各种资源实际使用情况，当节点负载过高时发送告警信息给管理人员，同时为用户提供查询资源负载功能；
动态资源配额模块，用于对Pod资源使用量进行预测，并根据预测值和当前Pod资源配额值进行对比，若超过或低于阈值区间，则对Pod申请的资源量进行调整，具体为为用户提供应用服务自动调整配额功能；
动态调度模块，用于调度还未绑定节点的Pod，通过监控模块获取到的各节点信息，从多个维度衡量Pod与每个Node节点的适配程度，最后选择最适合的节点Node将Pod部署在Node节点上。
资源监控模块包括：
指标监控单元，用于监控Kubernetes集群中各个节点的CPU、内存、网络带宽、磁盘I/O实时使用情况、监控节点上各个Pod的资源实际使用情况以及Pod工作工作状态；
告警管理单元，用于对监控数据出现异常的Node节点、Pod进行告警，通过用户制定的告警规则，包括Node节点和Pod的资源使用量是否超过阈值、Pod接口工作状态是否能正常对外提供服务；
数据管理单元，用于采集监控获取到的各资源历史数据，对异常数据进行处理，对数据进行封装，为用户查询接口。
动态资源配额模块包括：
资源预测单元，用于根据监控模块获取到的Pod历史资源使用量，使用时间序列预测模型预测该Pod接下来一段时间资源使用量；
动态调整单元，用于比对资源预测单元获取到的Pod资源使用量和当前Pod资源使用量，根据两者之间误差，实现是否对Pod进行动态配额；
资源预测单元进一步包括：
获取资源使用量，包括CPU、内存、网络带宽以及磁盘I/O；
线性预测，采用ARIMA预测模型分析获取到的Pod各资源使用量；
非线性预测，根据真实值与线性预测值的差，采用LSTM模型，对残差预测；
模型检验，通过均方根误差、平均绝对误差以及平均绝对百分比误差对预测模型检验；
预测结果，通过线性与非线性之和得到最终预测值。
优选的，所述动态调度模块包括：
预选调度单元，用于对所有节点继续预检查，包括网络带宽剩余量、端口占用、磁盘空间是否充足，排除不符合要求的节点；
优选调度单元，用于对符合条件的节点，量化选择出与Pod最合适的节点，采用各资源方差来描述各资源负载均衡程度；
绑定单元，用于将Pod部署到得分最高的Node节点上。
实施例2：图1为本发明一种基于Kubernetes的动态资源配额及调度组件的总体架构图，图2为本发明一种基于Kubernetes的动态资源配额及调度组件的流程图，该组件以用户为主体，根据用户需求对特定的Pod进行动态配额，为用户提供一种磁盘I/O和数据密集型的调度器，包括以下步骤：
步骤S100，对集群中各个节点和节点上Pod的资源使用量进行监控，根据预定义规则做出告警，采集需要使用的数据。
如图3所示，步骤S100具体包括步骤：
步骤S101，搭建监控模块，配置需要监控的节点和应用指标，如CPU、内存、网络带宽、磁盘I/O等；
步骤S102，配置告警名称、告警规则、告警发送途径，如CPU、内存等资源高负载；
步骤S103，依据监控数据，运行告警规则，发送告警信息；
步骤S104，采集监控数据，并对外提供查询接口；
步骤S200，查询集群中需要进行动态配额的Pod，从监控模块获取到该服务的历史资源使用量，通过预测模型预测并动态调整，具体步骤如下：
如图4所示，步骤S200具体包括步骤：
步骤S201，获取集群中Pod的CPU、内存、网络带宽、磁盘I/O历史使用量；
步骤S210，通过组合预测模型对Pod历史资源使用量组成的时间序列进行预测；
如图6所示，步骤S210进一步具体包括步骤：
步骤S211，首先对资源使用的时间序列进行平稳性检查，若不平稳，则需要进行差分操作，直到通过平稳性检查，差分次数记为d，通过自相关函数和偏自相关函数确定ARIMA(p,d,q)种的p和q，对模型进行参数估计和模型诊断，得到最终模型，最后使用预测模型对历史资源使用量进行预测得到预测值，记为
步骤S212，计算真实值y与上一步预测值
之间残差，记为et；
步骤S213，建立LSTM模型对残差et进行预测，模型共分为四层，分别为输入层，LSTM层1，LSTM层2以及输出层，其中输出层神经元为1，输入层选取大于5，中间层数依据经验公式
来进行选定，得到最终模型对残差进行预测，记为
步骤S214，将ARIMA模型预测值
和LSTM预测值
相加得到最终预测值
步骤S220，比对预测结果
和Pod当前资源申请量，设定0.2为阈值，若申请值大于预测值
乘1.2或小于预测值
乘0.8，则进行调整；若在这个区间则无需调整配额；
步骤S230，为Pod更新各资源的配额值，并等待进入下一个动态配额循环；
步骤S300，根据Pod申请的资源量和各个节点的实际负载，通过预选策略和优选策略选择最优节点进行部署；
如图5所示，步骤S300具体包括步骤：
步骤S301，获取各节点CPU、内存、网络带宽、磁盘I/O等实际使用量，获取待调度Pod资源申请量；
步骤S302，预选阶段，过滤资源不足或冲突的节点，如磁盘空间不足、端口冲突、网络带宽不足等，让这些节点不参与下一阶段，减少计算量；
步骤S303，优选阶段，计算待调度Pod调度到各个节点后，节点资源负载均衡程度，计算得分，均衡程度和得分计算公式分别为：
步骤S304，选择得分最高节点，将Pod部署到该节点，并更新节点信息。
最后应说明的是：以上实施例仅用以说明本发明的优选实施例而非限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改或等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于Kubernetes的动态资源配额及调度组件，包括利用集群各节点监控数据和时间序列预测模型对应用资源申请量动态调整，利用节点实际资源负载从多个维度衡量节点与应用适配度并进行调度，其特征在于，包括：
资源监控模块，用于监控集群中各节点各资源的使用情况、监控节点上应用的资源使用情况和工作状态、根据负载告警和为其他模块提供数据；
动态资源配额模块，用于动态调整节点上应用服务的各种资源申请量，获取应用的各资源实际使用情况，使用组合预测模型进行预测并决定是否调整；
动态调度模块，用于将还未绑定节点的应用服务调度到最适合该应用服务的节点，通过从多个维度衡量适配度，使各节点资源使用均衡。
2.根据权利要求1所述的一种基于Kubernetes的动态资源配额及调度组件，其特征在于，所述资源监控模块包括：
指标监控单元，用于监控集群中各个节点和应用的CPU、内存、网络带宽、磁盘I/O实时使用情况；
告警管理单元，用于对监控数据出现异常的Node节点、Pod进行告警；
数据管理单元，用于采集监控获取到的各资源使用数据，对异常数据进行处理，对数据进行封装，为用户查询接口。
3.根据权利要求1所述的一种基于Kubernetes的动态资源配额及调度组件，其特征在于，所述动态资源配额模块包括：
资源预测单元，用于根据监控模块获取到的应用历史资源使用量，使用时间序列预测模型预测该Pod接下来一段时间资源使用量；
动态调整单元，用于根据预测值和当前值进行比较决定是否进行调整。
4.根据权利要求3所述的一种基于Kubernetes的动态资源配额及调度组件，其特征在于，所述资源预测单元包括：
获取资源使用量，包括CPU、内存、网络带宽以及磁盘I/O；
线性预测，即采用ARIMA模型对资源未来使用量线性部分进行预测
非线性预测，即根据真实值与线性预测值的差，采用LSTM模型，对残差预测；
模型检验，用于检验模型准确度；
预测结果，通过线性与非线性之和得到最终预测值。
5.根据权利要求1所述的一种基于Kubernetes的动态资源配额及调度组件，其特征在于，所述动态调度模块包括：
预选调度单元，用于对所有节点继续预检查，包括网络带宽剩余量、端口占用、磁盘空间是否充足，排除不符合要求的节点；
优选调度单元，用于从符合条件的节点选择最优节点进行部署；
绑定单元，用于将Pod与最优节点进行绑定，并更新绑定信息。
6.根据权利要求1所述的一种基于Kubernetes的动态资源配额及调度组件，其特征在于，该组件以用户为主体，根据用户需求对特定的Pod进行动态配额，为用户提供一种磁盘I/O和数据密集型的调度器，包括以下步骤：
步骤S100，对集群中各个节点和节点上Pod的资源使用量进行监控，根据预定义规则做出告警，采集需要使用的数据，
步骤S200，查询集群中需要进行动态配额的Pod，从监控模块获取到该服务的历史资源使用量，通过预测模型预测并动态调整，
步骤S300，根据Pod申请的资源量和各个节点的实际负载，通过预选策略和优选策略选择最优节点进行部署。
7.根据权利要求1所述的一种基于Kubernetes的动态资源配额及调度组件，其特征在于，步骤S100具体包括步骤：
步骤S101，搭建监控模块，配置需要监控的节点和应用指标，如CPU、内存、网络带宽、磁盘I/O等；
步骤S102，配置告警名称、告警规则、告警发送途径，如CPU、内存等资源高负载；
步骤S103，依据监控数据，运行告警规则，发送告警信息；
步骤S104，采集监控数据，并对外提供查询接口。
8.根据权利要求1所述的一种基于Kubernetes的动态资源配额及调度组件，其特征在于，步骤S200具体包括步骤：
步骤S201，获取集群中Pod的CPU、内存、网络带宽、磁盘I/O历史使用量；
步骤S210，通过组合预测模型对Pod历史资源使用量组成的时间序列进行预测；
步骤S220，比对预测结果
和Pod当前资源申请量，设定0.2为阈值，若申请值大于预测值
乘1.2或小于预测值
乘0.8，则进行调整；若在这个区间则无需调整配额；
步骤S230，为Pod更新各资源的配额值，并等待进入下一个动态配额循环；
步骤S210进一步具体包括步骤：
步骤S211，首先对资源使用的时间序列进行平稳性检查，若不平稳，则需要进行差分操作，直到通过平稳性检查，差分次数记为d，通过自相关函数和偏自相关函数确定ARIMA(p,d,q)种的p和q，对模型进行参数估计和模型诊断，得到最终模型，最后使用预测模型对历史资源使用量进行预测得到预测值，记为
步骤S212，计算真实值y与上一步预测值
之间残差，记为et；
步骤S213，建立LSTM模型对残差et进行预测，模型共分为四层，分别为输入层，LSTM层1，LSTM层2以及输出层，其中输出层神经元为1，输入层选取大于5，中间层数依据经验公式
来进行选定，得到最终模型对残差进行预测，记为
步骤S214，将ARIMA模型预测值
和LSTM预测值
相加得到最终预测值
9.根据权利要求1所述的一种基于Kubernetes的动态资源配额及调度组件，其特征在于，步骤S300具体包括步骤：
步骤S301，获取各节点CPU、内存、网络带宽、磁盘I/O等实际使用量，获取待调度Pod资源申请量；
步骤S302，预选阶段，过滤资源不足或冲突的节点，如磁盘空间不足、端口冲突、网络带宽不足等，让这些节点不参与下一阶段，减少计算量；
步骤S303，优选阶段，计算待调度Pod调度到各个节点后，节点资源负载均衡程度，计算得分，均衡程度和得分计算公式分别为：
步骤S304，选择得分最高节点，将Pod部署到该节点，并更新节点信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210912913.5A CN115297112A (zh) | 2022-07-31 | 2022-07-31 | 一种基于Kubernetes的动态资源配额及调度组件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210912913.5A CN115297112A (zh) | 2022-07-31 | 2022-07-31 | 一种基于Kubernetes的动态资源配额及调度组件 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115297112A true CN115297112A (zh) | 2022-11-04 |
Family
ID=83825824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210912913.5A Pending CN115297112A (zh) | 2022-07-31 | 2022-07-31 | 一种基于Kubernetes的动态资源配额及调度组件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115297112A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115550371A (zh) * | 2022-12-05 | 2022-12-30 | 安超云软件有限公司 | 基于Kubernetes的Pod调度方法、***及云平台 |
| CN115665157A (zh) * | 2022-11-14 | 2023-01-31 | 杭州谐云科技有限公司 | 一种基于应用资源类型的均衡调度方法和*** |
| CN116112495A (zh) * | 2023-04-12 | 2023-05-12 | 中国人民解放军国防科技大学 | 一种数据驱动的分散自治的基础设施服务平台 |
| CN116244085A (zh) * | 2023-05-05 | 2023-06-09 | 江苏博云科技股份有限公司 | Kubernetes集群容器组调度方法、装置及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960585A (zh) * | 2019-02-02 | 2019-07-02 | 浙江工业大学 | 一种基于kubernetes的资源调度方法 |
| CN110990159A (zh) * | 2019-12-25 | 2020-04-10 | 浙江大学 | 一种基于历史数据分析的容器云平台资源配额预测方法 |
| CN111984381A (zh) * | 2020-07-10 | 2020-11-24 | 西安理工大学 | 一种基于历史数据预测的Kubernetes资源调度优化方法 |
| CN113010270A (zh) * | 2021-04-08 | 2021-06-22 | 桂林电子科技大学 | 基于Kubernetes平台资源动态负载均衡调度方法及*** |
| CN113391913A (zh) * | 2021-07-12 | 2021-09-14 | 中国科学技术大学 | 一种基于预测的分布式调度方法和装置 |
| CN113986479A (zh) * | 2021-09-29 | 2022-01-28 | 武汉纺织大学 | 一种基于Kubernetes集群的资源调度策略优化方法 |
-
2022
- 2022-07-31 CN CN202210912913.5A patent/CN115297112A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109960585A (zh) * | 2019-02-02 | 2019-07-02 | 浙江工业大学 | 一种基于kubernetes的资源调度方法 |
| CN110990159A (zh) * | 2019-12-25 | 2020-04-10 | 浙江大学 | 一种基于历史数据分析的容器云平台资源配额预测方法 |
| CN111984381A (zh) * | 2020-07-10 | 2020-11-24 | 西安理工大学 | 一种基于历史数据预测的Kubernetes资源调度优化方法 |
| CN113010270A (zh) * | 2021-04-08 | 2021-06-22 | 桂林电子科技大学 | 基于Kubernetes平台资源动态负载均衡调度方法及*** |
| CN113391913A (zh) * | 2021-07-12 | 2021-09-14 | 中国科学技术大学 | 一种基于预测的分布式调度方法和装置 |
| CN113986479A (zh) * | 2021-09-29 | 2022-01-28 | 武汉纺织大学 | 一种基于Kubernetes集群的资源调度策略优化方法 |
Non-Patent Citations (5)
| Title |
|---|
| 杨鹏飞: "《基于Kubernetes的资源动态调度的研究与实现》", 中国优秀硕士学位论文全文库 信息科技辑, no. 12, 15 December 2017 (2017-12-15), pages 19 - 30 * |
| 杨鹏飞: "《基于Kubernetes的资源动态调度的研究与实现》", 中国优秀硕士学位论文全文库 信息科技辑, no. 12, 5 December 2012 (2012-12-05), pages 19 - 30 * |
| 杨鹏飞: "基于Kubernetes的资源动态调度的研究与实现_杨鹏飞", 中国优秀硕士学位论文全文库 信息科技辑, no. 12, 15 December 2017 (2017-12-15), pages 19 - 30 * |
| 马航: "《基于 Kubernetes 的容器云平台资源动态调度的研究与实现》", 中国优秀硕士学位论文全文库 信息科技辑, no. 03, 15 March 2020 (2020-03-15), pages 28 - 34 * |
| 马航: "基于Kubernetes的...台资源动态调度的研究与实现", 中国优秀硕士学位论文全文库 信息科技辑, no. 03, 13 March 2020 (2020-03-13), pages 28 - 34 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115665157A (zh) * | 2022-11-14 | 2023-01-31 | 杭州谐云科技有限公司 | 一种基于应用资源类型的均衡调度方法和*** |
| CN115550371A (zh) * | 2022-12-05 | 2022-12-30 | 安超云软件有限公司 | 基于Kubernetes的Pod调度方法、***及云平台 |
| CN116112495A (zh) * | 2023-04-12 | 2023-05-12 | 中国人民解放军国防科技大学 | 一种数据驱动的分散自治的基础设施服务平台 |
| CN116112495B (zh) * | 2023-04-12 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种数据驱动的分散自治的基础设施服务平台 |
| CN116244085A (zh) * | 2023-05-05 | 2023-06-09 | 江苏博云科技股份有限公司 | Kubernetes集群容器组调度方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115297112A (zh) | 一种基于Kubernetes的动态资源配额及调度组件 | |
| Hulshof et al. | Tactical resource allocation and elective patient admission planning in care processes | |
| US7054934B2 (en) | Tailorable optimization using model descriptions of services and servers in a computing environment | |
| US7072960B2 (en) | Generating automated mappings of service demands to server capacities in a distributed computer system | |
| US11579933B2 (en) | Method for establishing system resource prediction and resource management model through multi-layer correlations | |
| CN113110914A (zh) | 一种基于微服务架构的物联网平台构建方法 | |
| CN111045820B (zh) | 一种基于时序预测的容器调度方法 | |
| CN109753356A (zh) | 一种容器资源调度方法、装置及计算机可读存储介质 | |
| CN108366082A (zh) | 扩容方法及扩容装置 | |
| CN114356587B (zh) | 算力任务跨区域调度方法、***及设备 | |
| CN113037877A (zh) | 云边端架构下时空数据及资源调度的优化方法 | |
| CN113806018A (zh) | 基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法 | |
| CN116467082A (zh) | 一种基于大数据的资源分配方法及*** | |
| CN114205317B (zh) | 基于sdn与nfv的服务功能链sfc资源分配方法及电子设备 | |
| CN112328395A (zh) | 一种云资源容量规划方法和*** | |
| CN111796933A (zh) | 资源调度方法、装置、存储介质和电子设备 | |
| Xiao et al. | Dscaler: A horizontal autoscaler of microservice based on deep reinforcement learning | |
| CN117056018A (zh) | 资源调度方法、装置、设备、程序产品和存储介质 | |
| CN114978913B (zh) | 一种基于切链的服务功能链跨域部署方法及*** | |
| CN115562841B (zh) | 一种云视频服务自适应资源调度***和方法 | |
| CN116915724A (zh) | 一种基于流量预测单元的资源分配***及方法 | |
| US20230185620A1 (en) | Information infrastructure management method, management server of information infrastructure, and non-transitory computer-readable recording medium for information infrastructure management program | |
| CN115658319A (zh) | 资源调度方法、***、设备及存储介质 | |
| CN115658287A (zh) | 一种用于调度运行单元的方法、设备、介质及程序产品 | |
| CN112257977B (zh) | 模糊工时下资源受限的物流项目工期优化方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |