CN113553138A - 一种云资源调度的方法及装置 - Google Patents

一种云资源调度的方法及装置 Download PDF

Info

Publication number
CN113553138A
CN113553138A CN202110825395.9A CN202110825395A CN113553138A CN 113553138 A CN113553138 A CN 113553138A CN 202110825395 A CN202110825395 A CN 202110825395A CN 113553138 A CN113553138 A CN 113553138A
Authority
CN
China
Prior art keywords
container
cluster
screening
data
qos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110825395.9A
Other languages
English (en)
Inventor
宋卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Chuang Le Hui Technology Co ltd
Original Assignee
Pilosmart Technology Beijing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilosmart Technology Beijing LLC filed Critical Pilosmart Technology Beijing LLC
Priority to CN202110825395.9A priority Critical patent/CN113553138A/zh
Publication of CN113553138A publication Critical patent/CN113553138A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种云资源调度的方法，包括：资源调度器获取第一节点中容器内的数据存储状态；若数据存储状态为饱和状态时，确定第一节点中容器内的待迁移数据，并获取相邻节点中各容器的数据存储状态；设置第一筛选条件，并基于第一筛选条件对相邻节点的各容器进行筛选，获取筛选后的第一容器集群；对第一容器集群中各容器的QoS指标进行预测，并评估第一容器集群中每一个容器的QoS指标是否满足迁移条件；若第一容器集群中的第二容器集群的QoS指标满足迁移条件，则设置第二筛选条件，并基于第二筛选条件对第二容器集群进行筛选，获取筛选后的第三容器集群；将待迁移数据迁移至第三容器集群中一个或多个容器中。

Description

一种云资源调度的方法及装置
技术领域
本申请涉及信息技术领域，尤其涉及一种云资源调度的方法及装置。
背景技术
云服务作为面向服务的体系结构技术，通过云计算提供商提供的互联网按需的为用户提供服务。云服务有一项很重要的指标名为服务质量QoS(Quality of Service)。服务质量是描述服务非功能属性的若干质量组合，例如数据流量、响应时间，吞吐量，信誉度等。
在云服务过程中，由于用户的需求弹性变化，因此会出现数据迁移，容器扩容等需求，而在数据迁移的过程中，如何进行QoS的保障就成了关键。现有技术中，QoS一般是通过初始设置时预先设定目标性能而进行保障，但使用过程中却缺乏对QoS的持续性监控，导致数据迁移、数据爬取等资源调度过程中QoS不达标，影响云服务质量。
发明内容
本发明实施例提供一种云资源调度的方法，用于解决现有技术中资源调度过程中QoS不达标的问题。
本发明实施例提供一种云资源调度的方法，应用于云容器平台，所述云容器平台包括底层容器引擎、资源调度器及应用管理器，所述方法包括：
资源调度器获取第一节点中容器内的数据存储状态；
若所述数据存储状态为饱和状态时，确定所述第一节点中容器内的待迁移数据，并获取所述相邻节点中各容器的数据存储状态；
设置第一筛选条件，并基于所述第一筛选条件对所述相邻节点的各容器进行筛选，获取筛选后的第一容器集群；
对第一容器集群中各容器的QoS指标进行预测，并评估所述第一容器集群中每一个容器的QoS指标是否满足迁移条件；
若所述第一容器集群中的第二容器集群的QoS指标满足迁移条件，则设置第二筛选条件，并基于所述第二筛选条件对所述第二容器集群进行筛选，获取筛选后的第三容器集群；
将所述待迁移数据迁移至所述第三容器集群中一个或多个容器中。
可选地，所述QoS指标包括数据流量，则所述对第一容器集群中各容器的QoS指标进行预测，包括：
通过K-means对所述第一容器集群中各容器进行聚类，形成多个子集群；
在每一个子集群中，随机选择一个节点形成簇心，并以所述簇心为中心形成簇群；
依次遍历所述每一簇群中的历史数据流量，并计算每一簇群的历史数据流量均值；
基于所述每一簇群的历史数据流量均值，通过时间序列模型预测下一时间周期中所述每一簇群的目标数据流量均值。
可选地，所述QoS指标包括数据容量，则所述对第一容器集群中各容器的QoS指标进行预测，并评估所述第一容器集群中每一个容器的QoS指标是否满足迁移条件，包括：
获取所述第一容器集群中各容器的容量指标，采集所述第一容器集群中各容器的历史数据容量；
将所述各容器的历史数据容量作为训练样本时间序列，输入至ARIMA容量预测模型中，预测下一时间周期中各容器的目标数据容量；
若所述各容器的目标数据容量与所述待迁移数据的数据大小之和小于对应的所述各容器容量指标，则所述容器的QoS指标满足迁移条件。
可选地，所述对第一容器集群中各容器的QoS指标进行预测，包括：
提取所述第一容器集群中各容器的历史QoS指标，所述QoS指标包括响应时间及吞吐量；
提取所述各容器历史QoS指标中的多个特征，组成特征矩阵；
利用卷积神经网络对所述特征矩阵进行学习，并基于学习后的结果对所述QoS指标进行预测。
可选地，基于所述第一筛选条件对所述相邻节点的各容器进行筛选，包括：
使用如下函数对各容器进行筛选
Figure BDA0003173582740000031
其中，i表示第i个容器，hi为第一筛选函数，用于决策所述节点中的容器是否可作为待迁移容器，Si为布尔型数据，表示运行状态，Bi为表示资源饱和度，BTH表示资源饱和度阈值，其中u为单位阶跃函数，且
Figure BDA0003173582740000032
若hi等于2则第i个容器满足第一筛选条件，若hi小于2则第i个容器不满足第一筛选条件。
可选地，所述基于所述第二筛选条件对所述第二容器集群进行筛选，获取筛选后的第三容器集群，包括：
获取第二容器群中的容器属性参数值，建立判决矩阵W；
利用特征根法求解出判决矩阵W的最大特征值Tmax和与其对应的特征向量X；
将所述特征向量X进行归一化，获取容器属性参数对应的权重值；
将所述判决矩阵中的容器属性参数与对应的权重值进行加权，获取最终评分；
若所述最终评分低于预设阈值，则不满足筛选条件，若高于等于预设阈值，则满足最终筛选条件。
可选地，在将所述待迁移数据迁移至所述第三容器集群中一个或多个容器中后，所述方法还包括：
对所述第三容器集群中一个或多个容器进行监控；
若所述一个或多个容器异常，则从容器日志中确定故障特征信息，根据故障特征信息确定故障根因；
重新设置第三筛选条件，基于所述第三筛选条件对所述第二容器集群进行筛选，获取筛选后的第四容器集群，并基于负载均衡策略将所述第三容器集群中一个或多个容器中数据按类型迁移至所述第四容器集群中。
可选地，若所述第三容器集群中的容器数量低于预设阈值，则进行容器扩容。
可选地，所述云容器平台由多个云节点组成，每一个云节点包括一个或多个容器。
本发明实施例还包括一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
本发明实施例提供的方法及装置，将相邻节点的容器进行评估，并通过QoS预测及二次筛选条件过滤，保证了迁移目标的容器满足数据迁移后的QoS保障，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为一个实施例中云容器平台网络架构图；
图2为一个实施例中云资源调度的方法流程图；
图3a为一个实施例中对QoS指标进行预测的逻辑示意图；
图3b为一个实施例中对QoS指标进行预测的方法流程图；
图3c为另一个实施例中对QoS指标进行预测的方法流程图；
图4为一个实施例中装置的硬件组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
图1是容器云平台的架构图。如图1所示，容器云平台采用docker技术，具备三层架构，分别是底层容器引擎架构、中间层的资源调度器和上上层的应用管理器，其中，底层容器引擎提供容器基础服务设施，包括网络模块、接口API，存储管控模块等，资源调度负责设置资源池，并在资源池中进行数据发送接收、迁移、路由策略定制等服务，而应用管理则为用户终端提供云服务，对于用户终端而言，其数据的迁移，吞吐等常规行为处于不可见状态，用户终端只需要进行云资源配置，而具体的云资源调度工作则由资源调度器来完成。
图2是本发明实施例的一种云资源调度的方法流程图，本发明实施例提供的方法，具体为：
S101、资源调度器获取第一节点中容器内的数据存储状态；
在本发明实施例中，云容器平台由多个云节点组成，每一个云节点包括一个或多个容器。容器是一种更轻量级，更灵活的虚拟化处理方式，它将一个应用程序所需的一切打包在一起。容器包括所有代码，各种依赖甚至操作***，这让应用程序几乎在任何地方都可以运行。因此它的诞生，解决了一个重要问题：如何确保应用程序从一个环境移动到另一个环境的正确运行。它只是虚拟了操作***，而不像虚拟机一样去虚拟底层计算机。
在本发明实施例中，第一节点是云容器平台的其中一个云节点，该云节点中包含了一个或多个容器，为了方便说明，假设该节点包含了一个容器，该容器负责提供数据存储、数据处理等基础服务。容器的数据存储状态即表示当前该容器的数据存储情况，例如是否饱和，是否溢出，是否有异常或损坏等。为了防止数据溢出，通常在容器数据管理中会设置一个数据饱和度阈值，例如当达到数据存储容量的80％时就不能再继续进行数据的存储操作了，若达到90％以上则要考虑进行部分数据的迁移，以免造成数据容量不足，导致容器宕机或响应异常缓慢。在本发明实施例中，可以用参数S来表示是否异常，用参数B来表示是否饱和。
S102、若所述数据存储状态为饱和状态时，确定所述第一节点中容器内的待迁移数据，并获取所述相邻节点中各容器的数据存储状态；
在判断该第一节点容器的存储状态为饱和状态时，为了满足第一节点的QoS保障，需要将多余的部分数据进行迁移，以腾出容量。因此，资源调度器需要将该容器内的部分数据进行标记，标记为待迁移数据，等到具备合适的待迁移容器目标后即可进行数据迁移。其中，可以由资源调度器根据数据的使用频率、数据的重要程度判断是否需要迁移。
在迁移之前，需要获取相邻节点中各容器的数据存储状态，以便进行迁移目标的确定。
S103、设置第一筛选条件，并基于所述第一筛选条件对所述相邻节点的各容器进行筛选，获取筛选后的第一容器集群；
在本发明实施例中，需要设置第一筛选条件，对多个相邻节点的不同容器进行一下筛选，将满足筛选条件的容器作为潜在的待迁移容器目标，将不满足的容器进行滤除，以方便进行筛选。
其中，由于相邻节点的容器数量较多，因此需要设置一个筛选条件，完成第一轮筛选。其中，筛选过程如下：
使用如下函数对各容器进行筛选：
Figure BDA0003173582740000081
其中，N为容器总数，i表示第i个容器，hi为第一筛选函数，用于决策第i容器是否可作为待迁移容器，Si为布尔型数据，表示运行状态，其中，0表示状态异常，1表示状态正常，Bi为表示资源饱和度，BTH表示资源饱和度阈值，若Bi<BTH,则数据容量足够，反之则证明当前时刻的容量不足。
其中u为单位阶跃函数，且
Figure BDA0003173582740000082
若hi等于2则第i个容器满足第一筛选条件，若hi小于2则第i个容器不满足第一筛选条件，换言之，第i个容器既要满足u(Si)为1，又要满足u(BTH-Bi)的值为1，即运行正常且容量空间足够的容器满足第一筛选条件，否则不满足自动滤除。
S104、对第一容器集群中各容器的QoS指标进行预测，并评估所述第一容器集群中每一个容器的QoS指标是否满足迁移条件；
经过第一筛选后的容器均满足初始迁移的硬性要求，而在本发明实施例中，还需要对各容器的QoS指标进行预测，以防止在迁移完成之后无法在未来的短时期内保障其QoS稳定性。
在本发明实施例中，采用人工智能的方法进行QoS指标预测。随着人工智能机器学习算法的兴起，对数据存储和迁移提出了更大的需求。人工智能算法的研发和改进需要反复调用以TB数量级计算的数据的下载上传，对传统的传输网络带来了很高的成本和带宽要求。而在本发明实施例中，应对不同的QoS性能指标，创造性地提出了不同的解决方案，需要说明的是，不同的解决方案并不是孤立的，而是可以进行结合，按照不同的实际场景进行针对性选择。
在本发明实施例中若QoS指标包含数据流量，则资源调度器首先通过K-means对所述第一容器集群中各容器进行聚类，形成多个子集群；其中，K-means是一种常用的聚类方法，其核心是基于欧式距离的聚类算法，其认为两个目标的距离越近，相似度越大，经过K-means的聚类过程后，将整个第一容器集群按照欧式距离分为多个子集群，其中每一个子集群中各节点之间的欧式距离较近。
其次，在每一个子集群中，随机选择一个节点形成簇心，并以所述簇心为中心形成簇群；需要说明的是，簇心是簇群的中心节点，在子集群内部，以簇心为中心建立星型状拓扑结构，形成星型状簇群，以便通过该簇心收集簇群中非簇心的节点的数据运行状态，方便数据处理。
再次，依次遍历所述每一簇群中的历史数据流量，并计算每一簇群的历史数据流量均值；由于簇心可以收集不同的节点的数据流量，因此，资源调度器只需要对不同簇群中的簇心发送收集指令，即可由簇心依次遍历该簇群内不同节点的历史数据流量，计算历史数据流量均值。
最后，基于所述每一簇群的历史数据流量均值，通过时间序列模型预测下一时间周期中所述每一簇群的目标数据流量均值。本发明实施例中通过时间序列模型进行预测，常见的时间序列模型有自回归模型(autoregressive，AR)和向量自回归模型(vectorautoregressive，VAR)，通过上述时间序列模型可以寻找时间序列前后数值之间的相关性，可以从过去推测未来，从而可以根据之前的流量使用情况推测出未来的流量使用情况。因此，在本申请实施例中，可以使用上述预测模型进行预测得到目标流量预测值。当然，除了使用时间序列模型，还可以有其他的回归模型，具体此处不做限定。
对于本发明实施例而言，若单一簇群的目标数据流量均值不满足QoS条件，则过滤掉该簇群中的所有容器。
如图3a所示，假设第一容器集群中包含有编号1-12的容器，按照簇心-簇群组成了三组簇群，其中编号为2,4,9的容器为簇心，其他容器则为非簇心，这样可以分别通过2,4,9获取到簇群内其他容器的历史数据流量，而不需要挨个发送流量获取命令，效率会得到提高，同时提升网络传输效率。
如图3b所示，若QoS指标包括数据容量，则首先，资源调度器获取所述第一容器集群中各容器的容量指标，采集所述第一容器集群中各容器的历史数据容量；容量指标是一个容器的最大容量数值，而历史数据容量则是不同时间周期内该容器的数据存储量，根据时间的不同而不同。
将所述各容器的历史数据容量作为训练样本时间序列，输入至ARIMA容量预测模型中，预测下一时间周期中各容器的目标数据容量；ARIMA模型全称为自回归积分滑动平均模型(Autoregressive Integrated Moving Average Model)，是由博克思和詹金斯于70年代初提出一著名时间序列预测方法，所以又称为Box-Jenkins模型、博克思-詹金斯法。其中ARIMA(p，d，q)称为差分自回归移动平均模型，AR是自回归，p为自回归项；MA为移动平均，q为移动平均项数，d为时间序列成为平稳时所做的差分次数。所谓ARIMA模型，是指将非平稳时间序列转化为平稳时间序列，然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归所建立的模型。ARIMA模型根据原序列是否平稳以及回归中所含部分的不同，包括移动平均过程(MA)、自回归过程(AR)、自回归移动平均过程(ARMA)以及ARIMA过程。需要说明的是，ARIMA模型对于短期内的时间序列预测精准度较高，但不适用于中长期的时间序列预测，而本发明实施例则着重对时间序列短期进行预测，满足预测条件。
若所述各容器的目标数据容量与所述待迁移数据的数据大小之和小于对应的所述各容器容量指标，则所述容器的QoS指标满足迁移条件。本发明实施例中，需要考虑迁移之后的情况，因此，不光预测出不同容器的目标数据容量，还需要满足假定迁移之后的目标数据容量是否还小于容量指标，例如，当前容器的容量指标是120GB，而迁移数据大小为30GB，预测的目标容量为100GB，此时需要考虑100GB+30GB的情况是否会超标(即120GB的最大限额)，毫无疑问，若预测的目标容量为100GB，显然已经超标，无法满足QoS保障，则该容器不是一个适格的迁移目标对象。
此外，在本发明实施例中，建立并训练ARIMA预测模型具体包括：通过LB检验识别训练样本时间序列的随机性，若LB检验的p值大于0.05则为纯随机序列，调用R工具的auto.arima函数作为ARIMA预测模型进行容量预测；若LB检验的p值小于0.05则训练样本时间序列为非纯随机序列，则通过ADF检验来识别其平稳性，若ADF检验的p值小于0.05则认为该时间序列是平稳的，否则该时间序列不平稳；S33：建立ARIMA预测模型为ARIMA(p,d,q)；其中，AR是自回归，MA为移动平均，p是自回归项数，d为时间序列成为平稳时间序列时所做的差分次数，q为移动平均项数；若训练样本时间序列不平稳，则对训练样本时间序列先进行d阶差分运算，化为平稳的时间序列；基于平稳的时间序列，通过自相关函数和偏自相关函数的特性，确认预测模型和并预设参数值；根据参数组合成的不同的ARIMA(p,d,q)模型，通过AIC准则比较各模型的AIC值，取AIC值最小的模型作为最终模型；通过LB检验识别最终模型的的残差序列是否为纯随机序列，如果是，则最终模型为合格的ARIMA预测模型，如果不是，则调整自回归项数p和移动平均项数q，直到得到合格的ARIMA预测模型。
在另一实施例中，如图3c所示，还可以通过卷积神经网络进行QoS指标学习及预测。QoS指标还包括响应时间、吞吐量及其他，则资源管理器需要提取所述第一容器集群中各容器的历史QoS指标；
提取所述各容器历史QoS指标中的多个特征，组成特征矩阵；该特征矩阵包括从多个QoS指标中的多个样本特征。
利用卷积神经网络对所述特征矩阵进行学***移不变分类(shift-invariantclassification)，因此也被称为“平移不变人工神经网络(Shift-Invariant ArtificialNeural Networks,SIANN)。具体地，采用CNN网络对QoS进行预测属于现有技术，本发明实施例不再累述。
S105、若所述第一容器集群中的第二容器集群的QoS指标满足迁移条件，则设置第二筛选条件，并基于所述第二筛选条件对所述第二容器集群进行筛选，获取筛选后的第三容器集群；
获取第二容器群中的容器属性参数值，建立判决矩阵W；
其中W＝[wi,j]T*T，wi,j为容器各属性参数值。
利用特征根法求解出判决矩阵W的最大特征值Tmax和与其对应的特征向量X；具体过程如下公式：
W*X＝Tmax*X
将所述特征向量X进行归一化，获取容器属性参数对应的权重值[λ1,λ2...λT]；
将所述判决矩阵中的容器属性参数与对应的权重值进行加权，获取最终评分；
最终评分
Figure BDA0003173582740000141
若所述最终评分低于预设阈值，则不满足筛选条件，若高于等于预设阈值，则满足最终筛选条件。
S106、将所述待迁移数据迁移至所述第三容器集群中一个或多个容器中。
确定了最终的待迁移对象后，即可将该待迁移数据进行迁移。
其中，在将所述待迁移数据迁移至所述第三容器集群中一个或多个容器中后，本发明实施例还包括：
对所述第三容器集群中一个或多个容器进行监控；
若所述一个或多个容器异常，则从容器日志中确定故障特征信息，根据故障特征信息确定故障根因；
重新设置第三筛选条件，基于所述第三筛选条件对所述第二容器集群进行筛选，获取筛选后的第四容器集群，并基于负载均衡策略将所述第三容器集群中一个或多个容器中数据按类型迁移至所述第四容器集群中。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中的方法。
本发明实施例还提供一种装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。
本发明实施例提供的方法及装置，将相邻节点的容器进行评估，并通过QoS预测及二次筛选条件过滤，保证了迁移目标的容器满足数据迁移后的QoS保障，提升了用户体验。
图4为一个实施例中装置的硬件组成示意图。可以理解的是，图4仅仅示出了装置的简化设计。在实际应用中，装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出***、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的装置都在本申请的保护范围之内。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入***用于输入数据和/或信号，以及输出***用于输出数据和/或信号。输出***和输入***可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程***。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种云资源调度的方法，其特征在于，应用于云容器平台，所述云容器平台包括底层容器引擎、资源调度器及应用管理器，所述方法包括：
资源调度器获取第一节点中容器内的数据存储状态；
若所述数据存储状态为饱和状态时，确定所述第一节点中容器内的待迁移数据，并获取所述相邻节点中各容器的数据存储状态；
设置第一筛选条件，并基于所述第一筛选条件对所述相邻节点的各容器进行筛选，获取筛选后的第一容器集群；
对第一容器集群中各容器的QoS指标进行预测，并评估所述第一容器集群中每一个容器的QoS指标是否满足迁移条件；
若所述第一容器集群中的第二容器集群的QoS指标满足迁移条件，则设置第二筛选条件，并基于所述第二筛选条件对所述第二容器集群进行筛选，获取筛选后的第三容器集群；
将所述待迁移数据迁移至所述第三容器集群中一个或多个容器中。
2.根据权利要求1所述的方法，其特征在于，所述QoS指标包括数据流量，则所述对第一容器集群中各容器的QoS指标进行预测，包括：
通过K-means对所述第一容器集群中各容器进行聚类，形成多个子集群；
在每一个子集群中，随机选择一个节点形成簇心，并以所述簇心为中心形成簇群；
依次遍历所述每一簇群中的历史数据流量，并计算每一簇群的历史数据流量均值；
基于所述每一簇群的历史数据流量均值，通过时间序列模型预测下一时间周期中所述每一簇群的目标数据流量均值。
3.根据权利要求1所述的方法，其特征在于，所述QoS指标包括数据容量，则所述对第一容器集群中各容器的QoS指标进行预测，并评估所述第一容器集群中每一个容器的QoS指标是否满足迁移条件，包括：
获取所述第一容器集群中各容器的容量指标，采集所述第一容器集群中各容器的历史数据容量；
将所述各容器的历史数据容量作为训练样本时间序列，输入至ARIMA容量预测模型中，预测下一时间周期中各容器的目标数据容量；
若所述各容器的目标数据容量与所述待迁移数据的数据大小之和小于对应的所述各容器容量指标，则所述容器的QoS指标满足迁移条件。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述对第一容器集群中各容器的QoS指标进行预测，包括：
提取所述第一容器集群中各容器的历史QoS指标，所述QoS指标包括响应时间及吞吐量；
提取所述各容器历史QoS指标中的多个特征，组成特征矩阵；
利用卷积神经网络对所述特征矩阵进行学习，并基于学习后的结果对所述QoS指标进行预测。
5.根据权利要求1所述的方法，其特征在于，基于所述第一筛选条件对所述相邻节点的各容器进行筛选，包括：
使用如下函数对各容器进行筛选
Figure FDA0003173582730000031
其中，i表示第i个容器，hi为第一筛选函数，用于决策所述节点中的容器是否可作为待迁移容器，Si为布尔型数据，表示运行状态，Bi为表示资源饱和度，BTH表示资源饱和度阈值，其中u为单位阶跃函数，且
Figure FDA0003173582730000032
若hi等于2则第i个容器满足第一筛选条件，若hi小于2则第i个容器不满足第一筛选条件。
6.根据权利要求1所述的方法，其特征在于，所述基于所述第二筛选条件对所述第二容器集群进行筛选，获取筛选后的第三容器集群，包括：
获取第二容器群中的容器属性参数值，建立判决矩阵W；
利用特征根法求解出判决矩阵W的最大特征值Tmax和与其对应的特征向量X；
将所述特征向量X进行归一化，获取容器属性参数对应的权重值；
将所述判决矩阵中的容器属性参数与对应的权重值进行加权，获取最终评分；
若所述最终评分低于预设阈值，则不满足筛选条件，若高于等于预设阈值，则满足最终筛选条件。
7.根据权利要求1所述的方法，其特征在于，在将所述待迁移数据迁移至所述第三容器集群中一个或多个容器中后，所述方法还包括：
对所述第三容器集群中一个或多个容器进行监控；
若所述一个或多个容器异常，则从容器日志中确定故障特征信息，根据故障特征信息确定故障根因；
重新设置第三筛选条件，基于所述第三筛选条件对所述第二容器集群进行筛选，获取筛选后的第四容器集群，并基于负载均衡策略将所述第三容器集群中一个或多个容器中数据按类型迁移至所述第四容器集群中。
8.根据权利要求1所述的方法，其特征在于，若所述第三容器集群中的容器数量低于预设阈值，则进行容器扩容。
9.根据权利要求1所述的方法，其特征在于，所述云容器平台由多个云节点组成，每一个云节点包括一个或多个容器。
10.一种装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至9任一项所述的方法。
CN202110825395.9A 2021-07-21 2021-07-21 一种云资源调度的方法及装置 Withdrawn CN113553138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110825395.9A CN113553138A (zh) 2021-07-21 2021-07-21 一种云资源调度的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110825395.9A CN113553138A (zh) 2021-07-21 2021-07-21 一种云资源调度的方法及装置

Publications (1)

Publication Number Publication Date
CN113553138A true CN113553138A (zh) 2021-10-26

Family

ID=78103854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110825395.9A Withdrawn CN113553138A (zh) 2021-07-21 2021-07-21 一种云资源调度的方法及装置

Country Status (1)

Country Link
CN (1) CN113553138A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114117945A (zh) * 2022-01-26 2022-03-01 南京信息工程大学 基于用户-服务交互图的深度学习云服务QoS预测方法
CN114281246A (zh) * 2021-11-26 2022-04-05 苏州浪潮智能科技有限公司 一种基于云管理平台的云硬盘在线迁移方法、装置、设备
CN114595029A (zh) * 2022-02-15 2022-06-07 黄淮学院 一种基于自动学习的云容器资源调度方法及***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281246A (zh) * 2021-11-26 2022-04-05 苏州浪潮智能科技有限公司 一种基于云管理平台的云硬盘在线迁移方法、装置、设备
CN114281246B (zh) * 2021-11-26 2023-08-25 苏州浪潮智能科技有限公司 一种基于云管理平台的云硬盘在线迁移方法、装置、设备
CN114117945A (zh) * 2022-01-26 2022-03-01 南京信息工程大学 基于用户-服务交互图的深度学习云服务QoS预测方法
CN114117945B (zh) * 2022-01-26 2022-04-15 南京信息工程大学 基于用户-服务交互图的深度学习云服务QoS预测方法
CN114595029A (zh) * 2022-02-15 2022-06-07 黄淮学院 一种基于自动学习的云容器资源调度方法及***

Similar Documents

Publication Publication Date Title
CN110413389B (zh) 一种资源不均衡Spark环境下的任务调度优化方法
CN113553138A (zh) 一种云资源调度的方法及装置
US10033570B2 (en) Distributed map reduce network
CN106933650B (zh) 云应用***的负载管理方法及***
WO2018076791A1 (zh) 一种资源负载均衡控制方法及集群调度器
US20190391897A1 (en) Adaptive thresholds for containers
WO2022063247A1 (zh) 神经网络结构搜索方法及装置
CN113286315B (zh) 负载均衡判断方法、装置、设备及存储介质
CN113705981B (zh) 一种基于大数据的异常监测的方法及装置
CN114500578B (zh) 分布式存储***负载均衡调度方法、装置及存储介质
CN115080248B (zh) 调度装置的调度优化方法、调度装置和存储介质
CN112527448A (zh) 基于openstack的动态负载调整方法及其***
CN111752706B (zh) 资源配置方法、装置及存储介质
Taherizadeh et al. Incremental learning from multi-level monitoring data and its application to component based software engineering
KR20160044623A (ko) 리눅스 가상 서버의 로드 밸런싱 방법
CN115525394A (zh) 容器数量的调整方法及装置
CN114035906A (zh) 虚拟机迁移方法、装置、电子设备及存储介质
KR20080087571A (ko) 상황 예측 시스템 및 그 방법
CN110134575B (zh) 一种服务器集群的服务能力计算方法及装置
CN113783862A (zh) 一种边云协同过程中进行数据校验的方法及装置
CN114330090A (zh) 一种缺陷检测方法、装置、计算机设备和存储介质
CN113596146A (zh) 一种基于大数据的资源调度的方法及装置
WO2024046283A1 (zh) 任务调度方法、模型生成方法、以及电子设备
CN117176728B (zh) 基于云边协同技术的工业物联网调度方法及调度***
KR102535010B1 (ko) 가중치 기반 앙상블 모델 선택 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211202

Address after: 518129 B608, building 15, jiayuhaoyuan, 698 Jihua Road, dafapu community, Bantian street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Chuang Le Hui Technology Co.,Ltd.

Address before: 100190 room 1502, 15th floor, Zhongguancun Internet Education Innovation Center, Haidian District, Beijing

Applicant before: PILOSMART TECHNOLOGY BEIJING LLC

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211026