CN116700920A - 云原生混合部署集群资源调度方法及装置 - Google Patents

云原生混合部署集群资源调度方法及装置 Download PDF

Info

Publication number
CN116700920A
CN116700920A CN202310542318.1A CN202310542318A CN116700920A CN 116700920 A CN116700920 A CN 116700920A CN 202310542318 A CN202310542318 A CN 202310542318A CN 116700920 A CN116700920 A CN 116700920A
Authority
CN
China
Prior art keywords
cloud platform
node
resource
application program
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310542318.1A
Other languages
English (en)
Inventor
梁永康
马宗垚
吴延生
周新衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310542318.1A priority Critical patent/CN116700920A/zh
Publication of CN116700920A publication Critical patent/CN116700920A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Computing Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种云原生混合部署集群资源调度方法及装置，其中该方法包括：获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度。本发明可以提升混合部署集群环境中资源的利用率。

Description

云原生混合部署集群资源调度方法及装置
技术领域
本发明涉及云计算技术领域，尤其涉及一种云原生混合部署集群资源调度方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
云计算技术的快速发展和普及，使得企业越来越依赖云服务来运行和管理业务。随着云服务提供商的不断涌现和竞争，用户可以从多个云平台中选择最适合自己业务需求的云服务。但是，这也给企业带来了新的挑战，如何实现跨云平台的资源协调和统一管理，以及如何优化云资源的使用效率和降低成本等问题。
为了解决这些问题，近年来出现了混合部署的概念，即将公有云、私有云和本地数据中心等多种云计算资源整合在一起，形成一个统一的混合集群环境，用来支持企业的业务应用和数据处理。混合集群可以帮助企业更加灵活地管理资源和应用，提高资源利用率和响应能力，同时降低成本和风险。
然而，混合集群环境中，不同云平台的资源特性和性能指标可能存在差异，如何实现跨云平台的资源动态调度和管理，是混合部署领域的一个重要问题。同时，由于混合部署集群环境中存在大量的云服务、应用和数据，如何对这些资源进行智能化的分析和调度，是提高混合集群资源利用率和集群性能的一个重要挑战。
发明内容
本发明实施例提供一种云原生混合部署集群资源调度方法，用以提升混合部署集群环境中资源的利用率，该方法包括：
获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；
根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度。
本发明实施例还提供一种云原生混合部署集群资源调度装置，用以，该装置包括：
实时监控云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
将实时监控的云平台资源使用数据和云平台中各节点的应用程序性能指标数据，输入训练好的决策树模型；
在决策树模型输出的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息有变化时，根据变化后的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点重新进行资源分配和调度。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述云原生混合部署集群资源调度方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述云原生混合部署集群资源调度方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述云原生混合部署集群资源调度方法。
本发明实施例中，云原生混合部署集群资源调度方案，与现有技术中，无法对混合部署集群环境中存在大量的云服务、应用和数据，进行智能化的分析和资源调度，资源利用率较低的技术方案相比，通过获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度。从而提升混合部署集群环境中资源的利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中云原生混合部署集群资源调度方法的流程示意图；
图2为本发明一实施例中云原生混合部署集群资源调度方法的流程示意图；
图3为本发明实施例中混合部署集群资源调度结果示意图；
图4为本发明实施例中云原生混合部署集群资源调度装置示意图；
图5为本发明另一实施例中云原生混合部署集群资源调度装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
下面对本发明实施例所涉及术语进行解释：
决策树算法：一种基于树形结构的分类和回归方法。
云原生：一种软件开发和部署方式，旨在支持云计算环境下的敏捷、可扩展和弹性的应用程序开发和管理，云原生基于微服务框架，使用容器化技术进行打包和部署，结合自动化的管理和编排工具来提供效率和可靠性。
混合部署：指将不同类型的云节点调度到相同的物理资源上，通过调度，资源隔离等控制手段，在保障服务水平目标的基础上，以空闲的资源满足节点的应用运行的需求，充分使用资源能力，极大降低成本。
现有技术中，无法对混合部署集群环境中存在大量的云服务、应用和数据，进行智能化的分析和资源调度，资源利用率较低。
基于上述问题，本发明实施例提出一种云原生混合部署集群资源调度方法，用以提升混合部署集群环境中资源的利用率，图1为本发明实施例中云原生混合部署集群资源调度方法的流程示意图，如图1所示，该方法包括：
步骤101：获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
步骤102：将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；
步骤103：根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度。
在一个实施例中，对云平台中各节点进行资源分配和调度之后，
实时监控云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
将实时监控的云平台资源使用数据和云平台中各节点的应用程序性能指标数据，输入训练好的决策树模型；
在决策树模型输出的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息有变化时，根据变化后的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点重新进行资源分配和调度。
在一个实施例中，对于步骤102中的决策树模型，按如下方式训练得到决策树模型：
获取云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据；
对云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据进行特征提取，以提取到的特征变量构建历史数据集；
从历史数据集划分得到训练集和测试集；
以训练集训练决策树模型，以测试集评估训练的决策树模型，在评估通过时得到训练好的决策树模型。
其中，特征变量，包括：
CPU使用率：CPU使用率是衡量***性能的重要指标，它可以用来判断***是否过载，是否需要增加资源。
内存使用率：内存使用率是衡量***资源使用情况的重要指标，它可以用来判断***是否需要增加内存容量，以提高***性能。
磁盘空间使用率：磁盘空间使用率是衡量存储资源使用情况的重要指标，它可以用来判断***是否需要增加存储容量。
网络带宽利用率：网络带宽利用率是衡量网络资源使用情况的重要指标，它可以用来判断网络是否过载，是否需要增加带宽。
请求响应时长：请求响应时长是衡量应用程序性能的重要指标，它可以用来判断应用程序是否需要进行优化，以提高响应速度。
并发连接数：并发连接数是衡量应用程序性能的重要指标，它可以用来判断应用程序是否需要增加资源，以提高并发性能。
应用程序错误率：应用程序错误率是衡量应用程序稳定性的重要指标，它可以用来判断应用程序是否需要进行调优，以提高稳定性。
请求吞吐量：请求吞吐量是衡量应用程序性能的重要指标，它可以用来判断应用程序的处理能力是否足够，是否需要增加资源。
负载均衡：负载均衡是指在多个服务器之间平衡负载，避免某一台服务器负载过高。负载均衡的指标可以包括请求量、连接数、CPU使用率等。
网络延迟：网络延迟是指从发送请求到接收响应所需的时间。网络延迟的指标可以包括往返时间、丢包率等。
云平台可靠性：云平台可靠性是指云平台的稳定性和容错性。云平台可靠性的指标可以包括云平台错误率、崩溃率、恢复时长等。
具体实施时，采用交叉验证方法从历史数据集划分得到训练集和测试集；在以训练集训练决策树模型时，将获取最大的信息增益熵，作为决策树的判断条件；其中，信息增益熵为信息熵与条件熵的差值；以测试集评估训练的决策树模型的准确率、召回率、F1值其中之一或任意组合。
决策树算法中，信息增益熵是特征变量选择的一个重要指标，它定义为一个特征变量能够为分类***带来多少信息，带来的信息越多，说明该特征变量越重要，相应的信息增益熵也就越大。信息熵是代表随机变量的复杂度，条件熵代表在某一个条件下，随机变量的复杂度。信息增益熵等于信息熵-条件熵。信息增益熵代表了在一个条件下，信息复杂度减少的程度。
在决策树算法中，用信息增益熵来度量。选择一个特征变量后，信息增益熵最大，那就选取这个特征变量。
信息熵的计算公式如下：
其中，H(p)表示信息熵，p表示云原生节点在混合部署中能稳定支撑的概率，pi有p1和p2两个值，p1表示能稳定支撑，p2表示不能稳定支撑。
条件熵的计算公式如下：
其中，H(Y|X)表示特征变量X的条件熵，Y表示云原生节点在混合部署中能稳定支撑的情况，X表示特征变量，Xi表示维度为i的特征变量X，m表示特征变量X的维度总数，例如特征变量CPU使用情况的维度包括1C、2C、4C、8C、16G，则该特征变量CPU使用情况的维度总数为5，pi表示基于维度为i的特征变量X，能稳定部署的概率。
信息增益熵等于信息熵与条件熵的差值，将获取最大的信息增益熵作为决策树的判断条件，基于不同的特征变量，多次计算信息增益熵，对决策树进行剪枝，防止过拟合，直到计算出决策树的每个分支，形成一个完整的决策树。
下面结合图2详细介绍本发明实施例提出的云原生混合部署集群资源调度方法，图2为本发明一实施例中云原生混合部署集群资源调度方法的流程示意图，如图2所示，该方法包括：
S101：数据准备，包括：获取云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据；
S102：特征提取，包括：对云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据进行特征提取，特征变量，包括：CPU使用率、内存使用率、磁盘空间使用率、网络带宽利用率、请求响应时长、并发连接数、应用程序错误率、请求吞吐量、负载均衡、网络延迟、云平台可靠性；
S103：数据划分，包括：以提取到的特征变量构建历史数据集，采用交叉验证方法从历史数据集划分得到训练集和测试集；
S104：构建决策树，包括：以训练集训练决策树模型，将获取最大的信息增益熵，做为决策树的判断条件；其中，信息增益熵为信息熵与条件熵的差值；
S105：模型评估，包括：以测试集评估训练的决策树模型的准确率、召回率、F1值，在评估通过时得到训练好的决策树模型；
S106：模型应用，包括：获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；
根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度；
实时监控云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
将实时监控的云平台资源使用数据和云平台中各节点的应用程序性能指标数据，输入训练好的决策树模型；
在决策树模型输出的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息有变化时，根据变化后的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点重新进行资源分配和调度。
图3为本发明实施例中混合部署集群资源调度结果示意图，如图3所示，Pod表示云平台中的节点，Node表示机器资源，可以看到在混合部署前，机器资源的资源占用较小，经过混合部署，将6个节点Pod从3个机器资源部署到2个机器资源上，提高了资源的利用率，可以最大化利用单个机器的资源，提升混合部署集群资源的利用率。
本发明实施例中还提供了一种云原生混合部署集群资源调度装置，如下面的实施例所述。由于该装置解决问题的原理与云原生混合部署集群资源调度方法相似，因此该装置的实施可以参见云原生混合部署集群资源调度方法的实施，重复之处不再赘述。
图4为本发明实施例中云原生混合部署集群资源调度装置示意图，如图4所示，该装置包括：
数据获取模块01，用于获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
信息输出模块02，用于将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；
资源处理模块03，用于根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度。
在一个实施例中，本发明实施例中云原生混合部署集群资源调度装置还包括监控模块，用于：
实时监控云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
信息输出模块，还用于：将实时监控的云平台资源使用数据和云平台中各节点的应用程序性能指标数据，输入训练好的决策树模型；
资源处理模块，还用于：在决策树模型输出的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息有变化时，根据变化后的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点重新进行资源分配和调度。
在一个实施例中，本发明实施例中云原生混合部署集群资源调度装置还包括决策树模型训练模块，用于按如下方式训练得到决策树模型：
获取云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据；
对云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据进行特征提取，以提取到的特征变量构建历史数据集；
从历史数据集划分得到训练集和测试集；
以训练集训练决策树模型，以测试集评估训练的决策树模型，在评估通过时得到训练好的决策树模型。
其中，特征变量，包括：CPU使用率、内存使用率、磁盘空间使用率、网络带宽利用率、请求响应时长、并发连接数、应用程序错误率、请求吞吐量、负载均衡、网络延迟、云平台可靠性其中之一或任意组合。
具体实施时，决策树模型训练模块用于：
采用交叉验证方法从历史数据集划分得到训练集和测试集；在以训练集训练决策树模型时，将获取最大的信息增益熵，做为决策树的判断条件；其中，信息增益熵为信息熵与条件熵的差值；以测试集评估训练的决策树模型的准确率、召回率、F1值其中之一或任意组合。
图5为本发明一实施例中云原生混合部署集群资源调度装置示意图，如图5所示，该装置包括：
M201节点识别模块，用于获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据，其中，根据云平台提供的API接口获取节点的应用程序性能指标数据，包括节点的配置、容量、负载等指标，对节点进行分类和识别。
M202节点决策模块，用于根据已训练好的决策树模型，对识别出的节点进行判断，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，实现对资源使用情况的预测和分析。
M203节点调度模块，用于根据M202节点决策模块输出的：云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，通过自适应调度和动态资源分配技术，动态地进行资源分配和调度，将节点调度到合适的机器资源上，应用程序部署在最优的节点上，以达到最佳的资源利用率和应用性能。
M204节点监控模块，用于实时监控云平台资源使用数据和云平台中各节点的应用程序性能指标数据，将所述数据反馈给M 202节点决策模块进行优化和调整，保证整个混部集群的资源利用率和性能稳定性。
综上所述，本发明实施例的优势在于，利用决策树算法对资源使用进行智能化分析和预测，实现动态调度和优化资源使用，从而提高混部集群环境中的资源利用率和业务性能。同时，该方法可以自适应地学习和优化，适应不同的资源环境和业务需求，具有较强的适应性和灵活性。
本发明实施例提供的技术方案可以应用于各种混部集群场景中，包括公有云、私有云和本地数据中心等资源的整合和管理。通过实现资源智能化分析和优化，可以提高企业的资源利用率和响应能力，降低成本和风险，推动企业数字化转型和创新发展。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述云原生混合部署集群资源调度方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述云原生混合部署集群资源调度方法。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述云原生混合部署集群资源调度方法。
本发明实施例中，云原生混合部署集群资源调度方案，与现有技术中，无法对混合部署集群环境中存在大量的云服务、应用和数据，进行智能化的分析和资源调度，资源利用率较低的技术方案相比，通过获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度。从而提升混合部署集群环境中资源的利用率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种云原生混合部署集群资源调度方法，其特征在于，包括：
获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；
根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度。
2.如权利要求1所述的方法，其特征在于，对云平台中各节点进行资源分配和调度之后，还包括：
实时监控云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
将实时监控的云平台资源使用数据和云平台中各节点的应用程序性能指标数据，输入训练好的决策树模型；
在决策树模型输出的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息有变化时，根据变化后的云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点重新进行资源分配和调度。
3.如权利要求1所述的方法，其特征在于，还包括按如下方式训练得到决策树模型：
获取云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据；
对云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据进行特征提取，以提取到的特征变量构建历史数据集；
从历史数据集划分得到训练集和测试集；
以训练集训练决策树模型，以测试集评估训练的决策树模型，在评估通过时得到训练好的决策树模型。
4.如权利要求3所述的方法，其特征在于，特征变量，包括：
CPU使用率、内存使用率、磁盘空间使用率、网络带宽利用率、请求响应时长、并发连接数、应用程序错误率、请求吞吐量、负载均衡、网络延迟、云平台可靠性其中之一或任意组合。
5.如权利要求3所述的方法，其特征在于，从历史数据集划分得到训练集和测试集，包括：
采用交叉验证方法从历史数据集划分得到训练集和测试集。
6.如权利要求3所述的方法，其特征在于，以训练集训练决策树模型，包括：
在以训练集训练决策树模型时，将获取最大的信息增益熵，做为决策树的判断条件；其中，信息增益熵为信息熵与条件熵的差值。
7.如权利要求3所述的方法，其特征在于，以测试集评估训练的决策树模型，包括：
以测试集评估训练的决策树模型的准确率、召回率、F1值其中之一或任意组合。
8.一种云原生混合部署集群资源调度装置，其特征在于，包括：
数据获取模块，用于获取云平台资源使用数据和云平台中各节点的应用程序性能指标数据；
信息输出模块，用于将云平台资源使用数据和云平台中各节点的应用程序性能指标数据输入训练好的决策树模型，输出云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息；其中，决策树模型根据云平台资源使用历史数据和云平台中各节点的应用程序性能指标历史数据训练得到；
资源处理模块，用于根据云平台中各节点能够使用的资源信息、以及能够运行的应用程序信息，对云平台中各节点进行资源分配和调度。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一所述方法。
11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一所述方法。
CN202310542318.1A 2023-05-15 2023-05-15 云原生混合部署集群资源调度方法及装置 Pending CN116700920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310542318.1A CN116700920A (zh) 2023-05-15 2023-05-15 云原生混合部署集群资源调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310542318.1A CN116700920A (zh) 2023-05-15 2023-05-15 云原生混合部署集群资源调度方法及装置

Publications (1)

Publication Number Publication Date
CN116700920A true CN116700920A (zh) 2023-09-05

Family

ID=87822977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310542318.1A Pending CN116700920A (zh) 2023-05-15 2023-05-15 云原生混合部署集群资源调度方法及装置

Country Status (1)

Country Link
CN (1) CN116700920A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033693A (zh) * 2023-10-08 2023-11-10 联通沃音乐文化有限公司 一种混合模式的云处理的方法及***
CN117499395A (zh) * 2023-11-01 2024-02-02 上海琨山智能科技有限公司 一种智能锁的云平台部署方法
CN117827462A (zh) * 2024-01-16 2024-04-05 青海省交通建设管理有限公司 基于云计算的财务报告分析整合方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117033693A (zh) * 2023-10-08 2023-11-10 联通沃音乐文化有限公司 一种混合模式的云处理的方法及***
CN117033693B (zh) * 2023-10-08 2024-03-08 联通沃音乐文化有限公司 一种混合模式的云处理的方法及***
CN117499395A (zh) * 2023-11-01 2024-02-02 上海琨山智能科技有限公司 一种智能锁的云平台部署方法
CN117827462A (zh) * 2024-01-16 2024-04-05 青海省交通建设管理有限公司 基于云计算的财务报告分析整合方法及***

Similar Documents

Publication Publication Date Title
CN109218355B (zh) 负载均衡引擎，客户端，分布式计算***以及负载均衡方法
CN109918198B (zh) 一种基于用户特征预测的仿真云平台负载调度***及方法
CN116700920A (zh) 云原生混合部署集群资源调度方法及装置
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN109981744B (zh) 数据的分发方法、装置、存储介质及电子设备
CN109656723A (zh) 容器资源调度方法及装置
CN115134371A (zh) 包含边缘网络算力资源的调度方法、***、设备及介质
CN115543577A (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
CN113553160A (zh) 用于人工智能物联网的边缘计算节点任务调度方法及***
CN117573373B (zh) 一种基于云计算的cpu虚拟化调度方法及***
CN113422808B (zh) 物联网平台http信息推送方法、***、装置及介质
CN116956756B (zh) 模型部署方法、任务处理方法、装置、设备及存储介质
CN100493001C (zh) G比特流率下多粒度的网络自动聚类方法
CN113934512A (zh) 负载均衡实现方法、装置、设备及存储介质
CN115801896A (zh) 算力网络节点分配方法、装置、电子设备及存储介质
CN116546028A (zh) 服务请求的处理方法、装置、存储介质及电子设备
CN116560811A (zh) 一种应用于调度***的仿真***和方法
CN116192849A (zh) 一种异构加速板卡计算方法、装置、设备及介质
CN117667327A (zh) 作业调度方法、调度器及相关设备
Roy et al. Supporting multi-fidelity-aware concurrent applications in dynamic sensor networks
CN114936089A (zh) 资源调度方法、***、设备及存储介质
CN116909758B (zh) 算力任务的处理方法、装置及电子设备
CN114706667B (zh) 一种基于异构计算的流媒体转发方法
CN114745282B (zh) 资源配置模型预测方法、装置及电子设备
CN115396319B (zh) 数据流分片方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination