CN112527498A - 一种服务资源弹性扩缩容处理方法 - Google Patents

一种服务资源弹性扩缩容处理方法 Download PDF

Info

Publication number
CN112527498A
CN112527498A CN202011406463.XA CN202011406463A CN112527498A CN 112527498 A CN112527498 A CN 112527498A CN 202011406463 A CN202011406463 A CN 202011406463A CN 112527498 A CN112527498 A CN 112527498A
Authority
CN
China
Prior art keywords
service
elastic expansion
service type
data
directional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011406463.XA
Other languages
English (en)
Inventor
王勇
马宇良
曲连威
王昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202011406463.XA priority Critical patent/CN112527498A/zh
Publication of CN112527498A publication Critical patent/CN112527498A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种服务资源弹性扩缩容处理方法。对微服务监控平台智能汇聚的多元微服务数据集进行面向定向服务类型负载实时监控的历史多元数据指标抓取；对抓取到的面向定向服务类型负载历史多元数据指标进行数据预处理，得到低噪、高可用的指标数据集合；对预处理后的面向定向服务类型负载历史多元数据指标数据集进行基于线性回归的弹性伸缩容预测；对基于线性回归服务弹性伸缩容预测结果进行服务资源弹性伸缩处理策略匹配。本发明提出方法能有效解决服务扩缩容度量指标阈值固定、扩缩反应滞后等问题，是提高扩缩反应速度和资源利用率的重要途径，为服务的稳定运行进一步提供了有力保障。

Description

一种服务资源弹性扩缩容处理方法
技术领域
本发明属于微服务及服务计算领域；具体涉及一种服务资源弹性扩缩容处理方法。
背景技术
随着面向微服务架构以及云计算技术的提出并逐渐走向商用化，对现有***资源的稳定管理和有效利用是大规模集群部署和管理的关键问题。早期的云平台基础设施都是基于物理设备进行构建，其对于服务的弹性伸缩实现都是基于物理硬件设备的直接增加来达到集群资源的垂直扩展。自2010年开始，以Open Stack为领导的IaaS平台逐渐崭露头角，并迅速成为主流。它不再是简单基于物理硬件设备，而是以虚拟机技术为基础设施的云环境，扩缩容机制不仅能扩展硬件物理设备而且可以扩展虚拟机资源或者直接增加虚拟机，比直接增加物理设备更加高效。目前，国内外众多云厂商，都有着各自基于云平台的一整套弹性扩缩容机制，但大部分都是采用阈值型自动扩缩容策略。亚马逊于2009年为AWS引入自动伸缩能力，其可以监控服务运行状态并能自动进行扩缩调整，达到以低资源使用率的情况下满足了实际服务的需求。用户可以在短时间内为多项服务中的多种资源快速设置伸缩指标、规则和阈值。阿里云于2014年为其云平台引入了弹性伸缩功能，可支持基于阈值的动态伸缩模式、定时伸缩模式、固定数量模式，为不同的业务场景提供更多选项。腾讯云平台于2016年引入了弹性伸缩功能，其旨在提供高效管理计算资源的策略。用户可设定相应的管理或监控策略，来实现对CVM实例数量的弹性调整，保证服务稳定运行。在资源需求集中时，弹性伸缩自动扩展CVM实例数，旨在保证服务性能；当资源需求较低时，则会缩减CVM实例数以节约资源降低成本。此外，以Kubernetes为核心的PaaS平台则为解决上述问题提供了重要的解决方案，其通过内置的HPA资源，基于CPU和内存指标实现了对服务的扩缩调整，但大部分存在度量指标阈值固定，扩缩反应滞后等问题。
发明内容
本发明提供了一种服务资源弹性扩缩容处理方法，该方法是一个轻量级预测模型，该模型为解决已有服务弹性伸缩预测方法模型中模型过去庞杂、冗余等复合问题；同时本发明能够快速高响应的进行面向服务资源的弹性扩缩容预测和匹配，提高现有模型的低响应时间问题。更好地满足的在资源受限和负载高并发背景下软件***对服务故障处理时间和服务质量要求等问题。
本发明通过以下技术方案实现：
1.一种服务资源弹性扩缩容处理方法，其特征在于，所述匹配方法包括以下步骤：
步骤1：对微服务监控平台智能汇聚的多元微服务数据集进行面向定向服务类型负载实时监控的历史多元数据指标抓取；
步骤2：对步骤1中抓取到的面向定向服务类型负载历史多元数据指标进行数据预处理，得到低噪、高可用的指标数据集合；
步骤3：对步骤2中预处理后的面向定向服务类型负载历史多元数据指标数据集进行基于线性回归的弹性伸缩容预测；
步骤4：对步骤3中基于线性回归服务弹性伸缩容结果进行服务资源弹性伸缩处理策略匹配。
进一步的，所述步骤1具体为：通过对微服务监控平台采集的服务运行的CPU、响应时间、内存等面向定向服务类型的历史多元数据进行抓取。
进一步的，所述步骤2具体为，对抓取到的面向定向服务类型的历史多元指标数据，进行清洗、去噪数据预处理，最终得到低噪、高可用性的面向定向服务类型的历史多元指标数据集。
进一步的，所述步骤3具体为，将预处理后的面向定向服务类型的历史多元指标数据集进行基于线性回归的服务弹性扩缩容阈值预测。
进一步的，所述步骤4的具体为，根据线性回归预测的服务弹性扩缩容阈值，进行服务资源弹性伸缩处理策略匹配，使得其可快速对服务资源进行弹性扩缩容调整。
本发明的有益效果是：
1.本发明相对于现有服务资源弹性扩缩容预测方法，具有指标多样性、扩缩反应快速；本发明能够更加灵活的对集群服务定制多样化的弹性伸缩策略，且利用了高效低耗的预测模型，更符合集群扩缩算法要求，使得集群扩缩反应更具提前性，提升了服务集群的抗压性和稳定性。
附图说明
附图1是一种服务资源弹性扩缩容处理方法流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
主要通过线性回归算法进行服务资源弹性扩缩容的预测，首先通过抓取微服务监控平台智能汇聚的多元微服务数据集进行面向定向服务类型负载实时监控的历史多元数据指标并进行数据的预处理，进而通过线性回归进行服务资源弹性扩缩容的阈值预测，最后结合相应的服务资源弹性扩缩容调整策略进行快速准确的动态调整，从而，使得在预测服务资源弹性扩缩容阈值后能够及时有效地处理服务扩缩容问题，进而保障平台的高计算能力、高可用性以及高资源利用率。
一种服务资源弹性扩缩容处理方法，所述匹配方法包括以下步骤：
第一步，多元服务负载数据的抓取
通过对微服务监控平台采集的服务运行的CPU、响应时间、内存等面向定向服务类型的历史多元数据进行抓取。
第二步，面向多元抓取指标数据的预处理
对抓取到的面向定向服务类型的历史多元指标数据，进行清洗、去噪数据预处理，最终得到低噪、高可用性的面向定向服务类型的历史多元指标数据集。
第三步，基于线性回归的服务资源弹性扩缩容预测
将预处理后的面向定向服务类型的历史多元指标数据集进行基于线性回归的服务弹性扩缩容阈值预测。
线性回归利用数理统计中的回归分析，计算得出各变量间的依赖关系，找到最佳拟合直线。线性回归模型可通过矩阵准确表示，如下：
Figure BDA0002814442240000041
其中X为输入数据矩阵，y为结果向量，ω为回归系数向量。
在利用平方误差、平方差以及回归系数公式，最终的最优估计预测值计算公式为：
y＝ω1+ω2*X1+…+ωn*Xn (2)
第四步，基于预测的服务资源弹性扩缩容策略处理
根据线性回归预测的服务弹性扩缩容阈值，进行服务资源弹性伸缩处理策略匹配，使得其可快速对服务资源进行弹性扩缩容调整。
由图1可知，本发明提出算法能有效改善度量指标单一、扩缩反应滞后，使得集群馆里能够更加灵活的对集群中服务进行多样化的弹性伸缩策略调整，且利用高可用的线性回归预测模型，使其能够更符合集群扩缩算法要求，为服务的稳定运行进一步提供了有力保障。

Claims (5)

1.一种服务资源弹性扩缩容处理方法，其特征在于，所述匹配方法包括以下步骤：
步骤1：对微服务监控平台智能汇聚的多元微服务数据集进行面向定向服务类型负载实时监控的历史多元数据指标抓取；
步骤2：对步骤1中抓取到的面向定向服务类型负载历史多元数据指标进行数据预处理，得到低噪、高可用的指标数据集合；
步骤3：对步骤2中预处理后的面向定向服务类型负载历史多元数据指标数据集进行基于线性回归的弹性伸缩容预测；
步骤4：对步骤3中基于线性回归服务弹性伸缩容结果进行服务资源弹性伸缩处理策略匹配。
2.根据权利要求1所述一种服务资源弹性扩缩容处理方法，其特征在于，所述步骤1具体为：通过对微服务监控平台采集的服务运行的CPU、响应时间、内存等面向定向服务类型的历史多元数据进行抓取。
3.根据权利要求1所述一种服务资源弹性扩缩容处理方法，其特征在于，所述步骤2具体为：对抓取到的面向定向服务类型的历史多元指标数据，进行清洗、去噪数据预处理，最终得到低噪、高可用性的面向定向服务类型的历史多元指标数据集。
4.根据权利要求1所述一种服务资源弹性扩缩容处理方法，其特征在于，所述步骤3具体为，将预处理后的面向定向服务类型的历史多元指标数据集进行基于线性回归的服务弹性扩缩容阈值预测。
5.根据权利要求1所述一种服务资源弹性扩缩容处理方法，其特征在于，所述步骤4具体为，根据线性回归预测的服务弹性扩缩容阈值，进行服务资源弹性伸缩处理策略匹配，使得其可快速对服务资源进行弹性扩缩容调整。
CN202011406463.XA 2020-12-03 2020-12-03 一种服务资源弹性扩缩容处理方法 Pending CN112527498A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011406463.XA CN112527498A (zh) 2020-12-03 2020-12-03 一种服务资源弹性扩缩容处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011406463.XA CN112527498A (zh) 2020-12-03 2020-12-03 一种服务资源弹性扩缩容处理方法

Publications (1)

Publication Number Publication Date
CN112527498A true CN112527498A (zh) 2021-03-19

Family

ID=74998433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011406463.XA Pending CN112527498A (zh) 2020-12-03 2020-12-03 一种服务资源弹性扩缩容处理方法

Country Status (1)

Country Link
CN (1) CN112527498A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391883A (zh) * 2021-08-18 2021-09-14 中关村科学城城市大脑股份有限公司 应用于城市大脑的ai模型推理***及方法
CN115022173A (zh) * 2022-05-10 2022-09-06 度小满科技(北京)有限公司 一种服务扩容的方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法
CN111638959A (zh) * 2020-06-02 2020-09-08 山东汇贸电子口岸有限公司 云环境下基于负载回归预测的弹性伸缩方法及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201718A (zh) * 2016-07-05 2016-12-07 北京邮电大学 一种基于负载预测的云计算资源动态伸缩方法
CN111638959A (zh) * 2020-06-02 2020-09-08 山东汇贸电子口岸有限公司 云环境下基于负载回归预测的弹性伸缩方法及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晓钰;吴伟明;谷勇浩;: "基于云平台的弹性Web集群扩缩容机制的研究", 软件, no. 11 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391883A (zh) * 2021-08-18 2021-09-14 中关村科学城城市大脑股份有限公司 应用于城市大脑的ai模型推理***及方法
CN115022173A (zh) * 2022-05-10 2022-09-06 度小满科技(北京)有限公司 一种服务扩容的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110502494B (zh) 日志处理方法、装置、计算机设备及存储介质
Wu et al. Tradeoff between performance improvement and energy saving in mobile cloud offloading systems
CN107247651B (zh) 云计算平台监测预警方法和***
CN112527498A (zh) 一种服务资源弹性扩缩容处理方法
CN106528266B (zh) 一种云计算***中的资源动态调整方法及装置
WO2016184048A1 (zh) 多核处理器cpu的频率管理方法及装置
CN104102543A (zh) 一种云计算环境中负载调整的方法和装置
US20220413965A1 (en) Data recovery method, apparatus and device, and readable storage medium
CN110851255B (zh) 一种基于终端设备和边缘服务器协同进行视频流处理的方法
CN109842521A (zh) 一种移动终端宕机预测***及方法
CN107241440B (zh) 一种确定集群的节能策略的方法
CN112003763A (zh) 网络链路的监测方法、监测装置、监测设备及存储介质
CN116166427A (zh) 自动扩缩容方法、装置、设备及存储介质
CN107239341B (zh) 一种资源折算方法、***及虚拟机资源调度***
CN112817732B (zh) 一种适应云边协同多数据中心场景下的流数据处理方法及***
CN113238841B (zh) 一种基于云计算技术的任务调度方法
CN115811793A (zh) 一种基于智能反射面辅助的能量采集移动边缘计算方法
CN115150892A (zh) 具有突发性业务的mec无线***中vm-pm修复策略方法
CN115185683A (zh) 一种基于动态优化模型的云平台流处理资源分配方法
CN111125161B (zh) 数据的实时处理方法、装置、设备及存储介质
CN108228532B (zh) 一种排队模型稳态机率计算方法
CN113377544A (zh) 一种基于负荷数据动态更新率的web集群负载均衡方法
CN113742073A (zh) 一种基于lsb接口的集群控制方法
CN108874546B (zh) 一种linux优化资源使用的***及方法
CN117827596B (zh) 一种安全可控线程实时监控方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination