KR102323670B1 - Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud - Google Patents

Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud Download PDF

Info

Publication number
KR102323670B1
KR102323670B1 KR1020200103518A KR20200103518A KR102323670B1 KR 102323670 B1 KR102323670 B1 KR 102323670B1 KR 1020200103518 A KR1020200103518 A KR 1020200103518A KR 20200103518 A KR20200103518 A KR 20200103518A KR 102323670 B1 KR102323670 B1 KR 102323670B1
Authority
KR
South Korea
Prior art keywords
log information
alarm
threshold value
rule
cloud storage
Prior art date
Application number
KR1020200103518A
Other languages
Korean (ko)
Other versions
KR102323670B9 (en
Inventor
유명식
당꽝녓밍
당꽝?퓜?
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020200103518A priority Critical patent/KR102323670B1/en
Application granted granted Critical
Publication of KR102323670B1 publication Critical patent/KR102323670B1/en
Publication of KR102323670B9 publication Critical patent/KR102323670B9/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3442Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for planning or managing the needed capacity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • G06F11/327Alarm or error message display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects

Abstract

Disclosed are a dynamic multilevel rule-based auto-scaling method for containerized applications in a private multi-cloud, which determines whether a resource is abnormal, and an apparatus thereof. According to the present invention, the dynamic multilevel rule-based auto-scaling method comprises the following steps: collecting log information of a cloud storage; aggregating and processing the log information; indexing and storing the processed log information; changing an initial threshold value set by a user to a new threshold value by using the stored log information; comparing a metric value corresponding to the stored log information with the changed new threshold value to detect whether a resource is abnormal; determining, by an alarm manager service, whether to generate an alarm according to a comparison result of the metric values; and performing, by an adaptation manager service, a scaling operation according to the alarm provided from the alarm manager service.

Description

프라이빗 멀티 클라우드에서 컨테이너화된 애플리케이션을 위한 동적 멀티레벨 규칙 기반 자동 스케일링 방법 및 장치{Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud}Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud

본 발명은 프라이빗 멀티 클라우드에서 컨테이너화된 애플리케이션을 위한 동적 멀티레벨 규칙 기반 자동 스케일링 방법 및 장치에 관한 것이다. The present invention relates to a dynamic multilevel rule-based automatic scaling method and apparatus for containerized applications in a private multi-cloud.

쿠버네티스(kubernetes)는 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식성이 있고, 확장가능한 오픈소스 플랫폼이다.Kubernetes is a portable, extensible, open source platform for managing containerized workloads and services.

과거 애플리케이션을 하나의 물리서버에서 실행하였으나, 근래에는 가상화 기술을 이용하여 단일 물리서버의 CPU에서 여러 가상머신(VM)을 실행할 수 있게 되었다. In the past, applications were run on a single physical server, but recently, using virtualization technology, multiple virtual machines (VMs) can be run on the CPU of a single physical server.

이러한 가상화를 사용하면 VM 간의 애플리케이션을 격리하고 애플리케이션의 정보를 다른 애플리케이션에서 자유롭게 액세스할 수 있으므로 일정 수준의 보안성을 제공할 수 있다. This virtualization can provide a level of security by isolating applications between VMs and allowing information in applications to be freely accessed by other applications.

또한, 가상화를 사용하면 물리서버에서 리소스를 보다 효율적으로 활용할 수 있으며 애플리케이션을 추가하거나 업데이트 할 수 있고 하드웨어의 물리적 비용을 절감할 수 있어 더 나은 확장성을 제공한다. In addition, virtualization provides better scalability by enabling more efficient utilization of resources on physical servers, adding or updating applications, and reducing the physical cost of hardware.

가상화를 통해 일련의 물리 리소스를 폐기 가능한(disposable) 가상머신으로 구성된 클러스터로 만들 수 있다.Virtualization allows a set of physical resources to be turned into a cluster of disposable virtual machines.

컨테이너는 VM과 유사하지만 격리 속성을 완화하여 애플리케이션 간에 운영체제(OS)를 공유한다. Containers are similar to VMs, but share an operating system (OS) between applications by relaxing their isolation properties.

VM과 마찬가지로 컨테이너에는 자체 파일 시스템, CPU, 메모리, 프로세스 공간 등이 있다. 기본 인프라와의 종속성을 끊었기 때문에, 클라우드나 OS 배포본에 모두 이식할 수 있다.Like VMs, containers have their own filesystem, CPU, memory, process space, etc. By breaking the dependency on the underlying infrastructure, it can be ported to any cloud or OS distribution.

컨테이너 환경에서 쿠버네티스는 분산 시스템을 탄력적으로 실행하기 위한 프레임워크를 제공한다. 애플리케이션의 확장과 장애 조치를 처리하고, 배포 패턴 등을 제공한다.In a container environment, Kubernetes provides a framework for elastically running distributed systems. It handles application scaling and failover, and provides deployment patterns, etc.

기존 쿠버네티스 시스템에서 HPA(Horizontal Pod Autoscaler)는 워크로드의 강도나 애플리케이션이 동작하는 상태라 하더라도 원하는 평균 CPU 사용률(단일 차원 및 인프라 수준)을 근접하게 유지하기 위해 포드(pod) 수를 늘리거나 줄일 수 있다. In traditional Kubernetes systems, the Horizontal Pod Autoscaler (HPA) can increase the number of pods or increase the number of pods to keep the desired average CPU utilization (single-dimensional and infrastructure level) close to the desired average CPU utilization (single-dimensional and infrastructure level), even under the intensity of the workload or the application is running. can be reduced

기존 AWS EC2(Amazon Elastic Compute Cloud) 시스템에서는 CPU 사용률과 같은 미리 정의된 목표 메트릭 값 "인프라 레벨" 또는 애플리케이션 처리량 같은 "애플리케이션 레벨"을 자동 스케일링 작업(단일차원, 인프라 수준 또는 애플리케이션 수준)을 고려하도록 설정해야 하며, TTS는 지정된 메트릭 값을 대상 메트릭 값에 가깝게 유지하기 위해 인스턴스를 추가하거나 제거한다.Existing AWS EC2 (Amazon Elastic Compute Cloud) systems allow predefined target metric values such as CPU utilization "infrastructure level" or "application level" such as application throughput to be automatically taken into account for scaling operations (unidimensional, infrastructure level or application level). must be set, and TTS adds or removes instances to keep the specified metric value close to the target metric value.

그러나, 애플리케이션 성능 모니터링에 대한 기존 방식은 장애가 발생하는 것을 미리 예측하지 못하는 문제점이 있다. However, there is a problem in that the existing method for application performance monitoring cannot predict the occurrence of a failure in advance.

미국등록특허 10,649,756US Patent 10,649,756

상기한 종래기술의 문제점을 해결하기 위해, 본 발명은 문제에 미리 대응할 수 있는 프라이빗 멀티 클라우드에서 컨테이너화된 애플리케이션을 위한 동적 멀티레벨 규칙 기반 자동 스케일링 방법 및 장치를 제안하고자 한다. In order to solve the problems of the prior art, the present invention intends to propose a dynamic multilevel rule-based automatic scaling method and apparatus for containerized applications in a private multi-cloud that can respond to problems in advance.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 멀티 클라우드 환경에서 동적 멀티레벨 규칙 기반 자동 스케일링 방법으로서, 클라우드 스토리지의 로그 정보를 수집하는 단계; 상기 로그 정보를 집계 및 처리하는 단계; 상기 처리된 로그 정보를 인덱싱하여 저장하는 단계; 상기 저장된 로그 정보를 이용하여 사용자에 의해 설정된 초기 임계값을 새로운 임계값으로 변경하는 단계; 상기 저장된 로그 정보에 상응하는 메트릭 값과 상기 변경된 새로운 임계값을 비교하여 리소스의 이상 여부를 감지하는 단계; 알람 매니저 서비스가 상기 메트릭 값의 비교 결과에 따라 알람 발생 여부를 결정하는 단계; 및 어댑션 매니저 서비스가 알람 매니저 서비스로부터 제공된 알람에 따라 스케일링 동작을 수행하는 단계를 포함하는 동적 멀티레벨 규칙 기반 자동 스케일링 방법이 제공된다. In order to achieve the above object, according to an embodiment of the present invention, there is provided a dynamic multi-level rule-based automatic scaling method in a multi-cloud environment, the method comprising: collecting log information of cloud storage; aggregating and processing the log information; indexing and storing the processed log information; changing an initial threshold value set by a user to a new threshold value using the stored log information; detecting whether a resource is abnormal by comparing a metric value corresponding to the stored log information with the changed new threshold value; determining, by the alarm manager service, whether to generate an alarm according to a result of the comparison of the metric values; and performing, by the adaptation manager service, a scaling operation according to an alarm provided from the alarm manager service.

상기 로그 정보는 로그 시각, 로그 종류, 클라우드 스토리지 식별 정보, 작동 요청 타입, 상기 클라우드 스토리지로 요청이 전송된 시각, 상기 클라우드 스토리지로부터 응답을 수신한 시각, 요청과 관련된 파일의 크기, 상기 클라우드 스토리지의 통신 프로토콜, 에러 코드 또는 에러 메시지 중 적어도 하나를 포함할 수 있다. The log information includes log time, log type, cloud storage identification information, operation request type, time when a request is sent to the cloud storage, time when a response is received from the cloud storage, the size of a file related to the request, and the size of the cloud storage. It may include at least one of a communication protocol, an error code, or an error message.

상기 스케일링 동작은 프로비저닝 또는 디프로비저닝하기 위한 리소스를 계산하는 동작을 포함할 수 있다.The scaling operation may include calculating a resource for provisioning or de-provisioning.

상기 리소스의 이상 여부를 감지 MAPE-K 루프를 이용하여 수행될 수 있다. Detecting whether the resource is abnormal may be performed using a MAPE-K loop.

본 발명의 다른 측면에 따르면, 동적 멀티레벨 규칙 기반 자동 스케일링 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 클라우드 스토리지로부터 수집된 로그 정보를 이용하여 사용자에 의해 설정된 초기 임계값을 새로운 임계값으로 변경하고, 상기 수집된 로그 정보에 상응하는 메트릭 값과 상기 변경된 새로운 임계값을 비교하여 리소스의 이상 여부를 판단하도록, 상기 프로세서에 의해 실행되는 프로그램 명령어들을 포함하되, 상기 비교 결과에 따라 알람 매니저 서비스가 알람 발생 여부를 결정하고, 어댑션 매니저 서비스가 알람 매니저 서비스로부터 제공된 알람 또는 상기 모델에 의해 예측되는 이상 동작에 따라 스케일링 동작을 수행하는, 동적 멀티레벨 규칙 기반 자동 스케일링 장치가 제공된다. According to another aspect of the present invention, there is provided a dynamic multilevel rule-based automatic scaling apparatus, comprising: a processor; and a memory connected to the processor, wherein the memory changes the initial threshold value set by the user to a new threshold value using log information collected from cloud storage, and a metric value corresponding to the collected log information and program instructions executed by the processor to determine whether there is an abnormality in the resource by comparing the new threshold with the changed threshold, wherein the alarm manager service determines whether an alarm is generated according to the comparison result, and the adaptation manager service A dynamic multilevel rule-based automatic scaling apparatus is provided that performs a scaling operation according to an alarm provided from an alarm manager service or an abnormal operation predicted by the model.

본 발명의 다른 측면에 따르면, 멀티 클라우드 환경에서 동적 멀티레벨 규칙 기반 자동 스케일링 방법으로서, 클라우드 스토리지로부터 수집된 로그 정보를 이용하여 사용자에 의해 설정된 초기 임계값을 새로운 임계값으로 변경하는 단계; 및According to another aspect of the present invention, there is provided a dynamic multi-level rule-based automatic scaling method in a multi-cloud environment, the method comprising: changing an initial threshold set by a user to a new threshold using log information collected from cloud storage; and

상기 수집된 로그 정보에 상응하는 메트릭 값과 상기 변경된 새로운 임계값을 비교하여 리소스의 이상 여부를 판단하는 단계를 포함하되, 상기 비교 결과에 따라 알람 매니저 서비스가 알람 발생 여부를 결정하고, 어댑션 매니저 서비스가 알람 매니저 서비스로부터 제공된 알람 또는 상기 모델에 의해 예측되는 이상 동작에 따라 스케일링 동작을 수행하는, 동적 멀티레벨 규칙 기반 자동 스케일링 방법이 제공된다. and determining whether a resource is abnormal by comparing a metric value corresponding to the collected log information with the changed new threshold value, wherein the alarm manager service determines whether an alarm is generated according to the comparison result, and the adaptation manager A dynamic multilevel rule-based automatic scaling method is provided, in which a service performs a scaling operation according to an alarm provided from an alarm manager service or an abnormal operation predicted by the model.

본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 컴퓨터 판독 가능한 프로그램이 제공된다. According to another aspect of the present invention, there is provided a computer readable program for performing the above method.

본 발명에 따르면, 로그 정보를 통해 갱신된 임계값을 통해 리소스 이상 여부를 판단할 수 있는 장점이 있다. According to the present invention, there is an advantage in that it is possible to determine whether a resource is abnormal through a threshold value updated through log information.

도 1은 본 발명의 일 실시예에 따른 자동 스케일링 시스템의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 이상 감지 과정에 대한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 동적 멀티레벨 규칙 기반 자동 스케일링 장치의 구성을 도시한 도면이다.
1 is a diagram illustrating a configuration of an automatic scaling system according to an embodiment of the present invention.
2 is a flowchart of an abnormality detection process according to the present embodiment.
3 is a diagram illustrating a configuration of a dynamic multilevel rule-based automatic scaling apparatus according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 자동 스케일링 시스템의 구성을 도시한 도면이다. 1 is a diagram illustrating a configuration of an automatic scaling system according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 시스템은, 클라우드 스토리지(100), 파일 비트(Filebeat, 102), Logstash(104), Elasticsearch(106), Kibana(108), 임계값 설정부(110), 알람 매니저 서비스(Alert Manager Service, 112) 및 어댑션 매니저 서비스(Adaption Manager Service, 114)를 포함할 수 있다. Referring to Figure 1, the system according to this embodiment, cloud storage 100, file beat (Filebeat, 102), Logstash (104), Elasticsearch (106), Kibana (108), threshold setting unit 110 , an alarm manager service (Alert Manager Service) 112 and an adaptation manager service (Adaption Manager Service, 114).

클라우드 스토리지(100)는 쿠버네티스 환경에서 컨테이너화된 애플리케이션을 실행하는 프라이빗 멀티 클라우드일 수 있다. Cloud storage 100 may be a private multi-cloud running containerized applications in a Kubernetes environment.

파일 비트(102)는 클라우드 스토리지(100)로부터 로그 정보를 수집한다. The file bit 102 collects log information from the cloud storage 100 .

여기서, 수집되는 로그 정보는 로그 시각, 로그 종류, 클라우드 스토리지 식별 정보, 작동 요청 타입, 상기 클라우드 스토리지로 요청이 전송된 시각, 상기 클라우드 스토리지로부터 응답을 수신한 시각, 요청과 관련된 파일의 크기, 상기 클라우드 스토리지의 통신 프로토콜, 에러 코드 또는 에러 메시지 중 적어도 하나를 포함할 수 있다. Here, the collected log information includes log time, log type, cloud storage identification information, operation request type, time when a request is sent to the cloud storage, time when a response is received from the cloud storage, the size of a file related to the request, and the It may include at least one of a communication protocol of the cloud storage, an error code, or an error message.

Logstash(104)는 파일 비트를 이용하여 수집된 로그 정보를 집계 및 처리(aggregation and processing)한다. The Logstash 104 aggregates and processes the collected log information using file bits.

Logstash(104)는 여러 소스에서 동시에 데이터를 수집하는 서버 측 데이터 처리 파이프라인이며, Logstash(104)에 의해 집계 및 처리된 로그 정보는 인덱싱되어 저장된다. Logstash 104 is a server-side data processing pipeline that simultaneously collects data from multiple sources, and log information aggregated and processed by Logstash 104 is indexed and stored.

Elasticsearch(106)는 Restful API를 통해 액세스할 수 있는 NoSQL 데이터베이스가 지원하는 분산 검색 및 분석 엔진이다.Elasticsearch (106) is a distributed search and analytics engine supported by a NoSQL database accessible through the Restful API.

Elasticsearch(106)는 Apache Lucene 검색 엔진과 쿼리 구문을 사용하며, 본 실시예에서 Elasticsearch(106)는 자동 스케일링 알고리즘과 관련된 다양한 검색 및 분석 요건을 충족하기 위해 사용된다. Elasticsearch 106 uses Apache Lucene search engine and query syntax, and in this embodiment, Elasticsearch 106 is used to meet various search and analysis requirements related to automatic scaling algorithms.

Kibana(108)는 ELK Stack에서 데이터를 시각화하는데 사용되는 소프트웨어이며, 본 실시예에서는 자동 스케일링 알고리즘의 관리 대시보드로 사용된다. Kibana 108 is software used to visualize data in the ELK Stack, and is used as a management dashboard of an automatic scaling algorithm in this embodiment.

임계값 설정부(110)는 Elasticsearch(106)에 의해 분석된 결과에 따라 사용자에 의해 설정된 초기 임계값을 새로운 임계값으로 변경한다. The threshold value setting unit 110 changes the initial threshold value set by the user to a new threshold value according to the result analyzed by the Elasticsearch (106).

임계값 설정부(110)는 웹 기반 IDE(Integrated Development Environment)로 구현될 수 있고, 사용자가 설정된 CPU 및 메모리 관련 초기 임계값을 Elasticsearch(106)에 의해 분석된 결과에 따라 새로운 임계값으로 변경한다. Threshold setting unit 110 may be implemented as a web-based IDE (Integrated Development Environment), and changes the CPU and memory-related initial thresholds set by the user to new thresholds according to the results analyzed by Elasticsearch (106). .

알람 매니저 서비스(112)는 새로운 임계값과 클라우드 스토리지(100)로부터 수집된 로그 정보에 따른 메트릭 값을 비교하여 알람을 트리거한다. The alarm manager service 112 triggers an alarm by comparing a new threshold value with a metric value according to log information collected from the cloud storage 100 .

이때, 로그 정보에 상응하는 메트릭 값이 새로운 임계값보다 크거나 작은 경우 알람을 트리거할 수 있다. In this case, when the metric value corresponding to the log information is greater than or less than a new threshold value, an alarm may be triggered.

본 실시예에 따른 리소스의 이상 여부를 감지 MAPE-K 루프를 이용하여 수행될 수 있다. Detecting whether a resource is abnormal according to the present embodiment may be performed using a MAPE-K loop.

여기서, MAPE-K 루프는 자율 컴퓨팅 분야에서의 4단계로 이루어지는 적응 루프로서, 모니터링, 분석, 계획 및 실행 프로세서로 구성되며 4단계가 반복됨으로써 소프트웨어가 스스로 변화하는 환경에 적응하는 것을 목표로 한다. Here, the MAPE-K loop is an adaptive loop consisting of four steps in the field of autonomic computing, which is composed of monitoring, analysis, planning, and execution processors, and aims to adapt the software to the changing environment by repeating the four steps.

어댑션 매니저 서비스(114)는 알람 매니저 서비스(112)로부터 제공된 알람에 따라 스케일링 동작을 수행한다. The adaptation manager service 114 performs a scaling operation according to an alarm provided from the alarm manager service 112 .

여기서, 스케일링 동작은 프로비저닝 또는 디프로비저닝을 위한 리소스를 계산하는 동작일 수 있다. Here, the scaling operation may be an operation of calculating a resource for provisioning or de-provisioning.

도 2는 본 실시예에 따른 이상 감지 과정에 대한 흐름도이다. 2 is a flowchart of an abnormality detection process according to the present embodiment.

도 2를 참조하면 먼저 시스템은 클라우드 스토리지로부터 로그 정보를 수집한다(단계 200).Referring to FIG. 2 , first, the system collects log information from cloud storage (step 200).

로그 정보의 수집은 ELK Stack의 파일 비트(102)를 통해 수행된다. The collection of log information is performed through the file bit 102 of the ELK Stack.

다음으로 Logstash(104)가 수집된 로그 정보를 집계 및 처리한다(단계 202).Next, Logstash 104 aggregates and processes the collected log information (step 202).

집계 및 처리된 로그 정보는 인덱싱되어 저장된다(단계 204).The aggregated and processed log information is indexed and stored (step 204).

Elasticsearch(106)는 저장된 로그 정보를 분석하고, 분석된 로그 정보는 Kibana(108)에 의해 시각화된다(단계 206).Elasticsearch 106 analyzes the stored log information, and the analyzed log information is visualized by Kibana 108 (step 206).

한편, 사용자에 의해 초기 임계값이 설정되며, Elasticsearch(106)의 분석 결과에 따라 사용자에 의해 설정된 초기 임계값을 새로운 임계값으로 변경된다(단계 208).On the other hand, the initial threshold is set by the user, and the initial threshold set by the user is changed to a new threshold according to the analysis result of the Elasticsearch 106 (step 208).

알람 매니저 서비스(112)는 새로운 임계값과 클라우드 스토리지(100)로부터 수집된 로그 정보에 따른 메트릭 값을 비교한다(단계 210).The alarm manager service 112 compares a new threshold value with a metric value according to log information collected from the cloud storage 100 (step 210).

비교 결과에 따라, 로그 정보에 상응하는 메트릭 값이 새로운 임계값보다 크면 알람을 트리거한다(단계 212).According to the comparison result, if the metric value corresponding to the log information is greater than the new threshold value, an alarm is triggered (step 212).

어댑션 매니저 서비스(114)는 단계 212에서 생성된 알람에 따라 스케일링 동작을 수행한다(단계 214).The adaptation manager service 114 performs a scaling operation according to the alarm generated in step 212 (step 214).

여기서, 스케일링 동작은 프로비저닝 또는 디프로비저닝을 위한 리소스를 계산하는 동작일 수 있다. Here, the scaling operation may be an operation of calculating a resource for provisioning or de-provisioning.

도 3은 본 발명의 일 실시예에 따른 동적 멀티레벨 규칙 기반 자동 스케일링 장치의 구성을 도시한 도면이다. 3 is a diagram illustrating a configuration of a dynamic multilevel rule-based automatic scaling apparatus according to an embodiment of the present invention.

도 3은 상기한 알람 매니저 서비스에 대응되는 구성을 도시한 것이다. 3 shows a configuration corresponding to the above-described alarm manager service.

도 3을 참조하면, 본 실시예에 따른 자동 스케일링 장치는 프로세서(300) 및 메모리(302)를 포함할 수 있다. Referring to FIG. 3 , the automatic scaling apparatus according to the present embodiment may include a processor 300 and a memory 302 .

프로세서(300)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다. The processor 300 may include a central processing unit (CPU) capable of executing a computer program or other virtual machines.

메모리(302)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(202)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.Memory 302 may include a non-volatile storage device such as a fixed hard drive or a removable storage device. The removable storage device may include a compact flash unit, a USB memory stick, and the like. Memory 202 may also include volatile memory, such as various random access memories.

이와 같은 메모리(302)에는 프로세서(300)에 의해 실행 가능한 프로그램 명령어들이 저장된다. The memory 302 stores program instructions executable by the processor 300 .

본 발명의 일 실시예에 따른 프로그램 명령어들은, 클라우드 스토리지로부터 수집된 로그 정보와 미리 설정된 임계값을 비교하여 리소스의 이상 여부를 판단하고, 상기 비교 결과에 따라 리소스의 이상이 있는 것으로 판단하는 경우, 알람을 트리거한다. The program commands according to an embodiment of the present invention compare the log information collected from cloud storage with a preset threshold to determine whether there is an abnormality in the resource, and when it is determined that there is an abnormality in the resource according to the comparison result, trigger an alarm.

알람을 수신한 어댑션 매니저 서비스는 알람 매니저 서비스로부터 제공된 알람에 따라 자동 스케일링 동작을 수행한다. The adaptation manager service receiving the alarm performs an automatic scaling operation according to the alarm provided from the alarm manager service.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described embodiments of the present invention have been disclosed for the purpose of illustration, and various modifications, changes, and additions will be possible within the spirit and scope of the present invention by those skilled in the art having ordinary knowledge of the present invention, and such modifications, changes and additions should be regarded as belonging to the following claims.

Claims (8)

멀티 클라우드 환경에서 동적 멀티레벨 규칙 기반 자동 스케일링 방법으로서,
클라우드 스토리지의 로그 정보를 수집하는 단계;
상기 로그 정보를 집계 및 처리하는 단계;
상기 처리된 로그 정보를 인덱싱하여 저장하는 단계;
상기 저장된 로그 정보를 이용하여 사용자에 의해 설정된 초기 임계값을 새로운 임계값으로 변경하는 단계;
상기 저장된 로그 정보에 상응하는 메트릭 값과 상기 변경된 새로운 임계값을 비교하여 리소스의 이상 여부를 감지하는 단계;
알람 매니저 서비스가 상기 메트릭 값의 비교 결과에 따라 알람 발생 여부를 결정하는 단계; 및
어댑션 매니저 서비스가 알람 매니저 서비스로부터 제공된 알람에 따라 스케일링 동작을 수행하는 단계를 포함하는 동적 멀티레벨 규칙 기반 자동 스케일링 방법.
A dynamic multilevel rule-based automatic scaling method in a multi-cloud environment, comprising:
collecting log information of cloud storage;
aggregating and processing the log information;
indexing and storing the processed log information;
changing an initial threshold value set by a user to a new threshold value using the stored log information;
detecting whether a resource is abnormal by comparing a metric value corresponding to the stored log information with the changed new threshold value;
determining, by the alarm manager service, whether to generate an alarm according to a result of the comparison of the metric values; and
A dynamic multilevel rule-based automatic scaling method comprising the step of performing, by an adaptation manager service, a scaling operation according to an alarm provided from the alarm manager service.
제1항에 있어서,
상기 로그 정보는 로그 시각, 로그 종류, 클라우드 스토리지 식별 정보, 작동 요청 타입, 상기 클라우드 스토리지로 요청이 전송된 시각, 상기 클라우드 스토리지로부터 응답을 수신한 시각, 요청과 관련된 파일의 크기, 상기 클라우드 스토리지의 통신 프로토콜, 에러 코드 또는 에러 메시지 중 적어도 하나를 포함하는 동적 멀티레벨 규칙 기반 자동 스케일링 방법.
According to claim 1,
The log information includes log time, log type, cloud storage identification information, operation request type, time when a request is sent to the cloud storage, time when a response is received from the cloud storage, the size of a file related to the request, and the size of the cloud storage. A dynamic multilevel rule-based automatic scaling method comprising at least one of a communication protocol, an error code, or an error message.
제1항에 있어서,
상기 스케일링 동작은 프로비저닝 또는 디프로비저닝하기 위한 리소스를 계산하는 동작을 포함하는 동적 멀티레벨 규칙 기반 자동 스케일링 방법.
According to claim 1,
The scaling operation includes calculating a resource for provisioning or de-provisioning.
제1항에 있어서,
상기 리소스의 이상 여부를 감지 MAPE-K 루프를 이용하여 수행되는 동적 멀티레벨 규칙 기반 자동 스케일링 방법.
According to claim 1,
A dynamic multilevel rule-based automatic scaling method performed using a MAPE-K loop to detect whether the resource is abnormal.
동적 멀티레벨 규칙 기반 자동 스케일링 장치로서,
클라우드 스토리지의 로그 정보를 수집하는 파일 비트;
상기 로그 정보를 집계 및 처리하고, 상기 처리된 로그 정보를 인덱싱하여 저장하는 Logstash;
상기 저장된 로그 정보를 이용하여 사용자에 의해 설정된 초기 임계값을 새로운 임계값으로 변경하는 임계값 설정부;
상기 저장된 로그 정보에 상응하는 메트릭 값과 상기 변경된 새로운 임계값을 비교하여 리소스의 이상 여부를 감지하고, 상기 메트릭 값의 비교 결과에 따라 알람 발생 여부를 결정하는 알람 매니저 서비스; 및
상기 알람 매니저 서비스로부터 제공된 알람에 따라 스케일링 동작을 수행하는 어댑션 매니저 서비스를 포함하는 동적 멀티레벨 규칙 기반 자동 스케일링 장치.
A dynamic multilevel rule-based automatic scaling device, comprising:
File bits to collect log information of cloud storage;
Logstash for aggregating and processing the log information, and indexing and storing the processed log information;
a threshold value setting unit for changing an initial threshold value set by a user into a new threshold value using the stored log information;
an alarm manager service for detecting whether a resource is abnormal by comparing a metric value corresponding to the stored log information with the changed new threshold value, and determining whether an alarm is generated according to a result of the comparison of the metric value; and
and an adaptation manager service that performs a scaling operation according to an alarm provided from the alarm manager service.
제5항에 있어서,
상기 로그 정보는 로그 시각, 로그 종류, 클라우드 스토리지 식별 정보, 작동 요청 타입, 상기 클라우드 스토리지로 요청이 전송된 시각, 상기 클라우드 스토리지로부터 응답을 수신한 시각, 요청과 관련된 파일의 크기, 상기 클라우드 스토리지의 통신 프로토콜, 에러 코드 또는 에러 메시지 중 적어도 하나를 포함하는 동적 멀티레벨 규칙 기반 자동 스케일링 장치
6. The method of claim 5,
The log information includes log time, log type, cloud storage identification information, operation request type, time when a request is sent to the cloud storage, time when a response is received from the cloud storage, the size of a file related to the request, and the size of the cloud storage. Dynamic multilevel rule-based automatic scaling device including at least one of communication protocol, error code or error message
멀티 클라우드 환경에서 동적 멀티레벨 규칙 기반 자동 스케일링 방법으로서,
클라우드 스토리지로부터 수집된 로그 정보를 이용하여 사용자에 의해 설정된 초기 임계값을 새로운 임계값으로 변경하는 단계; 및
상기 수집된 로그 정보에 상응하는 메트릭 값과 상기 변경된 새로운 임계값을 비교하여 리소스의 이상 여부를 판단하는 단계를 포함하되,
상기 비교 결과에 따라 알람 매니저 서비스가 알람 발생 여부를 결정하고, 어댑션 매니저 서비스가 상기 알람 매니저 서비스로부터 제공된 알람에 따라 스케일링 동작을 수행하는, 동적 멀티레벨 규칙 기반 자동 스케일링 방법.
A dynamic multilevel rule-based automatic scaling method in a multi-cloud environment, comprising:
changing an initial threshold value set by a user to a new threshold value using log information collected from cloud storage; and
Comprising the step of comparing the metric value corresponding to the collected log information and the changed new threshold value to determine whether the resource is abnormal,
A dynamic multilevel rule-based automatic scaling method, wherein an alarm manager service determines whether an alarm is generated according to the comparison result, and an adaptation manager service performs a scaling operation according to an alarm provided from the alarm manager service.
제7항에 따른 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록매체.

A computer-readable recording medium storing a program for performing the method according to claim 7 .

KR1020200103518A 2020-08-18 2020-08-18 Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud KR102323670B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200103518A KR102323670B1 (en) 2020-08-18 2020-08-18 Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200103518A KR102323670B1 (en) 2020-08-18 2020-08-18 Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud

Publications (2)

Publication Number Publication Date
KR102323670B1 true KR102323670B1 (en) 2021-11-08
KR102323670B9 KR102323670B9 (en) 2022-03-15

Family

ID=78497198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200103518A KR102323670B1 (en) 2020-08-18 2020-08-18 Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud

Country Status (1)

Country Link
KR (1) KR102323670B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100649756B1 (en) 2005-11-09 2006-11-27 삼성전기주식회사 Device for lens transfer
KR20130099424A (en) * 2012-02-29 2013-09-06 주식회사 이노그리드 Method and system on triggering using monitoring metric for cloud computing resource management
KR20130114697A (en) * 2011-01-05 2013-10-17 알까뗄 루슨트 Seamless scaling of enterprise applications
KR101826498B1 (en) * 2017-05-02 2018-02-07 나무기술 주식회사 Cloud platform system
KR20180068271A (en) * 2016-12-13 2018-06-21 경희대학교 산학협력단 Method for improving availability of cloud storage federation environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100649756B1 (en) 2005-11-09 2006-11-27 삼성전기주식회사 Device for lens transfer
KR20130114697A (en) * 2011-01-05 2013-10-17 알까뗄 루슨트 Seamless scaling of enterprise applications
KR20130099424A (en) * 2012-02-29 2013-09-06 주식회사 이노그리드 Method and system on triggering using monitoring metric for cloud computing resource management
KR20180068271A (en) * 2016-12-13 2018-06-21 경희대학교 산학협력단 Method for improving availability of cloud storage federation environment
KR101826498B1 (en) * 2017-05-02 2018-02-07 나무기술 주식회사 Cloud platform system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1(2020.05.26) *

Also Published As

Publication number Publication date
KR102323670B9 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
US11640465B2 (en) Methods and systems for troubleshooting applications using streaming anomaly detection
US8595564B2 (en) Artifact-based software failure detection
US9729401B2 (en) Automatic remediation of poor-performing virtual machines for scalable applications
Nguyen et al. {AGILE}: elastic distributed resource scaling for {infrastructure-as-a-service}
US9003239B2 (en) Monitoring and resolving deadlocks, contention, runaway CPU and other virtual machine production issues
US10198344B2 (en) Build failure management in continuous integration environments for distributed systems
US9112666B2 (en) Elastic auto-parallelization for stream processing applications based on measured throughput and congestion
US20160246586A1 (en) Methods and apparatus to manage application updates in a cloud environment
US20190042739A1 (en) Technologies for cache side channel attack detection and mitigation
KR102365839B1 (en) Method and device for monitoring application performance
US10623281B1 (en) Dynamically scheduled checkpoints in distributed data streaming system
US10581637B2 (en) Computational node adaptive correction system
US20230016199A1 (en) Root cause detection of anomalous behavior using network relationships and event correlation
Mallick et al. A resource prediction model for virtualization servers
Dhingra et al. Comparative analysis of fault tolerance models and their challenges in cloud computing
US9208005B2 (en) System and method for performance management of large scale SDP platforms
KR102372958B1 (en) Method and device for monitoring application performance in multi-cloud environment
US9929921B2 (en) Techniques for workload toxic mapping
KR102323670B1 (en) Dynamic multilevel rule-based auto-scaling for containerized application in private multi-cloud
US20230094964A1 (en) Dynamic management of locations of modules of a platform hosted by a distributed system
Alkasem et al. Utility cloud: a novel approach for diagnosis and self-healing based on the uncertainty in anomalous metrics
KR101505468B1 (en) Data comparing processing method and system in cloud computing environment
Singh et al. Towards VM consolidation using a hierarchy of idle states
US10901786B2 (en) Tool for identifying sources of operating system jitter from power consumption measurements
US20210271507A1 (en) Apparatus, system and method for agentless constraint detection in the cloud with ai

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]