KR102647054B1 - 통신 시스템에서 응용 서비스 응답 시간 예측 방법 및 장치 - Google Patents
통신 시스템에서 응용 서비스 응답 시간 예측 방법 및 장치 Download PDFInfo
- Publication number
- KR102647054B1 KR102647054B1 KR1020210098437A KR20210098437A KR102647054B1 KR 102647054 B1 KR102647054 B1 KR 102647054B1 KR 1020210098437 A KR1020210098437 A KR 1020210098437A KR 20210098437 A KR20210098437 A KR 20210098437A KR 102647054 B1 KR102647054 B1 KR 102647054B1
- Authority
- KR
- South Korea
- Prior art keywords
- response time
- application service
- model
- analysis
- data
- Prior art date
Links
- 230000004044 response Effects 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000004891 communication Methods 0.000 title claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 78
- 238000007405 data analysis Methods 0.000 claims abstract description 31
- 238000012360 testing method Methods 0.000 claims abstract description 30
- 238000013480 data collection Methods 0.000 claims abstract description 19
- 238000000611 regression analysis Methods 0.000 claims description 31
- 230000001419 dependent effect Effects 0.000 claims description 11
- 238000010187 selection method Methods 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 23
- 238000013473 artificial intelligence Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000001134 F-test Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000000275 quality assurance Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000010971 suitability test Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000692 Student's t-test Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011985 exploratory data analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 238000012353 t test Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000001422 normality test Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0852—Delays
- H04L43/0864—Round trip delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/50—Testing arrangements
- H04L43/55—Testing of service level quality, e.g. simulating service usage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Environmental & Geological Engineering (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
Abstract
본 개시는 통신 시스템에서 응용 서비스 응답 시간 예측 방법 및 장치에 관한 것이다. 구체적으로 사용자가 요구한 응용서비스에 대하여 통신 시스템의 서버에서 응답하여 사용자에게 응용 서비스를 제공하는데 소요되는 응답 시간을 예측하는 방법, 장치 및 시스템에 관한 것이다. 본 개시의 일실시예에 의한, 응용 서비스 응답 시간 예측 방법은, 사용자 디바이스에 의한 사용자 응용 서비스 요구에 대응하여, 상기 응용 서비스와 관련된 네트워크 데이터를 수집하는 데이터 수집 단계와, 상기 수집된 데이터를 활용하여, 사용자의 응용 서비스 응답 시간을 예측하기 위해, 응답 시간 예측 분석을 수행하는 데이터 분석 단계를 포함하되, 상기 데이터 분석 단계는, 응답 시간 예측 모형을 초기 적용하고, 상기 적용된 초기 예측 모형을 검정하여 최적의 예측 모형을 선택하는 과정을 수행한다.
Description
본 개시는 통신 시스템에서 응용 서비스 응답 시간 예측 방법 및 장치에 관한 것이다. 구체적으로 사용자가 요구한 응용서비스에 대하여 통신시스템의 서버에서 응답하여 사용자에게 응용서비스를 제공하는데 소요되는 응답 시간을 예측하는 방법, 장치 및 시스템에 관한 것이다.
일반적으로 통신 시스템에서 응답시간을 예측하는 방법은 통계적 방법으로 다중회귀분석 모형 또는 인공지능 (AI) 딥러닝(Deep learning, DL)의 지도 학습 (Supervised Learning) 알고리즘을 적용하여 예측하는 기술을 의미한다. 하지만, 종래 통신 시스템에서 응답시간을 예측하기 위한 기술은, 단순히 통계적 방법만을 적용함에 따라, 실제 시스템 적용시 효율적이지 못한 문제점이 있었다.
따라서, 종래 통신 시스템에서 응답시간을 예측하기 위한 기술을 활용하는 경우, 서비스 품질보장을 연속적으로 제공하지 못하는 문제점이 발생하게 된다. 또한 종래 통신 시스템에서 응답시간을 예측하기 위한 기술을 활용하는 경우, ICT 인프라 고장에 의한 서비스 중단을 초래하는 문제점이 발생하기도 한다.
본 개시의 목적은, 현재 응용서비스 제공에 적용된 데이터와 사용자 신규 응용서비스 요구에 대한 요구시간 예측 값을 이용하여 효율적인 응답 시간 예측을 수행하는 방법 및 장치를 제공하는 데 있다.
또한, 본 개시의 목적은, 효율적인 응답 시간 예측을 통해 통신 시스템의 응용서비스 품질보장을 연속적으로 보장하는 방법 및 장치를 제공하는 데 있다.
또한 본 개시의 목적은, 상기 응답 시간 예측 방법 및 장치내 데이터 수집 및 저장 장치에 의해 구현되는, 효율적인 빅데이터 수집 방법 및 장치를 제공하는데 있다.
또한 본 개시의 목적은, 상기 데이터 수집 및 저장 장치에 의해 수집되고 저장된 데이터에 대하여, 통계적 예측 모형 및 AI 딥러닝 알고리즘에 의해 예측을 수행하는 빅데이터 분석 방법 및 장치를 제공하는데 있다.
또한, 본 개시의 목적은, 최적의 예측 모형에 의한 분석결과 보고서에 자연어를 자동적으로 생성하는 증강분석 (Augmented Analysis)과 운영자 UI 오케스트레이션에서 사용자 요구시간 예측 결과에 의해 자동적으로 네트워크 대역폭 증감여부에 따라 자동적으로 수행하는 초자동화 기술에 의해 응용서비스의 품질보장을 연속적으로 수행하는 방법 및 장치를 제공하는 데 있다.
본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 개시의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 개시의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른 통신 시스템에서 응용 서비스 응답 시간 예측 방법은, 사용자 디바이스에 의한 사용자 응용 서비스 요구에 대응하여, 상기 응용 서비스와 관련된 네트워크 데이터를 수집하는 데이터 수집 단계와, 상기 수집된 데이터를 활용하여, 사용자의 응용 서비스 응답 시간을 예측하기 위해, 응답 시간 예측 분석을 수행하는 데이터 분석 단계를 포함하되, 상기 데이터 분석 단계는, 응답 시간 예측 모형을 초기 적용하고, 상기 적용된 초기 예측 모형을 검정하여 최적의 예측 모형을 선택하는 과정을 수행한다.
또한, 상기 데이터 분석 단계는 다중회귀분석(MRA) 모형을 적용하여 분석하는 것을 특징으로 한다.
또한, 상기 수집된 데이터는, 응답시간()과 초당 수신된 요청수(), 코어 전체의 평균 CPU 사용량(), 초당 생성된 인터럽트(중단) 수(), 초당 컨텍스트 스위치 수(), 초당 수신된 KB 데이터(), 초당 수신된 패킷수(), 초당 전송된 KB 데이터(), 초당 전송된 패킷수()에 대한 9개 변수 값을 포함할 수 있다.
또한, 상기 다중회귀분석 모형에 의한 응답 시간에 대한 예측 분석 결과에 그래프와 자연어 생성 (NLG; Natural language Generation)을 수행하여 예측 분석 결과 보고서를 생성한다.
또한, 상기 예측 분석 결과 보고서에 자연어 생성에 의한 증강분석 (Augmented Analytics)을 수행한다.
또한, 상기 예측 분석 결과 보고서를 활용하여, 상기 응답 시간 예측 결과 값과 사용자별로 사전에 정의된 임계값을 비교하여 네트워크 대역폭 증감 수행 여부를 자동적으로 수행하는 초자동화 단계를 더 포함할 수 있다.
또한, 상기 데이터 분석 단계는, 응답시간 예측 모형을 선택하는 제1단계, 예측 모형의 모수를 추정하는 제2단계, 예측 모형 적합성 검정을 수행하는 제3단계, 상기 예측 모형 적합성이 검정되면 적용 모형 가정 검정을 수행하는 제4단계, 및 상기 제3단계 및 제4단계 수행결과, 모두 적합하다고 판정되면, 최종 적합도를 측정하는 제5단계를 포함하여 구성될 수 있다.
또한, 상기 데이터 분석 단계는, 상기 제3단계, 제4단계. 제5단계 중 어느 한 단계 에서라도. 적합도를 만족하지 않는 경우에는, 다른 예측 모형을 선택하는 제6단계를 포함하여 구성될 수 있다.
또한, 상기 제6단계는, 상기 제1단계에서 선택된 예측 모형의 변수를 달리하여 선택한다.
또한, 상기 제1단계 또는 제6단계는, 최적 모형 선택을 위한 변수선택(variables selection) 방법으로 단계적 변수 선택법 (Stepwise variable selection), 전진 선택 (forward selection) 및 후진 소거법 (Backward Elimination) 방법 중 어느 하나를 활용할 수 있다.
또한, 상기 제1단계 또는 제6단계는, 최적 예측 모형 선택을 위해, 기준 통계량 값을 이용하여 최적의 예측 모형을 선택할 수 있다.
또한, 상기 데이터 분석단계는, 상기 수집된 데이터에 대해 로그 분석, 패킷 검사, 패킷 플로우 모니터링, 텔리매트리 및 루트 분석 중 하나 이상을 수행하여, 페이로드, 프로토콜, 대역폭 및 링크 연결 중 적어도 하나와 관련한 네크워크의 동작에 의한 응답 시간을 예측한다.
또한, 상기 데이터 분석단계는, 상기 다중회귀분석 모형에서 사전 8개 설명변수 가운데 다중 공선성 문제점이 발생할 경우 변수선택 분석을 수행할 수 있다.
또한, 상기 데이터 분석 단계는, 상기 수집된 데이터가 특이점 이상(Point anomaly), 집단적 이상(Collective anomaly), 및 맥락적 이상(Contextual anomaly) 중 하나 이상의 이상 상태를 갖는지 탐지하는 과정을 포함한다.
또한, 상기 예측 응답 시간과 사전 정의된 임계값을 비교하여 예측된 응답 시간이 상기 설정된 임계값 내에 포함되도록 관리하는 후처리 단계를 더 포함할 수 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 통신 시스템에서 응용 서비스 응답 시간 예측 장치는, 사용자 디바이스에 의한 사용자 응용 서비스 요구에 대응하여, 상기 응용 서비스와 관련된 네트워크 데이터를 수집하고 저장하는 데이터 수집수단과, 상기 수집된 데이터를 활용하여, 사용자의 응용 서비스 응답 시간을 예측하기 위해, 응답 시간 예측 분석을 수행하는 데이터 분석수단을 포함하되, 상기 데이터 분석수단은, 응답 시간 예측 모형을 초기 적용하고, 상기 적용된 초기 예측 모형을 검정하여 최적의 예측 모형을 선택하는 과정을 수행한다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른 통신 시스템에서 응용 서비스 응답 시간 예측 시스템은, 사용자 응용 서비스를 요구하는 사용자 디바이스, 상기 사용자 디바이스에 사용자 응용 서비스 요구에 대응하여, 상기 응용 서비스와 관련된 네트워크 데이터를 수집하고 저장하는 빅데이터 수집 플랫폼, 상기 수집된 데이터를 활용하여, 사용자의 응용 서비스 응답 시간을 예측하기 위해, 응답 시간 예측 분석을 수행하는 빅데이터 분석 플랫폼, (여기서, 상기 빅데이터 분석 플랫폼은, 응답 시간 예측 모형을 초기 적용하고, 상기 적용된 초기 예측 모형을 검정하여 최적의 예측 모형을 선택하는 과정을 수행함), 및 상기 예측 응답 시간과 사전 정의된 임계값을 비교하여 예측된 응답 시간이 상기 설정된 임계값 내에 포함되도록 관리하는 마스터 장치를 포함한다.
본 개시의 실시예들에 따르면, 응답시간 예측에 의해 사전 서비스 품질이 낮아질 수 있는 사항을 미리 예측하여 사전에 자원을 증가시켜 제공하므로 서비스 품질을 연속적으로 제공하게 됨에 따라, 상기 응답시간 예측 분석에 의해 서비스 품질보장을 연속적으로 제공하는 효과를 얻을 수 있다.
또한, 본 개시의 실시예들에 따르면, ICT 인프라의 주어진 자원을 보다 효율적으로 관리하게 되므로 서비스 품질을 연속적으로 보장하게 됨은 물론, 서비스 품질보장에 의해 ICT 인프라를 보다 효율적으로 관리하는 것이 가능하게 되어, 인프라 고장에 의한 서비스 중단을 예방하는 효과를 얻을 수 있다.
도 1은 본 개시가 적용될 수 있는 응답시간 예측 장치 및 시스템에 관한 구성도를 나타내는 도면이다
도 2는 본 개시의 일 실시예에 따른, 응답시간 예측에 필요로 하는 데이터를 수집하여 저장하는 일 예를 도시한 것이다.
도 3은 본 개시의 일 실시예에 따른, 응답시간 예측에 필요로 하는 데이터로서, 예를 들어, 텔리매트리(telemetry) 데이터 구조를 도시한 것이다.
도 4는 본 개시의 일 실시예에 따른, 각 시스템 요소들의 응답시간 예측 분석 수행에 관한 동작을 예를 들어 도시한 것이다.
도 5는 본 개시의 일 실시예에 따른, 응답 시간 예측 방법을 흐름도로 도시한 것이다.
도 6은 본 개시의 일 실시예에 따른, 응답시간 예측 분석을 수행하는 전체 절차에서 최적모형을 찾기 위해 수행하는 과정의 순서를 구체적으로 도시한 것이다.
도 7은 본 개시의 다른 실시예에 따른 응답 시간 예측 분석 장치에 관한 구성도를 도시한 것이다.
도 2는 본 개시의 일 실시예에 따른, 응답시간 예측에 필요로 하는 데이터를 수집하여 저장하는 일 예를 도시한 것이다.
도 3은 본 개시의 일 실시예에 따른, 응답시간 예측에 필요로 하는 데이터로서, 예를 들어, 텔리매트리(telemetry) 데이터 구조를 도시한 것이다.
도 4는 본 개시의 일 실시예에 따른, 각 시스템 요소들의 응답시간 예측 분석 수행에 관한 동작을 예를 들어 도시한 것이다.
도 5는 본 개시의 일 실시예에 따른, 응답 시간 예측 방법을 흐름도로 도시한 것이다.
도 6은 본 개시의 일 실시예에 따른, 응답시간 예측 분석을 수행하는 전체 절차에서 최적모형을 찾기 위해 수행하는 과정의 순서를 구체적으로 도시한 것이다.
도 7은 본 개시의 다른 실시예에 따른 응답 시간 예측 분석 장치에 관한 구성도를 도시한 것이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함으로, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 더욱 상세하게 설명하고자 한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
예를 들어, 본 개시는 사용자 응용서비스 요구에 의한 응용서비스의 응답시간 지연에 의한 불만을 적극적으로 대처하고 방지하여 응용서비스 제공의 품질보장을 제공한다. 특히, 응답시간 예측을 수행하는 최적화된 알고리즘을 적용하여 예측수행 결과에 의한 트리거할 때를 결정하기 위해, 최적화 알고리즘이 실제로 향상된 응용서비스 제공에 대한 응용서비스 품질보장 등을 초래했는지를 검증한다. 이를 위해, 응용서비스 제공에 사용하는 ICT 인프라 장치들(예를 들어, 서버, 스토리지, 네트워크)의 상태에 대한 모니터링을 수행하여 설정된 시간의 주기에 따라 생성되는 빅데이터를 텔리매트리 및 로그파일 등을 수집하여 통합된 데이터베이스로 저장하는 빅데이터 수집장치가 사용된다.
본 개시에서 사용되는 용어로서, "성능(performance)"은 일반적으로 네트워크 처리량 (예를 들어, TCP/UDP), 대기 시간(latency), 지터(jitter), 연결성(connectivity), 에러율(error rate), 등을 의미한다.
또한, 응용서비스의 요구에 대한 응답시간 예측은 서비스 품질을 보장하여 성능을 향상시키는 것은, 통신 시스템을 위해 처리량을 증가시키고, 에러율 및 응답시간을 줄이며, 지연 등을 향상시키는 것을 포함한다. 또한, 각 장치들의 상태를 모니터링하는 것은, 일반적으로 통신 링크와 연관된 상기의 성능 파라미터 중 하나 이상을 결정 및/또는 계산하는 것을 가리킨다. 또한, 본 개시에서 사용되는 용어로서 "TCP"는 전송 제어 프로토콜(transmission control protocol)을 의미하고, "UDP"는 사용자 데이터그램 프로토콜(user datagram protocol)을 의미한다.
관련하여, 본 개시에서 통신 시스템 성능은 iperf, netperf, ttcp 등과 같은 테스팅 소프트웨어 어플리케이션(testing software application)을 이용하여 평가될 수 있다. 상기 테스팅 소프트웨어 어플리케이션은 하나의 통신 장치의 소프트웨어 어플리케이션이 다른 통신 장치로 테스트 데이터(test data)를 생성하여 송신하고, 다른 통신 장치의 소프트웨어 어플리케이션이 테스트 데이터를 수신하는 적어도 2개의 통신 장치에 설치할 수 있다.
일반적으로, 사용자 서비스 요구에 대한 응용서비스 품질에 대하여 모니터링을 통한 데이터 수집을 위한 장치에서 데이터를 수집하고, 품질을 측정하기 위한 방법 및 시스템에 한정하는 기술은 공지된 상태이다. 반면, 사용자 서비스 요구에 대한 응답시간을 예측하는 방법에 대한 기술은 공지된 기술이 부재인 상태로 응용서비스 품질보장을 위한 적어도 하나의 기술이 부재라는 문제를 가지고 있다.
예를 들어, 사용자는 성능 테스팅 응용서비스 사이트를 요청하고, 이후 테스팅 소프트웨어 어플리케이션은 사용자의 단말(노트북, PC, 랩탑 등)의 웹 브라우저로 로드된다.
사용자 단말 (예를 들어, PC, 노트북, 랩탑 등)과 인터넷의 서버 사이의 송신 및 수신된 패킷이 전달되어 사용자 응답시간 예측에 적용되는 데이터는 다음과 같다.
- 응답시간(RT: Response Time)
- 초당 수신된 요청수(RR: Number of requests received per second)
- 코어 전체의 평균 CPU 사용량(CPU: CPU usage averaged across cores)
- 초당 생성된 인터럽트(중단) 수(Inter: Number of interrupts generated per second)
- 초당 컨텍스트 스위치 수(CTXSW: Number of context switches per second)
- 초당 수신 KB 데이터(KBIn: KB of data received per second)
- 초당 수신된 패킷 수(PktIn: Number of packets received per second)
- 초당 전송된 KB 데이터(KBOut: KB of data sent per second)
- 초당 전송된 패킷 수(PktOut: Number of packets sent per second)
상기 데이터는 테스팅 소프트웨어 어플리케이션을 이용하여 측정데이터를 생성하여 해당 빅데이터를 데이터베이스 또는 로그파일 등을 실시간으로 수집되어 스토리지 장치에 의해 빅데이터를 수집하여 저장된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시가 적용될 수 있는 응답시간 예측 장치 및 시스템에 관한 구성도를 나타내는 도면이다. 도 1을 참조하여, 본 개시의 적용될 수 있는 장치 구성도를 설명한다.
관련하여, 본 개시의 장치 구성도를 이해하기 위해 쿠버네티스(kubernetes)에 대해 우선 설명하면 다음과 같다. 쿠버네티스는 리눅스 컨테이너의 가상화 서버 운영을 수행하는데 있어서 운영 작업을 자동화해주는 오픈소스 프로그램을 의미한다. 여기서, 쿠버네티스는 가상화된 서버의 각 컨테이너에 대하여 자동 시작, 컨테이너 배포, 확장, 제어관리 등을 자동화하기 위한 기능을 제공하는 오케스트레이션 소프트웨어 도구이다. 관련하여, 본 개시에서 사용하는 쿠버네티스의 기본 용어에 대하여 설명하면 아래와 같다.
1. 마스터(Master, 120): 마스터는 각 노드(서버)에 대한 모든 노드들을 통합 제어 관리를 수행하는 관리용 서버를 의미한다.
2. 노드(Node, 130): 노드는 물리적 하드웨어로 컴퓨팅 서버를 의미하고, 해당 1개의 서버에 대하여 가상적으로 분리하는 것을 파드(Pod, 131)라 한다. 따라서 1개의 물리적 하드웨어 노드에는 2개 이상의 Pod로 가상적으로 구분할 수 있다. 각 노드에는 가상화로 분리된 컨테이너가 배포될 물리적 서버 또는 가상머신이라 하며, 워커 노드(worker node)라고도 부른다. 노드에는 kubelet, proxy, pod의 모듈을 포함한다.
3. 파드(Pod, 131): 파드는 단일 노드(서버)에 가상화로 배포된 하나 이상의 컨테이너 그룹이며, 파드라는 단위로 여러 개의 컨테이너를 묶어서 파드 단위로 관리할 수 있도록 한다.
4. 컨테이너(Container, 132): 컨테이너는 하나의 서버 노드에서 가상화로 분리된 파드(Pod)에서 보다 세부적으로 나누어 가상화된 개체를 컨테이너라 한다. 따라서 컨테이너는 가상화로 분리된 파드(Pod)에서 2개 이상의 컨테이너로 가상화 분리를 적용할 수 있다.
도 1을 참고하면, 본 개시에 따른 응답시간 예측 분석 장치는, 마스터(120), 노드(130), 빅데이터 플랫폼(140) 및 AI 분석 플랫폼(150)을 포함한다. 또한, 도 1에서 사용자 디바이스(110)는 실제 데이터를 생성하거나 및/또는 데이터를 요청하는 외부 장치를 의미한다. 단, 상기에서 사용한 용어는 본 개시의 설명을 위해 편의상 선택한 용어로서, 본 개시에서 설명하는 기능과 동일한 기능을 수행하는 경우에는, 용어에 상관없이 본 개시의 범위에 포함될 수 있음은 자명하다 할 것이다.
상기 마스터 (120)는 가상화된 쿠버네티스의 운용을 위해 제어를 수행하는 마스터 기능을 가지며, API 서버, 노드를 관리하는 스케줄러 및 컨트롤러 매니저, etcd 기능에 의해 트래픽을 수집, 저장하는 기능을 수행한다. 여기서, 상기 API Server(121)는 쿠버네티스의 모든 기능은 REST API로 제공하며, 그에 대한 명령을 처리하는 곳으로 컨테이너 내부의 모든 컴포넌트들이 서로 호출하기 위해 사용하는 컴포넌트로 kubetl을 요청 뿐만 아니라 내부 모듈의 요청처리, 권한 승인, 요청 거부 등의 실행중인 컨테이너의 로그 확인 및 디버거 역할도 가능한 기능을 수행한다. 또한, 스케줄러(scheduler, 122)는 pod, 서비스 등 각 자원들을 적절하게 모든 노드에 할당하는 역할을 수행하며, 노드 추가, 삭제하고 로드밸런스 수행한다. 또한, 컨트롤러 매니저(controller manager, 122)는 쿠버네티스의 적용 등 컨트롤러에 의해 관리 및 적절한 노드에 할당하는 기능을 수행하여 각 컨트롤러에게 pod의 복제 및 배포 명령어를 수행한다. 또한, etcd(123)는 쿠버네티스 클러스터의 데이터베이스 역할을 수행하는 서버로써 클러스터 복구, 여러 개로 분산하여 복제기능 및 단순히 값을 저장, 읽기 뿐만 아니라 감시(watch) 기능으로 상태변경을 체크하며, 상기 API 서버(121)와 통신하고, 다른 모듈은 API 서버를 통하여 etcd 데이터에 접근할 수 있다.
상기 노드(130)는 큐블릿(kubelet, 133), 프록시(proxy, 134), 파드(pod, 131)를 포함한다. 여기서, 상기 Kubelet(133)은 상기 노드에 배포되는 에이전트(agent)로 상기 마스터(120)의 API 서버(121)와 통신을 수행하여, 상기 마스터의 API 서버(121)로부터 수행할 명령어를 받아서 워크 노드를 작동시키는 역할을 수행한다. 또한, 상기 Proxy(134)는 노드에 할당된 pod(131)로 연결되는 네트워크를 관리하는 역할을 담당하며, 노드로 들어오는 트래픽을 해당 컨테이너로 프록시하고, 노드와 마스터 간의 네트워크 통신 관리를 수행하여 네트워크가 동작할 수 있게 해주는 프로세스로 동작한다. 또한, 상기 Proxy(134)는 TCP, UDP, SCTP 스트림을 포워딩하고, 여러 개의 pod를 묶어서 서비스를 제공하는 노드로 들어오는 트래픽을 컨테이너로 라우팅, 로드 밸런싱, 프록시하여 통신 관리를 수행하기 위한 iptables에 등록 관리 및 최근에는 IPVS 등의 기능도 지원한다.
상기 빅데이터 플랫폼(140)은 실시간 텔리매트리 데이터 (141), 다양한 syslog (142), 데이터 파일 (file, 143) 등을 거대한 빅데이터로 통합하는 기술의 집합체이자 데이터를 잘 관리하여 사용할 수 있도록 준비된 플랫폼 환경이다. 관련하여, 상기 빅데이터 플랫폼(140)은 본 개시 설명을 위해 편의상 선정한 용어로서, 다른 일반적인 용어로도 대체할 수 있다. 예를 들어, '데이터 수집수단', '빅데이터 수집 플랫폼', '빅데이터 수집장치' 등으로 대체할 수 있다.
또한, 상기 빅데이터 플랫폼(140)은 빅데이터를 수집, 저장, 처리 및 관리할 수 있는 데이터 웨어하우스, 하둡 및 카프카(kafka) 플랫폼을 등을 이용하여 적용할 수 있다. 또한 다양한 이기종 데이터베이스에 대한 통합기능, 필요한 데이터에 대하여 분석전에 시각화 그래픽 표현에 대한 기능도 수행한다.
상기 AI 분석 플랫폼 (AI Analysis platform, 150)은, 인공지능(AI) 알고리즘 또는 분석 플랫폼으로 빅데이터 분석을 수행할 수 있는 데이터 마이닝 알고리즘 또는 응답시간 예측 알고리즘(151)을 탑재한 시스템으로 본 특허의 응답시간 예측에 관한 분석 기능을 수행한다. 관련하여, 상기 AI 분석 플랫폼(150)은 본 개시 설명을 위해 편의상 선정한 용어로서, 다른 일반적인 용어로도 대체할 수 있다. 예를 들어, '데이터 분석수단', '빅데이터 분석 플랫폼', '빅데이터 분석장치', '분석 플랫폼' 등으로 대체할 수 있다.
또한, 상기 AI 분석 플랫폼(150)에는 EDA(Exploratory Data Analysis, 탐색적 데이터 분석), 회귀분석, 다변량분석, 데이터 마이닝, 지도학습, 비지도학습, 반지도학습, 강화학습 및 연합학습 등 다양한 분석을 위한 알고리즘을 탑재한 분석 플랫폼으로 응답시간 예측을 위한 최적의 모형을 찾는 다양한 검정 통계량을 제공하여 보다 효율적으로 최적의 모형을 찾는 기능을 제공한다.
또한, 상기 사용자 디바이스 (110)는 사용자가 응용서비스를 요구하는 디바이스 또는 트래픽을 생성하는 트랙픽 생성기 (traffic generator)일 수 있다. 여기서, 상기 사용자 디바이스 (110)는 iperf, netperf, ttcp 등과 같은 테스팅 소프트웨어 어플리케이션(testing software application)을 이용할 수 있다. 관련하여 상기 테스팅 소프트웨어 어플리케이션은 하나의 통신 장치의 소프트웨어 어플리케이션이 다른 응용서비스 서버의 통신 장치로 테스트 데이터(test data)를 생성하여 송신하고, 다른 응용서비스 서버의 통신 장치의 소프트웨어 어플리케이션이 테스트 데이터를 수신하는 적어도 2개의 통신 장치에 설치하여 수행할 수 있다.
도 2는 본 개시의 일 실시예에 따른, 응답시간 예측에 필요로 하는 데이터를 수집하여 저장하는 일 예를 도시한 것이다. 특히, 도 2는 본 개시의 일 실시예에 따른 쿠버네티스 마스터에서 프로메테우스(Prometheus)에 의해 텔리매트리 데이터 가운데 응답시간 예측에 필요로 하는 데이터 프로파일 프로그램에서 noce, pod, 컨테이너, 응답시간, CPU 사용량, 네트워크 수신 바이트, 네트워크 수신 패킷, 네트워크 송신 바이트, 네트워크 송신 패킷, 초당 요구 수 등의 통계 데이터를 수집하여 etcd(123) 수행한다.
도 3은 본 개시의 일 실시예에 따른, 응답시간 예측에 필요로 하는 데이터로서, 예를 들어, 텔리매트리(telemetry) 데이터 구조를 도시한 것이다. 특히, 도 3은 본 개시의 일 실시예에 따른 응답시간 예측에 필요로 하는 데이터를 프로메테우스(Prometheus)에서 istio에 의해 저장되는 텔리매트리 데이터의 구조를 나타내며, 변수명, 데이터의 형태 (예를 들어, 정형변수, 비정형변수, 정수, 소수 등), 데이터 변수에 대한 설명을 나타내는 도면이다.
도 4는 본 개시의 일 실시예에 따른, 각 시스템 요소들의 응답시간 예측 분석 수행에 관한 동작을 예를 들어 도시한 것이다. 특히, 도 4는 본 개시의 일 실시예에 따른 도 1의 응답시간 예측 분석 장치의 각 구성 요소(120, 130, 140, 150) 및 사용자 디바이스(110)에 의한 동작을 나타내는 것이다.
구체적으로, 상기 사용자 디바이스 또는 트래픽 생성기(110)에서 서비스 요구가 시작되어, 쿠버네티스 마스터(120)의 관리를 통하여 해당 서비스의 노드(130)에 연결되어 서비스가 수행되어 발생되는 상태에 관련한 통계정보 등이 마스터(120)의 etcd(123)에 저장되어 상기 빅데이터 플랫폼(140)에 통합 저장된 장치에서 실시예의 응답시간 예측에 필요로 하는 데이터만을 추출하여 다음 단계 상기 AI 분석 플랫폼(150)에서 분석하여 해당 모형의 검정 통계량 값들을 비교하여 예측 분석의 최적모형을 찾는 수행 절차를 나타내는 구성도이다.
또한, 도 5는 본 개시의 일 실시예에 따른, 응답 시간 예측 방법을 흐름도로 도시한 것이고, 도 6은 본 개시의 일 실시예에 따른, 응답시간 예측 분석을 수행하는 전체 절차에서 최적 모형을 찾기 위해 수행하는 과정의 순서를 보다 구체적으로 도시한 것이다.
이하, 도 4 내지 도 6을 참고하여, 본 개시의 실시예에 따른 응답시간 예측 방법에 대해 상세히 설명한다.
우선, 상기 사용자 디바이스(110)에 의해 사용자 응용 서비스 요구 또는 트래픽을 생성한다(401, 501). 상기 마스터(120)는 해당 서비스의 노드(130)의 웹서버에 연결할 수 있다(402). 이후, 상기 노드(130)는 상기 사용자 응용서비스 요구(401)에 대한 해당 서비스 응답을 제공한다(403). 이때, 상기 사용자 요구에 대한 노드(130)의 웹서버 상태와 관련된 텔리매트리 etcd에 저장한다(404). 예를 들어, 해당 서비스의 노드(130)에 연결되어 서비스가 수행되어 발생되는 상태에 관련한 통계정보 등이 마스터(120)의 etcd(123)에 저장된다.
상기 빅데이터 플랫폼(140)은 상기 etcd(123)에 저장된 데이터와 그 외 데이터 포함하여 통합 저장한다(405, 502). 이후 상기 AI 분석 플랫폼(150)은, 상기 빅데이터 플랫폼(140)에 통합 저장된 장치에서 실시예의 응답시간 예측에 필요로 하는 데이터만을 추출하여, 응답시간 예측 모형을 분석한다(406, 504). 예를 들어, 응답시간 예측에 필요로 하는 데이터로 텔리매트리 데이터를 이용할 수 있다. 여기서, 상기 AI 분석 플랫폼(150)은 해당 모형의 검정 통계량 값들을 비교하여 예측 분석의 최적 모형을 찾는 절차를 수행한다(407, 505). 이후, 상기 응답시간 예측 분석 결과를 전달받은(408) 상기 마스터(120)는, 예측 응답시간을 임계값(TCA)과 비교하고(409, 506), 예측 응답시간이 임계값(TCA) 보다 작은 경우에는, 대역폭 증가에 의한 연속적 서비스 품질 보장을 제공한다(410, 507).
관련하여, 상기 예측 모형을 분석하고 분석 결과에 따라 최적 모형을 찾는 과정 (406-407, 504-505)에 대해서 도 6을 참조하여 상세히 설명한다.
도 6은 본 개시의 일 실시예에 따른, 응답시간 예측 분석을 수행하는 전체 절차를 도시하되, 특히 601~606 단계는, 상기 AI 분석 플랫폼(150)에 의해 수행되는, 예측 모형을 분석하고 최적 모형을 적용하는 전술한 과정(406-407, 504-505)을 구체적으로 도시한 것이다.
우선 응답시간 예측 모형을 선택하여 적용한다(601). 이후 예측 모형의 모수를 추정한 후(602), 예측 모형 적합성 검정을 수행한다(603). 만약, 예측 모형 적합성이 검정되면 적용 모형 가정 검정을 수행한다(604). 상기 603, 604 단계가 모두 적합하다고 판정되면 최종 적합도를 측정한다(605), 예를 들어, 정확도 측정이 기 설정된 수치 (예, 90%)를 초과하는 지 여부로부터 최종 적합도를 측정하는 것이 가능하다. 반면, 상기 603, 604, 605 단계 중 어느 한 단계에서도 적합도를 만족하지 않는 경우에는, 다른 예측 모형을 선택한다(606). 예를 들어 본 개시에 의하면, 다른 예측 모형은 상기 601 단계에서 선택된 응답시간 예측 모형의 변수를 달리하여 선택하는 것이 가능하다.
또한, 도 6은 본 개시의 일 실시예에 따른, 응답시간 예측 분석을 수행하는 전체 절차를 도시하되, 특히 607~609 단계는, 상기 마스터(120) 및/또는 노드(130)에 의해 수행되는, 예측 응답 시간의 사후 처리과정 (409~410, 506~507)을 구체적으로 도시한 것이다. 예를 들어, 상기 605 단계에서, 최종 적합도를 만족하는 경우, 상기 마스터(120)는, 예측 응답시간을 임계값(TCA)과 비교하되(607), 예측 응답시간이 임계값(TCA) 보다 작은 경우에는, 대역폭 증가에 의한 연속적 서비스 품질 보장을 제공한다(608). 반면, 예측 응답시간이 임계값(TCA) 보다 큰 경우에는, 문제점 조치를 수행하고(609) 종료한다.
이하, 본 개시의 일실시예에 따른, 사용자 디바이스의 응용서비스 요구에 의한 응답시간 예측 분석 방법으로 다중회귀분석(MRA: Multiple Regression Analysis)을 이용한 예측분석에 대하여 상세히 살펴본다.
본 개시에 따른, 상기 다중회귀분석은 종속변수(반응변수) 와 독립변수(설명변수) 모두가 정량적인 연속형 변수들을 이용하여 다중회귀방정식을 구하는 모형이다. 이때, 설명변수 가 두 개 이상의 설명변수로 구성되는 경우를 다중회귀분석(Multiple Regression Model) 이라 한다. 다중회귀분석은 두 변수 종속변수와 설명 변수 간에 강한 상관성이 존재하는 경우에 적용할 수 있는 모형이다. 따라서, 다양한 변수들의 조정을 통해 예측 분석 모형을 달리 적용하는 것이 가능하게 되고, 이러한 변수 조정을 통한 예측 모형 변경을 본 개시의 실시예로 적용함에 있어서 효율적인 장점을 가진다.
예를 들어, 본 개시의 일 실시예로서, 응답시간()과 초당 수신된 요청수(), 코어 전체의 평균 CPU 사용량(), 초당 생성된 인터럽트(중단) 수(), 초당 컨텍스트 스위치 수(), 초당 수신된 KB 데이터(), 초당 수신된 패킷수(), 초당 전송된 KB 데이터(), 초당 전송된 패킷수() 간에 추정 방정식을 구하는 방법으로 응답시간 예측에 대한 추정방정식을 구하여 예측할 수 있다.
본 개시의 일 실시예에 대한 다중회귀분석 모델의 방정식은 아래 수학식 1과 같이 표현될 수 있다.
다중회귀분석의 모델 방정식에서 오차항()에는 독립성, 등분산성, 정규성의 가정이 적용될 수 있으며, 오차항은 모든 설명변수 값(X i)에 대하여 동일한 분산()을 가질 수 있다.
여기서, 상기 오차항은 평균값은 0 이며, 수집된 데이터의 확률분포는 정규분포(normal distribution)를 따르며, 즉, 의 분산은 이고, 오차항()은 인 정규분포를 따른다고 가정한다. 또한, 에 대한 개의 관찰된(측정된) 값 들로서 에 대한 표본, 이고 각각의 값에 대한 값들이 으로 주어져 있다고 가정한다.
다중회귀분석 모델의 방정식에서, 는 회귀 계수이며, 모수(parameter)이다. 는 i-번째 설명변수의 편미분계수로 다른 설명변수의 값이 고정일 때 영향력을 의미한다. 관련하여, 상기 설명변수 는 결정론적 (deterministic) 이고 확률변수가 아니며, 종속변수의 분포는 오차항의 분포와 동일하다. 여기서, 적어도 하나 이상의 변수는 측정형(또는 정량적) 변수이다. 상기 오차항의 정규성 검정은 통계량으로 샤피로-윌크(Shapiro Wilk) W-통계량, 콜모고로프-시미르노프(Kolmogorov-Smirnov) D-통계량, 앤더슨-다링(Anderson-Daring) AD 통계량 및 크래이머-폰 미세스(Cramer-von Mises) W-Sq 통계량과 P-value를 구한다. 그리고 유의수준 와 비교하여 P-Value < 이면 정규성을 따른다고 볼 수 있다. 그래프로는 Q-Q plot 또는 히스토그램으로 확인할 수 있다.
한편, 정규성이 위배되는 경우는 아래 <표 1>로 정의될 수 있는 정규변환으로 해결한다. 즉, 수학식 2에 의해 정의되는 파워 변환을 이용해 변환하여 최적 모형을 찾는다.
추가적으로, 종속변수와 설명변수의 관계에 대하여 선형성을 체크하여 선형이 아닌 경우는 아래 <표 1>에 따른 변환을 한 후에 비선형 회귀방정식의 모형을 적용하여 예측을 수행할 수 있다.
| Method | 변환 | Regression Equation | 다중회귀 |
| Exponential Model | |||
| Reciprocal Model | |||
| Logarithmic Model | |||
| Power Model |
본 실시예에서 선형성을 진단방법으로는 종속변수와 설명변수 간의 개별 산점도 또는 잔차에 의한 산점도를 검토하여 선형성을 판단할 수 있다. 최소자승법(OLS) 추정치로는, 오차항의 제곱합으로 을 최소화하는 추정치가 계산될 수 있다.
또한, <수학식 1>에 대한 모수(pameter) 이 추정된 다중회귀방정식에 대하여 각각의 추정된 모수 값의 타당성을 검정하기 위해 개별검정으로 각각의 t-검정방법에 대해 살펴본다.
개별 회귀모형에 대한 t-검정 수행은, 전체 다중회귀모델을 적용한 후에 각각의 추정된 모수(parameter)에 대하여 t-검정에 의한 개별검정을 실시하여 불필요한 설명변수를 제거하여 완전한 회귀모형의 방정식을 완성하는 방법이다.
t-검정은 기울기와 절편에 대하여 개별 모수(회귀계수)에 대하여 가설(hypothesis)을 각각 검정할 수 있다.
한편, 다중회귀분석에서 개별 회귀계수에 대한 추론은 아래 <표 2>와 같이 정리될 수 있다.
다중 회귀모델의 개별 회귀모형에 대한 t-검정 수행의 결론으로, T-통계량 값에 의해 구해진 p-value값과 유의수준 값을 비교하여 
이면 귀무가설(H0)을 기각하고 대립가설(H1)을 받아들여 유의성이 있다고 판정하며, 개별 회귀계수는 유의하다고 판정할 수 있다.
전체 다중회귀모형에 대한 적합도 검정은 F-검정의 수행으로 판정하며, 이에 대해 설명하면 아래와 같다.
전체 다중회귀모형에 대한 F-검정을 수행한 결과 결론으로, F-통계량 값에 의해 구해진 p-value값과 유의수준 값과 비교하여 이면 귀무가설을 기각하여 대립가설을 받아드려 유의성이 있다고 판정한다.
이때 구한 다중회귀모형은 직선의 선형관계가 있다고 판정하고, 구해진 선형방정식은 의 다중회귀방정식에 의해 추정된 의 모수(parameter)의 값을 적용하고, 구한 회귀방정식에 새로운 설명변수(Xi)값을 대입하면 응답시간(종속변수 Yi)에 대한 예측 값을 구할 수 있다.
구해진 결정계수(R 2), 수정결정계수(R adj 2) 및 MSE 의한 값을 가지고, 추정한 다중회귀방정식의 예측 설명력이 어는 정도인지를 판정할 수 있다.
본 개시의 일 실시예로서, 응답시간()과 초당 수신된 요청수(), 코어 전체의 평균 CPU 사용량(), 초당 생성된 인터럽트(중단) 수(), 초당 컨텍스트 스위치 수(), 초당 수신된 KB 데이터(), 초당 수신된 패킷수(), 초당 전송된 KB 데이터(), 초당 전송된 패킷수() 간에 선형방정식으로 구해진 다중회귀방정식을 이용하여 응답시간()에 대한 예측을 수행할 수 있다.
상기 8개의 설명변수를 모두 적용하여 다중회귀분석 모형에 의한 선형방정식을 구하는 경우, 설명변수(Xi)들 간에 다중 공선성(Multicollinearity) 문제가 발생하는 경우가 매우 높다. 다중 공선성은 설명변수들 간에 강한 상관관계가 나타나는 문제이다. 따라서 설명변수들 간에 정확한 선형관계가 존재하는 완전 공선성의 경우와 설명변수들 간에 높은 선형관계가 존재하는 다중 공선성으로 구분하기도 한다. 이는 다중회귀분석을 위배하는 것이므로 해당 다중 공선성 문제를 해결하기 위한 최적의 회귀분석 모형을 찾기 위해 회귀분석모형을 재 수행해야 한다.
다중회귀분석 모형에서 설명변수들 간의 다중 공선성의 문제가 발생하는지 여부를 검토하는 방법은 다음과 같은 통계량 값들을 갖고서 수행한다.
① 개별 모수() T-검정에서 위배되는 경우 해당 모수값이 0이 되므로 다중 공선성 문제가 발생할 것으로 파악한다.
② 설명변수()들 간의 상관계수 값이 σ=0.8 이상으로 높은 값을 갖게 되면, 설명변수 간에 상관성(선형성)이 존재하여 다중 공선성 존재할 것으로 판단한다.
③ 분산팽창계수(VIF: variance inflation factors)는 VIF 값이 10 이상이면 다중 공선성(multicollinearity)이 존재한다고 판단하며, 분산팽창 계수의 식은 다음과 같다.
④ 공차한계(Tol: Tolerance)는 TOL 값이 0.1 이하이면 다중 공선성이 존재한다고 판단하며, 공차한계의 식은 다음과 같다.
⑤ 상태지수(COLLIN: Condition Index)는 COLLIN값이 10이면 약한 상관성이 나타나며, 100이상이면, 설명변수 간에 다중 공선성이 존재한다고 판단하며, 이에 대한 상태지수의 식은 다음과 같다.
따라서 위의 5가지 방법 가운데 다중 공선성의 문제가 발생하면, 다중회귀분석은 이를 해결하는 방법으로 다중회귀분석에서 설명변수에 대한 주성분회귀(PCR: Principal Components Regression) 및 능형회귀(Ridge Regression) 모형 및 변수선택 방법을 적용한다.
다중 공선성 문제를 해결하는 첫 번째 방법으로 주성분 회귀(PCR)는 설명변수()들 간에 변수 축약을 수행하는 주성분분석을 먼저 수행한다. 그리고 설명변수들에 대한 주성분분석을 수행한 결과에 의해 축약된 변수를 갖고서 다중회귀분석을 재수행 하는 주성분회귀에 의해서 다중 공선성 문제를 해결할 수도 있다.
다중 공선성 문제를 해결하는 두번째 방법으로는 능형회귀(Ridge Regression) 모형을 적용한다. 능형회귀는 다중회귀분석에서 모수를 추정하는 최소자승법에 비하여 평균제곱 오차를 최소화하는 방법으로 능형회귀 추정량이 분산을 보다 최소화하므로 평균이 0인 가우시안 분포를 가지는 가중치 사전확률에 의해 사후확률을 구하는 방법으로 최소제곱 추정량 보다 분산이 작은 능형회귀 추정량을 구하는 방법으로 다중 공선성 문제를 해결할 수도 있다.
다중 공선성의 문제가 발생할 경우 해결책으로 가장 많이 사용하는 세번째 방법으로 변수선택 방법을 설명한다. 변수선택 방법은 다음과 같이 3가지 방법을 적용할 수 있다.
(1) 후진 소거법(backward elimination)은 모든 독립변수(설명변수) 전체에 대하여 다중회귀모형을 적용한 후에 추정된 모수에 대하여 t-검정에 의한 개별검정을 실시하여 불필요한 설명변수를 제거하여 완전한 회귀모형을 완성하는 방법이다.
(2) 전진 선택법(forward selection)은 설명변수 초기 상수항만을 포함한 0개부터 시작하여 설명변수 가운데 설명력(SSR(Xk))이 가장 높고 유의한 변수를 선택하여 모형의 적합성 검정(F-test)에서 유의한 설명변수(Xk)를 선택하는 방법으로 유의한 설명변수가 없을 때까지 반복 수행하여 완전한 다중회귀모형을 완성하는 방법이다.
(3) 단계적 방법(stepwise selection)은 전진 방법의 문제점을 개선하여 전진 방법에 후진 방법이 가미된 방법이다. 설명변수(X1) 0개부터 시작하여 설명변수 가운데 설명력(SSR(Xk))이 가장 높고 유의한 변수를 선택하여 모형의 적합성 검정(F-test)에서 유의한 설명변수(Xk)를 선택하는 방법으로 유의한 설명변수에 대해서도 유의성 검정을 다시 수행하여, 유의하면 선택하고, 유의하지 않으면 제거하는 방법으로 반복 수행하여 더 이상 추가될 변수도, 제거시킬 변수도 없을 때까지 진행하면서 최적의 설명변수들만으로 다중회귀모형을 얻는 방법이다.
다중 공선성 문제를 해결하는 방법으로 변수선택 방법을 수행하여 다중회귀분석의 다양한 모형 가운데 최적의 모형을 선택하기 위해서는 다음과 같은 통계량 값들을 비교하여 최적모형을 찾을 수도 있다. 최적모형을 선택하기 위한 통계량의 식은 다음과 같다.
(1) (수정결정계수): 수정결정 계수는 설명변수들이 종속변수를 얼마나 설명하는 지를 보여주는 계수이며, 회귀직선의 적합도(goodness-of-fit)를 평가하거나 종속변수에 대한 설명변수들의 설명력을 알고자 할 때 이용하는 통계량 값으로 종속변수 가운데 변동을 설명력이 약한 설명변수가 포함되어 있더라고 이러한 문제를 보정한 것이 수정결정계수 통계량 값이다. 다중회귀분석 모형 가운데 수정결정계수 통계량 값을 비교하여 0과 1까지에서 1에 가까운 가장 큰 값을 갖는 모형을 선택한다.
(2) 아카이케 정보량기준은 추정 예측 오차 및 이에 대하여 품질 통계 모델 데이터의 주어진 세트. [1] [2] 데이터에 대한 모델 모음이 주어지면 AIC는 다른 각 모델과 비교하여 각 모델의 품질을 추정합니다. 따라서 AIC는 값이 작을수록 좋은 모델이며, 음수의 값을 가질 수고 있으며, 가장 최소의 통계량 값을 갖는 모형을 선택한다.
(3) 베이지안 정보기준은 모델 선택 방법의 하나로 통계량 값을 비교하여 가장 작은 값을 갖는 모형을 선택한다.
(4) 슈와르츠 베이지안 정보기준은 모델 선택 방법의 하나로 통계량을 비교하여 가장 작은 값을 갖는 모형을 선택한다.
(5) 맬로우 Cp p 는 모수 추정 개수와 거의 같은 값을 갖는 모형을 선택한다.
(6) Jp는 최종추측오차로 설명변수의 값들이 고정되어 있고 모형이 정확하다는 가정하에 모수추정치에 대한 평균제곱오차를 구한다. Stein의 Jp를 Akaike의 Final Prediction Error(FPE)라고도 하며, 가장 작은 값을 갖는 모형을 선택한다.
(7) 평균제곱오차는 잔차의 제곱을 평균한 값으로 추정 값과 실제 값 간의 평균 제곱 차이를 나타내는 통계량으로 항상 음수가 아니며 0에 가까운 가장 작은 값을 갖는 모형을 선택한다.
(8) 평균제곱근오차는 추정값 또는 모델이 예측한 값과 실제 환경에서 관찰되는 값의 차이를 다룰 때 흔히 사용하는 측도이다. 정밀도(precision)를 표현하는데 적합하며, 각각의 차이값은 잔차(residual)라고도 하며, 평균제곱근오차는 잔차들을 하나의 측도를 나타내는 통계량으로 항상 음수가 아니며 0에 가까운 가장 작은 값을 갖는 모형을 선택한다.
(9) Sp Hocking의 Sp값을 나타내며, 0에 가까운 가장 작은 값을 갖는 모형을 선택한다.
(10)GMSEP의 일반화된 추정 평균제곱오차(GMSEP)는 설명변수와 종속변수가 다변량 정규분포를 따른다는 가정하에 모수추정치의 평균제곱오차를 구한다. 가장 작은 값을 갖는 모형을 선택한다.
(11) 예측잔차오류제곱합(PRESS)은 회귀 분석 자체 모델을 추정하는 데 사용되지 않은 관찰의 샘플 모델의 적합성에 대한 요약 측정을 제공하는 통계량으로 모든 결과 예측잔차오류제곱의 합으로 계산되며, 가장 작은 값을 갖는 모형을 선택한다.
다중회귀분석에서 다중 공선성 문제를 해결하는 방법으로 변수선택 방법을 수행하여 다중회귀분석의 다양한 모형 가운데 최적의 모형을 선택하기 위한 통계량 값들을 살펴보았다.
다음은 본 개시의 일 실시예에 따른 사용자 응답시간 예측을 위해 다중회귀분석의 모형을 적용하여 최적모형을 수행한 분석 과정을 설명한다.
본 개시에 적용된 데이터는 9개 변수이며, 전체 데이터수는 8,812개로 8,812 X 9인 행렬을 가진 데이터를 적용하였다. 이에 대한 자료의 형태는 표 4와 같다.
(표4)
본 개시의 일 실시예의 전체 설명변수 8개에 대한 다중회귀모형 자료에 대한 분석 결과는 표 5와 같다.
(표5)
본 개시의 일 실시예의 다중회귀모형의 분석결과에서 다중 공선성 검토를 위해 공차(Tolerance)와 분산팽창계수(VIF)에 대한 통계량 값을 살펴보면, 공차 통계량 값이 0.1 이하인 경우가 6개의 변수에서 다중 공선성이 존재하는 것으로 나타나며, 마찬가지로 분산팽창계수(VIF)의 통계량 값에서도 10이상인 경우가 RR(초당받은 요구수), PktIn(초당받은 패킷수)의 2개의 설명변수를 제외한 6개의 설명변수에서 다중 공선성이 나타남을 알 수 있다. 다음 표 6의 결과는 변수선택방법을 적용한 다중 공선성을 해결하기 위해 얻어진 전체 모형의 결과를 나타낸다.
(표6)
본 개시의 일 실시예의 위 결과는 다중 공선성 문제를 해결하기 위해 변수선택법을 선택하여 다양한 다중회귀모델의 선택 기준 통계량 값의 결과를 나타낸다. 그리고 기준 통계량 값 가운데 수정결정계수()의 통계량에 의한 자동 순서로 분류되어 얻어진 결과로 15개의 중회귀분석 모형의 최종결과를 나타낸다.
상기 실시예의 변수선택 최종모형 선택을 위한 기준 통계량 값을 비교한 결과 1번 모형이 최종 최적의 다중회귀모형으로 선택되었음을 알 수 있다. 따라서 선택된 최적의 다중회귀방정식은 으로 결정된 것을 알 수 있다.
(표7)
본 개시의 일 실시예의 표 7은 최종 최적의 다중회귀모형으로 선택된 모형에 대하여 추정된 모수에 대한 개별 T-검정과 선택된 다중회귀모형의 적합성 검정으로 F-검정의 결과를 나타낸다. 개별 모수에 대한 T-검정 결과 모두 유의하므로 추정된 모수의 값은 0이 아닌 추정값에 의한 선형방정식을 구할 수 있다. 그리고 선택된 설명변수에 대한 다중 공선성을 검토하는 공차(Tolerance)와 분산팽창계수(VIF)에 대한 통계량 값을 살펴보면, 4개의 설명변수에 대하여 모두 위배된 통계량 값이 나타나지 않음을 알 수 있다.
따라서 본 개시의 일 실시예의 다중회귀모형에 대한 적합도 검정으로 F-검정 결과 유의하므로 최종결과 본 개시의 일 실시예에서 선택된 다중회귀모형은 타당하다고 할 수 있다.
본 개시의 일 실시예의 수행방법은 대표도 1의 S40(빅-데이터 플랫폼)에 의해 수집된 데이터를 이용하여 S50(인공지능 및 분석 플랫폼)에서 사용자 응답시간(RT) 예측을 위한 알고리즘에 의해서 수행한다.
상기 결과와 같은 최종 최적의 다중회귀분석에 대한 모형의 결과가 도출되면, 해당 결과 보고서에는 다음과 같은 증강분석(AA: Augmented Analysis)으로 명칭하는 자연어 생성(NLG: Natural Language Generation)을 S50(인공지능 및 분석 플랫폼) 모듈에서 최종 모형의 결과에 대한 분석보고서에 아래와 같은 자연어를 자동 생성하여 빅데이터 분석가가 아닐지라도 쉽게 이해할 수 있도록 운영자에게 분석결과에 대한 자연어를 자동적으로 분석결과에 대한 설명을 포함한 분석보고서를 제공하게 된다.
본 개시의 일 실시예의 증강분석에 의한 최종 분석결과의 보고서에 자동적으로 자연어를 생성한 결과를 다음과 같은 표 8의 형태로 분석보고서의 하단 부에 제공할 수도 있다.
(표8)
본 개시의 일 실시예에 따른 최적의 다중회귀모형 에 의한 사용자 서비스 요구에 대한 응답시간(RT)을 예측하는 방법은 5개의 추정된 모수(parameter)값에 각각 4개의 설명변수의 값을 적용하여 신규 데이터 10개에 대한 표 9와 같은 응답시간 예측값과 95%의 신뢰구간에 의한 상한값과 하한값을 자동으로 구할 수도 있다.
(표9)
표 9는 본 개시의 일 실시예에 따른 신규 설명변수 10개 추가에 의한 새로이 응답시간(RT)의 예측값(PRE_1), 95%의 신뢰구간에 의한 하한값(LMCI_1)과 상한값(UMCI_1)을 각각 산출된 결과를 나타내고 있다.
따라서 운영자는 자동 분석결과 보고서에 따른 응답시간(RT) 예측 결과값에 의해 제공하던 응용서비스의 품질 기준의 임계값(Threshold) 비교에 의해 새로이 자원 추가제공 여부가 결정된 결과에 의하여 운영자 UI 화면의 오케스트레이션에서 해당되는 ICT 인프라 자원의 추가 제공 여부를 자동적으로 수행하게 된다. 이때 운영자 UI 화면에서 ICT 자원(네트워크 대역폭) 추가제공 여부를 운영자의 의사결정없이 자율적인 자동화로 수행하는 초자동화(Hyper-Automation)를 수행한다.
초자동화(HA)는 사전에 사용자 응답시간 예측 결과 보고서의 수행 결과에 의해 응답시간(RT) 예측된 결과값과 가입자 별로 SLA 기준에 의해 정책적으로 사전에 정의한 임계값(Threshold)과 비교하여 임계값보다 작으면 현재 제공하던 네트워크 대역폭을 그대로 유지하고, 만일 임계값보다 높게 응답시간이 예측되면, 사전 정의하여 정의된 명령어를 운영자 오케스트레이션 UI 자동 명령어에 의해 자율적으로 네트워크 대역폭을 자동적으로 증가하여 연속적으로 서비스의 품질을 보장하게 하는 초자동화 기술을 수행한다.
이하, 전술한 본 개시의 주요 내용을 요약 설명하면 다음과 같다.
본 개시 내용은, 사용자 응용서비스 요구에 대하여 현재 응용서비스 제공상태에서 수집된 데이터와 사용자 응용서비스 요구시간 예측 값을 이용하여 통신 장치의 응용서비스 품질보장을 연속적으로 보장하기 위한 기술을 제공하는 기술이다. 특히, 응답 시간을 예측하는 방법은 통계적 방법으로 다중회귀분석 모형 또는 인공지능(AI) Deep learning(DL)의 지도학습(Supervised Learning) 알고리즘을 적용하여 예측하는 기술이다. 본 개시의 응답시간 예측을 위한 시스템 장치는 두 가지 빅데이터 수집 플랫폼 장치 ('빅데이터 플랫폼' 또는 '데이터 수집수단')와 빅데이터 분석 플랫폼 장치 ('AI 분석 플랫폼' 또는 '데이터 분석수단')를 적용한다.
상기 빅데이터 수집 플랫폼 장치는 클라우드 가상화 환경에서 ICT 인프라(컴퓨팅 서버, 스토리지, 네트워크) 및 가상 네트워크의 응용 서비스가 수행되어 산출되는 다양한 형태의 텔리매트리, 로그파일 및 실시간 빅데이터를 저장하여 관리하는 장치이다.
상기 빅데이터 분석 플랫폼 장치는 빅데이터 수집 플랫폼 장치에서 수집된 빅데이터의 자료를 활용하여 사용자의 응용서비스 응답시간을 예측하는 통계적 분석 알고리즘 및 AI 딥러닝 지도학습 알고리즘에 의한 예측 모형을 수행하는 알고리즘이 탑재되어 최적 모형을 찾아서 자동적으로 수행하며, 최적모형의 분석결과의 보고서를 자동화된 프로세스에 의해 자연어 생성(NLG: Natural Language Generation)을 포함한 보고서로 증강분석(Augmented Analysis)을 제공하는 기능을 포함하여 수행한다.
또한, 본 개시에 따른, 초자동화(HA: Hyper Automation)는 자동화 프로세스 기반에 따라 응답시간 예측 결과를 자동적으로 분석하여 그 분석결과에 그래픽을 포함한 예측분석 보고서에 자동화에 의한 자연어 프로세스(NLP: Natural Language Process) 기반으로 자동 자연어와 그래프를 포함한 보고서 형태로 모든 단계별 프로세스가 자율적으로 수행되어 운영자에게 증강분석(Augmented Analytics)을 제공한다. 그리고 응답시간 예측 결과 값과 사용자별로 사전에 정의된 임계값(threshold)과 비교하여 네트워크 대역폭 증감 수행 여부를 자동적으로 수행하도록 하는 초자동화 명령을 운영자 오케스트레션에서 사전 기능으로 정의된 명령에 의해 초자동화를 수행하는 장치이다.
또한, 본 개시에서 제공하고자 하는 기술은, 사용자 응용서비스 요구에 대하여 현재 응용서비스 제공상태에서 적용된 데이터와 사용자 신규 응용서비스 요구에 의한 응답시간에 대하여 최적의 응답시간 예측모형을 분석한 다음에 분석결과 보고서에 자연어를 자동적으로 생성하는 증강분석(Augmented Analysis)과 운영자 UI 오케스트레이션에서 사용자 요구시간 예측 결과에 의해 자동적으로 네트워크 대역폭 등 증감여부에 따라 자동적으로 수행하는 초자동화(Hyper-Automation) 기술에 의해 응용서비스의 품질보장을 연속적으로 수행하는 기술을 포함한다.
도 7은 본 개시의 다른 실시예에 따른 응답 시간 예측 분석 장치에 관한 구성도를 도시한 것이다. 보다 상세하게는, 본 개시의 일 실시예에 따른 응답 시간 예측 분석 방법을 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 7을 참조하면, 컴퓨팅 시스템(1600)은 버스(1603)를 통해 연결되는 적어도 하나의 프로세서(1601), 메모리(1601), 사용자 인터페이스 입력 장치(1604), 사용자 인터페이스 출력 장치(1605), 스토리지(1608), 및 네트워크 인터페이스(1609)를 포함할 수 있다.
프로세서(1600)는 중앙 처리 장치(CPU) 또는 메모리(1601) 및/또는 스토리지(1608)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1601) 및 스토리지(1608)는 다양한 종류의 휘발성 또는 불 휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1601)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1600)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1601) 및/또는 스토리지(1608))에 상주할 수도 있다. 예시 적인 저장 매체는 프로세서(1600)에 커플링되며, 그 프로세서(1600)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1600)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행 가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
이상에서 설명한 본 개시는, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 개시의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로, 본 개시의 범위는 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
110: 사용자 디바이스 또는 트래픽 생성기(Traffic Generator)
120: 쿠버네티스 마스터(Kubernetes Master)
130: 쿠버네티스 노드(가상화 서버)
140: 빅데이터 플랫폼(Big data Platform), 또는 데이터 수집수단
150: 인공지능 분석 플랫폼(AI Analysis Platform 또는 데이터 분석수단
120: 쿠버네티스 마스터(Kubernetes Master)
130: 쿠버네티스 노드(가상화 서버)
140: 빅데이터 플랫폼(Big data Platform), 또는 데이터 수집수단
150: 인공지능 분석 플랫폼(AI Analysis Platform 또는 데이터 분석수단
Claims (20)
- 통신 시스템에서 응용서비스 응답 시간 예측 방법에 있어서,
사용자 디바이스에 의한 사용자 응용 서비스 요구에 대응하여, 상기 응용 서비스와 관련된 네트워크 데이터를 수집하는 데이터 수집 단계와,
상기 수집된 데이터를 활용하여, 사용자의 응용 서비스 응답 시간을 예측하기 위해, 응답 시간 예측 분석을 수행하는 데이터 분석 단계를 포함하되,
상기 데이터 분석 단계는,
복수의 독립 변수에 기반하여, 초기 다중회귀분석(MRA) 모형을 결정하는 단계;
상기 초기 MRA 모형이 다중공선성 기준을 충족하는지 여부를 판단하는 단계;
상기 초기 MRA 모형이 상기 다중공선성 기준을 충족하지 않은 것으로 결정되는 것에 대응하여, 상기 복수의 독립 변수 중 적어도 하나의 독립 변수를 선택하는 단계; 및
상기 독립 변수 중 상기 적어도 하나의 독립 변수가 제외된 선택된 독립 변수에 기반하여, MRA 모형을 다시 결정하는 단계를 포함하는,
응용 서비스 응답 시간 예측 방법.
- 제1 항에 있어서,
상기 다중공선성 기준은, 상기 초기 MRA 모형에 대한 다중공선성과 연관되는, 응용 서비스 응답 시간 예측 방법.
- 제2 항에 있어서,
상기 복수의 독립 변수 중 적어도 하나의 독립 변수를 선택하는 단계는,
상기 복수의 독립 변수 중 다중 공선성에 위배되는 독립 변수를 제외하는 단계를 포함하며,
상기 다중 공선성의 위배에 대한 판단은, 공차한계(tolerance, Tol) 및 분산팽창계수(variance inflation factors, VIF)에 기반하여 수행되는, 응용 서비스 응답 시간 예측 방법.
- 제3 항에 있어서,
상기 Tol은, 아래 수학식 1에 기반하여 결정되는, 응용 서비스 응답 시간 예측 방법.
[수학식 1]
여기서, Rk 2는 결정 계수임.
- 제4 항에 있어서,
상기 VIF는 아래 수학식 2에 기반하여 결정되는, 응용 서비스 응답 시간 예측 방법.
[수학식 2]
여기서, Tol은 공차 한계이며, Rk 2는 결정 계수임. - 제1 항에 있어서,
상기 복수의 변수는, 종속변수 응답시간(Yi)과 독립변수 초당 수신된 요청수(X1), 코어 전체의 평균 CPU 사용량(X2), 초당 생성된 인터럽트(중단) 수(X3), 초당 컨텍스트 스위치 수(X4), 초당 수신된 KB 데이터(X5), 초당 수신된 패킷수(X6), 초당 전송된 KB 데이터(X7), 및 초당 전송된 패킷수(X8)인 9개 변수 값을 포함하고,
상기 초기 9개 변수를 적용한 다중회귀모형에서 다중공선성이 위배된 독립변수를 제외한 나머지 독립변수 만을 적용한 초당 수신된 KB 데이터(X5), 초당 수신된 패킷수(X6), 초당 전송된 KB 데이터(X7), 및 초당 전송된 패킷수(X8)의 4개 독립변수를 적용한 MRA(다중회귀분석) 최적모형에서 다음 단계의 응답시간 예측 방법
- 제1 항에 있어서,
상기 다중회귀분석 모형에 의한 응답 시간에 대한 예측 분석 결과에 그래프와 자연어 생성 (NLG; Natural language Generation)을 수행하여 예측 분석 결과 보고서를 생성하는, 응용 서비스 응답 시간 예측 방법.
- 제7 항에 있어서,
상기 예측 분석 결과 보고서에 자연어 생성에 의한 증강분석 (Augmented Analytics)을 수행하는, 응용 서비스 응답 시간 예측 방법.
- 제8 항에 있어서,
상기 예측 분석 결과 보고서를 활용하여, 상기 응답 시간 예측 결과 값과 사용자의 응용서비스별로 표준에 정의된 임계값을 비교하여 네트워크 대역폭 증감 수행 여부를 자동적으로 수행하는 초자동화 단계를 더 포함하는, 응용 서비스 응답 시간 예측 방법.
- 제1항에 있어서,
상기 데이터 분석 단계는,
응답시간 예측 모형을 선택하는 제1단계,
예측 모형의 모수를 추정하는 제2단계,
예측 모형 적합성 검정을 수행하는 제3단계,
상기 예측 모형 적합성이 검정되면 적용 모형 가정 검정을 수행하는 제4단계, 및
상기 제3단계 및 제4단계 수행결과, 모두 적합하다고 판정되면, 최종 적합도를 측정하는 제5단계를 포함하여 구성되는, 응용 서비스 응답 시간 예측 방법.
- 제10 항에 있어서,
상기 제3단계, 제4단계. 제5단계 중 어느 한 단계 에서라도. 적합도를 만족하지 않는 경우에는, 다른 예측 모형을 선택하는 제6단계를 포함하여 구성되는, 응용 서비스 응답 시간 예측 방법.
- 제11 항에 있어서,
상기 제6단계는, 상기 제1단계에서 선택된 예측 모형의 변수를 달리하여 선택하는, 응용 서비스 응답 시간 예측 방법.
- 제11 항에 있어서,
상기 제1단계 또는 제6단계는, 최적 모형 선택을 위한 변수선택(variables selection) 방법으로 단계적 변수 선택법 (Stepwise variable selection), 전진 선택 (forward selection) 및 후진 소거법 (Backward Elimination) 방법 중 어느 하나를 활용하는, 응용 서비스 응답 시간 예측 방법.
- 제11 항에 있어서,
상기 제1단계 또는 제6단계는, 최적 예측 모형 선택을 위해, 기준 적합도 통계량 값을 이용하여 최적의 예측 모형을 선택하는, 응용 서비스 응답 시간 예측 방법.
- 제1항에 있어서,
상기 데이터 분석단계는, 상기 수집된 데이터에 대해 로그 분석, 패킷 검사, 패킷 플로우 모니터링, 텔리매트리 및 루트 분석 중 하나 이상을 수행하여, 페이로드, 프로토콜, 대역폭 및 링크 연결 중 적어도 하나와 관련한 네크워크의 동작에 의한 응답 시간을 예측하는, 응용 서비스 응답 시간 예측 방법.
- 제1 항에 있어서,
상기 데이터 분석단계는, 상기 다중회귀분석 모형에서 사전 8개 설명변수 가운데 다중 공선성 문제점이 발생할 경우 변수선택 분석을 수행하는, 응용 서비스 응답 시간 예측 방법.
- 제1 항에 있어서,
상기 데이터 분석 단계는, 상기 수집된 데이터가 특이점 이상(Point anomaly), 집단적 이상(Collective anomaly), 및 맥락적 이상(Contextual anomaly) 중 하나 이상의 이상 상태를 갖는지 탐지하는 과정을 포함하는, 응용 서비스 응답 시간 예측 방법.
- 제1 항에 있어서,
상기 예측 응답 시간과 응용서비스별 표준에 정의된 임계값을 비교하여 예측된 응답 시간이 상기 설정된 임계값 내에 포함되도록 응용서비스 품질을 관리하는 후처리 단계를 더 포함하는, 응용 서비스 응답 시간 예측 방법.
- 통신 시스템에서 응용 서비스 응답 시간 예측 장치에 있어서,
사용자 디바이스에 의한 사용자 응용 서비스 요구에 대응하여, 상기 응용 서비스와 관련된 네트워크 데이터를 수집하고 저장하는 데이터 수집수단과,
상기 수집된 데이터를 활용하여, 사용자의 응용 서비스 응답 시간을 예측하기 위해, 응답 시간 예측 분석을 수행하는 데이터 분석수단을 포함하되,
상기 데이터 분석수단은,
복수의 독립 변수에 기반하여, 초기 다중회귀분석(MRA) 모형을 결정하고,
상기 초기 MRA 모형이 다중공선성 기준을 충족하는지 여부를 판단하고,
상기 초기 MRA 모형이 상기 다중공선성 기준을 충족하지 않은 것으로 결정되는 것에 대응하여, 상기 복수의 독립 변수 중 적어도 하나의 독립 변수를 선택하고,
상기 독립 변수 중 상기 적어도 하나의 다중공선성이 위배되는 독립 변수가 제외된 선택된 독립 변수에 기반하여, MRA 모형을 다시 결정하도록 구성되는, 응용 서비스 응답 시간 예측 장치.
- 제16 항에 있어서,
상기 다중공선성 기준은, 상기 초기 MRA 모형에 대한 다중공선성과 연관되는, 응용 서비스 응답 시간 예측 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210098437A KR102647054B1 (ko) | 2021-07-27 | 2021-07-27 | 통신 시스템에서 응용 서비스 응답 시간 예측 방법 및 장치 |
| US17/700,153 US12001309B2 (en) | 2021-07-27 | 2022-03-21 | Method and apparatus for predicting application service response time in communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210098437A KR102647054B1 (ko) | 2021-07-27 | 2021-07-27 | 통신 시스템에서 응용 서비스 응답 시간 예측 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230016896A KR20230016896A (ko) | 2023-02-03 |
| KR102647054B1 true KR102647054B1 (ko) | 2024-03-13 |
Family
ID=85226137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210098437A KR102647054B1 (ko) | 2021-07-27 | 2021-07-27 | 통신 시스템에서 응용 서비스 응답 시간 예측 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12001309B2 (ko) |
| KR (1) | KR102647054B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20240069783A1 (en) * | 2022-08-29 | 2024-02-29 | Micron Technology, Inc. | Memory phase monitoring and scheduling system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010068367A (ja) * | 2008-09-12 | 2010-03-25 | Yokogawa Electric Corp | ネットワーク性能監視装置 |
| KR101264873B1 (ko) * | 2012-08-07 | 2013-05-15 | 한국에너지기술연구원 | 단계적 회귀 분석을 이용한 풍력 밀도 예측 방법 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3644503B2 (ja) | 2002-10-01 | 2005-04-27 | 日本電気株式会社 | 無線端末およびそのエンド間遅延制御方法とプログラム |
| US7703079B1 (en) * | 2005-05-03 | 2010-04-20 | Oracle America, Inc. | System performance prediction |
| WO2010016110A1 (ja) * | 2008-08-05 | 2010-02-11 | 富士通株式会社 | 重回帰分析による予測モデルの作成方法、作成システムおよび作成プログラム |
| KR101351607B1 (ko) * | 2011-12-13 | 2014-01-16 | 한국과학기술원 | 복수의 호스트와 서버간의 패킷의 전송을 제어하는 방법 및 부하 분산 장치, 그리고 부하 분산 장치로부터 패킷을 수신하는 방법 및 서버 |
| EP2907270B1 (en) | 2012-10-09 | 2020-07-08 | Assia Spe, Llc | Method and system for latency measurement in communication systems |
| KR101761737B1 (ko) | 2014-05-20 | 2017-07-26 | 한국전자통신연구원 | 제어 시스템의 이상행위 탐지 시스템 및 방법 |
| US9813432B2 (en) * | 2015-01-23 | 2017-11-07 | Cisco Technology, Inc. | Tracking anomaly propagation at the network level |
| US10063634B2 (en) * | 2015-11-24 | 2018-08-28 | International Business Machines Corporation | Deployment of multi-task analytics applications in multi-clouds |
| US10855616B2 (en) | 2017-01-11 | 2020-12-01 | Sony Interactive Entertainment LLC | Predicting wait time for new session initiation during increased data traffic latency |
| KR20200046191A (ko) | 2018-10-19 | 2020-05-07 | 한국전자통신연구원 | 실시간 사용자 행위 분석에 의한 계층적 상황인지 및 디바이스 자율 구성 장치 및 그 방법 |
| KR102262279B1 (ko) * | 2019-10-02 | 2021-06-08 | (주)디지탈쉽 | 이상치 탐지를 위한 데이터 처리 방법 및 장치 |
| US11521017B2 (en) * | 2020-04-27 | 2022-12-06 | EMC IP Holding Company LLC | Confident peak-aware response time estimation by exploiting telemetry data from different system configurations |
| US20220292315A1 (en) * | 2021-03-11 | 2022-09-15 | Minitab, Llc | Accelerated k-fold cross-validation |
| US20220327453A1 (en) * | 2021-04-08 | 2022-10-13 | International Business Machines Corporation | System and method for infrastructure capacity planning of cloud computing resources |
-
2021
- 2021-07-27 KR KR1020210098437A patent/KR102647054B1/ko active IP Right Grant
-
2022
- 2022-03-21 US US17/700,153 patent/US12001309B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010068367A (ja) * | 2008-09-12 | 2010-03-25 | Yokogawa Electric Corp | ネットワーク性能監視装置 |
| KR101264873B1 (ko) * | 2012-08-07 | 2013-05-15 | 한국에너지기술연구원 | 단계적 회귀 분석을 이용한 풍력 밀도 예측 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230053568A1 (en) | 2023-02-23 |
| US12001309B2 (en) | 2024-06-04 |
| KR20230016896A (ko) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3211831B1 (en) | N-tiered end user response time eurt breakdown graph for problem domain isolation | |
| US10873541B2 (en) | Systems and methods for proactively and reactively allocating resources in cloud-based networks | |
| US10318366B2 (en) | System and method for relationship based root cause recommendation | |
| KR102522005B1 (ko) | 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법 | |
| JP6564799B2 (ja) | 閾値決定装置、閾値決定方法及びプログラム | |
| US20180248768A1 (en) | Identification of mutual influence between cloud network entities | |
| US11010232B2 (en) | Adaptive system and a method for application error prediction and management | |
| AU2021244852B2 (en) | Offloading statistics collection | |
| US20140351414A1 (en) | Systems And Methods For Providing Prediction-Based Dynamic Monitoring | |
| KR102647054B1 (ko) | 통신 시스템에서 응용 서비스 응답 시간 예측 방법 및 장치 | |
| CN110896357A (zh) | 流量预测方法、装置和计算机可读存储介质 | |
| Sandur et al. | Jarvis: Large-scale server monitoring with adaptive near-data processing | |
| KR20200126766A (ko) | Ict 인프라의 운용 관리 장치 및 방법 | |
| US11423326B2 (en) | Using machine-learning methods to facilitate experimental evaluation of modifications to a computational environment within a distributed system | |
| CN111400045A (zh) | 一种负载均衡方法及装置 | |
| KR20210058468A (ko) | 지능형 에지 네트워킹의 인공지능 운용자 지원 시스템 장치 및 방법 | |
| Martinez-Julia et al. | Explained intelligent management decisions in virtual networks and network slices | |
| US10528568B2 (en) | Placement of services in stream computing applications | |
| KR20200063343A (ko) | Trvn 인프라구조의 운용 관리 장치 및 방법 | |
| US20200293416A1 (en) | Executing Test Scripts with Respect to a Server Stack | |
| US11334558B2 (en) | Adaptive metadata refreshing | |
| Liu et al. | Fast deployment of reliable distributed control planes with performance guarantees | |
| Lencse et al. | Investigation of the Spatial Distribution Algorithm of the Traffic Flow Analysis and of the Entity Flow-Phase Analysis | |
| Mochalov et al. | A Load Balancing Method for a Data Center Computing Cluster | |
| CN115842742A (zh) | 一种时序指标预测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |