KR102150622B1 - 지능형 장비 이상 증상 사전 탐지 시스템 및 방법 - Google Patents

지능형 장비 이상 증상 사전 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR102150622B1
KR102150622B1 KR1020180025268A KR20180025268A KR102150622B1 KR 102150622 B1 KR102150622 B1 KR 102150622B1 KR 1020180025268 A KR1020180025268 A KR 1020180025268A KR 20180025268 A KR20180025268 A KR 20180025268A KR 102150622 B1 KR102150622 B1 KR 102150622B1
Authority
KR
South Korea
Prior art keywords
graph
graphs
similarity
network equipment
point
Prior art date
Application number
KR1020180025268A
Other languages
English (en)
Other versions
KR20190104759A (ko
Inventor
채윤주
이종필
권성용
성종규
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020180025268A priority Critical patent/KR102150622B1/ko
Publication of KR20190104759A publication Critical patent/KR20190104759A/ko
Application granted granted Critical
Publication of KR102150622B1 publication Critical patent/KR102150622B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0695Management of faults, events, alarms or notifications the faulty arrangement being the maintenance, administration or management system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0681Configuration of triggering conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

네트워크 장비의 이상 증상을 사전에 탐지하는 시스템으로서, 네트워크 장비에서 수집된 복수의 리소스 사용량을 정규화하여 리소스 사용량 그래프들을 생성하고, 상기 리소스 사용량 그래프들 중에서 선택된 기준 리소스 그래프와 나머지 리소스 그래프들 사이의 차이를 비교하여 상기 기준 리소스 그래프에 연관된 적어도 하나의 연관 리소스 그래프를 추출하는 그래프 유사도 도출 모듈과 장애가 발생한 네트워크 장비에 대한 장애 이력 정보를 저장하는 장애 발생 정보 저장 모듈을 포함한다. 그리고 연관 리소스 그래프와 장애 이력 정보를 비교하여 이상 발생 가능 장비를 정의하고, 이상 발생 가능 장비로 정의된 네트워크 장비의 리소스 사용량 그래프와 장애 이력 정보를 비교하여 이상 발생 유력 장비를 검출하여 이상 증상을 사전에 탐지하는 장애 검출 모듈을 포함한다.

Description

지능형 장비 이상 증상 사전 탐지 시스템 및 방법{System and method for intelligent equipment abnormal symptom proactive detection}
본 발명은 지능형 장비 이상 증상 사전 탐지 시스템 및 방법에 관한 것이다.
네트워크의 과부화를 탐지하기 위해 다양한 탐지 방법들이 제시되었다. 네트워크의 과부하를 탐지하기 위하여, 네트워크 장비에 장애가 발생하면 관계자에게 장애 장비에 대한 경보를 발생한다. 장애 경보는 장애가 발생한 이후의 경보로, 네트워크 장비의 서비스가 중단 된 후 문제를 해결하는 방법이기 때문에 서비스가 중단되는 문제가 있다.
또한 복수의 다른 네트워크 장비에 대한 지식을 알아야 하는 고급 기술자인 네트워크 장비 관계자가 네트워크 과부하 탐지를 위해 필요하다. 그리고, 신규 증축/설계 등의 변화하는 네트워크 시스템에 맞춰 네트워크 장비를 유지 보수하기 위해서는, 지속적으로 많은 고급인력이 반드시 필요하다는 문제점이 있다.
또한, 네트워크 장비 관계자가 다양한 장비 종류로부터 생성되는 방대한 량의 네트워크 리소스 현황을 확인하여 네트워크 장비의 장애 발생 내용과의 연관성을 판단하기에는 한계가 있다. 그리고, 네트워크 현황파악 만으로는 모든 네트워크 장비의 장애를 판단하지 못하는 문제가 있다.
이 외에도 네트워크 장비의 이상을 사전 탐지하는 종래의 기술의 경우 리소스 전체의 정보를 토대로 학습을 수행하기 때문에, 학습 시간이 오래 걸려 네트워크 장비의 이상을 해결하기 촉박한 시간에 관계자에게 정보를 넘겨준다는 한계를 갖고 있다. 또한 네트워크 장비의 사용량에 '임계치'를 지정하여 임계치를 초과시 네트워크 장비의 이상이 발생할 가능성을 제공하는 방식으로 구성되어 있는 경우에는, 네트워크 장비의 사용량이 임계치를 돌파하기 전에는 관계자에게 정보를 전달할 수 없다는 문제점이 있다.
따라서, 본 발명은 네트워크 장비 리소스별 변화 추이의 연관성을 학습하여, 지능형 장비의 이상 증상을 사전 탐지하는 시스템 및 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 네트워크 장비의 이상 증상을 사전에 탐지하는 시스템은,
네트워크 장비에서 수집된 복수의 리소스 사용량을 정규화하여 리소스 사용량 그래프들을 생성하고, 상기 리소스 사용량 그래프들 중에서 선택된 기준 리소스 그래프와 나머지 리소스 그래프들 사이의 차이를 비교하여 상기 기준 리소스 그래프에 연관된 적어도 하나의 연관 리소스 그래프를 추출하는 그래프 유사도 도출 모듈, 장애가 발생한 네트워크 장비에 대한 장애 이력 정보를 저장하는 장애 발생 정보 저장 모듈, 그리고 상기 연관 리소스 그래프와 상기 장애 이력 정보를 비교하여 이상 발생 가능 장비를 정의하고, 이상 발생 가능 장비로 정의된 네트워크 장비의 리소스 사용량 그래프와 상기 장애 이력 정보를 비교하여 이상 발생 유력 장비를 검출하여 이상 증상을 사전에 탐지하는 장애 검출 모듈을 포함한다.
본 발명에 따르면 수집된 네트워크 장비의 리소스 연관성을 기반으로 분석하여 다양한 네트워크 장비의 이상에 대한 기존의 내역과 비교하여 분석한 내용을 제공함으로써, 네트워크의 품질 향상을 기대할 수 있다.
또한, 선행 학습법을 통하여 세밀한 학습 시작시간을 탐지하고 후행 학습 방법을 이용하여 네트워크 장비에 대한 이상 대응 시간을 단축할 수 있다.
또한, 신규 설계 및 설치되는 네트워크 장비에 대한 이상을 사전 탐지하여 정보를 제공하고, 이를 통해 네트워크 장비 관리자들의 의사 결정에 도움을 줌으로써, 인적자원 효율성을 향상 시킬 수 있다.
또한, 수집된 네트워크 장비 리소스를 연관성 기반으로 분석하여 자동으로 네트워크 장비 관계자에게 네트워크 장비 이상에 대한 정보를 사전에 탐지하는 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 사전 탐지 시스템이 적용된 환경의 예시도이다.
도 2는 본 발명의 실시예에 따른 사전 탐지 시스템의 구조도이다.
도 3은 본 발명의 실시예에 따른 지능형 장비 이상 증상 사전 탐지 방법에 대한 흐름도이다.
도 4는 본 발명의 실시예에 따른 장비별 리소스 사용량에 대한 데이터 정규화의 예시도이다.
도 5는 본 발명의 실시예에 따른 장비별 리소스 사용량 그래프의 예시도이다.
도 6은 본 발명의 실시예에 따른 장비별 리소스 사용량의 그래프화의 또 다른 예시도이다.
도 7은 본 발명의 실시예에 따른 트래픽과의 리소스별 그래프 거리 기반 연관도를 나타낸 예시도이다.
도 8은 본 발명의 실시예에 따른 필터링된 리소스 사용량 기반 변화량 유사도 분석의 예시도이다.
도 9는 본 발명의 실시예에 따른 유사도 후행 분석의 예시도이다.
도 10은 본 발명의 실시예에 따른 이상 발생 이력에 추가된 정보의 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단말(terminal)은, 이동국(Mobile Station, MS), 이동 단말(Mobile Terminal, MT), 가입자국(Subscriber Station, SS), 휴대 가입자국(Portable Subscriber Station, PSS), 사용자 장치(User Equipment, UE), 접근 단말(Access Terminal, AT) 등을 지칭할 수도 있고, 이동 단말, 가입자국, 휴대 가입자 국, 사용자 장치 등의 전부 또는 일부의 기능을 포함할 수도 있다.
이하 도면을 참조로 하여, 본 발명의 실시예에 따른 지능형 장비의 이상 증상을 사전에 탐지하는 시스템 및 방법에 대해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 사전 탐지 시스템이 적용된 환경의 예시도이다.
도 1에 도시된 바와 같이, 복수의 네트워크 장비들(200-1∼200-n)과 연동한 지능형 장비 이상 사전 탐지 시스템(이하, 설명의 편의를 위하여 '사전 탐지 시스템'이라 지칭함)(100)은, 각 네트워크 장비들(200-1∼200-n)에서 사용되는 리소스 사용량 정보를 수집한다.
그리고 수집한 리소스 사용량 정보를 분석한 후, 리소스 내역 중 사용량이 급변한 리소스 내역을 선행 분석한다. 사전 탐지 시스템(100)은 선행 분석한 리소스 내역의 정보와 기존에 네트워크 장비에 이상이 발생한 리소스 정보를 이용하여, 네트워크 장비들(200-1∼200-n)에 문제 발생 가능성을 탐지한다. 문제 발생 가능성을 탐지한 사전 탐지 시스템(100)은 네트워크 장비 관계자가 소지한 단말(300)로 문제 발생 가능성에 대한 정보를 전달한다.
사전 탐지 시스템(100)은 이상 현상의 발생 시점을 세분화하여 탐지한다. 그리고, 일정 수준 이상의 이상 발생에 대한 유사도를 탐지한 네트워크 장비 리소스 내역을 토대로, 선행 학습을 수행한 급변한 리소스 변화의 시작점으로부터 전체 리소스를 학습하여 기존의 이상이 발생한 네트워크 장비 이력과 비교하여, 사용자에게 자동화 학습과 유사도 기반의 네트워크 이상을 사전에 탐지할 수 있다.
여기서, 네트워크 장비들(200-1~200-n)에서 사용된 리소스 사용량 정보를 수집하여 사용량이 급변한 리소스 내역을 분석하고, 문제 발생 가능성을 탐지하는 사전 탐지 시스템(100)의 구조에 대해 도 2를 참조로 설명한다.
도 2는 본 발명의 실시예에 따른 사전 탐지 시스템의 구조도이다.
도 2에 도시된 바와 같이, 적어도 하나의 프로세서에 의해 제어되어 동작하는 사전 탐지 시스템(100)은 리소스 수집 모듈(110), 그래프 유사도 도출 모듈(120), 장애 검출 모듈(130), 표출 모듈(140), 장애 발생 정보 저장 모듈(150)을 포함한다.
리소스 수집 모듈(110)은 복수의 네트워크 장비들(200-1∼200-n)로부터 각각의 네트워크 장비들이 사용한 리소스 사용량을 수집한다. 리소스 사용량은 각 네트워크 장비들의 식별 정보, 리소스 사용량이 수집된 시간 정보, 각각의 네트워크 장비들이 사용한 다양한 리소스 사용량들을 포함한다.
본 발명의 실시예에서는 네트워크 장비들이 사용한 리소스 사용량에는, 네트워크 장비를 구성하는 구성 요소인 CPU, 메모리, 디스크에서 각각 사용한 리소스 사용량, 네트워크 장비에서 트래픽을 처리하기 위해 사용한 리소스 사용량, 그리고 네트워크 장비의 온도에 의한 리소스 사용량 등으로 복수의 리소스 사용량이 수집되는 것을 예로 하여 설명한다. 그러나, 반드시 이와 같이 한정되는 것은 아니다.
그래프 유사도 도출 모듈(120)은 리소스 수집 모듈(110)이 수집한 리소스 사용량을 정규화하여 수치화하여 리소스 사용량 정보로 생성한다. 리소스 사용량을 정규화하는 이유는 상이한 종류의 구성 요소에서 수집된 리소스 사용량을 통일된 수치로 표현하기 위함으로, 그래프 유사도 도출 모듈(120)이 리소스 사용량을 정규화하는 방법은 다양한 방법으로 수행할 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
그래프 유사도 도출 모듈(120)은 수치화된 리소스 사용량 정보를 토대로, 2차원 평면의 리소스 사용량 그래프를 생성한다. 임의의 네트워크 장비에 대해 생성된 리소스 사용량 그래프는 CPU 그래프, 메모리 그래프, 디스크 입출력 그래프, 트래픽량 그래프, 그리고 온도 그래프가 포함되어 있다. 그래프 유사도 도출 모듈(120)이 리소스 사용량 정보를 리소스 사용량 그래프로 생성하는 것은 다양한 방법으로 수행할 수 있으므로 본 발명의 실시예에서는 상세한 설명을 생략한다.
그래프 유사도 도출 모듈(120)은 복수의 그래프들을 포함하는 리소스 사용량 그래프에서, 기준 그래프로 삼은 트래픽량 그래프와 다른 그래프들(CPU 그래프, 메모리 그래프, 디스크 입출력 그래프, 온도 그래프)간의 거리 차를 확인한다. 본 발명의 실시예에서는 기준 그래프로 트래픽량 그래프를 이용하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
그래프 유사도 도출 모듈(120)은 그래프간 거리의 차를 확인하여, 미리 설정한 임계 거리를 초과하는 그래프가 있는지 판단한다. 임계 거리를 초과한 그래프가 있다면, 임계 거리를 초과한 것으로 판단된 시점(이하, '기준 시점'이라 지칭함)을 기준으로 이전 시점(제1 시점)과 이후 시점(제2 시점)에 그려진 그래프들만을 추출하여 거리 차이 그래프로 생성한다. 여기서, 거리 차이 그래프는 기준 그래프와 다른 그래프들 사이의 거리 차를 그래프로 생성한 것으로, 제1 시점~기준시점~제2 시점까지만 그래프로 생성한다.
그래프 유사도 도출 모듈(120)은 거리 차이 그래프에서, 각각의 시점간에 절대값 차가 미리 지정한 임계값 보다 작은 그래프들만 확인한다. 그리고 임계값보다 작은 그래프로 생성된 리소스 사용량을 수집한 네트워크 장비의 구성 요소들을 확인한다. 그래프 유사도 도출 모듈(120)은 확인한 네트워크 장비의 구성 요소들이 수집한 리소스 사용량을 '연관된 리소스'라 정의하고, 연관 리소스 그래프를 생성한다.
장애 검출 모듈(130)은 장애 발생 정보 저장 모듈(150)에 저장되어 있는 장애 이력 그래프와 유사도 도출 모듈(120)에서 생성한 연관 리소스 그래프를 비교하여 유사도를 검출한다. 여기서, 장애 이력 그래프는 기존에 이미 장애가 발생하였던 네트워크 장비에 대한 리소스 사용량으로 생성된 그래프를 의미한다.
장애 검출 모듈(130)이 두 개의 그래프를 비교하여 유사도를 검출할 때, 그래프간 거리 차이가 미리 설정된 유사도 임계 거리보다 좁다면 유사도가 높은 것으로 검출하나, 반드시 이와 같이 한정하는 것은 아니다. 그리고, 본 발명의 실시예에서는 설명의 편의를 위하여 '장애 검출 모듈(130)'이라 지칭하여 설명하나, 학습의 개념으로 설명할 수도 있다.
장애 검출 모듈(130)은 검출한 유사도가 미리 설정된 제1 유사도 임계값 이상일 경우, 리소스 사용량이 수집된 네트워크 장비를 선행 분석 결과 이상 발생 가능성이 있는 네트워크 장비(이하, 설명의 편의를 위하여, '이상 발생 가능 장비'라 지칭함)로 정의한다. 그리고, 장애 검출 모듈(130)은 이상 발생 가능 장비에서 기준 시점(△t)을 기준으로 이전 시점인 제1 시점(△t-1)에서부터 이후 시점인 제2 시점(△t-2)까지 수집된 전체 리소스 사용량에 대한 리소스 사용량 그래프를, 장애 이력 그래프와 비교한다.
리소스 사용량 그래프와 장애 발생 그래프를 제1 시점부터 분석한 그래프 유사도가 미리 설정한 제2 유사도 임계값 이상으로 유사할 경우, 해당 네트워크 장비를 후행 분석 결과 이상 발생 가능성이 있는 네트워크 장비(이하, 설명의 편의를 위하여, '이상 발생 유력 장비'라 지칭함)로 정의한다. 여기서, 제1 유사도 임계값과 제2 유사도 임계값은 동일하거나 동일하지 않을 수 있으며, 어느 하나의 수치로 한정하지 않는다.
장애 검출 모듈(130)은 최종적으로 이상 발생 유력 장비의 리소스 사용량 데이터와 실제 장애 이력이 있는 실제 장비 이상 정보와 한 번 더 비교한다. 여기서 실제 장비 이상 정보는 장애 발생 정보 모듈(150)에 저장되어 있을 수 있거나, 별도의 데이터베이스에서 관리될 수 있다.
이상 발생 유력 장비에서 사용된 리소스 사용량으로 생성된 리소스 사용량 그래프와 실제 이상이 발생했던 실제 장비의 이상 정보에 포함되어 있는 리소스 사용량을 나타내는 그래프가 일치하면, 이상 발생 유력 장비에 해당하는 네트워크 장비의 정보, 수집한 리소스 사용량, 그리고 그래프를 장애 발생 정보 모듈(150)에 임시로 저장한다.
표출 모듈(140)은 장애 검출 모듈(130)에서 분석한 이상 발생 유력 장비의 정보, 유사도가 높았던 기존 네트워크 장애 발생에 대한 이력을 네트워크 장비 관계자가 소지한 단말(300)로 전송한다. 그리고 단말(300)로부터 경고 정보가 실제 네트워크 장비의 이상으로 발전하였는지 나타내는 정보를 피드백 받는다.
만약, 경고 정보가 실제 네트워크 장비의 이상으로 발전하였다면, 이상 발생 가능성이 있는 네트워크 장비에 대한 정보를 장애 발생 이력으로 하여 장애 발생 정보 저장 모듈(150)에 저장한다.
이상에서 설명한 사전 탐지 시스템(100)을 이용하여 지능형 네트워크 장비의 이상 증상을 사전에 탐지하는 방법에 대해 도 3 내지 도 10을 참조로 설명한다.
도 3은 본 발명의 실시예에 따른 지능형 장비 이상 증상 사전 탐지 방법에 대한 흐름도이다.
도 3에 도시된 바와 같이, 사전 탐지 시스템(100)은 복수의 네트워크 장비들(200-1∼200-n)로부터 각각의 네트워크 장비들이 사용한 리소스 사용량을 수집한다. 그리고 수집한 리소스 사용량을 정규화하여 수치화한다(S100). 여기서, 복수의 네트워크 장비들 중 임의의 네트워크 장비에 대한 리소스 사용량을 데이터 정규화하여 수치화한 예에 대해 도 4를 참조로 설명한다.
도 4는 본 발명의 실시예에 따른 장비별 리소스 사용량에 대한 데이터 정규화의 예시도이다.
도 4의 (a)에 도시된 바와 같이, 임의의 네트워크 장비를 구성하는 구성 요소, 네트워크 장비에서 발생한 트래픽 처리를 위한 리소스 사용량, 네트워크 장비의 온도 등을 포함하는 리소스 사용량이 시간 흐름에 따라 수집된다. 본 발명의 실시예에서는 CPU에서 사용한 리소스 사용량, 메모리에서 사용한 리소스 사용량 디스크의 입/출력을 위해 사용한 리소스 사용량, 네트워크 장비에서의 트래픽 량과 네트워크 장비의 온도를 리소스 사용량으로 수집하는 것을 예로 하여 설명한다.
여기서, CPU, 메모리, 디스크 입출력, 트래픽량은 네트워크 장비에서 사용된 전체 리소스 사용량에서 각각의 구성 요소들이 사용한 트래픽량이 어느정도 되는지 백분율로 수집된다. 예를 들어, CPU가 제1 시점(△t-1)에 사용한 리소스 사용량은 17%가 된다. 제1 시점의 네트워크 장비의 온도는 20도가 된다.
유사도 도출 모듈(120)은 도 4의 (a)에 수집한 리소스 사용량을 도 4의 (b)에 도시한 바와 같이 리소스 사용량을 정규화하여 수치화한다. 유사도 도출 모듈(120)이 리소스 사용량을 정규화하여 수치화하는 방법은 다양하게 수행될 수 있으므로, 본 발명의 실시예에서는 상세한 설명을 생략한다.
한편, 도 3에 도시된 바와 같이, 사전 탐지 시스템(100)은 S100 단계에서 수치화한 복수의 네트워크 장비들(200-1∼200-n)에 대한 리소스 사용량을 이용하여 리소스 사용량 그래프를 생성한다(S101). 수치화된 리소스 사용량으로 리소스 사용량 그래프를 생성한 예에 대해 도 5를 참조로 설명한다.
도 5는 본 발명의 실시예에 따른 장비별 리소스 사용량 그래프의 예시도이다.
도 5의 (a)에는 리소스 사용량을 정규화하여 수치화한 표이다. 그리고 도 5의 (b)에 도시된 바와 같이, 그래프 유사도 도출 모듈(120)은 정규화되어 산출된 수치를 토대로 리소스 사용량 그래프를 생성한다. 여기서, X축은 시간 축이고, Y축은 정규화되어 산출된 수치를 나타낸다.
임의의 시점(△t)에 해당 네트워크 장비는 CPU에서 17pt만큼의 리소스를 사용하였고, 트래픽량에 대한 리소스는 26pt만큼 사용하였으며, 디스크 입출력을 위해 9pt만큼의 리소스가 사용된 것을 알 수 있다. 또한, 하나의 네트워크 장비에서는 복수의 그래프가 포함된 리소스 사용량 그래프가 생성됨을 알 수 있다.
한편, 도 3에 도시된 바와 같이, S101 단계에서 리소스 사용량 그래프가 생성되면, 사전 탐지 시스템(100)은 복수의 그래프가 포함된 리소스 사용량 그래프에서, 기준 그래프와 나머지 그래프 사이의 거리를 비교한다(S102). 본 발명의 실시예에서는 기준 그래프로 트래픽량 그래프를 예로 하여 설명한다.
사전 탐지 시스템(100)은 리소스 사용량이 수집된 매 시점에, 트래픽량 그래프와 다른 그래프들간의 거리의 차가 임계 거리를 초과하는 그래프가 있는지 확인한다(S103). 만약 임계 거리를 초과하는 그래프가 없다면 S100 단계에서부터 방법을 지속한다.
그러나, 복수의 그래프 중 임계 거리를 초과하는 그래프가 있다면, 사전 탐지 시스템(100)은 임계 거리를 초과하는 시점을 기준 시점으로 하고, 기준 시점의 직전 시점인 제1 시점에서부터 기준 시점의 직후 시점인 제2 시점까지에 대한 거리 차이 그래프를 추출한다. 그리고 거리 차이 그래프를 토대로 연관 리소스를 확인하여 연관 리소스 그래프를 생성한다(S104). 이에 대해 도 6과 도 7을 참조로 설명한다.
도 6은 본 발명의 실시예에 따른 장비별 리소스 사용량의 그래프화의 또 다른 예시도이고, 도 7은 본 발명의 실시예에 따른 트래픽과의 리소스별 그래프 거리 기반 연관도를 나타낸 예시도이다.
도 6에 도시된 바와 같이, 기준 그래프인 트래픽량 그래프와 CPU 그래프의 거리 차는 3pt이고, 트래픽량 그래프와 디스크 인/아웃 그래프의 거리 차는 17pt이다. 본 발명의 실시예에서 임계 거리를 5pt로 설정한다고 가정하면, 트래픽량 디스크와 디스크 그래프의 거리 차가 임의의 시점(△t)에 임계 거리인 5pt이상으로 발생함을 알 수 있다.
그러나 해당 시점에 트래픽량 그래프와 CPU 그래프의 거리 차는 임계 거리보다 짧은 3pt임을 알 수 있다. 여기서 임계 거리인 5pt 이상으로 그래프간 거리차가 발생한 임의의 시점을 Δt라 가정하면, 시점 Δt가 기준 시점이 된다.
이때, 그래프간의 거리 차가 임계 거리보다 좁게 나타난다는 것은, 기준 그래프로 생성된 트래픽량의 변화에 따라 사전 탐지 시스템(100)의 구성 요소도 함께 변화됨을 의미한다. 그리고 그래프간의 거리 차가 임계 거리보다 넓게 나타난다는 것은, 트래픽량의 변화와 관계 없이 사전 탐지 시스템(100)의 구성 요소가 변화되거나 변화되지 않음을 의미한다.
그리고, 기준 시점을 기준으로, 이전 시점(△t-1)과 기준 시점(△t) 사이의 거리차, 기준 시점(△t)과 다음 시점(△t+1) 사이의 거리차이 그래프를 주출한다. 거리 차이 그래프에 대해 도 7을 참조로 살펴보면, 도 7의 (a)에 기준 그래프인 트래픽량 그래프와 다른 그래프들 사이의 거리차이를 나타낸 것이다. 그리고 도 7의 (b)는 계산된 거리차이를 그래프로 생성한 것이다.
도 7의 (b)에 도시된 바와 같이 추출된 그래프에서, 트래픽량-CPU 그래프와 트래픽량-디스크 그래프의 시점간 거리차는 트래픽량-메모리 그래프와 트래픽량-온도 그래프의 시점간 거리차보다 좁음을 알 수 있다.
예를 들어, 트래픽량-CPU 그래프의 거리차이 그래프를 살펴보면, 이전 시점(△t-1)에서 기준 시점(△t) 사이의 제1 거리차이는 1pt(8pt-9pt)이고, 기준 시점(△t)에서 다음 시점(△t+1) 사이의 제2 거리차이도 1pt(9pt-8pt)임을 알 수 있다. 임계 거리를 1pt라고 가정한다면, 트래픽량-CPU 그래프의 제1 거리차이와 제2 거리차이의 시점간 거리차는 0pt(1pt-1pt)로 임계 거리보다 좁음을 알 수 있다.
이와 유사하게 트래픽량-디스크 그래프의 거리차이 그래프를 살펴보면, 이전 시점(△t-1)에서 기준 시점(△t) 사이의 제1 거리차이는 4pt(13pt-17pt)이고, 기준 시점(△t)에서 다음 시점(△t+1) 사이의 제2 거리차이도 4pt(17pt-13pt)임을 알 수 있다. 임계 거리를 1pt라고 가정하였으므로, 트래픽량-디스크 그래프의 제1 거리차이와 제2 거리차이의 시점간 거리차는 0pt(4pt-4pt)로 임계 거리보다 좁음을 알 수 있다.
반면, 트래픽량-메모리 그래프의 거리차이 그래프를 살펴보면, 이전 시점(△t-1)에서 기준 시점(△t) 사이의 제1 거리차이는 7pt(7pt-14pt)이고, 기준 시점(△t)에서 다음 시점(△t+1) 사이의 제2 거리차이는 5pt(9pt-8pt)임을 알 수 있다. 임계 거리를 1pt라고 가정하였으므로, 트래픽량-메모리 그래프의 제1 거리차이와 제2 거리차이의 시점간 거리차는 2pt(7pt-5pt)로 임계 거리보다 넓음을 알 수 있다.
그리고, 트래픽량-온도 그래프의 거리차이 그래프를 살펴보면, 이전 시점(△t-1)에서 기준 시점(△t) 사이의 제1 거리차이는 3pt(2pt-5pt)이고, 기준 시점(△t)에서 다음 시점(△t+1) 사이의 제2 거리차이는 5pt(5pt-0pt)임을 알 수 있다. 임계 거리를 1pt라고 가정하였으므로, 트래픽량-메모리 그래프의 제1 거리차이와 제2 거리차이의 시점간 거리차는 2pt(3pt-5pt)로 임계 거리보다 넓음을 알 수 있다.
이와 같이, 시점간 거리차가 임계 거리보다 좁은 그래프들이 그려진 구성 요소에서 사용된 리소스 사용량을 연관된 리소스라고 정의한다. 그리고 사전 탐지 시스템(100)은 도 7의 (b)에 ①로 나타낸 연관 리소스 그래프로 생성한다.
한편, 도 3에 도시된 바와 같이, 사전 탐지 시스템(100)은 S104 단계에서 생성된 연관 리소스 그래프와 미리 저장되어 있는 장애 이력 그래프를 비교하여, 연관 리소스 그래프가 장애 이력 그래프와 얼마나 유사한지를 나타내는 유사도를 검출한다(S105). 검출한 유사도가 미리 설정한 제1 유사도 임계치보다 큰지 확인하고(S106), 미리 설정한 제1 유사도 임계치보다 작으면 S105 단계 이후의 절차를 반복한다.
그러나, 미리 설정한 제1 유사도 임계치보다 검출한 임계치가 크면, 사전 탐지 시스템(100)은 해당 네트워크 장비를 이상 발생 가능 장비로 정의한다(S107). 이에 대해 도 8을 참조로 먼저 설명한다.
도 8은 본 발명의 실시예에 따른 필터링된 리소스 사용량 기반 변화량 유사도 분석의 예시도이다.
도 8에 도시된 바와 같이, 사전 탐지 시스템(100)은 연관된 리소스로 생성된 연관 리소스 그래프 미리 저장된 장애 이력 그래프를 비교하여, 연관 리소스 그래프의 형태가 유사한 장애 이력 그래프가 있는지 확인하여 유사도를 검출한다. 본 발명의 실시예에서는 연관된 리소스로써 트래픽량, CPU, 디스크를 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
그리고 검출한 유사도가 일정 수준 이상일 경우, 즉, 기존의 카테고리 기반으로 호출한 장애 이력 그래프와 연관 리소스 그래프를 비교하여, 유사한 형태의 그래프를 보이면 네트워크 장비를 이상이 발생할 가능성이 있는 이상 발생 가능 장비로 정의한다. 여기서 카테고리라 함은, 연관된 리소스로 검출된 트래픽량, CPU, 디스크를 각각 카테고리라 지칭한다.
이때, 본 발명의 실시예에서는 연관 리소스 그래프의 이미지를 벡터화하고, 장애 이력 그래프의 이미지 역시 벡터화하여, 두 벡터를 비교하여 유사도를 검출할 수 있다. 그러나, 반드시 이와 같이 한정되는 것은 아니다.
도 8에서는 필터링된 리소스인 연관 리소스를 이용하여 분석한 결과 DDoS 공격에 따라 이상이 발생했던 네트워크 장비의 리소스 사용량 패턴과 유사하게 임의의 네트워크 장비에 리소스 사용량 패턴이 발생한 것으로 확인함을 알 수 있다. 따라서, 사전 탐지 시스템(100)은 해당 네트워크 장비가 DDoS 공격에 노출되어 장애가 발생할 가능성이 있는 장비로 정의한다.
한편, 도 3을 이어 설명하면, S107 단계에서 이상 발생 가능 장비가 정의되면, 사전 탐지 시스템(100)은 이상 발생 가능 장비로 정의된 네트워크 장비에 대해 제1 시점에서부터 제2 시점까지의 전체 리소스 사용량에 대한 리소스 사용량 그래프와 미리 저장되어 있는 장애 이력 그래프를 비교한다(S108).
사전 탐지 시스템(100)은 S108 단계에서 비교하여 검출한 유사도가 미리 설정한 제2 유사도 임계값보다 큰지 확인한다(S109). 만약 미리 설정한 제2 유사도 임계값보다 작으면 S108 단계 이후의 절차를 반복한다. 그러나, 제2 유사도 임계값보다 검출한 임계치가 크면, 사전 탐지 시스템(100)은 해당 네트워크 장비를 이상 발생 유력 장비로 정의한다(S110). 이에 대해 도 9를 참조로 먼저 설명한다.
도 9는 본 발명의 실시예에 따른 유사도 후행 분석의 예시도이다.
도 9에 도시된 바와 같이, 사전 탐지 시스템(100)은 기준 시점의 앞뒤 시점에 수집된 네트워크 장비의 모든 리소스 사용량을 토대로 생성된 리소스 사용량 그래프와 유사도 선행 분석에서 검출한 장애 이력 그래프와 비교하여, 그래프의 형태가 검출한 장애 이력 그래프와 유사한지 유사도를 검출한다. 그리고 검출한 유사도가 일정 수준 이상일 경우, 네트워크 장비를 이상이 발생할 가능성이 높은 이상 발생 유력 장비로 정의한다.
한편, 도 3을 이어 설명하면, S110 단계에서 이상 발생 유력 장비를 정의한 후, 사전 탐지 시스템(100)은 장애 발생 정보 저장 모듈(150) 또는 외부의 데이터베이스에 저장되어 있는 모든 실제 네트워크 장비들 중 실제 장애가 발생했던 실제 장비 이상 정보와, 이상 발생 유력 네트워크 장비의 리소스 사용량 그래프를 한번 더 비교하여 유사도를 확인한다(S111, S112). 비교한 유사도가 미리 설정한 임계치보다 높으면, 사전 탐지 시스템(100)은 이상 발생 유력 장비의 식별 정보와 리소스 사용량, 그리고 각 그래프 등을 임시 저장한 후, 관리자 단말(300)로 이상 내역 리스트를 제공한다(S113, S114).
그러나, 임계치보다 유사도가 낮으면 임시 저장하지 않고 바로 관리자 단말(300)로 이상 내역 리스트를 제공한다(S114). 사전 탐지 시스템(100)은 S114 단계에서 관리자 단말(300)로 제공한 이상 내역 리스트를 토대로 관리자가 별도의 피드백을 제공하면, 제공 받은 피드백 내용과 함께 S113 단계에서 임시 저장한 정보들, 또는 피드백 내용만을 장애 발생 정보 저장 모듈(150)에 장애 이력으로 저장한다(S115). 이에 대해 도 10을 참조로 설명한다.
도 10은 본 발명의 실시예에 따른 이상 발생 이력에 추가된 정보의 예시도이다.
도 10의 (a)에는 실제 장비 이상 정보와 이상 발생 유력 장비의 정보를 비교하여, 이상 발생 이력에 정보를 추가하는 예에 대한 것이고, 도 10의 (b)는 관리자로부터 입력된 피드백을 포함하여 정보를 추가하는 예에 대한 것이다.
이상 발생 가능성이 높은 네트워크 장비 결과가 실제 장비 이상의 결과와 일치한다면, 사전 탐지 시스템(100)은 이상 발생 가능성이 높은 네트워크 장비의 정보와 리소스 사용량, 그래프 정보 등을 장애 발생 정보 저장 모듈(150)에 추가한다. 이를 토대로 이후에 새로운 네트워크 장비의 장애를 사전 검출하는데 기준 정보로 사용한다.
또한, 네트워크 장비를 관리하는 관리자의 단말(300)로부터 피드백 되는 정보도 네트워크 장비의 정보, 리소스 사용량, 그래프 정보와 함께 저장되어, 새로운 네트워크 장비의 장애를 사전 검출하는데 참고 정보로 사용된다. 여기서, 피드백 되는 정보에는 실제 네트워크 장비에 이상이 발생하였는지 또는 이상이 발생하지 않았는지를 나타내는 정보가 포함된다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

  1. 네트워크 장비의 이상 증상을 사전에 탐지하는 시스템이, 상기 네트워크 장비의 이상 증상을 탐지하는 방법으로서,
    상기 네트워크 장비가 수집한 복수의 측정값들을 기초로, 각 측정값별 그래프들을 생성하는 단계,
    상기 측정값별 그래프들 중에서 기준 그래프를 선택하고, 상기 기준 그래프와 나머지 그래프들 사이의 거리 차를 계산하며, 임계 거리를 초과하는 적어도 하나의 나머지 그래프를 연관 그래프로 추출하는 단계,
    상기 연관 그래프와 기 저장된 장애별로 생성된 장애 그래프들의 유사도를 비교하여 상기 네트워크 장비의 이상 발생 여부를 사전에 탐지하는 단계
    를 포함하는 이상 증상 사전 탐지 방법.
  2. 제1항에 있어서,
    상기 사전에 탐지하는 단계는,,
    상기 연관 그래프와 상기 장애 그래프들 사이의 유사도를 검출하는 단계,
    상기 검출한 유사도가 미리 설정된 제1 유사도 임계값 보다 높으면, 상기 네트워크 장비를 이상 발생 가능 장비로 정의하는 단계, 그리고
    상기 검출한 유사도가 미리 설정된 제2 유사도 임계값 보다 높으면, 상기 네트워크 장비를 이상 발생 유력 장비로 정의하는 단계
    를 포함하는, 이상 증상 사전 탐지 방법.
  3. 제1항에 있어서,
    상기 연관 그래프로 추출하는 단계는,
    상기 적어도 하나의 나머지 그래프들 중에서, 상기 기준 그래프와 나머지 그래프들 사이의 차이가 임계치를 초과하는 기준 시점, 그리고 상기 기준 시점의 직전 시점인 제1 시점과 직후 시점인 제2 시점까지의 그래프들을 거리 차이 그래프들로 추출하는 단계, 그리고
    상기 거리 차이 그래프들에서 상기 제1 시점에서부터 기준 시점까지의 제1 절대 거리 차와, 상기 기준 시점에서 제2 시점까지의 제2 절대 거리 차가 미리 설정한 임계값보다 작으면, 상기 임계값보다 작은 절대 거리 차를 나타내는 거리 차이 그래프를 상기 연관 그래프로 추출하는 단계
    를 포함하는, 이상 증상 사전 탐지 방법.
  4. 제1항에 있어서,
    상기 각 측정값별 그래프들을 생성하는 단계는,
    상기 복수의 측정값들을 정규화하여 상기 측정값별 그래프들을 생성하는, 이상 증상 사전 탐지 방법.
  5. 네트워크 장비의 이상 증상을 사전에 탐지하는 시스템으로서,
    상기 네트워크 장비가 수집한 복수의 측정값들을 정규화하여 각 측정값별 그래프들을 생성하고, 상기 그래프들 중에서 선택된 기준 그래프와 나머지 그래프들 사이의 차이를 비교하여 상기 기준 그래프에 연관된 적어도 하나의 연관 그래프를 추출하는 그래프 유사도 도출 모듈,
    장애가 발생한 네트워크 장비에 대하여, 장애별 장애 그래프를 저장하는 장애 발생 정보 저장 모듈, 그리고
    상기 연관 그래프와 상기 장애 그래프를 비교하여 상기 네트워크장비의 이상 발생 가능 장비를 정의하고, 이상 발생 가능 장비로 정의된 네트워크 장비의 그래프들과 상기 장애 그래프를 비교하여 이상 발생 유력 장비를 검출하여 이상 증상을 사전에 탐지하는 장애 검출 모듈
    을 포함하는 이상 증상 사전 탐지 시스템.
  6. 제5항에 있어서,
    장애 검출 모듈은,
    상기 연관 그래프와 상기 장애 그래프를 비교하여 연관 그래프와 장애 그래프 사이의 유사도를 검출하고, 검출한 유사도가 제1 유사도 임계값 보다 높으면 상기 네트워크 장비를 이상 발생 가능 장비로 정의하고,
    상기 측정값별 그래프들과 상기 장애 그래프 사이의 유사도를 검출하고, 검출한 유사도가 제2 유사도 임계값 보다 높으면 상기 이상 발생 가능 장비로 정의된 네트워크 장비를 이상 발생 유력 장비로 정의하는 이상 증상 사전 탐지 시스템.
  7. 제5항에 있어서,
    상기 그래프 유사도 도출 모듈은,
    상기 기준 그래프와 나머지 그래프들 사이의 차이가 임계치를 초과하는 기준 시점, 그리고 상기 기준 시점의 직전 시점인 제1 시점과 직후 시점인 제2 시점까지의 적어도 하나의 그래프들을 거리 차이 그래프로 추출하고,
    거리 차이 그래프에서 제1 시점에서부터 기준 시점까지의 절대 거리 차, 기준 시점에서 제2 시점까지의 절대 거리 차가 임계값보다 작으면 상기 연관 그래프로 추출하는 이상 증상 사전 탐지 시스템.
  8. 제5항에 있어서,
    상기 네트워크 장비가 측정한 측정값들을 수집하는 수집 모듈, 그리고
    상기 장애 검출 모듈이 검출한 이상 발생 유력 장비에 대한 정보를 상기 네트워크 장비들을 관리하는 관리자의 단말로 제공하는 표출 모듈
    을 더 포함하는 이상 증상 사전 탐지 시스템.
KR1020180025268A 2018-03-02 2018-03-02 지능형 장비 이상 증상 사전 탐지 시스템 및 방법 KR102150622B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180025268A KR102150622B1 (ko) 2018-03-02 2018-03-02 지능형 장비 이상 증상 사전 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180025268A KR102150622B1 (ko) 2018-03-02 2018-03-02 지능형 장비 이상 증상 사전 탐지 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190104759A KR20190104759A (ko) 2019-09-11
KR102150622B1 true KR102150622B1 (ko) 2020-10-26

Family

ID=67949132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180025268A KR102150622B1 (ko) 2018-03-02 2018-03-02 지능형 장비 이상 증상 사전 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102150622B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113742622A (zh) * 2021-08-06 2021-12-03 广州坚和网络科技有限公司 一种网页异常检测方法及装置
CN114268488A (zh) * 2021-12-21 2022-04-01 珠海奔图电子有限公司 一种设备异常检测方法和设备组网***
CN115150460A (zh) * 2022-06-30 2022-10-04 济南浪潮数据技术有限公司 一种节点安全注册方法、装置、设备及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100561628B1 (ko) * 2003-11-18 2006-03-20 한국전자통신연구원 통계적 분석을 이용한 네트워크 수준에서의 이상 트래픽감지 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Oracle Event Processing 2008년. http://www.uclick.co.kr/sub2/pdf/Oracle%20Event%20Processing_overview.pdf*

Also Published As

Publication number Publication date
KR20190104759A (ko) 2019-09-11

Similar Documents

Publication Publication Date Title
CN112162878B (zh) 数据库故障发现方法、装置、电子设备及存储介质
CN109684179B (zh) ***故障的预警方法、装置、设备及存储介质
CN110955550B (zh) 一种云平台故障定位方法、装置、设备及存储介质
KR102150622B1 (ko) 지능형 장비 이상 증상 사전 탐지 시스템 및 방법
CN105183619B (zh) 一种***故障预警方法和***
CN113438110B (zh) 一种集群性能的评价方法、装置、设备及存储介质
CN113672475B (zh) 告警处理方法、装置、计算机设备和存储介质
US11228485B2 (en) Dynamic action dashlet for real-time systems operation management
US10805186B2 (en) Mobile communication network failure monitoring system and method
WO2018035765A1 (zh) 网络异常的检测方法及装置
CN114793132A (zh) 一种光模块的检测方法、装置、电子设备及存储介质
CN117376107A (zh) 一种智能化网络管理方法、***、计算机设备及介质
CN112612679A (zh) ***运行状态监控方法、装置、计算机设备和存储介质
CN110007171A (zh) 变压器在线监测数据误报警的筛查方法及***
CN115544202A (zh) 告警处理方法、装置及存储介质
CN114095394A (zh) 网络节点故障检测方法、装置、电子设备及存储介质
KR101520103B1 (ko) It서비스에서의 어플리케이션 장애 분석 감시 시스템 및 방법
CN110750418B (zh) 一种信息处理方法、电子设备和信息处理***
CN111506446B (zh) 接口故障检测方法及服务器
TW201929584A (zh) 基地台之障礙辨識伺服器及方法
JP2012129664A (ja) ネットワーク通信状態監視装置
CN114490146A (zh) 一种基于多重分形的故障根因分析方法及***
CN116915592A (zh) 故障处理的监控方法、装置及电子设备
KR100381375B1 (ko) 이동 통신 정보 시스템에서 과부하 예측 방법
Tang et al. Large Language Model (LLM) assisted End-to-End Network Health Management based on Multi-Scale Semanticization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant